A. ML - 決策樹(decision tree)
機器學習中分類和預測演算法的評估：
判定樹是一個類似於流程圖的樹結構：其中，每個內部結點表示在一個 屬性上的測試 ，每個分支代表一個 屬性輸出 ，而每個樹葉結點代表 類或類分布 。樹的最頂層是根結點。
機器學習中分類方法中的一個重要演算法
信息和抽象，如何度量？
1948年，香農提出了 」信息熵(entropy)「的概念
一條信息的信息量大小和它的不確定性有直接的關系，要搞清楚一件非常非常不確定的事情，或者
是我們一無所知的事情，需要了解大量信息==> 信息量的度量就等於不確定性的多少
例子：猜世界盃冠軍，假如一無所知，猜多少次？
每個隊奪冠的幾率不是相等的
比特(bit)來衡量信息的多少
變數的不確定性越大，熵也就越大
3.1 決策樹歸納演算法 （ ID3 ）
1970-1980， J.Ross. Quinlan, ID3演算法
選擇屬性（A為age時）判斷結點
信息獲取量(Information Gain) ：
Gain(A) = Info(D) - Infor_A(D)
Gain(A) =按yes/no分的熵 - 按A屬性分類的熵
通過A來作為節點分類獲取了多少信息
類似
Gain(income) = 0.029
Gain(student) = 0.151
Gain(credit_rating)=0.048
所以，選擇age作為第一個根節點
重復。。。
演算法：
*其他演算法：
C4.5 : Quinlan
Classification and Regression Trees (CART): (L. Breiman, J. Friedman, R. Olshen, C. Stone)
共同點：都是貪心演算法，自上而下(Top-down approach)
區別：屬性選擇度量方法不同： C4.5 （gain ratio), CART(gini index), ID3 (Information Gain)
先剪枝
後剪枝
直觀，便於理解，小規模數據集有效
處理連續變數不好（離散化，閾值選擇對結果影響大）
類別較多時，錯誤增加的比較快
可規模性一般
1. Python
2. Python機器學習的庫： scikit-learn
2.1： 特性：
簡單高效的數據挖掘和機器學習分析
對所有用戶開放，根據不同需求高度可重用性
基於Numpy, SciPy和matplotlib
開源，商用級別：獲得 BSD許可
2.2 覆蓋問題領域：
分類（classification), 回歸（regression), 聚類（clustering), 降維(dimensionality rection)
模型選擇(model selection), 預處理(preprocessing)
3. 使用用scikit-learn
安裝scikit-learn: pip, easy_install, windows installer
安裝必要package：numpy， SciPy和matplotlib， 可使用 Anaconda (包含numpy, scipy等科學計算常用package）
4. 例子：
文檔： http://scikit-learn.org/stable/moles/tree.html
安裝 Graphviz： http://www.graphviz.org/
配置環境變數
轉化dot文件至pdf可視化決策樹：dot -Tpdf iris.dot -o outpu.pdf