演算法選擇屬性的依據為基尼系數

⑴ 決策樹演算法--CART分類樹演算法

決策樹演算法中，CART分類回歸樹演算法的獨特之處在於，它能夠同時處理分類和回歸問題，區別於ID3和C4.5演算法只能處理分類問題。分類樹的輸出是對樣本的類別分類，而回歸樹的輸出則是一個實數值。

CART演算法在選擇特徵時，採用了基尼系數來衡量特徵的優劣，這與ID3和C4.5演算法採用的信息增益（率）相反。基尼系數越小，表示數據集的純度越高，特徵的質量越好。在構建CART分類樹時，演算法基於基尼系數來決定如何分割數據集，形成二叉樹結構。

CART演算法處理離散特徵與連續特徵的方式也有所不同。對於離散特徵，CART會進行不斷的二分劃分，同一特徵可能參與多個節點的構建。而對於連續特徵，CART則會將其離散化，然後基於基尼系數選擇最優的劃分點。

在CART演算法中，通過構建決策樹對數據進行預測時，如果測試樣本落在某個葉子節點，其預測結果即為該葉子節點上訓練樣本類別出現概率最大的結果。

為了避免過度擬合，CART演算法通過剪枝技術對生成的決策樹進行優化。剪枝分為前剪枝和後剪枝，其中後剪枝是在構建完決策樹後，通過計算非葉子節點的表面誤差率增益值，找出最優的節點進行剪枝，以減少模型的復雜度，提高泛化能力。

總結而言，CART分類回歸樹演算法通過採用基尼系數作為特徵選擇的依據，以及對離散和連續特徵的不同處理方式，使得它成為一種既適用於分類問題，又適用於回歸問題的強大工具。此外，通過剪枝技術，CART能夠有效避免模型過擬合，提升預測性能。

相關資源包括書籍《機器學習實戰》、周志華的西瓜書《機器學習》、以及關於CART演算法和相關技術的參考鏈接。

⑵ 決策樹有哪些分類

決策樹主要有以下三種分類：

1. ID3決策樹：

   • 核心原則：以信息增益作為屬性選擇的依據。
   • 特點：傾向於選擇擁有更多屬性值的屬性，可能導致模型復雜度過高和過擬合的風險。但因其直觀性和易於理解的特點，仍在多領域得到應用。

2. C4.5決策樹：

   • 改進之處：作為ID3的升級版，引入了信息增益率這一指標，權衡屬性選擇時更為謹慎。
   • 優勢：避免過多關注屬性值的數量，側重於信息的區分度，提升了模型的泛化能力。

3. CART決策樹：

   • 獨特結構：採用二叉結構，每次分裂只有一個split點，將數據劃分為兩個子空間。
   • 劃分依據：使用基尼系數作為劃分標准，平衡決策的公平性和准確性。
   • 應用范圍：適用於分類和回歸任務。

每一種決策樹演算法都有其特定的優勢和適用場景，理解它們的分類和原理對於選擇最適合的數據分析工具至關重要。

⑶ 基尼系數 是如何計算出來的

計算方法：

假設一個國家有100個人，計算這個國家的基尼系數分為下面四步：1.將這100人按收入從低往高排列，第一名是收入最低的，第一百名是收入最高的；2.畫一個邊長為一的正方形，並將左下角與右上角的對角線相連；3.依次計算前十名，前二十名，前三十名……一直到前九十名所擁有的收入占整個100人的收入的比值；4.以正方形的左下角為原點，用水平邊標記累計人口，垂直邊標記累積的收入比，將在上面計算出的累計收入比值，在正方形中標出。然後，將這些點同原點以及正方形的右上角連接，就可以得到一條曲線。這條曲線被稱為勞倫斯曲線(Lorenze Cruve)。基尼系數就是對角線與勞倫斯曲線之間的面積，與對角線以下的三角形的面積之比。如果收入是均勻分布的，勞倫斯曲線就和對角線重合，基尼系數就是零，如果收入是極端不平均的，比如前99人收入為零，勞倫斯曲線就和正方形的右邊線重合，基尼系數就是1。