gbdt演算法推導

❶ 人工智慧比較感興趣，哪裡能深度學習提升呢

人工智慧現在確實比較熱門，而想要深度學習人工智慧也是一些已經工作的朋友的首選，其實，深度學習人工智慧最好的方法就是到一些機構了，因為他們的資料更全面，還比較注重實踐，畢竟你學會了一些理論知識，並不能讓你在工作中遇到的問題迎刃而解，而只有理論結合實踐才可以讓你應付工作中遇到的各種問題，所以，機構還是比較好的。當然還有另外一種情況，就是你的能力比較強，那如果是這種情況，你可以自學的，現在有很多的課程都是針對自學的，你可以先試試自學，如果學不好，再去機構學也是一樣的，畢竟去機構學習都是收費的。
而人工智慧編程隨著使用范圍的增加，還有一些核心技術你需要了解。就拿決策樹系列演算法來說，共有以下幾點：
決策樹演算法
決策樹的演算法原理與數學表達、分裂指標Gini系數、信息增益、信息增益率 、前剪枝與後剪枝、決策樹ID3、C4.5和CART、決策樹演算法優略比較、決策樹之鳶尾花數據集分類案例、通過graphvis繪制決策樹模型
隨機森林演算法
集成學習演算法思想Bagging、Boosting、Stacking 、用戶畫像集成學習方法案例、 OOB數據集驗證隨機森林演算法、隨機森林副產品之特徵選擇
Adaboost演算法
Adaboost演算法原理、數據的權重與權重錯誤率、權重錯誤率調整到0.5訓練下一個弱分類器、計算每個樣本的權重Un、 應用Adaboost演算法做人臉識別
GBDT演算法
函數空間的梯度下降與負梯度、推導GBDT回歸是擬合殘差、Shrinkage衰減系數的作用、推導GBDT分類亦是擬合殘差、GBDT二分類模型訓練和使用、GBDT多分類模型訓練和使用、GBDT副產品之特徵組合用於降維、 實現GBDT+LR架構代碼實戰
XGBoost演算法
XGBoost演算法與決策樹集成學習關系、XGBoost目標函數與正則項、 XGBoost目標函數用二階泰勒展開、推導簡化XGBoost目標函數引入g h、 XGBoost目標函數加入樹的復雜度、推導出XGBoost目標函數最終形式和葉子節點表達式、 詳解XGBoost演算法參數與交叉驗證、XGBoost演算法調用GPU顯卡資源加速
這只是人工智慧編程的一個階段的內容，其他階段也都有一些核心，這些都能讓你在工作中更輕松自如。

❷ gbdt演算法是什麼

如下圖：

在建立GBDT對象並作fit之後，可以使用如下代碼獲得要的規則代碼：

dot_data = tree。export_graphviz(model_tree， out_file=None，

max_depth=5， feature_names=names_list， filled=True， rounded=True) # 將決策樹規則生成dot對象。

模型最終可以描述為：

Fm(x)=∑m=1MT(x;θm)Fm(x)=∑m=1MT(x;θm)

模型一共訓練M輪，每輪產生一個弱分類器T(x;θm)T(x;θm)。弱分類器的損失函數

θ^m=argminθm∑i=1NL(yi,Fm−1(xi)+T(xi;θm))θ^m=arg⁡minθm⁡∑i=1NL(yi,Fm−1(xi)+T(xi;θm))

Fm−1(x)Fm−1(x)為當前的模型，gbdt通過經驗風險極小化來確定下一個弱分類器的參數。具體到損失函數本身的選擇也就是L的選擇，有平方損失函數，0-1損失函數，對數損失函數等等。如果我們選擇平方損失函數，那麼這個差值其實就是我們平常所說的殘差。

❸ GBDT預測時每一棵樹是否能並行

傳統GBDT以CART作為基分類器，xgboost還支持線性分類器，這個時候xgboost相當於帶L1和L2正則化項的邏輯斯蒂回歸（分類問題）或者線性回歸（回歸問題）。
傳統GBDT在優化時只用到一階導數信息，xgboost則對代價函數進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboost工具支持自定義代價函數，只要函數可一階和二階求導。
xgboost在代價函數里加入了正則項，用於控制模型的復雜度。正則項里包含了樹的葉子節點個數、每個葉子節點上輸出的score的L2模的平方和。從Bias-variance tradeoff角度來講，正則項降低了模型的variance，使學習出來的模型更加簡單，防止過擬合，這也是xgboost優於傳統GBDT的一個特性。
Shrinkage（縮減），相當於學習速率（xgboost中的eta）。xgboost在進行完一次迭代後，會將葉子節點的權重乘上該系數，主要是為了削弱每棵樹的影響，讓後面有更大的學習空間。實際應用中，一般把eta設置得小一點，然後迭代次數設置得大一點。（補充：傳統GBDT的實現也有學習速率）
列抽樣（column subsampling）。xgboost借鑒了隨機森林的做法，支持列抽樣，不僅能降低過擬合，還能減少計算，這也是xgboost異於傳統gbdt的一個特性。

對缺失值的處理。對於特徵的值有缺失的樣本，xgboost可以自動學習出它的分裂方向。
xgboost工具支持並行。boosting不是一種串列的結構嗎?怎麼並行的？注意xgboost的並行不是tree粒度的並行，xgboost也是一次迭代完才能進行下一次迭代的（第t次迭代的代價函數里包含了前面t-1次迭代的預測值）。xgboost的並行是在特徵粒度上的。我們知道，決策樹的學習最耗時的一個步驟就是對特徵的值進行排序（因為要確定最佳分割點），xgboost在訓練之前，預先對數據進行了排序，然後保存為block結構，後面的迭代中重復地使用這個結構，大大減小計算量。這個block結構也使得並行成為了可能，在進行節點的分裂時，需要計算每個特徵的增益，最終選增益最大的那個特徵去做分裂，那麼各個特徵的增益計算就可以開多線程進行。

可並行的近似直方圖演算法。樹節點在進行分裂時，我們需要計算每個特徵的每個分割點對應的增益，即用貪心法枚舉所有可能的分割點。當數據無法一次載入內存或者在分布式情況下，貪心演算法效率就會變得很低，所以xgboost還提出了一種可並行的近似直方圖演算法，用於高效地生成候選的分割點。

❹ 機器學習演算法中GBDT和XGBOOST的區別有哪些

嘗試回答一下
首先xgboost是Gradient Boosting的一種高效系統實現，並不是一種單一演算法。xgboost裡面的基學習器除了用tree(gbtree)，也可用線性分類器(gblinear)。而GBDT則特指梯度提升決策樹演算法。
xgboost相對於普通gbm的實現，可能具有以下的一些優勢：

顯式地將樹模型的復雜度作為正則項加在優化目標
公式推導里用到了二階導數信息，而普通的GBDT只用到一階
允許使用column(feature) sampling來防止過擬合，借鑒了Random Forest的思想，sklearn里的gbm好像也有類似實現。
4.實現了一種分裂節點尋找的近似演算法，用於加速和減小內存消耗。
5.節點分裂演算法能自動利用特徵的稀疏性。
6.data事先排好序並以block的形式存儲，利於並行計算
7.cache-aware, out-of-core computation，這個我不太懂。。
8.支持分布式計算可以運行在MPI，YARN上，得益於底層支持容錯的分布式通信框架rabit。

❺ xgboost/gbdt在調參時為什麼樹的深度很少就能達到很高的精度

考慮這個簡化的操作：試想把樹的深度設為2，那麼gbdt裡面的基學習器都是二分類決策樹，然後自己在二維坐標繫上畫很多點，然後不停的用boosting的方法用二分類決策樹去進行分類，不同的是，我們簡化權重的計算方式，初始化權重都為1，每次分錯權重不變，分對則權重將為原來的一半，最終能用深度為2的樹成功對很多不規則的點進行分類。
然而用深度為2的樹，用類似RF的bagging方法也能成功對不規則的點分類。
所以到這里，我們實際操作了，用深度低的樹通過ensemble對於不規則的點的分類這種「黑科技」。

那麼為什麼gbdt在樹的深度很小的時候能很快達到很高的預測或分類精度呢？或者說，它比RF明顯。
我的理解是，因為gbdt更多的是一種優化演算法。具體怎麼優化的，期待牛人用公式解答。

❻ 機器學習演算法中GBDT和XGBOOST的區別有哪些

GBDT是一種演算法，XGBOOST是GBDT的一種實現。
除了XGBOOST，還有LightGBM，也支持GBDT演算法，具體可參見：https://github.com/Microsoft/LightGBM

❼ 從原理上來說，GBDT 和 SVM 哪個更強為什麼

GBDT 全稱為 Gradient Boosting Decision Tree。是一種基於決策樹(decision tree)實現的分類回歸演算法。GBDT 有兩部分組成: gradient boosting, decision tree。
支持向量機(support vector machine)是一種分類演算法，通過尋求結構化風險最小來提高學習機泛化能力，實現經驗風險和置信范圍的最小化，從而達到在統計樣本量較少的情況下，亦能獲得良好統計規律的目的。
這兩個演算法關鍵看應用場景，主要是特徵數量、訓練過程和可解釋性有區別。SVM 能夠訓練大量特徵，不用考慮特徵離散化或者分段，非線性映射可以很好的分類。GBDT在特徵較少的時候，能夠高效bootstrap 抽取樣本和特徵，訓練多顆樹，能夠自動做特徵重要性排序，通過gini系數等指標判斷分割點，能夠表達非常復雜的規則。

❽ GBDT 如何實現特徵組合提取

以Python調用sklearn為例，在你建立GBDT對象並作fit之後，可以使用如下代碼獲得你要的規則代碼：

dot_data = tree.export_graphviz(model_tree, out_file=None,
max_depth=5, feature_names=names_list, filled=True, rounded=True) # 將決策樹規則生成dot對象

其中tree就是你的數對象，如果你的out_file後面是一個文件名，那麼你的規則會輸出到文件中；如果是None（就像上面代碼），那麼值會保存在dot_data中。

無論哪種方法，你都能獲得規則文本。然後剩下的就是普通的文本解析的事情了。

在決策樹演算法對象的tree_屬性中，存儲了所有有關決策樹規則的信息（示例中的決策樹規則存儲在model_tree.tree_中）。最主要的幾個屬性：

• children_left：子級左側分類節點

• children_right：子級右側分類節點

• feature：子節點上用來做分裂的特徵

• threshold：子節點上對應特徵的分裂閥值

• values：子節點中包含正例和負例的樣本數量

上述屬性配合節點ID、節點層級便迭代能得到如下的規則信息：

1 [label="rfm_score <= 7.8375 gini = 0.1135 samples =
14581 value = [13700, 881]", fillcolor="#e58139ef"] ;

其中規則開始的1代表節點ID，rfm_score是變數名稱，rfm_score
<= 7.8375是分裂閥值，gini = 0.1135是在當前規則下的基尼指數，nsamples是當前節點下的總樣本量，nvalue為正例和負例的樣本數量。

來源：知乎

❾ 機器學習中GBDT和XGBoosts的區別是

首先來了解一下boosting思想，每次訓練單個弱分類器時，都將上一次分錯的數據權重提高一點再進行當前單個弱分類器的學習，這樣往後執行，訓練出來的單個弱分類器就會越在意那些容易分錯的點，最終通過加權求和的方式組合成一個最終的學習器，gradent boosting 是boosting的一種，每一次構建單個學習器時，是在之前建立的模型的損失函數的梯度下降方向， GB與Adaboost的區別在於：
AdaBoost是通過提升錯分數據點的權重來定位模型的不足。
Gradient Boosting是通過算梯度（gradient）來定位模型的不足。
主要思想是，每一次建立單個學習器時，是在之前建立的模型的損失函數的梯度下降方向，損失函數越大，說明模型越容易出錯，如果我們的模型能夠讓損失函數持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函數在其梯度方向上下降。
GBDT=GB+DT(decision tree),即基分類器為決策樹時，這里的決策樹是回歸樹。
Xgboost 是GB演算法的高效實現，其中基分類器除了可以使CART也可以是線性分類器。
幾大區別：
傳統GBDT以CART作為基分類器，xgboost還支持線性分類器，這個時候xgboost相當於帶L1和L2正則化項的邏輯斯帝回歸或者線性回歸
傳統GBDT在優化時只用到了一階導數，而xgboost對代價函數進行了二階泰勒展開，用到了一階和二階導數
xgboost加入了正則項，防止過擬合
shrinkage，相當於學習率，在每完成一次迭代後，會乘上這個系數，削減每棵樹的影響
列抽樣，借鑒隨機森林的做法，支持列抽樣，不僅能降低過擬合，還能減少計算。