紅酒質量集成演算法實例

10次交叉驗證下，雖然決策樹的結果有時和隨機森林相同，但是大總體上，隨機森林結果顯著優於決策樹。

當random_state固定時，隨機森林中生成是一組固定的樹，但每棵樹依然是不一致的，消除了每次結果的隨機性。並且我們可以證明，當這種隨機性越大的時候，袋裝法的效果一般會越來越好。用袋裝法集成時，基分類器應當是相互獨立的，是不相同的。但這種做法的局限性是很強的，當我們需要成千上萬棵樹的時候，數據不一定能夠提供成千上萬的特徵來讓我們建盡量多盡量不同的樹。因此，除了random_state。我們還需要其他的隨機性。

要讓基分類器盡量都不一樣，則使用不同的訓練集來進行訓練，而袋裝法通過有放回的隨機抽樣技術來形成不同的訓練數據，bootstrap就是用來控制抽樣技術的參數。在一個含有n個樣本的原始訓練集中，我們進行隨機采樣，每次采樣一個樣本，並在抽取下一個樣本之前將該樣本放回原始訓練集，也就是說下次采樣時這個樣本依然可能被採集到，這樣採集n次，最終得到一個和原始訓練集一樣大的n個樣本組成的自助集。

由於是隨機采樣，這樣每次的自助集和原始數據集不同，和其他的采樣集也是不同的。

這樣就有取之不盡用之不竭，並且互不相同的自助集，用這些自助集來訓練我們的基分類器，我們的基分類器自然也就各不相同了。這樣就會有一部分訓練數據被浪費掉，這些數據被稱為袋外數據（outofbagdata，簡寫oob），除了最開始就劃分好的測試集之外，這些數據被用來作為集成演算法的測試集。

也就是說，在使用隨機森林時，我們可以不劃分測試集和訓練集，只需要用袋外數據來測試模型即可。當然，這也不是絕對的，當n和n_estimators都不夠大的時候，很可能就沒有數據掉落在袋外，自然也就無法使用oob數據來測試模型了。

如果希望用袋外數據來測試，則需要在實例化時就將oob_score這個參數調整為True，訓練完畢之後，我們可以用隨機森林的另一個重要屬性：oob_score_來查看我們的在袋外數據上測試的結果：

隨機森林的介面與決策樹完全一致，因此依然有四個常用介面：apply,fit,predict和score。

除此之外，還需要注意隨機森林的predict_proba介面，這個介面返回每個測試樣本對應的被分到每一類標簽的概率，標簽有幾個分類就返回幾個概率。

如果是二分類問題，則predict_proba返回的數值大於0.5的，被分為1，小於0.5的，被分為0。

傳統的隨機森林是利用袋裝法中的規則，平均或少數服從多數來決定集成的結果，而sklearn中的隨機森林是平均每個樣本對應的predict_proba返回的概率，得到一個平均概率，從而決定測試樣本的分類。