红酒质量集成算法实例

10次交叉验证下，虽然决策树的结果有时和随机森林相同，但是大总体上，随机森林结果显着优于决策树。

当random_state固定时，随机森林中生成是一组固定的树，但每棵树依然是不一致的，消除了每次结果的随机性。并且我们可以证明，当这种随机性越大的时候，袋装法的效果一般会越来越好。用袋装法集成时，基分类器应当是相互独立的，是不相同的。但这种做法的局限性是很强的，当我们需要成千上万棵树的时候，数据不一定能够提供成千上万的特征来让我们建尽量多尽量不同的树。因此，除了random_state。我们还需要其他的随机性。

要让基分类器尽量都不一样，则使用不同的训练集来进行训练，而袋装法通过有放回的随机抽样技术来形成不同的训练数据，bootstrap就是用来控制抽样技术的参数。在一个含有n个样本的原始训练集中，我们进行随机采样，每次采样一个样本，并在抽取下一个样本之前将该样本放回原始训练集，也就是说下次采样时这个样本依然可能被采集到，这样采集n次，最终得到一个和原始训练集一样大的n个样本组成的自助集。

由于是随机采样，这样每次的自助集和原始数据集不同，和其他的采样集也是不同的。

这样就有取之不尽用之不竭，并且互不相同的自助集，用这些自助集来训练我们的基分类器，我们的基分类器自然也就各不相同了。这样就会有一部分训练数据被浪费掉，这些数据被称为袋外数据（outofbagdata，简写oob），除了最开始就划分好的测试集之外，这些数据被用来作为集成算法的测试集。

也就是说，在使用随机森林时，我们可以不划分测试集和训练集，只需要用袋外数据来测试模型即可。当然，这也不是绝对的，当n和n_estimators都不够大的时候，很可能就没有数据掉落在袋外，自然也就无法使用oob数据来测试模型了。

如果希望用袋外数据来测试，则需要在实例化时就将oob_score这个参数调整为True，训练完毕之后，我们可以用随机森林的另一个重要属性：oob_score_来查看我们的在袋外数据上测试的结果：

随机森林的接口与决策树完全一致，因此依然有四个常用接口：apply,fit,predict和score。

除此之外，还需要注意随机森林的predict_proba接口，这个接口返回每个测试样本对应的被分到每一类标签的概率，标签有几个分类就返回几个概率。

如果是二分类问题，则predict_proba返回的数值大于0.5的，被分为1，小于0.5的，被分为0。

传统的随机森林是利用袋装法中的规则，平均或少数服从多数来决定集成的结果，而sklearn中的随机森林是平均每个样本对应的predict_proba返回的概率，得到一个平均概率，从而决定测试样本的分类。