随机森林分类算法

① 随机森林只能做二分类吗

随机森林当然不是只能做二分类了，还支持多分类以及回归。随机森林是以决策树作为基础模型的集成算法。随机森林是机器学习模型中用于分类和回归的最成功的模型之一。通过组合大量的决策树来降低过拟合的风险。与决策树一样，随机森林处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。随机森林分别训练一系列的决策树，所以训练过程是并行的。因算法中加入随机过程，所以每个决策树又有少量区别。通过合并每个树的预测结果来减少预测的方差，提高在测试集上的性能表现。

② 怎样用随机森林算法实现文本分类

不了解什么是随机森林。
感觉应该是一种算法。
如果做计算机视觉建议你用OpenCV,

R语言主要用在统计分析、机器学习领域。
你找几篇这方面的文献看看别人跟你做类似课题时是用C++还是R。

③ 如何根据随机森林模型做空间分布图

分类模型——随机森林

用于数据分析算法的分类模型有很多种，比如决策树、人工神经网络、朴素贝叶斯，随机森林等。本次我们重点介绍“随机森林”模型如何绘制成图形。随机森林(Random Forest)是一种由决策树构成的集成学习算法，基本单元是决策树，通过建立多个决策树模型的组合来解决预测问题。单个的决策树模型如下：

第五步：绘制完成后，点击左上角“文件”选项卡，可以选择保存、另存为其他格式：网络、图片、矢量图、PDF、word、PPT……也可以保存在云盘(亿图图示自带云盘)，也可以选择“导出(各类格式)，或者发送(链接到电脑邮件，直接发送)。输出的选择很多，具体看自己的需要了。

④ 随机森林算法是什么

随机森林是一种比较新的机器学习模型。

经典的机器学习模型是神经网络，有半个多世纪的历史了。神经网络预测精确，但是计算量很大。上世纪八十年代Breiman等人发明分类树的算法（Breiman et al. 1984），通过反复二分数据进行分类或回归，计算量大大降低。

2001年Breiman把分类树组合成随机森林（Breiman 2001a），即在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。随机森林在运算量没有显着提高的前提下提高了预测精度。

随机森林对多元共线性不敏感，结果对缺失数据和非平衡的数据比较稳健，可以很好地预测多达几千个解释变量的作用（Breiman 2001b），被誉为当前最好的算法之一（Iverson et al. 2008）。

随机森林优点：

随机森林是一个最近比较火的算法，它有很多的优点：

a、在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。

b、在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林具有很好的抗噪声能力。

c、它能够处理很高维度（feature很多）的数据，并且不用做特征选择，对数据集的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范化。

⑤ 如何用python实现随机森林分类

大家如何使用scikit-learn包中的类方法来进行随机森林算法的预测。其中讲的比较好的是各个参数的具体用途。
这里我给出我的理解和部分翻译：
参数说明：
最主要的两个参数是n_estimators和max_features。
n_estimators：表示森林里树的个数。理论上是越大越好。但是伴随着就是计算时间的增长。但是并不是取得越大就会越好，预测效果最好的将会出现在合理的树个数。
max_features：随机选择特征集合的子集合，并用来分割节点。子集合的个数越少，方差就会减少的越快，但同时偏差就会增加的越快。根据较好的实践经验。如果是回归问题则：
max_features＝n_features，如果是分类问题则max_features＝sqrt(n_features)。

如果想获取较好的结果，必须将max_depth＝None,同时min_sample_split=1。
同时还要记得进行cross_validated（交叉验证），除此之外记得在random forest中，bootstrap=True。但在extra-trees中，bootstrap=False。

这里也给出一篇老外写的文章：调整你的随机森林模型参数http://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/

这里我使用了scikit-learn自带的iris数据来进行随机森林的预测：

[python]view plain

• fromsklearn.

• fromsklearn.

• importnumpyasnp

• fromsklearn.datasetsimportload_iris

• iris=load_iris()

• #printiris#iris的4个属性是：萼片宽度萼片长度花瓣宽度花瓣长度标签是花的种类：setosaversicolourvirginica

• printiris['target'].shape

• rf=RandomForestRegressor()#这里使用了默认的参数设置

• rf.fit(iris.data[:150],iris.target[:150])#进行模型的训练

• #

• #随机挑选两个预测不相同的样本

• instance=iris.data[[100,109]]

• printinstance

• print'instance0prediction；',rf.predict(instance[0])

• print'instance1prediction；',rf.predict(instance[1])

• printiris.target[100],iris.target[109]





• 返回的结果如下：


• (150,)


• [[ 6.3 3.3 6. 2.5]


• [ 7.2 3.6 6.1 2.5]]


• instance 0 prediction； [ 2.]


• instance 1 prediction； [ 2.]


• 2 2




• 在这里我有点困惑，就是在scikit-learn算法包中随机森林实际上就是一颗颗决策树组成的。但是之前我写的决策树博客中是可以将决策树给显示出来。但是随机森林却做了黑盒处理。我们不知道内部的决策树结构，甚至连父节点的选择特征都不知道是谁。所以我给出下面的代码（这代码不是我的原创），可以显示的显示出所有的特征的贡献。所以对于贡献不大的，甚至是负贡献的我们可以考虑删除这一列的特征值，避免做无用的分类。



[python]view plain

• fromsklearn.cross_validationimportcross_val_score,ShuffleSplit

• X=iris["data"]

• Y=iris["target"]

• names=iris["feature_names"]

• rf=RandomForestRegressor()

• scores=[]

• foriinrange(X.shape[1]):

• score=cross_val_score(rf,X[:,i:i+1],Y,scoring="r2",

• cv=ShuffleSplit(len(X),3,.3))

• scores.append((round(np.mean(score),3),names[i]))

• printsorted(scores,reverse=True)





• 显示的结果如下：


• [(0.934, 'petal width (cm)'), (0.929, 'petal length (cm)'), (0.597, 'sepal length (cm)'), (0.276, 'sepal width (cm)')]




• 这里我们会发现petal width、petal length这两个特征将起到绝对的贡献，之后是sepal length，影响最小的是sepal width。这段代码将会提示我们各个特征的贡献，可以让我们知道部分内部的结构。

⑥ 随机森林的释义

在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 Random Forests 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 Bootstrap aggregating 想法和 Ho 的random subspace method以建造决策树的集合.

⑦ 为什么随机森林算法一定会带来性能提升

随机森林是一种集成分类器,对影响随机森林性能的参数进行了分析,结果表明随机森林中树的数量对随机森林的性能影响至关重要。对树的数量的确定方法以及随机森林性能指标的评价方法进行了研究与总结。以分类精度为评价方法,利用UCI数据集对随机森

⑧ 求助大神 怎样用envi进行随机森林算法分类

随机森林算法（Randomforestalgorithm）是对bagging算法的扩展。除了仍然根据从训练数据样本建立复合模型之外，随机森林对用做构建树（tree）的数据特征做了一定限制，使得生成的决策树之间没有关联，从而提升算法效果。

⑨ 求问随机森林算法的简单实现过程

随机森林（Random forest）指的是利用多棵树对样本进行训练并预测的一种分类器。 并且其输出的类别是由个别树输出的类别的众数而定。在机器学习中有一个地位很重要的包scikit-learn可实现随机森林算法。

原理：（随机森林的分类预测和回归预测sklearn.ensemble.RandomForestRegressor方法）
(1)给定训练集S，测试集T，特征维数F。确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m，对于第1-t棵树，i=1-t：
(2)从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练
(3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，如果是分类问题，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例；如果是回归问题，预测输出为当前节点样本集各个样本值的平均值。然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点。
(4)重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点。
(5)重复(2),(3),(4)直到所有CART都被训练过。
随机森林的简单实现过程如下：
一、 开发环境、编译环境：
PyCharm Community Edition 2016.2.3
Python2.7.10
二、 所用库及安装方法：
pandas[python自带]
sklearn：命令行pip install sklearn;如果没有安装pip,先使用easy_install pip安装pip；如果在MAC上没有权限，使用sudo pip install sklearn;
三、 代码介绍
1. 使用pandas读取本地excel的训练集和测试集，将属性集赋给X_train和Y_train;将要预测的集合赋给X_test和Y_test;
2. 使用DictVectorizer对数据进行规范化、标准化
3. 生成RandomForestRegressor对象，并将训练集传入fit方法中进行训练
4. 调用predict函数进行预测，并将结果存入y_predict变量中；
5. 使用mean_squared_error、score方法输出MSE、NMSE值对拟合度、稳定度进行分析；输出feature_importance，对影响最终结果的属性进行分析；
6. 详细代码见附录
四、 附录
# coding:utf-8
import pandas as pd
data_train = pd.read_excel('/Users/xiaoliu/Desktop/data_train.xlsx')
X_train = data_train[['CPI', 'GDP', 'PPI', 'AJR', 'BJFJ', 'FBDR', 'PCFD', 'PCFDED', 'BDR']]
y_train = data_train['FJ']

data_test = pd.read_excel('/Users/xiaoliu/Desktop/data_test.xlsx')
X_test = data_test[['CPI', 'GDP', 'PPI', 'AJR', 'BJFJ', 'FBDR', 'PCFD', 'PCFDED', 'BDR']]
y_test = data_test['FJ']

from sklearn.feature_extraction import DictVectorizer

vec = DictVectorizer(sparse=False)
X_train = vec.fit_transform(X_train.to_dict(orient='records'))
X_test = vec.transform(X_test.to_dict(orient='records'))

from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor()
rf.fit(X_train,y_train)
y_predict = rf.predict(X_test)
print 'predict value:',y_predict

from sklearn.metrics import mean_squared_error
print 'MSE:', mean_squared_error(y_test, y_predict)
print 'NMES:',rf.score(X_test, y_test)
print rf.feature_importances_