① 机器学习中bagging和boosting的区别
Bagging和Boosting在机器学习中是两种不同的集成学习方法，它们的主要区别如下：
采样方式与模型训练：
Bagging：采用自助采样法，通过对原始数据集进行多次随机采样构建多个不同的训练子集。每个子集都用于训练一个基模型，这些模型是并行训练的。
Boosting：则不进行随机采样，而是采用加权采样。在每次迭代中，根据前一个模型的性能调整样本权重，使得后续模型能够更多地关注那些被错误分类的样本。模型是序列化训练的。
模型组合方式：
Bagging：在预测阶段，采用简单投票或平均的方式将多个模型的预测结果进行组合，从而得到最终的预测结果。
Boosting：通过加权投票的方式组合模型，每个模型的权重通常与其在训练集上的性能相关。
目标与应用场景：
Bagging：主要目标是减少模型的方差，提高模型的泛化能力。适用于数据集中存在噪声或数据分布不均匀的情况。
Boosting：主要目标是提升模型的性能，通过迭代调整权重来集中关注难以分类的样本。适用于数据集中样本分布不均衡或存在复杂非线性关系的情况。
常见算法：
Bagging：常见的算法包括随机森林等。
Boosting：常见的算法包括AdaBoost、Gradient Boosting等。
综上所述，Bagging和Boosting在处理数据和构建模型的方式上存在显着差异，具体选择哪种方法取决于数据的特性以及问题的需求。
② 集成算法——bagging
集成算法，即Bagging算法，是一种在机器学习领域用于提升模型准确率与稳定性，同时降低过拟合风险的团体学习策略。Bagging的核心思想在于构建多个弱学习器，这些学习器之间是并行关系，可同时训练，最终通过组合它们的预测结果来提高整体性能。
Bagging算法原理图展示了其工作流程。首先，通过有放回地随机抽取原始数据集形成多个子集，然后在这些子集上分别训练模型。每个子集大小与原始数据集相同，但样本点会有重复，因此大约会有1/3的样本点缺失，形成所谓的“袋外数据”。
在训练过程中，每轮从原始数据集中使用Bootstraping抽取训练样本，总共进行k轮抽取，得到k个独立的训练集。每个训练集用于生成一个模型，最终通过投票（分类问题）或计算平均值（回归问题）的方式整合模型预测结果。
Bagging算法的关键特点是通过多次采样和构建模型，增强了模型的泛化能力，特别适用于偏差低、方差高的模型。这种方法适合融合弱分类器，如决策树等。
实现方面，Bagging支持使用多种分类算法作为弱分类器。最常见的是决策树，其集成称为随机森林算法。随机森林基于的CART树模型通过随机选择样本特征进行节点划分，引入了两个随机性：样本随机性和特征随机性。这使得模型之间相关性降低，方差下降，泛化能力增强。
实现过程包括：从原始训练数据中随机抽取n个数据作为训练数据输入（存在未被抽中的“袋外数据”），在每个训练数据输入后构建决策树，选取随机特征进行最优划分。通过多次构建决策树，生成随机森林，用于预测时采用多数投票方式决定最终结果。
随机森林的优点在于抗噪声能力强、方差小、泛化能力强，不易过拟合，且训练速度快，适合大数据处理。它无需特征选择，能处理高维度数据，连续和离散数据均可，且对数据归一化无要求。此外，随机森林能给出特征重要性排序，检测特征间的相互影响，对部分特征缺失不敏感。
然而，随机森林也存在局限性。在噪声较大的数据集上容易过拟合，取值划分多的特征可能影响模型效果。与Bagging相比，Boosting算法通过逐步聚焦于分类错误的数据点，以提高模型性能，而Bagging则通过构建独立模型来提升泛化能力。