① 機器學習中bagging和boosting的區別
Bagging和Boosting在機器學習中是兩種不同的集成學習方法，它們的主要區別如下：
采樣方式與模型訓練：
Bagging：採用自助采樣法，通過對原始數據集進行多次隨機采樣構建多個不同的訓練子集。每個子集都用於訓練一個基模型，這些模型是並行訓練的。
Boosting：則不進行隨機采樣，而是採用加權采樣。在每次迭代中，根據前一個模型的性能調整樣本權重，使得後續模型能夠更多地關注那些被錯誤分類的樣本。模型是序列化訓練的。
模型組合方式：
Bagging：在預測階段，採用簡單投票或平均的方式將多個模型的預測結果進行組合，從而得到最終的預測結果。
Boosting：通過加權投票的方式組合模型，每個模型的權重通常與其在訓練集上的性能相關。
目標與應用場景：
Bagging：主要目標是減少模型的方差，提高模型的泛化能力。適用於數據集中存在雜訊或數據分布不均勻的情況。
Boosting：主要目標是提升模型的性能，通過迭代調整權重來集中關注難以分類的樣本。適用於數據集中樣本分布不均衡或存在復雜非線性關系的情況。
常見演算法：
Bagging：常見的演算法包括隨機森林等。
Boosting：常見的演算法包括AdaBoost、Gradient Boosting等。
綜上所述，Bagging和Boosting在處理數據和構建模型的方式上存在顯著差異，具體選擇哪種方法取決於數據的特性以及問題的需求。
② 集成演算法——bagging
集成演算法，即Bagging演算法，是一種在機器學習領域用於提升模型准確率與穩定性，同時降低過擬合風險的團體學習策略。Bagging的核心思想在於構建多個弱學習器，這些學習器之間是並行關系，可同時訓練，最終通過組合它們的預測結果來提高整體性能。
Bagging演算法原理圖展示了其工作流程。首先，通過有放回地隨機抽取原始數據集形成多個子集，然後在這些子集上分別訓練模型。每個子集大小與原始數據集相同，但樣本點會有重復，因此大約會有1/3的樣本點缺失，形成所謂的「袋外數據」。
在訓練過程中，每輪從原始數據集中使用Bootstraping抽取訓練樣本，總共進行k輪抽取，得到k個獨立的訓練集。每個訓練集用於生成一個模型，最終通過投票（分類問題）或計算平均值（回歸問題）的方式整合模型預測結果。
Bagging演算法的關鍵特點是通過多次采樣和構建模型，增強了模型的泛化能力，特別適用於偏差低、方差高的模型。這種方法適合融合弱分類器，如決策樹等。
實現方面，Bagging支持使用多種分類演算法作為弱分類器。最常見的是決策樹，其集成稱為隨機森林演算法。隨機森林基於的CART樹模型通過隨機選擇樣本特徵進行節點劃分，引入了兩個隨機性：樣本隨機性和特徵隨機性。這使得模型之間相關性降低，方差下降，泛化能力增強。
實現過程包括：從原始訓練數據中隨機抽取n個數據作為訓練數據輸入（存在未被抽中的「袋外數據」），在每個訓練數據輸入後構建決策樹，選取隨機特徵進行最優劃分。通過多次構建決策樹，生成隨機森林，用於預測時採用多數投票方式決定最終結果。
隨機森林的優點在於抗雜訊能力強、方差小、泛化能力強，不易過擬合，且訓練速度快，適合大數據處理。它無需特徵選擇，能處理高維度數據，連續和離散數據均可，且對數據歸一化無要求。此外，隨機森林能給出特徵重要性排序，檢測特徵間的相互影響，對部分特徵缺失不敏感。
然而，隨機森林也存在局限性。在雜訊較大的數據集上容易過擬合，取值劃分多的特徵可能影響模型效果。與Bagging相比，Boosting演算法通過逐步聚焦於分類錯誤的數據點，以提高模型性能，而Bagging則通過構建獨立模型來提升泛化能力。