特徵選擇演算法的分類

① 圖像特徵選擇優化方法有哪些以及他們的優缺點

大體講一般分為封裝式和濾波式兩種，區別是封裝式的是以分類器的性能作為評價准則。所以封裝式的方法通用性比較差，而且計算量大，但好處就是獲得的分類效果好。與之對比的是濾波式的方法，濾波式的一般從特徵的結構性出發，計算量小，效率高，速度快，通用性好，但是獲得的分類精度不穩定。

② MI演算法是什麼

是文本特徵選擇演算法
特徵選擇在文本挖掘技術中是一個關鍵部分。訓練集中的文本逐個經過分詞後,可形成文本分類系統的全特徵空間,一般情況下,這個空間的維數都會較大,可達到幾十萬維。經過特徵選擇之後,在降低雜訊的同時,特徵空間的維數得以壓縮,最終能提高分類演算法的速度和分類精度。本文從傳統的MI(Mutual Infomation)出發,並對它進行改造,最後通過實驗驗證改進演算法的有效性。

③ 文本分類 特徵選擇 怎麼確定啊

文本中能觀察到的量其實只有兩個：詞頻和文檔頻率，所有的方法一律以這兩個量為計算基礎。簡單綜合這兩者的TF-IDF選擇出來的特徵不具有類別區分度。
以文檔頻率為基礎的特徵選擇演算法有文檔頻次方法（直接依據文檔頻率大小排序的方法）、卡方檢驗、信息增益、互信息等。

④ 特徵處理有哪些方法

、常用方法
1、時間戳處理
時間戳通常需要分離成多個維度比如年、月、日、小時、分鍾、秒鍾。但在很多的應用中，大量的信息是不需要的，因此我們在呈現時間的時候，試著保證你所提供的所有數據是你的模型所需要的，並且別忘了時區，加入你的數據源來自不同的地理數據源，別忘了利用時區將數據標准化。
2、離散型變數處理
舉一個簡單的例子，由{紅，黃，藍}組成的離散型變數，最常用的方式是吧每個變數值轉換成二元屬性，即從{0，1}取一個值，也就是常說的獨熱編碼(one-hot code)。
3、分箱/分區
有時候，將連續型變數轉換成類別呈現更有意義，同時能夠使演算法減少雜訊的干擾，通過將一定范圍內的數值劃分成確定的塊。舉個例子，我們要預測具有哪些特徵的人會購買我們網店的商品，用戶的年齡是一個連續的變數，我們可以將年齡分為15以下、15-24、25-34、35-44、45及以上。而且，不是將這些類別分成2個點，你可以使用標量值，因為相近的年齡表現出相似的屬性。
只有了解變數的領域知識的基礎，確定屬性能夠劃分成簡潔的范圍時分區才有意義，即所有的數值落入一個分區時能夠呈現出共同的特徵。在實際的運用中，當你不想讓你的模型總是嘗試區分值之間是否太近時，分區能夠避免出現過擬合。例如，如果你感興趣的是將一個城市作為總體，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響，通過將一個給定值劃入到最近的塊中。如果劃分范圍的數量和所有可能值相近，或對你來說准確率很重要的話，此時分箱就不合適了。
4、交叉特徵
交叉特徵算是特徵工程中非常重要的方法之一，它將兩個或更多的類別屬性組合成一個。當組合的特徵要比單個特徵更好時，這是一項非常有用的技術。數學上來說，是對類別特徵的所有值進行交叉相乘。
假如擁有一個特徵A,A有兩個可能值{A1，A2}。擁有一個特徵B，存在{B1，B2}等可能值。然後，A&B之間的交叉特徵如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，並且你可以給這些組合特徵取任何名字。但是需要明白每個組合特徵其實代表著A和B各自信息協同作用。
5、特徵選擇
為了得到更好的模型，使用某些演算法自動的選出原始特徵的子集。這個過程，你不會構建或修改你擁有的特徵，但是會通過修建特徵來達到減少雜訊和冗餘。
特徵選擇演算法可能會用到評分方法來排名和選擇特徵，比如相關性或其他確定特徵重要性的方法，更進一步的方法可能需要通過試錯，來搜素出特徵子集。
還有通過構建輔助模型的方法，逐步回歸就是模型構造過程中自動執行特徵選擇演算法的一個實例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特徵選擇，通過加入額外的約束或者懲罰項加到已有模型(損失函數)上，以防止過擬合並提高泛化能力。
6、特徵縮放
有時候，你可能會注意到某些特徵比其他特徵擁有高得多的跨度值。舉個例子，將一個人的收入和他的年齡進行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特徵值縮放到相同的范圍值內。通過特徵縮放可以避免某些特徵獲得大小非常懸殊的權重值。
7、特徵提取
特徵提取涉及到從原始屬性中自動生成一些新的特徵集的一系列演算法，降維演算法就屬於這一類。特徵提取是一個自動將觀測值降維到一個足夠建模的小數據集的過程。

⑤ CFS的特徵選擇演算法

基於關聯規則的特徵選擇演算法（correlation-based feature selection），是一種經典的過濾器模式的特徵選擇方法。源自論文「correlation-based feature selection for discrete and numeric class machine learning」，啟發地對單一特徵 對應於每個分類的作用進行評價，從而得到最終的特徵子集。特別地，特徵必須是離散的隨機變數，如果是數值型變數，需要首先執行指導的離散化方法來進行離散化特徵。

⑥ 數據挖掘，特徵選擇演算法，機器學習的區別

機器學習（machine learning）是一個大的研究方向，其中特種選擇（feature selection）和數據挖掘（data mining）都是機器學習下面的一個小分支，小研究方向。
特徵選擇一般用於分類，找到最好的特徵進行分類。
數據挖掘的目的是用演算法提取數據中的重要信息，比如聚類、頻繁項集、分類……

⑦ 文本分類 測試集需要進行特徵選擇嗎

文本中能觀察到的量其實只有兩個：詞頻和文檔頻率，所有的方法一律以這兩個量為計算基矗簡單綜合這兩者的TF-IDF選擇出來的特徵不具有類別區分度。 以文檔頻率為基礎的特徵選擇演算法有文檔頻次方法（直接依據文檔頻率大小排序的方法）、卡方檢驗、