常用文本分類特徵演算法

① 文本分類所用的特徵有哪些

政治文化
政治文化是一個民族在特定時期形成的一種政治態度、信仰和情感，是政治關系在人們精神領域內的投射形式。

如果我們做一個比喻，把政治體系分為「硬體」（hardware）和「軟體」（soft-ware）兩個部分，那麼，各種制度化和結構化的政治組織、機構和規則，可以說是政治體系的「硬體」部分，而構成「軟體「的東西則是政治文化（political culture）。猶如計算機運行需要軟體/硬體相互兼容一樣，政治文化與政治制度也需要相互匹配。

政治文化屬於政治社會的精神范疇，它是一個社會關於政治體系和政治問題的態度、信念、情緒和價值的總體傾向。由於政治文化與政治體系關系密切，政治文化研究也就成為政治體系研究的一個重要方面。又由於政治文化反映了政治體系的特點，故而研究政治文化的特徵可以作為研究政治的一個重要方法和途徑。

政治文化是一個非常近期的概念，它的提出不過是20世紀50年代的事情。但是，政治文化研究卻歷史久遠。古希臘時期亞里士多德（Aristotle）曾專門研究政治革命和政治變遷的心理因素。近代思想家孟德斯鳩（Montesquieu）的《論法的精神》和《羅馬盛衰原因論》，馬克斯·韋伯（Max Weber）的《新教倫理與資本主義精神》，托克維爾（Tocqueville）的《舊制度與法國大革命》和《論美國的民主》等著作都可以被看作政治文化研究的典型案例。

當代政治文化研究起始於美國政治學家阿爾蒙德（G.A.Almond）。1956年，阿爾蒙德在美國《政治學雜志》上發表論文「比較政治體系」，首次提出「政治文化」這一概念。在以後的研究中，阿爾蒙德和維巴（S.Verba）應用行為分析方法，採用民意調查的手段，系統研究和分析美國、英國、德國、義大利和墨西哥五國國民的政治態度，並於1963年出版《公民文化》（The Civic Culture）。該書為政治文化研究提供了基本概念和理論框架，因此被視為當代政治文化研究的經典之作。此後，許多政治學家轉向政治文化研究，他們通過社會調查，採用隨機抽樣、訪談、數據分析等技術手段，展開更加廣泛的比較研究。在20世紀60-70年代，政治文化研究與現代化理論相結合，從理論和方法兩個方面為跨國研究和社會轉型研究提供了有力的支持。

政治學家從不同的角度出發對政治文化作了定義。根據阿爾蒙德觀點，政治文化是一個民族在特定時期流行的一套政治態度、政治信仰和感情，它由本民族的歷史和當代社會、經濟和政治活動進程所促成。在阿爾蒙德定義的基礎上，派伊（Lucian Pye）認為，政治文化是政治系統中存在的政治主觀因素，包括一個社會的政治傳統、政治意識、民族精神和氣質、政治心理、個人價值觀、公眾輿論等等，其作用在於賦政治系統以價值取向，規范個人政治行為，使政治系統保持一致。維巴在分析政治文化的構成和作用時進一步指出，一個社會的政治文化由經驗基礎上形成的一系列信念、符號和價值所構成，它決定了人們行為的條件，為人們提供了參與政治的主觀意向。根據他們的解釋，我們可以為政治文化做出如下定義：政治文化是一國國民長期形成的相對穩定的對於生活其中的政治體系和所承擔政治角色的認知、情感和態度，它與政府、政治組織等制度性結構相對應，成為政治體系的主觀因素。

政治文化作為政治體系觀念形態的東西，包含著廣泛的內容。政治思想和政治意識形態可以看作是一個國家政治文化較為系統和理性的表述。在日常生活中，政治文化一般以一定的政治認知或意識（awareness）、政治價值觀念（values）、政治（beliefs）、政治情感（feelings）、政治態度（attitudes）等形式表現出來。政治文化不同於公眾輿論或民意（public opinion），前者具有穩定性，反映的是長期形成的比較穩定的一貫性的政治傾向和心理，後者指的是人們對於某一具體事務或問題所產生的一時性的反應。

政治文化具有延續性，它通過政治社會化（political socialization）得以傳播和沿襲。政治文化的延續性使一國文化有可能代代相傳，也使國家、地域、民族之間的政治文化呈現出長期的差異性。

政治文化作為一種社會意識形態，是人們參與現實政治生活過程的經驗積累。根據馬克思主義的觀點，它具有相對獨立性和能動性：一方面，它在現實生活中形成，將現實政治生活通過觀念的方式保留下來，並隨著政治生活的變化和政治制度的改變而有所改變；另一方面，它對於社會政治生活和政治行為又具有巨大的心理和精神支配作用。進一步而言，政治文化對既有政治體系起著維護和延續的作用，同時，政治文化的變化最終又可能帶來現實政治制度和政治生活的變遷。政治文化作為政治體系的「軟體」部分，一般與政治制度性結構安排相匹配。跨國性比較研究和現代化研究顯示，傳統社會與現代社會的差異不僅體現在制度安排方面，而且也體現在政治文化方面；民主政治制度的良好運轉，需要以民主的政治文化為條件

② 文本分類和聚類有什麼區別

文本分類和聚類有什麼區別
簡單點說：分類是將一篇文章或文本自動識別出來，按照已經定義好的類別進行匹配，確定。聚類就是將一組的文章或文本信息進行相似性的比較，將比較相似的文章或文本信息歸為同一組的技術。分類和聚類都是將相似對象歸類的過程。區別是，分類是事先定義好類別，類別數不變。分類器需要由人工標注的分類訓練語料訓練得到，屬於有指導學習范疇。聚類則沒有事先預定的類別，類別數不確定。聚類不需要人工標注和預先訓練分類器，類別在聚類過程中自動生成。分類適合類別或分類體系已經確定的場合，比如按照國圖分類法分類圖書；聚類則適合不存在分類體系、類別數不確定的場合，一般作為某些應用的前端，比如多文檔文摘、搜索引擎結果後聚類(元搜索)等。
分類(classification )是找出描述並區分數據類或概念的模型(或函數)，以便能夠使用模型預測類標記未知的對象類。分類技術在數據挖掘中是一項重要任務,目前商業上應用最多。分類的目的是學會一個分類函數或分類模型(也常常稱作分類器),該模型能把資料庫中的數據項映射到給定類別中的某一個類中。
要構造分類器，需要有一個訓練樣本數據集作為輸入。訓練集由一組資料庫記錄或元組構成，每個元組是一個由有關欄位(又稱屬性或特徵)值組成的特徵向量，此外，訓練樣本還有一個類別標記。一個具體樣本的形式可表示為：(v1,v2,...,vn; c)；其中vi表示欄位值，c表示類別。分類器的構造方法有統計方法、機器學習方法、神經網路方法等等。
不同的分類器有不同的特點。有三種分類器評價或比較尺度：1)預測准確度；2)計算復雜度；3)模型描述的簡潔度。預測准確度是用得最多的一種比較尺度，特別是對於預測型分類任務。計算復雜度依賴於具體的實現細節和硬體環境，在數據挖掘中，由於操作對象是巨量的數據，因此空間和時間的復雜度問題將是非常重要的一個環節。對於描述型的分類任務，模型描述越簡潔越受歡迎。
另外要注意的是，分類的效果一般和數據的特點有關，有的數據雜訊大，有的有空缺值，有的分布稀疏，有的欄位或屬性間相關性強，有的屬性是離散的而有的是連續值或混合式的。目前普遍認為不存在某種方法能適合於各種特點的數據
聚類(clustering)是指根據「物以類聚」原理，將本身沒有類別的樣本聚集成不同的組，這樣的一組數據對象的集合叫做簇，並且對每一個這樣的簇進行描述的過程。它的目的是使得屬於同一個簇的樣本之間應該彼此相似，而不同簇的樣本應該足夠不相似。與分類規則不同，進行聚類前並不知道將要劃分成幾個組和什麼樣的組，也不知道根據哪些空間區分規則來定義組。其目的旨在發現空間實體的屬性間的函數關系，挖掘的知識用以屬性名為變數的數學方程來表示。聚類技術正在蓬勃發展，涉及范圍包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等領域，聚類分析已經成為數據挖掘研究領域中一個非常活躍的研究課題。常見的聚類演算法包括：K-均值聚類演算法、K-中心點聚類演算法、CLARANS、BIRCH、CLIQUE、DBSCAN等。關鍵詞：文本分類 文本聚類 數據挖掘 機器學習

③ 目前最好的文本分類演算法

文本分類問題與其它分類問題沒有本質上的區別，其方法可以歸結為根據待分類數據的某些特徵來進行匹配，當然完全的匹配是不太可能的，因此必須（根據某種評價標准）選擇最優的匹配結果，從而完成分類。

④ 分類和聚類的區別及各自的常見演算法

1、分類和聚類的區別：
Classification (分類)，對於一個classifier，通常需要你告訴它「這個東西被分為某某類」這樣一些例子，理想情況下，一個 classifier 會從它得到的訓練集中進行「學習」，從而具備對未知數據進行分類的能力，這種提供訓練數據的過程通常叫做supervised learning (監督學習)，
Clustering (聚類)，簡單地說就是把相似的東西分到一組，聚類的時候，我們並不關心某一類是什麼，我們需要實現的目標只是把相似的東西聚到一起。因此，一個聚類演算法通常只需要知道如何計算相似度就可以開始工作了，因此 clustering 通常並不需要使用訓練數據進行學習，這在Machine Learning中被稱作unsupervised learning (無監督學習).
2、常見的分類與聚類演算法
所謂分類，簡單來說，就是根據文本的特徵或屬性，劃分到已有的類別中。如在自然語言處理NLP中，我們經常提到的文本分類便就是一個分類問題，一般的模式分類方法都可用於文本分類研究。常用的分類演算法包括：決策樹分類法，樸素貝葉斯分類演算法(native Bayesian classifier)、基於支持向量機(SVM)的分類器，神經網路法，k-最近鄰法(k-nearestneighbor，kNN)，模糊分類法等等。
分類作為一種監督學習方法，要求必須事先明確知道各個類別的信息，並且斷言所有待分類項都有一個類別與之對應。但是很多時候上述條件得不到滿足，尤其是在處理海量數據的時候，如果通過預處理使得數據滿足分類演算法的要求，則代價非常大，這時候可以考慮使用聚類演算法。
而K均值(K-mensclustering)聚類則是最典型的聚類演算法(當然，除此之外，還有很多諸如屬於劃分法K中心點（K-MEDOIDS）演算法、CLARANS演算法；屬於層次法的BIRCH演算法、CURE演算法、CHAMELEON演算法等；基於密度的方法：DBSCAN演算法、OPTICS演算法、DENCLUE演算法等；基於網格的方法：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法；基於模型的方法)。

⑤ 利用文本分類演算法 判斷某句話屬於哪個類

特徵值比如TF IDF肯定是平滑的結果，所以這樣的權重肯定存在吧。。

所謂就是說：假設所有特徵詞都出現過一次，這樣就不存在權值不存在的情況了。。。

⑥ 文本分類的6類方法

一、中文分詞：

針對中文文本分類時，很關鍵的一個技術就是中文分詞。特徵粒度為詞粒度遠遠好於字粒度，其大部分分類演算法不考慮詞序信息，基於字粒度的損失了過多的n-gram信息。下面簡單總結一下中文分詞技術:基於字元串匹配的分詞方法、基於理解的分詞方法和基於統計的分詞方法 [1]。

1，基於字元串匹配的分詞方法：
過程：這是一種基於詞典的中文分詞，核心是首先建立統一的詞典表，當需要對一個句子進行分詞時，首先將句子拆分成多個部分，將每一個部分與字典一一對應，如果該詞語在詞典中，分詞成功，否則繼續拆分匹配直到成功。
核心： 字典，切分規則和匹配順序是核心。
分析：優點是速度快，時間復雜度可以保持在O（n）,實現簡單，效果尚可；但對歧義和未登錄詞處理效果不佳。

2，基於理解的分詞方法：基於理解的分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由於漢語語言知識的籠統、復雜性，難以將各種語言信息組織成機器可直接讀取的形式，因此目前基於理解的分詞系統還處在試驗階段。

3，基於統計的分詞方法：
過程：統計學認為分詞是一個概率最大化問題，即拆分句子，基於語料庫，統計相鄰的字組成的詞語出現的概率，相鄰的詞出現的次數多，就出現的概率大，按照概率值進行分詞，所以一個完整的語料庫很重要。
主要的統計模型有： N元文法模型（N-gram），隱馬爾可夫模型（Hidden Markov Model ，HMM），最大熵模型（ME），條件隨機場模型（Conditional Random Fields，CRF）等。

二、文本預處理：

1，分詞： 中文任務分詞必不可少，一般使用jieba分詞，工業界的翹楚。
2，去停用詞：建立停用詞字典，目前停用詞字典有2000個左右，停用詞主要包括一些副詞、形容詞及其一些連接詞。通過維護一個停用詞表，實際上是一個特徵提取的過程，本質 上是特徵選擇的一部分。
3，詞性標註： 在分詞後判斷詞性（動詞、名詞、形容詞、副詞…），在使用jieba分詞的時候設置參數

⑦ 文本分類 特徵選擇 怎麼確定啊

文本中能觀察到的量其實只有兩個：詞頻和文檔頻率，所有的方法一律以這兩個量為計算基礎。簡單綜合這兩者的TF-IDF選擇出來的特徵不具有類別區分度。
以文檔頻率為基礎的特徵選擇演算法有文檔頻次方法（直接依據文檔頻率大小排序的方法）、卡方檢驗、信息增益、互信息等。

⑧ 文本分類的方法

文本分類問題與其它分類問題沒有本質上的區別，其方法可以歸結為根據待分類數據的某些特徵來進行匹配，當然完全的匹配是不太可能的，因此必須（根據某種評價標准）選擇最優的匹配結果，從而完成分類。 後來人們意識到，究竟依據什麼特徵來判斷文本應當隸屬的類別這個問題，就連人類自己都不太回答得清楚，有太多所謂「只可意會，不能言傳」的東西在裡面。人類的判斷大多依據經驗以及直覺，因此自然而然的會有人想到何讓機器像人類一樣自己來通過對大量同類文檔的觀察來自己總結經驗，作為今後分類的依據。這便是統計學習方法的基本思想。
統計學習方法需要一批由人工進行了准確分類的文檔作為學習的材料（稱為訓練集，注意由人分類一批文檔比從這些文檔中總結出准確的規則成本要低得多），計算機從這些文檔中挖掘出一些能夠有效分類的規則，這個過程被形象的稱為訓練，而總結出的規則集合常常被稱為分類器。訓練完成之後，需要對計算機從來沒有見過的文檔進行分類時，便使用這些分類器來進行。這些訓練集包括sogou文本分類分類測試數據、中文文本分類分類語料庫，包含Arts、Literature等類別的語料文本、可用於聚類的英文文本數據集、網易分類文本分類文本數據、tc-corpus-train(語料庫訓練集，適用於文本分類分類中的訓練)、2002年中文網頁分類訓練集CCT2002-v1.1等。
現如今，統計學習方法已經成為了文本分類領域絕對的主流。主要的原因在於其中的很多技術擁有堅實的理論基礎（相比之下，知識工程方法中專家的主觀因素居多），存在明確的評價標准，以及實際表現良好。統計分類演算法
將樣本數據成功轉化為向量表示之後，計算機才算開始真正意義上的「學習」過程。常用的分類演算法為：
決策樹，Rocchio，樸素貝葉斯，神經網路，支持向量機，線性最小平方擬合，kNN，遺傳演算法，最大熵，Generalized Instance Set等。在這里只挑幾個最具代表性的演算法侃一侃。
Rocchio演算法
Rocchio演算法應該算是人們思考文本分類問題時最先能想到，也最符合直覺的解決方法。基本的思路是把一個類別里的樣本文檔各項取個平均值（例如把所有 「體育」類文檔中詞彙「籃球」出現的次數取個平均值，再把「裁判」取個平均值，依次做下去），可以得到一個新的向量，形象的稱之為「質心」，質心就成了這 個類別最具代表性的向量表示。再有新文檔需要判斷的時候，比較新文檔和質心有多麼相像（八股點說，判斷他們之間的距離）就可以確定新文檔屬不屬於這個類。 稍微改進一點的Rocchio演算法不僅考慮屬於這個類別的文檔（稱為正樣本），也考慮不屬於這個類別的文檔數據（稱為負樣本），計算出來的質心盡量靠近正樣本同時盡量遠離負樣本。Rocchio演算法做了兩個很致命的假設，使得它的性能出奇的差。一是它認為一個類別的文檔僅僅聚集在一個質心的周圍，實際情況往往不是如此（這樣的數據稱為線性不可分的）；二是它假設訓練數據是絕對正確的，因為它沒有任何定量衡量樣本是否含有雜訊的機制，因而也就對錯誤數據毫無抵抗力。
不過Rocchio產生的分類器很直觀，很容易被人類理解，演算法也簡單，還是有一定的利用價值的，常常被用來做科研中比較不同演算法優劣的基線系統（Base Line）。
樸素貝葉斯演算法
貝葉斯演算法關注的是文檔屬於某類別概率。文檔屬於某個類別的概率等於文檔中每個詞屬於該類別的概率的綜合表達式。而每個詞屬於該類別的概率又在一定程度上 可以用這個詞在該類別訓練文檔中出現的次數（詞頻信息）來粗略估計，因而使得整個計算過程成為可行的。使用樸素貝葉斯演算法時，在訓練階段的主要任務就是估計這些值。
樸素貝葉斯演算法的公式並不是只有一個。
首先對於每一個樣本中的元素要計算先驗概率。其次要計算一個樣本對於每個分類的概率，概率最大的分類將被採納。所以
其中P(d| Ci)=P(w1|Ci) P(w2|Ci) …P(wi|Ci) P(w1|Ci) …P(wm|Ci) （式1）
P(w|C)=元素w在分類為C的樣本中出現次數/數據整理後的樣本中元素的總數(式2)
這其中就蘊含著樸素貝葉斯演算法最大的兩個缺陷。
首先，P(d| Ci)之所以能展開成（式1）的連乘積形式，就是假設一篇文章中的各個詞之間是彼此獨立的，其中一個詞的出現絲毫不受另一個詞的影響（回憶一下概率論中變 量彼此獨立的概念就可以知道），但這顯然不對，即使不是語言學專家的我們也知道，詞語之間有明顯的所謂「共現」關系，在不同主題的文章中，可能共現的次數 或頻率有變化，但彼此間絕對談不上獨立。
其二，使用某個詞在某個類別訓練文檔中出現的次數來估計P(wi|Ci)時，只在訓練樣本數量非常多的情況下才比較准確（考慮扔硬幣的問題，得通過大量觀 察才能基本得出正反面出現的概率都是二分之一的結論，觀察次數太少時很可能得到錯誤的答案），而需要大量樣本的要求不僅給前期人工分類的工作帶來更高要求 （從而成本上升），在後期由計算機處理的時候也對存儲和計算資源提出了更高的要求。
但是稍有常識的技術人員都會了解，數據挖掘中佔用大量時間的部分是數據整理。在數據整理階段，可以根據詞彙的情況生成字典，刪除冗餘沒有意義的詞彙，對於單字和重要的片語分開計算等等。
這樣可以避免樸素貝葉斯演算法的一些問題。其實真正的問題還是存在於演算法對於信息熵的計算方式。
樸素貝葉斯演算法在很多情況下，通過專業人員的優化，可以取得極為良好的識別效果。最為人熟悉的兩家跨國軟體公司在目前仍採用樸素貝葉斯演算法作為有些軟體自然語言處理的工具演算法。
kNN演算法
最近鄰演算法（kNN）：在給定新文檔後，計算新文檔特徵向量和訓練文檔集中各個文檔的向量的相似度，得到K篇與該新文 檔距離最近最相似的文檔，根據這K篇文檔所屬的類別判定新文檔所屬的類別（注意這也意味著kNN演算法根本沒有真正意義上的「訓練」階段）。這種判斷方法很 好的克服了Rocchio演算法中無法處理線性不可分問題的缺陷，也很適用於分類標准隨時會產生變化的需求（只要刪除舊訓練文檔，添加新訓練文檔，就改變了 分類的准則）。
kNN唯一的也可以說最致命的缺點就是判斷一篇新文檔的類別時，需要把它與現存的所有訓練文檔全都比較一遍，這個計算代價並不是每個系統都能夠承受的（比 如我將要構建的一個文本分類系統，上萬個類，每個類即便只有20個訓練樣本，為了判斷一個新文檔的類別，也要做20萬次的向量比較！）。一些基於kNN的 改良方法比如Generalized Instance Set就在試圖解決這個問題。
kNN也有另一個缺點，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本佔多數。 SVM(Support Vector Machine)是Cortes和Vapnik於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函數擬合等其他機器學習問題中。
支持向量機方法是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度，Accuracy）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。
SVM 方法有很堅實的理論基礎，SVM 訓練的本質是解決一個二次規劃問題（Quadruple Programming，指目標函數為二次函數，約束條件為線性約束的最優化問題），得到的是全局最優解，這使它有著其他統計學習技術難以比擬的優越性。 SVM分類器的文本分類效果很好，是最好的分類器之一。同時使用核函數將 原始的樣本空間向高維空間進行變換，能夠解決原始樣本線性不可分的問題。其缺點是核函數的選擇缺乏指導，難以針對具體問題選擇最佳的核函數；另外SVM 訓練速度極大地受到訓練集規模的影響，計算開銷比較大，針對SVM 的訓練速度問題，研究者提出了很多改進方法，包括Chunking 方法、Osuna演算法、SMO 演算法和交互SVM 等。SVM分類器的優點在於通用性較好，且分類精度高、分類速度快、分類速度與訓練樣本個數無關，在查准和查全率方面都略優於kNN及樸素貝葉斯方法。

⑨ 用於數據挖掘的分類演算法有哪些，各有何優劣

1、樸素貝葉斯(Naive Bayes, NB)

簡單，就像做一些數數的工作。

如果條件獨立假設成立的話,NB將比鑒別模型（如Logistic回歸）收斂的更快,所以你只需要少量的訓練數據。

如果你想做類似半監督學習,或者是既要模型簡單又要性能好,NB值得嘗試.

2.Logistic回歸(Logistic Regression, LR)

LR有很多方法來對模型正則化。比起NB的條件獨立性假設，LR不需要考慮樣本是否是相關的。

如果你想要一些概率信息（如,為了更容易的調整分類閾值,得到分類的不確定性,得到置信區間）,或者希望將來有更多數據時能方便的更新改進模型,LR是值得使用的.

3.決策樹（Decision Tree, DT）

DT是非參數的，所以你不需要擔心野點（或離群點）和數據是否線性可分的問題（例如,DT可以輕松的處理這種情況：屬於A類的樣本的特徵x取值往往非常小或者非常大，而屬於B類的樣本的特徵x取值在中間范圍）。

DT的主要缺點是容易過擬合，這也正是隨機森林（Random Forest, RF）（或者Boosted樹）等集成學習演算法被提出來的原因。

此外,RF在很多分類問題中經常表現得最好，且速度快可擴展,也不像SVM那樣需要調整大量的參數,所以最近RF是一個非常流行的演算法.

4.支持向量機（Support Vector Machine, SVM）

很高的分類正確率，對過擬合有很好的理論保證，選取合適的核函數，面對特徵線性不可分的問題也可以表現得很好。

SVM在維數通常很高的文本分類中非常的流行。由於較大的內存需求和繁瑣的調參，我認為RF已經開始威脅其地位了.

⑩ 文本分類系統的流程及步驟

文本分類系統的總體功能模塊為：

1、預處理：將原始語料格式化為同一格式，便於後續的統一處理。

2、索引：將文檔分解為基本處理單元，同時降低後續處理的開銷。

3、統計：詞頻統計，項（單詞、概念）與分類的相關概率。

4、特徵抽取：從文檔中抽取出反映文檔主題的特徵。

5、分類器：分類器的訓練。

6、評價：分類器的測試結果分析。

(10)常用文本分類特徵演算法擴展閱讀

文本分類已廣泛應用於網路信息過濾、信息檢索和信息推薦等多個方面。數據驅動分類器學習一直是近年來的熱點，方法很多，比如神經網路、決策樹、支持向量機、樸素貝葉斯等。相對於其他精心設計的更復雜的分類演算法，樸素貝葉斯分類演算法是學習效率和分類效果較好的分類器之一。

直觀的文本分類演算法，也是最簡單的貝葉斯分類器，具有很好的可解釋性，樸素貝葉斯演算法特點是假設所有特徵的出現相互獨立互不影響，每一特徵同等重要。

但事實上這個假設在現實世界中並不成立：首先，相鄰的兩個詞之間的必然聯系，不能獨立；其次，對一篇文章來說，其中的某一些代表詞就確定它的主題，不需要通讀整篇文章、查看所有詞。所以需要採用合適的方法進行特徵選擇，這樣樸素貝葉斯分類器才能達到更高的分類效率。