① python有沒有什麼包能判斷文本相似度
安裝python-Levenshtein模塊
pip install python-Levenshtein
使用python-Levenshtein模塊
import Levenshtein
演算法說明
1). Levenshtein.hamming(str1, str2)
計算漢明距離。要求str1和str2必須長度一致。是描述兩個等長字串之間對應 位置上不同字元的個數。
2). Levenshtein.distance(str1, str2)
計算編輯距離（也稱為 Levenshtein距離）。是描述由一個字串轉化成另一個字串最少的操作次數，在其中的操作包括插入、刪除、替換。
演算法實現參考動態規劃整理。
3). Levenshtein.ratio(str1, str2)
計算萊文斯坦比。計算公式r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的長度總和，ldist是 類編輯距離
注意 ：這里的類編輯距離不是2中所說的編輯距離，2中三種操作中每個操作+1，而在此處，刪除、插入依然+1，但是替換+2
這樣設計的目的：ratio('a', 'c')，sum=2, 按2中計算為（2-1）/2 = 0.5,』a','c'沒有重合，顯然不合算，但是替換操作+2，就可以解決這個問題。
4). Levenshtein.jaro(s1 , s2 )
計算jaro距離，
其中的 m 為s1 , s2的匹配長度，當某位置的認為匹配當該位置字元相同，或者在不超過
t是調換次數的一半
5.) Levenshtein.jaro_winkler(s 1 , s 2 )
計算 Jaro–Winkler距離：
② 文本相似度檢測系統設計
現在網上能找到的《畢業設計（論文）-文檔相似度檢測系統》就是我寫的，居然被這么多人擺上網了！
舉報了幾次了都沒能清理干凈！
不過，想開了，能聯繫到我，我會售賣這篇論文、程序代碼、論文資料等等，全套畢業設計資料，保證純原著。
有意的聯系我：myfifteen＠qq．com
③ 如何用wordnet計算 文本相似度 演算法實現
1.信息檢索中的重要發明TF-IDF
1.1TF
Term frequency即關鍵詞詞頻，是指一篇文章中關鍵詞出現的頻率，比如在一篇M個詞的文章中有N個該關鍵詞，則
（公式1.1-1）
為該關鍵詞在這篇文章中的詞頻。
1.2IDF
Inverse document frequency指逆向文本頻率，是用於衡量關鍵詞權重的指數，由公式
（公式1.2-1）
計算而得，其中D為文章總數，Dw為關鍵詞出現過的文章數。
2.基於空間向量的餘弦演算法
2.1演算法步驟
預處理→文本特徵項選擇→加權→生成向量空間模型後計算餘弦。
2.2步驟簡介
2.2.1預處理
預處理主要是進行中文分詞和去停用詞，分詞的開源代碼有：ICTCLAS。
然後按照停用詞表中的詞語將語料中對文本內容識別意義不大但出現頻率很高的詞、符號、標點及亂碼等去掉。如「這，的，和，會，為」等詞幾乎出現在任何一篇中文文本中，但是它們對這個文本所表達的意思幾乎沒有任何貢獻。使用停用詞列表來剔除停用詞的過程很簡單，就是一個查詢過程：對每一個詞條，看其是否位於停用詞列表中，如果是則將其從詞條串中刪除。
④ 如何用Python玩轉TF-IDF之尋找相似文章並生成摘要
應用1：關鍵詞自動生成
核心思想是對於某個文檔中的某個詞，計算其在這個文檔中的標准化TF值，然後計算這個詞在整個語料庫中的標准化IDF值。在這里，標准化是說對原始的計算公式進行了一些變換以取得更好的衡量效果，並避免某些極端情況的出現。這個詞的TF-IDF值便等於TF*IDF。對於這個文檔中的所有詞計算它們的TF-IDF值，並按照由高到低的順序進行排序，由此我們便可以提取我們想要的數量的關鍵詞。
TF-IDF的優點是快捷迅速，結果相對來說比較符合實際情況。缺點是當一篇文檔中的兩個詞的IDF值相同的時候，出現次數少的那個詞有可能更為重要。再者，TF-IDF演算法無法體現我詞的位置信息，出現位置靠前的詞與出現位置靠後的詞，都被視為重要性相同，這是不正確的。存在的解決辦法是對文章的第一段和每段的第一句話給予比較大的權重。
應用2：計算文本相似度
明白了對於每個詞，如何計算它的TF-IDF值。那麼計算文本相似度也輕而易舉。我們已經計算了文章中每個詞的TF-IDF值，那麼我們便可以將文章表徵為詞的TF-IDF數值向量。要計算兩個文本的相似度，只需要計算餘弦即可，餘弦值越大，兩個文本便越相似。
應用3：自動摘要
2007年，美國學者的論文<A Survey on Automatic Text Summarization>總結了目前的自動摘要演算法，其中很重要的一種就是詞頻統計。這種方法最早出自1958年IBM公司一位科學家的論文<The Automatic Creation of Literature Abstracts>。這位科學家認為，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自動摘要就是找出那些包含信息最多的句子。那麼句子的信息量怎麼衡量呢？論文中採用了關鍵詞來衡量。如果包含的關鍵詞越多，就說明這個句子越重要，這位科學家提出用Cluster的來表示關鍵詞的聚集。所謂簇，就是包含多個關鍵詞的句子片段。
以第一個圖為例，其中的cluster一共有7個詞，其中4個是關鍵詞。因此它的重要性分值就等於(4*4)/7=2.3。然後，找出包含cluster重要性分值最高的句子（比如5句），把它們合在一起，就構成了這篇文章的自動摘要。具體實現可以參見<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一書的第8章，Python代碼見github。這種演算法後來被簡化，不再區分cluster，只考慮句子包含的關鍵詞。偽代碼如下。
Summarizer(originalText,maxSummarySize):
//計算文本的詞頻，生成一個列表，比如[(10,'the'),(3,'language'),(8,'code')...]
wordFrequences=getWordCounts(originalText)
//過濾掉停用詞，列表變成[(3,'language'),(8,'code')...]
contentWordFrequences=filtStopWords(wordFrequences)
//按照詞頻的大小進行排序，形成的列表為['code','language'...]
contentWordsSortbyFreq=sortByFreqThenDropFreq(contentWordFrequences)
//將文章分成句子
sentences=getSentences(originalText)
//選擇關鍵詞首先出現的句子
setSummarySentences={}
:
firstMatchingSentence=search(sentences,word)
setSummarySentences.add(firstMatchingSentence)
ifsetSummarySentences.size()=maxSummarySize:
break
//將選中的句子按照出現順序，組成摘要
summary=""
foreachsentenceinsentences:
:
summary=summary+""+sentence
returnsummary
類似的演算法已經被寫成了工具，比如基於Java的Classifier4J庫的SimpleSummariser模塊、基於C語言的OTS庫、以及基於classifier4J的C#實現和python實現。
⑤ 文本聚類演算法真正能實用的有哪些演算法
在文本信息空間內尋找任何兩個最相關的文本信息，並將之簡並成一個文本信息，從而實現信息數量的收縮。
簡並演算法的實現通過比較整個信息空間內的所有文本的相關性（相識性），得到相互之間的相關性後兩兩(注)進行配對。配對的要求是這兩個文本信息的相關性最大，例如A 找到了文檔B，那麼B 也一定找到最相關的文檔就是A 。
注，某些情況A 最相近的文檔是C ，那麼B 而B 最相關的文檔也是C ，存在一種情況，A,B,C 三者之間自恰，就是構成空間信息最近的一個三角形。
得到了最相似文檔後，將只進行平均化，或者簡單的迭加。
信息空間中獨立信息的數量會減少到原來的一半以下，然後重復實現1 的過程，在進行兼並。
信息最後簡並到唯一的一個信息，就是整個信息文本的平均值。
畫出信息樹的結構，就能夠根據要進行規模不同大小的聚類進行自動聚類了。
⑥ k個文本兩兩進行相似性計算，其時間復雜度是多少
從字面上理解就是比較兩個文本之間的相似性。在文本分類和聚類中都會用到文本相似... 那我來講講怎麼計算。 常用的演算法的時間復雜度和空間復雜度 一，求解演算法... 最小編輯距離演算法是計算兩個字元串之間相互轉換最少要經過多少次操作
⑦ 文本自動分類演算法有哪些呢
文本自動分類演算法主要有樸素貝葉斯分類演算法、支持向量機分類演算法、KNN演算法和決策樹演算法。
樸素貝葉斯分類演算法主要是利用文本中詞的特徵項和類別的組合概率來估算文本屬於哪個類別的概率。
支持向量機分類算分主要是採用特徵提取技術把文本信息轉換為詞向量，然後用詞向量與訓練好的類別數據進行相似度計算。
KNN演算法是在訓練集中找到離它最近的k個文本，並根據這些文本的分類來預測待分類文本屬於哪一個類別。
決策樹演算法是首先建立一個基於樹的預測模型，根據預測模型來對文本進行預測分類。
⑧ 有人用php實現文本相似度演算法嗎
本文實例講述了PHP簡單實現文本計數器的方法。分享給大家供大家參考，具體如下：
<?php if (file_exists('count_file.txt')) { $fil = fopen('count_file.txt', r); $dat = fread($fil, filesize('count_file.txt')); echo $dat+1; fclose($fil); $fil = fopen('count_file.txt', w); fwrite($fil, $dat+1); } else { $fil = fopen('count_file.txt', w); fwrite($fil, 1); echo '1'; fclose($fil); } ?>
更多關於PHP相關內容感興趣的讀者可查看本站專題：《php正則表達式用法總結》、《PHP+ajax技巧與應用小結》、《PHP運算與運算符用法總結》、《PHP網路編程技巧總結》、《PHP基本語法入門教程》、《php操作office文檔技巧總結(包括word,excel,access,ppt)》、《php日期與時間用法總結》、《php面向對象程序設計入門教程》、《php字元串(string)用法總結》、《php+mysql資料庫操作入門教程》及《php常見資料庫操作技巧匯總》
希望本文所述對大家PHP程序設計有所幫助。
⑨ 請問：計算中文短文本相似性需要對短文本進行分詞嗎如果需要的話，有什麼分詞方法
要看你選擇的相似性演算法有什麼樣的要求了，一般都是用詞彙空間距離，這樣肯定要進行分詞操作的。分詞方法現在有很多，你可以在網上找一些現成的代碼來做，不管哪一種分詞方法都不能做到100%的分詞准確性，還是要加入人工干預的。
⑩ 我想要用c#實現needleman/wunsch演算法比較文本相似度，哪位大神幫一幫
對演算法比較小白！。我剛也了解了下你所說的演算法，我找到一個學習系列，應該對你有幫助！
http://www.cnblogs.com/grenet/category/287355.html
加油。希望能幫助你。