① python有没有什么包能判断文本相似度
安装python-Levenshtein模块
pip install python-Levenshtein
使用python-Levenshtein模块
import Levenshtein
算法说明
1). Levenshtein.hamming(str1, str2)
计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应 位置上不同字符的个数。
2). Levenshtein.distance(str1, str2)
计算编辑距离（也称为 Levenshtein距离）。是描述由一个字串转化成另一个字串最少的操作次数，在其中的操作包括插入、删除、替换。
算法实现参考动态规划整理。
3). Levenshtein.ratio(str1, str2)
计算莱文斯坦比。计算公式r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和，ldist是 类编辑距离
注意 ：这里的类编辑距离不是2中所说的编辑距离，2中三种操作中每个操作+1，而在此处，删除、插入依然+1，但是替换+2
这样设计的目的：ratio('a', 'c')，sum=2, 按2中计算为（2-1）/2 = 0.5,’a','c'没有重合，显然不合算，但是替换操作+2，就可以解决这个问题。
4). Levenshtein.jaro(s1 , s2 )
计算jaro距离，
其中的 m 为s1 , s2的匹配长度，当某位置的认为匹配当该位置字符相同，或者在不超过
t是调换次数的一半
5.) Levenshtein.jaro_winkler(s 1 , s 2 )
计算 Jaro–Winkler距离：
② 文本相似度检测系统设计
现在网上能找到的《毕业设计（论文）-文档相似度检测系统》就是我写的，居然被这么多人摆上网了！
举报了几次了都没能清理干净！
不过，想开了，能联系到我，我会售卖这篇论文、程序代码、论文资料等等，全套毕业设计资料，保证纯原着。
有意的联系我：myfifteen＠qq．com
③ 如何用wordnet计算 文本相似度 算法实现
1.信息检索中的重要发明TF-IDF
1.1TF
Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则
（公式1.1-1）
为该关键词在这篇文章中的词频。
1.2IDF
Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式
（公式1.2-1）
计算而得，其中D为文章总数，Dw为关键词出现过的文章数。
2.基于空间向量的余弦算法
2.1算法步骤
预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。
2.2步骤简介
2.2.1预处理
预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。
然后按照停用词表中的词语将语料中对文本内容识别意义不大但出现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。
④ 如何用Python玩转TF-IDF之寻找相似文章并生成摘要
应用1：关键词自动生成
核心思想是对于某个文档中的某个词，计算其在这个文档中的标准化TF值，然后计算这个词在整个语料库中的标准化IDF值。在这里，标准化是说对原始的计算公式进行了一些变换以取得更好的衡量效果，并避免某些极端情况的出现。这个词的TF-IDF值便等于TF*IDF。对于这个文档中的所有词计算它们的TF-IDF值，并按照由高到低的顺序进行排序，由此我们便可以提取我们想要的数量的关键词。
TF-IDF的优点是快捷迅速，结果相对来说比较符合实际情况。缺点是当一篇文档中的两个词的IDF值相同的时候，出现次数少的那个词有可能更为重要。再者，TF-IDF算法无法体现我词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。存在的解决办法是对文章的第一段和每段的第一句话给予比较大的权重。
应用2：计算文本相似度
明白了对于每个词，如何计算它的TF-IDF值。那么计算文本相似度也轻而易举。我们已经计算了文章中每个词的TF-IDF值，那么我们便可以将文章表征为词的TF-IDF数值向量。要计算两个文本的相似度，只需要计算余弦即可，余弦值越大，两个文本便越相似。
应用3：自动摘要
2007年，美国学者的论文<A Survey on Automatic Text Summarization>总结了目前的自动摘要算法，其中很重要的一种就是词频统计。这种方法最早出自1958年IBM公司一位科学家的论文<The Automatic Creation of Literature Abstracts>。这位科学家认为，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自动摘要就是找出那些包含信息最多的句子。那么句子的信息量怎么衡量呢？论文中采用了关键词来衡量。如果包含的关键词越多，就说明这个句子越重要，这位科学家提出用Cluster的来表示关键词的聚集。所谓簇，就是包含多个关键词的句子片段。
以第一个图为例，其中的cluster一共有7个词，其中4个是关键词。因此它的重要性分值就等于(4*4)/7=2.3。然后，找出包含cluster重要性分值最高的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。具体实现可以参见<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一书的第8章，Python代码见github。这种算法后来被简化，不再区分cluster，只考虑句子包含的关键词。伪代码如下。
Summarizer(originalText,maxSummarySize):
//计算文本的词频，生成一个列表，比如[(10,'the'),(3,'language'),(8,'code')...]
wordFrequences=getWordCounts(originalText)
//过滤掉停用词，列表变成[(3,'language'),(8,'code')...]
contentWordFrequences=filtStopWords(wordFrequences)
//按照词频的大小进行排序，形成的列表为['code','language'...]
contentWordsSortbyFreq=sortByFreqThenDropFreq(contentWordFrequences)
//将文章分成句子
sentences=getSentences(originalText)
//选择关键词首先出现的句子
setSummarySentences={}
:
firstMatchingSentence=search(sentences,word)
setSummarySentences.add(firstMatchingSentence)
ifsetSummarySentences.size()=maxSummarySize:
break
//将选中的句子按照出现顺序，组成摘要
summary=""
foreachsentenceinsentences:
:
summary=summary+""+sentence
returnsummary
类似的算法已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。
⑤ 文本聚类算法真正能实用的有哪些算法
在文本信息空间内寻找任何两个最相关的文本信息，并将之简并成一个文本信息，从而实现信息数量的收缩。
简并算法的实现通过比较整个信息空间内的所有文本的相关性（相识性），得到相互之间的相关性后两两(注)进行配对。配对的要求是这两个文本信息的相关性最大，例如A 找到了文档B，那么B 也一定找到最相关的文档就是A 。
注，某些情况A 最相近的文档是C ，那么B 而B 最相关的文档也是C ，存在一种情况，A,B,C 三者之间自恰，就是构成空间信息最近的一个三角形。
得到了最相似文档后，将只进行平均化，或者简单的迭加。
信息空间中独立信息的数量会减少到原来的一半以下，然后重复实现1 的过程，在进行兼并。
信息最后简并到唯一的一个信息，就是整个信息文本的平均值。
画出信息树的结构，就能够根据要进行规模不同大小的聚类进行自动聚类了。
⑥ k个文本两两进行相似性计算，其时间复杂度是多少
从字面上理解就是比较两个文本之间的相似性。在文本分类和聚类中都会用到文本相似... 那我来讲讲怎么计算。 常用的算法的时间复杂度和空间复杂度 一，求解算法... 最小编辑距离算法是计算两个字符串之间相互转换最少要经过多少次操作
⑦ 文本自动分类算法有哪些呢
文本自动分类算法主要有朴素贝叶斯分类算法、支持向量机分类算法、KNN算法和决策树算法。
朴素贝叶斯分类算法主要是利用文本中词的特征项和类别的组合概率来估算文本属于哪个类别的概率。
支持向量机分类算分主要是采用特征提取技术把文本信息转换为词向量，然后用词向量与训练好的类别数据进行相似度计算。
KNN算法是在训练集中找到离它最近的k个文本，并根据这些文本的分类来预测待分类文本属于哪一个类别。
决策树算法是首先建立一个基于树的预测模型，根据预测模型来对文本进行预测分类。
⑧ 有人用php实现文本相似度算法吗
本文实例讲述了PHP简单实现文本计数器的方法。分享给大家供大家参考，具体如下：
<?php if (file_exists('count_file.txt')) { $fil = fopen('count_file.txt', r); $dat = fread($fil, filesize('count_file.txt')); echo $dat+1; fclose($fil); $fil = fopen('count_file.txt', w); fwrite($fil, $dat+1); } else { $fil = fopen('count_file.txt', w); fwrite($fil, 1); echo '1'; fclose($fil); } ?>
更多关于PHP相关内容感兴趣的读者可查看本站专题：《php正则表达式用法总结》、《PHP+ajax技巧与应用小结》、《PHP运算与运算符用法总结》、《PHP网络编程技巧总结》、《PHP基本语法入门教程》、《php操作office文档技巧总结(包括word,excel,access,ppt)》、《php日期与时间用法总结》、《php面向对象程序设计入门教程》、《php字符串(string)用法总结》、《php+mysql数据库操作入门教程》及《php常见数据库操作技巧汇总》
希望本文所述对大家PHP程序设计有所帮助。
⑨ 请问：计算中文短文本相似性需要对短文本进行分词吗如果需要的话，有什么分词方法
要看你选择的相似性算法有什么样的要求了，一般都是用词汇空间距离，这样肯定要进行分词操作的。分词方法现在有很多，你可以在网上找一些现成的代码来做，不管哪一种分词方法都不能做到100%的分词准确性，还是要加入人工干预的。
⑩ 我想要用c#实现needleman/wunsch算法比较文本相似度，哪位大神帮一帮
对算法比较小白！。我刚也了解了下你所说的算法，我找到一个学习系列，应该对你有帮助！
http://www.cnblogs.com/grenet/category/287355.html
加油。希望能帮助你。