标题相似度匹配算法

⑴ 终于知道怎么判断字符串相似度了

一直不理解，为什么要计算两个字符串的相似度呢。什么叫做两个字符串的相似度。经常看别人的博客，碰到比较牛的人，然后就翻了翻，终于找到了比较全面的答案和为什么要计算字符串相似度的解释。因为搜索引擎要把通过爬虫抓取的页面给记录下来，那么除了通过记录url是否被访问过之外，还可以这样，比较两个页面的相似度，因为不同的url中可能记录着相同的内容，这样，就不必再次记录到搜索引擎的存储空间中去了。还有，大家毕业的时候都写过论文吧，我们论文的查重系统相信也会采用计算两个字符串相似度这个概念。
以下叙述摘自编程之美一书：
许多程序会大量使用字符串。对于不同的字符串，我们希望能够有办法判断其相似程序。我们定义一套操作方法来把两个不相同的字符串变得相同，具体的操作方法为：
1.修改一个字符（如把“a”替换为“b”）;
2.增加一个字符（如把“abdd”变为“aebdd”）;
3.删除一个字符（如把“travelling”变为“traveling”）;
比如，对于“abcdefg”和“abcdef”两个字符串来说，我们认为可以通过增加/减少一个“g”的方式来达到目的。上面的两种方案，都仅需要一 次 。把这个操作所需要的次数定义为两个字符串的距离，而相似度等于“距离+1”的倒数。也就是说，“abcdefg”和“abcdef”的距离为1，相似度 为1/2=0.5。
给定任意两个字符串，你是否能写出一个算法来计算它们的相似度呢？
原文的分析与解法
不难看出，两个字符串的距离肯定不超过它们的长度之和（我们可以通过删除操作把两个串都转化为空串）。虽然这个结论对结果没有帮助，但至少可以知道，任意两个字符串的距离都是有限的。我们还是就住集中考虑如何才能把这个问题转化成规模较小的同样的子问题。如果有两个串A=xabcdae和B=xfdfa，它们的第一个字符是 相同的，只要计算A[2,...,7]=abcdae和B[2,...,5]=fdfa的距离就可以了。但是如果两个串的第一个字符不相同，那么可以进行 如下的操作（lenA和lenB分别是A串和B串的长度）。
1.删除A串的第一个字符，然后计算A[2,...,lenA]和B[1,...,lenB]的距离。
2.删除B串的第一个字符，然后计算A[1,...,lenA]和B[2,...,lenB]的距离。
3.修改A串的第一个字符为B串的第一个字符，然后计算A[2,...,lenA]和B[2,...,lenB]的距离。
4.修改B串的第一个字符为A串的第一个字符，然后计算A[2,...,lenA]和B[2,...,lenB]的距离。
5.增加B串的第一个字符到A串的第一个字符之前，然后计算A[1,...,lenA]和B[2,...,lenB]的距离。
6.增加A串的第一个字符到B串的第一个字符之前，然后计算A[2,...,lenA]和B[1,...,lenB]的距离。
在这个题目中，我们并不在乎两个字符串变得相等之后的字符串是怎样的。所以，可以将上面的6个操作合并为：
1.一步操作之后，再将A[2,...,lenA]和B[1,...,lenB]变成相字符串。
2.一步操作之后，再将A[2,...,lenA]和B[2,...,lenB]变成相字符串。
3.一步操作之后，再将A[1,...,lenA]和B[2,...,lenB]变成相字符串。

通过以上1和6,2和5，3和4的结合操作，最后两个字符串每个对应的字符会相同，但是这三种操作产生的最终的两个字符串是不一样的。我们不知道通过上述的三种结合那种使用的操作次数是最少的。所以我们要比较操作次数来求得最小值。

⑵ excel中通过相似度进行模糊匹配两列数据

需要用VBA,
供参考
For i = 1 To Sheet5.UsedRange.Rows.Count 'B 栏数据
Bstr = Trim(Sheet5.Range("B" & i).Value)
num = Len(Bstr)
For j = 1 To Sheet5.UsedRange.Rows.Count 'A 栏数据
astr = Trim(Sheet5.Range("A" & j).Value)
If num = 1 Then
If InStr(astr, Bstr) >= 1 Then
m = m + 1
End If
ElseIf num > 1 Then
For k = 1 To num
aaa = Mid(Bstr, k, 1)
If InStr(astr, Mid(Bstr, k, 1)) >= 1 Then
m = m + 1
End If
Next k
End If
Dim rate As Double
rate = m / num
If rate >= 0.5 Then
Sheet5.Range("C" & i).Value = Bstr
End If

Next j
Next i

⑶ 相似度计算

你是求一个相似度算法：
如果一个公司真实排名为x1,
而你的打分排名是
x2，
怎么搞一个合理的评分数呢？
对差值的绝对值进行打分
|x1-x2|=0
得14分（28的一半)
|x1-x2|>=14
得
0分
就是：|差值|>14
得0分，|差值|<=14,得
14-|差值|
满分
14x28
分，
这样对28个排名，就可以算出得分了
相似度=得分/(14x28)
x
100
(%)
用c语言编个计算小程序很简单。

⑷ paperpass相似度22%,知网的相似度会是多少，不知道能不能通过知网复写率小于15%检测

不确定。

因为paperpass跟知网收录的论文库是有差别的，有可能paperpass未收录的论文，在知网却被收录了，这种情况是很常见的，有很多同学在paperpass查重得到的数据是低于20%，而在知网上却大于60%，这些都是常事。

paperpass是以句子为单位，而且不能识别目录、标题、参考文献，会通通标红，并且的确会如你所说，出现你根本没有抄过的、无关的文章；知网是以段落为单位，目录、标题、参考文献可以自动识别。两者算法也不同。因此，paperpass的重复率一定是高于知网的。

也就是说paperpass比知网严格。用paperpass测出来18%，学校用知网要求20%，肯定能过的。即使没有把参考文献贴进去。因为知网不会把参考文献作为抄袭率。

(4)标题相似度匹配算法扩展阅读：

由于存在引注格式不统一、参考文献格式不规范、虚假引用等问题，PaperPass为了给用户提供最严格、最负责的检测结果，将不再区分“相似”和“引用”。PaperPass检测系统是在论文修改环节为用户提供修改依据的工具，系统所显示的相似部分(红字)是否属于正常引用将保留给用户自行审定。

另外PaperPass也是全国最大的论文检测技术提供商，已经为众多的机构和检测系统提供技术方案。所以通过PaperPass的检测后，可以通过其它检测系统的检测。

⑸ 中文短句相似度匹配方法

一、原始落后的VSM
网上搜索关键词“短文本 相似度”，出来的结果基本上都是以BOW（Bag of words）的VSM方案，大致流程如下：

分词 —> 提取关键词 —> 计算tf或if-idf，以向量的形式替换原文本 —> 文本相似度的问题转变为计算向量相似度
一开始这样的一个思路，很清晰明了，而且网上相应的资料也很多，然后就开搞吧。

1、把所有短文本去掉标点符号，用jieba分词分好词，去除停用词，得到分好的文本；

2、按一定规则抽取特征词汇，作为后期向量的每一维；

3、用sklearn库中的原生方法CountVectorizer、TfidfVectorizer等得到矩阵；

4、每个短文本计算对应得到的向量，采用K-Means聚类的方法进行非监督学习。

文本分类的大致思路基本上就如上所述，具体的细节调整就视实际情况而定。然而，想法是美好的，现实是残酷的，全部分好词的文本，抽取的特征词较多，即向量的维度较大，且向量是稀疏的，在使用K-Means时，会出现有个别cluster下的文本数量特别大；

⑹ 如何用wordnet计算 文本相似度 算法实现

1.信息检索中的重要发明TF-IDF
1.1TF
Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则
（公式1.1-1）
为该关键词在这篇文章中的词频。
1.2IDF
Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式
（公式1.2-1）
计算而得，其中D为文章总数，Dw为关键词出现过的文章数。
2.基于空间向量的余弦算法
2.1算法步骤
预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。
2.2步骤简介
2.2.1预处理
预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。
然后按照停用词表中的词语将语料中对文本内容识别意义不大但出现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。

⑺ 两个十万级的“0-1”字符串，求他们的相似度用什么算法比较好

图像识别怎么能这么来干？可能是我孤陋寡闻了，但是不考虑前景、背景、焦点等能代表一张图像的特征，仅仅拿图像的二进制串来比较，这种方法我觉得没意义啊。
图像处理过程中有一种将图像从像域(像素)转变为频域的方法，改变之后的频域依然是一个类似的矩阵，但是越靠近左上角的数值所具有的能量就越高，说白了就是，你如果把(0，0)的点更改了，整张图就变了，但如果你把(n，n)的改了，对像域内的改变肉眼是无法识别出来的，因此通常将对角线右下的所有数值置0之后，即可以不对原图作大的改变(从人眼识别的角度，与原图相似度极高)，又可以有效地降低一个图像的大小(至少可以砍一半)

⑻ 相似度的计算 用哪个算法 协同过滤 算法

SIM = Structural SIMilarity（结构相似性），这是一种用来评测图像质量的一种方法。由于人类视觉很容易从图像中抽取出结构信息,因此计算两幅图像结构信息的相似性就可以用来作为一种检测图像质量的好坏.

首先结构信息不应该受到照明的影响,因此在计算结构信息时需要去掉亮度信息,即需要减掉图像的均值;其次结构信息不应该受到图像对比度的影响,因此计算结构信息时需要归一化图像的方差;最后我们就可以对图像求取结构信息了,通常我们可以简单地计算一下这两幅处理后的图像的相关系数.

然而图像质量的好坏也受到亮度信息和对比度信息的制约,因此在计算图像质量好坏时,在考虑结构信息的同时也需要考虑这两者的影响.通常使用的计算方法如下,其中C1,C2,C3用来增加计算结果的稳定性:
2u(x)u(y) + C1
L(X,Y) = ------------------------ ,u(x), u(y)为图像的均值
u(x)^2 + u(y)^2 + C1

2d(x)d(y) + C2
C(X,Y) = ------------------------,d(x),d(y)为图像的方差
d(x)^2 + d(y)^2 + C2

d(x,y) + C3
S(X,Y) = ----------------------,d(x,y)为图像x,y的协方差
d(x)d(y) + C3

而图像质量Q = [L(X,Y)^a] x [C(X,Y)^b] x [S(X,Y)^c]，其中a，b，c分别用来控制三个要素的重要性，为了计算方便可以均选择为1，C1，C2，C3为比较小的数值，通常C1=(K1 x L)^2, C2=(K2 xL)^2, C3 = C2/2, K1

⑼ 如何实现两个声音相似度匹配算法

作为自然语言理解的一项基础工作,词语语义相似度度量一直是研究的重点。语义相似度度量本身是一个中间任务,它是大多数自然语言处理任务中一个必不可少的中间层次,在自然语言处理中有着广泛的应用,如词义消歧、信息检索以及机器翻译等。 本文的核心内容是汉语词语语义相似度算法研究以及如何将其应用于跨语言信息检索(Cross-Language Information Retrieval, CLIR)领域。首先对语义相似度度量算法进行综述,然后重点描述基于HowNet的语义相似度度量算法,提出根据知识词典描述语言(Knowledge Dictionary Mark-up Language, KDML)的结构特性将词语语义相似度分为三部分进行计算,每部分采用最大匹配的算法,同时加入义原深度信息以区别对待不同信息含量的义原。较以往同类算法,其计算结果具有区分度,更加符合人的主观感觉。 本文尝试将所建立的汉语语义相似度度量模式应用于跨语言信息检索系统。跨语言信息检索结合传统文本信息检索技术和机器翻译技术,在多方面涉及到语义问题,是语义相似度良好的切入点。两者的结合主要体现在两方面：(1)将语义相似度度量应用于查询翻译,利用语义相似度对查询关键词进行消歧翻译,提高翻译质量；(2)将语义相似度应用于查询扩展,使扩展内容与原查询具有更高相关性,以提高检索的召回率和准确率。 本文提出相对客观的评价标准,如为单独衡量词义消歧的性能,而使用第三届词义消歧系统评价会议(The 3rd Evaluating Word Sense Disambiguation Systems, SENSEVAL-3)语料进行测试；为衡量应用语义相似度于跨语言检索后的性能,又使用第九届文本检索会议(The 9th Text Retrieval Conference, TREC-9) CLIR评价任务的查询集、语料库和结果集进行评估。这使得我们的实验结果相对公正客观,具有一定可比性。本文对原有英汉跨语言信息检索系统进行一定程度的改进,使得各种相关算法都可方便地在系统中进行集成,成为一个研究跨语言信息检索的实验平台,其系统的设计思想充分体现模块化和扩展性。 综上,本文通过综合分析主流的语义相似度算法,而提出一种新的基于HowNet的汉语语义相似度算法,并给出其在英汉跨语言信息检索中的尝试性应用,希望能给相关领域的研究者有所借鉴。

⑽ 如何在Excel中如何进行相似度最高的匹配

操作方法如下：
1、假设这两个表没有在一个excel里面，把它们移动到同一个表中。
2、Vlookup函数的语法：
VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)
lookup_value：要查找的值，数值、引用或文本字符串
table_array：要查找的区域，数据表区域
col_index_num：返回数据在区域的第几列数，正整数
range_lookup：模糊匹配，TRUE（或不填） /FALSE
3、找出两列相同的数据：
用的公式是=VLOOKUP(A2,Sheet2!A:B,1,0)
公式的含义是在sheet2工作表的A:B区域的首列中查找等于a2的值，找到后，返回该区域第1列（即E列）的同行的值。最后的参数0表示精确查找。
4、找出两列所对应的数据：
用的公式是=VLOOKUP(A2,Sheet2!$A$2:B150,2,0)
公式的含义是在sheet2工作表的A2:B150区域中查找符合条件显示B列的值，找到后，返回该区域第2列（即F列）的同行的值。最后的参数0表示精确查找。
5、完成上面四步以后，最后一步比较简单，直接拉填充柄填充下面的空白处即可，查找到对应的数据会直接显示，如果没有找到刚显示#N/A。