simhash算法java

1. 百度主流相关性算法有哪些你知道多少

一般是谷歌能走到哪一步，网络也会跟到哪一步。除了PR值的算法，是基于李彦宏。 这里介绍的主流算法是—— Simhash算法 1、主流算法——Simhash算法 我们一般判断文本与文本之间的相关性是很容易的。你算法的效率，直接决定了你的使用性。 通过此算法能够了解网页间的相关性对比和搜索引擎达到去重的效果。网络和谷歌都有基于此原理。这个大家可以网络一下具体解释。 2、相关性算法的对比程度 我们了解算法，是为了获得更多的权重。在应用上，我们主要在以下几个方面。 第一：外链的有效性方面。比如，你是旅游类站点，那么你做的友链都是旅游类。那么有些企业站很难找到相关的。那么可以找，本地的，同行业的。但是我们心里清楚，相关性的总比不相关性的好。那么找本地的、同行业的大家都没有底，但是不管你是找同行业的还是本地的，其实没有那么大的影响。 第二，站内相关性。比如说内链，现在内链的列表都是随机推荐的。随机推荐的效果是最差的。随机推荐的越多，质量就最低，也是网络这次算法调整的内容之一，那么那些网站是最多的？医疗站，几乎是所有行业里面最普遍的。随机生成 这里，老师将会让你彻底改变关于相关性的看法。一个是外链相关性方面，一个是内链相关性方面，一定要看仔细了。 3.外链方面的相关性方面 分两个层次的应用。这里讲两个基础的两个概念，一个是谷歌PR值算法和网络的超文本链接算法，是怎么来识别权威性的？我们在一个行业为什么要进行权威性的识别？在任何团队里面都有自己的领袖，这个是一个自然现象。因为权威性的指导，能够给信息带来信用度。对信用的评级是有一定的层级的。因为搜索引擎是一个信息平台，那么对信息就必须有一个权威性指导。所以搜索引擎就必须有两个识别，一个是枢纽，一个是权威性。那么什么是枢纽？中心的意思。 权威性的建立，是有一些枢纽组成的。一个权威性站点，是接收了很多枢纽的指向的。枢纽是链接，但是链接不一定是枢纽。这个就是ICO标签。如果你想成为权威性网站，那么你要做的应该是不同行业的链接。如果你做的都是同行业的链接，你就成为不了权威性网站。 权威是指整个互联网的权威，还是某个行业？权威可不可以跨行？旅游行业的权威网站可不可以对酒店行业网站投票？我们所说的 高权重站点，针对的是行业，不是跨行业。 我们听说一个高权重网站，我们都去发外链，以为可以带来大量权重，其实错了。他只能给他的那个行业的网站带来权重。 枢纽链接是对不同的权威网站进行指向的。这个链接的导出页面（枢纽），是对不同行业进行导向的。 如果你的网站都是同行业的，那么你不是枢纽，也不可能称为权威。做外链，请找枢纽 了解搜索引擎的相关性算法了吗？

2. 自己动手写网络爬虫的作品目录

电子书|自己动手写网络爬虫，免费下载

链接: https://pan..com/s/1VuP30TzuJLThBUaghwFXdA

pdf" data_size="27.78M" data_filelogo="https://gss0.bdstatic.com//yun-file-logo/file-logo-6.png" data_number="1" data_sharelink="https://pan..com/s/1VuP30TzuJLThBUaghwFXdA" data_code="muwz">

《自己动手写网络爬虫》是2010年10月1日由清华大学出版社出版的图书，作者是罗刚。本书在介绍基本原理的同时，注重辅以具体代码实现来帮助读者加深理解。

3. simhash如何进行文本查重

有1亿个不重复的64位的01字符串，任意给出一个64位的01字符串f，如何快速从中找出与f汉明距离小于3的字符串？

大规模网页的近似查重

主要翻译自WWW07的Detecting Near-Duplicates for Web Crawling

WWW上存在大量内容近似相同的网页，对搜索引擎而言，去除近似相同的网页可以提高检索效率、降低存储开销。

当爬虫在抓取网页时必须很快能在海量文本集中快速找出是否有重复的网页。

论文主要2个贡献：

1. 展示了simhash可以用以海量文本查重

2. 提出了一个在实际应用中可行的算法。

两篇文本相似度普遍的定义是比较向量化之后两个词袋中词的交集程度，有cosine,jaccard等等

如果直接使用这种计算方式，时间空间复杂度都太高，因此有了simhash这种降维技术，

但是如何从传统的向量相似度能用simhash来近似，论文没提，应该是有很长一段推导要走的。

Simhash算法

一篇文本提取出内容以后，经过基本的预处理，比如去除停词，词根还原，甚至chunking，最后可以得到一个向量。

对每一个term进行hash算法转换，得到长度f位的hash码，每一位上1-0值进行正负权值转换，例如f1位是1时，权值设为 +weight, fk位为0时，权值设为-weight。

讲文本中所有的term转换出的weight向量按f对应位累加最后得到一个f位的权值数组，位为正的置1，位为负的置0，那么文本就转变成一个f位的新1-0数组，也就是一个新的hash码。

Simhash具有两个“冲突的性质”：

1. 它是一个hash方法

2. 相似的文本具有相似的hash值，如果两个文本的simhash越接近，也就是汉明距离越小，文本就越相似。

因此海量文本中查重的任务转换位如何在海量simhash中快速确定是否存在汉明距离小的指纹。

也就是：在n个f-bit的指纹中，查询汉明距离小于k的指纹。

在文章的实验中（见最后），simhash采用64位的哈希函数。在80亿网页规模下汉明距离=3刚好合适。

因此任务的f-bit=64 , k=3 , n= 8*10^11

任务清晰，首先看一下两种很直观的方法：

1. 对输入指纹，枚举出所有汉明距离小于3的simhash指纹，对每个指纹在80亿排序指纹中查询。

（这种方法需要进行C（64，3）=41664次的simhash指纹，再为每个进行一次查询）

2. 输入指纹不变，对应集合相应位置变。也就是集合上任意3位组合的位置进行变化，实际上就是提前准备41664个排序可能，需要庞大的空间。输入在这群集合并行去搜....

提出的方法介于两者之间，合理的空间和时间的折中。

• 假设我们有一个已经排序的容量为2d，f-bit指纹集。看每个指纹的高d位。该高低位具有以下性质：尽管有很多的2d位组合存在，但高d位中有只有少量重复的。

• 现在找一个接近于d的数字d’，由于整个表是排好序的，所以一趟搜索就能找出高d’位与目标指纹F相同的指纹集合f’。因为d’和d很接近，所以找出的集合f’也不会很大。

• 最后在集合f’中查找和F之间海明距离为k的指纹也就很快了。

• 总的思想：先要把检索的集合缩小，然后在小集合中检索f-d’位的海明距离

要是一时半会看不懂，那就从新回顾一下那两种极端的办法：

方法2，前61位上精确匹配，后面就不需要比较了

方法1，前0位上精确匹配，那就要在后面，也就是所有，上比较

那么折中的想法是 前d- bits相同，留下3bit在(64-d)bit小范围搜索，可行否?

d-bits的表示范围有2^d，总量N个指纹，平均 每个表示后面只有N/(2^d)个
快速定位到前缀是d的位置以后，直接比较N/(2^k)个指纹。

如此只能保证前d位精确的那部分N/(2^d)指纹没有遗漏汉明距离>3的

因此要保证64bits上所有部分都安全，全部才没有遗漏。
方法2其实就是把所有的d=61 部分(也就是64选61)都包含了。

按照例子，80亿网页有2^34个，那么理论上34位就能表示完80亿不重复的指纹。

我们假设最前的34位的表示完了80亿指纹，假设指纹在前30位是一样的，那么后面4位还可以表示24个，只需要逐一比较这16个指纹是否于待测指纹汉明距离小于3。

假设：对任意34位中的30位都可以这么做。

因此在一次完整的查找中，限定前q位精确匹配（假设这些指纹已经是q位有序的，可以采用二分查找，如果指纹量非常大，且分布均匀，甚至可以采用内插搜索），之后的2d-q个指纹剩下64-q位需要比较汉明距离小于3。

于是问题就转变为如何切割64位的q。

将64位平分成若干份，例如4份ABCD，每份16位。

假设这些指纹已经按A部分排序好了，我们先按A的16位精确匹配到一个区间，这个区间的后BCD位检查汉明距离是否小于3。

同样的假设，其次我们按B的16位精确匹配到另一个区间，这个区间的所有指纹需要在ACD位上比较汉明距离是否小于3。

同理还有C和D

所以这里我们需要将全部的指纹T复制4份，T1 T2 T3 T4， T1按A排序，T2按B排序… 4份可以并行进行查询，最后把结果合并。这样即使最坏的情况：3个位分别落在其中3个区域ABC,ACD,BCD,ABD…都不会被漏掉。

只精确匹配16位，还需要逐一比较的指纹量依然庞大，可能达到2d-16个，我们也可以精确匹配更多的。

例如：将64位平分成4份ABCD，每份16位，在BCD的48位上，我们再分成4份，WXZY，每份12位，汉明距离的3位可以散落在任意三块，那么A与WXZY任意一份合起来做精确的28位…剩下3份用来检查汉明距离。同理B，C，D也可以这样，那么T需要复制16次，ABCD与WXYZ的组合做精确匹配，每次精确匹配后还需要逐一比较的个数降低到2d-28个。不同的组合方式也就是时间和空间上的权衡。

最坏情况是其中3份可能有1位汉明距离差异为1。

算法的描述如下：

1）先复制原表T为Tt份：T1,T2,….Tt

2）每个Ti都关联一个pi和一个πi，其中pi是一个整数,πi是一个置换函数，负责把pi个bit位换到高位上。

3）应用置换函数πi到相应的Ti表上，然后对Ti进行排序

4）然后对每一个Ti和要匹配的指纹F、海明距离k做如下运算：

a) 然后使用F’的高pi位检索，找出Ti中高pi位相同的集合

b) 在检索出的集合中比较f-pi位，找出海明距离小于等于k的指纹

5）最后合并所有Ti中检索出的结果

由于文本已经压缩成8个字节了，因此其实Simhash近似查重精度并不高：

4. 搜索引擎是如何判断你文章是否采集的

内容一样，字符出现的次数一样

1、认定为原创文章的必要条件

假如这个网站没有被收录，这篇文章会认为是原创吗? 当然不会!因为它根本不可能出现在搜索引擎的数据库里!

那么，如何让它被认定成为原创内容呢?

第一个条件，网站必须有被搜索引擎收录。假如这个网站被收录了，但是不经常更新呢? 很简单，如果不经常更新，发表的文章到被蜘蛛搜索到并收录的时候也会认为是原创的。

2、转载与采集后原创的认定

如果这篇文章被转载了呢? 如果文章被转载，那么看转载这篇文章的站更新周期与首次发表这篇文章的站的更新周期哪个更快。

不太明白更新周期?举个例子说明：比如在A站发表，B站转载，如果蜘蛛先访问了A站，发现了文章，再来到B站发现了文章，很明显的，原创权重归A站。

那么采集的情况是否符合这种情况? 当然，采集的情况一样。如果B采集A，但B收录比A早，B就可能变成原创!

3、蜘蛛的访问时间

如果蜘蛛先访问了B站呢? 当然权重给B站，一般的情况下都会这样!

如果B站转载的文章带了A站的原文章页面链接呢? 这就很明白了，刚收录的时候，如果排名，两条结果一起出现，有可能还是B站的排名好一点。 当然，文章转载次数多了以后，A站的链接越多，对A站的文章越有好处，排名会慢慢变成A站在前面。

如果另外转载的文章带的是B站页面的链接呢? 这种情况就搞笑了，给搜索引擎开了个玩笑，但它们如果判断不好，就变成了一个链接流行度的比赛了。不过，如果都有很多外部链接，并且相差不大，那么判断的规则应该回到原点，谁先被收录谁就是原创。

4、网页快照生成的日期

搜索结果中网页快照日期显示时间最早的，一般就是原创了吧! 不一定，这个说法要在一个更新周期之内，比如说文章发表后一周内，快照时间越早的地址将越有被认可为原创的可能。 但如果文章都发表了几个月了，说不定搜索引擎已经重新获取过快照了，快照的日期就变了!

还有其它的可能吗? 有，比如网络收录，他可能会有一个收录的数据库，经过过滤后，收录的内容才会到搜索结果里来。在这个期间就有一些问题了，比如A站首次发表，B站转载。蜘蛛先访问A站再访问B站。而后可能先把B站的结果放出来了，而A站还在数据库里。

所以说搜索引擎没有收录并不表示搜索引擎蜘蛛没有访问过这些内容，也许在搜索引擎的库存里已经有记录了，只是你查的时间没有放出来而已，就像25号才放出来的内容，但是快照是20号的，这就是搜索引擎的库存内容，同时这也是检验原创的核心时间点。

这种情况一般出现在新站与老站之间，A站发表，B站转载，但A站在搜索引擎的信任度并不高的时候。不过只要是A站先被访问到的，原创权还是A站的，这是最难分出来的情况，因为我们不知道蜘蛛先访问哪个站，除非你知道两个站的网站空间日志内容，能看到搜索引擎对两个页面的访问时间。

5、文章的伪原创

伪原创也会被认为是原创?大多数时候是这样的，搜索引擎蜘蛛智力，你不要给予很高的期望，它就相当于三岁的小孩子，不能明确辨别这些内容是否一样，因为它的思维太程式化了。如果你把文章的标题修改过，把文章的段落、结构、顺序等修改过，甚至是两篇或多篇内容差不多的文章混合在一起加工过，那么搜索引擎的蜘蛛就很难判断这篇文章是否被收录，或许它可以判断出有部分内容是相似或重复的，但是它不能因为这些细微的相似，而将这篇经过“深加工”的伪原创文章判断为是转载!当然，搜索引擎程式设计中有一个相似度的东西，比如文字内容相似度超过百分之几就会被认为是转载。

5. simhash 怎么把关键字变为二进制

原理
simhash值的生成图解如下

大概花三分钟看懂这个图就差不多怎么实现这个simhash算法了。特别简单。谷歌出品嘛，简单实用。
算法过程大概如下：
将Doc进行关键词抽取(其中包括分词和计算权重)，抽取出n个(关键词，权重)对， 即图中的(feature, weight)们。 记为 feature_weight_pairs = [fw1, fw2 … fwn]，其中 fwn = (feature_n,weight_n`)。
hash_weight_pairs = [ (hash(feature), weight) for feature, weight infeature_weight_pairs ] 生成图中的(hash,weight)们, 此时假设hash生成的位数bits_count = 6（如图）;
然后对 hash_weight_pairs 进行位的纵向累加，如果该位是1，则+weight,如果是0，则-weight，最后生成bits_count个数字，如图所示是[13, 108, -22, -5, -32, 55], 这里产生的值和hash函数所用的算法相关。
[13,108,-22,-5,-32,55] -> 110001这个就很简单啦，正1负0。
到此，如何从一个doc到一个simhash值的过程已经讲明白了。 但是还有一个重要的部分没讲，
‘simhash值的海明距离计算’
二进制串A 和 二进制串B 的海明距离 就是

6. 搜索引擎如何判断网页文章的重复度

搜索引擎分词的方法：
1）正向最大匹配法（由左到右的方向）；
2）逆向最大匹配法（由右到左的方向）；
3）最少切分（使每一句中切出的词数最小）；
利用分词方法，把文章中的词切出来，然后对比，就可以分析出重复度，举个例子：
逆向最大匹配法
我在小明家吃饭
用逆向最大匹配法来切词，切的结果为：饭 吃饭 家吃饭 明家吃饭 小明家吃饭 在小明家吃饭 我在小明家吃饭
词切出来后，拿这个词去对照，很容易计算出重复度
其他方法可以以此类推，一般都是方法结合使用的。

7. simhash怎样降低时间复杂度

有1亿个不重复的64位的01字符串，任意给出一个64位的01字符串f，如何快速从中找出与f汉明距离小于3的字符串？

大规模网页的近似查重
主要翻译自WWW07的 Detecting Near-Duplicates for Web Crawling
WWW上存在大量内容近似相同的网页，对搜索引擎而言，去除近似相同的网页可以提高检索效率、降低存储开销。
当爬虫在抓取网页时必须很快能在海量文本集中快速找出是否有重复的网页。

论文主要2个贡献：
1. 展示了simhash可以用以海量文本查重
2. 提出了一个在实际应用中可行的算法。

Simhash算法
一篇文本提取出内容以后，经过基本的预处理，比如去除停词，词根还原，甚至chunking，最后可以得到一个向量。
对每一个term进行hash算法转换，得到长度f位的hash码，每一位上1-0值进行正负权值转换，例如f1位是1时，权值设为 +weight, fk位为0时，权值设为 -weight。
讲文本中所有的term转换出的weight向量按f对应位累加 最后得到一个f位的权值数组，位为正的置1，位为负的置0，那么文本就转变成一个f位的新1-0数组，也就是一个新的hash码。

Simhash具有两个“冲突的性质”：
1. 它是一个hash方法
2. 相似的文本具有相似的hash值，如果两个文本的simhash越接近，也就是汉明距离越小，文本就越相似。

因此海量文本中查重的任务转换位如何在海量simhash中快速确定是否存在汉明距离小的指纹。
也就是：在n个f-bit的指纹中，查询汉明距离小于k的指纹。

在文章的实验中（见最后），simhash采用64位的哈希函数。在80亿网页规模下汉明距离=3刚好合适。
因此任务的f-bit=64 , k=3 , n= 8*10^11

任务清晰，首先看一下两种很直观的方法：
1. 枚举出所有汉明距离小于3的simhash指纹，对每个指纹在80亿排序指纹中查询。
（这种方法需要进行C（64，3）=41664词的simhash指纹，再为每个进行一次查询）
2. 所有接近的指纹排序到一起，这至多有41664排序可能，需要庞大的空间。

提出的方法介于两者之间，合理的空间和时间的折中。

• 假设我们有一个已经排序的容量为2d，f-bit指纹集。看每个指纹的高d位。该高低位具有以下性质：尽管有很多的2d位组合存在，但高d位中有只有少量重复的。
• 现在找一个接近于d的数字d’，由于整个表是排好序的，所以一趟搜索就能找出高d’位与目标指纹F相同的指纹集合f’。因为d’和d很接近，所以找出的集合f’也不会很大。
• 最后在集合f’中查找 和F之间海明距离为k的指纹也就很快了。
• 总的思想：先要把检索的集合缩小，然后在小集合中检索f-d’位的海明距离

按照例子，80亿网页 有2^34 个，那么理论上34位就能表示完80亿不重复的指纹。
我们假设最前的34位的表示完了80亿指纹，假设指纹在前30位是一样的，那么后面4位还可以表示24个， 只需要逐一比较这16个指纹是否于待测指纹汉明距离小于3。
假设：对任意34位中的30位都可以这么做。
因此在一次完整的查找中，限定前q位精确匹配（假设这些指纹已经是q位有序的，可以采用二分查找，如果指纹量非常大，且分布均匀，甚至可以采用内插搜索），之后的2d-q个指纹剩下64-q位需要比较汉明距离小于3。

于是问题就转变为如何切割64位的q。
将64位平分成若干份，例如4份ABCD，每份16位。
假设这些指纹已经按A部分排序好了，我们先按A的16位精确匹配到一个区间，这个区间的后BCD位检查汉明距离是否小于3。
同样的假设，其次我们按B的16位精确匹配到另一个区间，这个区间的所有指纹需要在ACD位上比较汉明距离是否小于3。
同理还有C和D

所以这里我们需要将全部的指纹T复制4份， T1 T2 T3 T4， T1按A排序，T2按B排序… 4份可以并行进行查询，最后把结果合并。这样即使最坏的情况：3个位分别落在其中3个区域ABC,ACD,BCD,ABD…都不会被漏掉。
只精确匹配16位，还需要逐一比较的指纹量依然庞大，可能达到2d-16个，我们也可以精确匹配更多的。
例如：将64位平分成4份ABCD，每份16位，在BCD的48位上，我们再分成4份，WXZY，每份12位， 汉明距离的3位可以散落在任意三块，那么A与WXZY任意一份合起来做精确的28位…剩下3份用来检查汉明距离。 同理B，C，D也可以这样，那么T需要复制16次，ABCD与WXYZ的组合做精确匹配，每次精确匹配后还需要逐一比较的个数降低到2d-28个。不同的组合方式也就是时间和空间上的权衡。

最坏情况是其中3份可能有1位汉明距离差异为1。

算法的描述如下：
1）先复制原表T为Tt份：T1,T2,….Tt
2）每个Ti都关联一个pi和一个πi，其中pi是一个整数, πi是一个置换函数，负责把pi个bit位换到高位上。
3）应用置换函数πi到相应的Ti表上，然后对Ti进行排序
4）然后对每一个Ti和要匹配的指纹F、海明距离k做如下运算：
a) 然后使用F’的高pi位检索，找出Ti中高pi位相同的集合
b) 在检索出的集合中比较f-pi位，找出海明距离小于等于k的指纹5）最后合并所有Ti中检索出的结果

8. 如何计算网站网页相似度

据统计，网页上的大部分相同的页面占29%，而主体内容完全相同的占22%，这些重复网页有的是没有一点改动的拷贝，有的在内容上稍作修改，比如同一文章的不同版本，一个新一点，一个老一点，有的则仅仅是网页的格式不同（如 HTML, Postscript）,文献[Models and Algorithms for Duplicate Document Detection 1999年]将内容重复归结为以下四个类型:
1.如果2篇文档内容和格式上毫无差别，则这种重复叫做full-layout plicate。
2.如果2篇文档内容相同，但是格式不同，则叫做full-content plicates
3.如果2篇文档有部分重要的内容相同，并且格式相同，则称为partial-layout plicates
4.如果2篇文档有部分重要的内容相同，但是格式不同，则称为partial-content plicates
网页去重的任务就是去掉网页中主题内容重复的部分。它和网页净化（noise rection），反作弊（antispam) 是搜索引擎的3大门神
去重在我看来起码有四好处：减少存储；增强检索效率；增强用户的体验；死链的另一种解决方案。
目前从网络的搜索结果来看，去重工作做的不是很完善，一方面可能是技术难度（precision和recall都超过90%还是很难的）；另一方面可能是重复的界定，比如转载算不算重复？所以另一项附属的工作是对个人可写的页面(PWP)进行特殊的处理,那么随之而来的工作就是识别PWP页面。^_^这里就不扯远呢。
问题如何解决？
网页的deplication，我们的算法应该是从最简单的开始，最朴素的算法当然是
对文档进行两两比较，如果A和B比较，如果相似就去掉其中一个
然而这个朴素的算法，存在几个没有解决的问题：
0.要解决问题是什么？full-layout？full-content？partial-layout还是partial-content？
1. 怎么度量A 和 B的相似程度
2. 去掉A还是去掉B，如果A ～B（～表相似,!~表示不相似），B～C 但是 A!~C，去掉B的话，C就去不掉。另一个更深入的问题是，算法的复杂度是多少?假设文档数为n，文档平均长度为m，如果相似度计算复杂度为m的某一个复杂度函数：T=T（m），文档两两比较的复杂度是O（n^2)，合起来是O（n^2 * T(m)) . 这个复杂度是相当高的，想搜索引擎这样处理海量数据的系统，这样的复杂度是完全不能接受的，所有，另外三个问题是：
3. 如何降低相似度计算的复杂化度
4. 如何减少文档比较的复杂度
5. 超大数据集该如何处理
第0个问题是，我们要解决的关键，不同的问题有不同的解决方法，从网页的角度来看，结构的重复并不能代表是重复，比如产品展示页面，不同的产品展示页面就有相同的文档结构。内容来看，复制网站会拷贝其他网站的主要内容，然后加些广告或做些修改。所以，解决的问题是，partial-content deplication，那么首先要抽取网页的主体内容。算法变成：
抽取文档主体内容，两两比较内容的相似性，如果A和B相似，去掉其中一个
其次，问题2依赖于问题1的相似度度量，如果度量函数具有传递性，那么问题2就不存在了，如果没有传递性，我们的方法是什么呢？哦，那就找一个关系，把相似关系传递开嘛，简单，聚类嘛，我们的框架可以改成：
抽取文档主体内容，两两比较内容的相似性，如果A和B相似，把他们聚类在一起，最后一个类里保留一个page
最后，归纳为几个步骤
第一步：识别页面的主题内容，网页净化的一部分，以后讨论
第二步：计算相似度
第三步：聚类算法，计算出文档那些文档是相似的，归类。
核心的问题是，“如何计算相似度？”这里很容易想到的是
1. 计算内容的编辑距离edit distance（方法很有名，但是复杂度太高）
2. 把内容分成一个个的token，然后用集合的jaccard度量（好主意，但是页面内容太多，能不能减少啊？）
好吧，但是，当然可以减少集合的个数呢，采样，抽取满足性质的token就可以啦，如满足 mod m =0 的token，比如有实词？比如stopwords。真是绝妙的注意.在把所有的idea放一起前，突然灵光一现，啊哈，
3. 计算内容的信息指纹，参考google研究员吴军的数学之美系列。
把他们放在一起：
第一步：识别页面的主题内容，网页净化的一部分，以后讨论
第二步：提取页面的特征。将文章切分为重合和或不重合的几个结合，hash out
第三步：用相似度度量来计算集合的相似性，包括用信息指纹，Jaccard集合相似度量，random projection等。
第四步：聚类算法，计算出文档那些文档是相似的，归类。
方法分类：
按照利用的信息，现有方法可以分为以下三类
1．只是利用内容计算相似
2．结合内容和链接关系计算相似
3．结合内容，链接关系以及url文字进行相似计算
一般为内容重复的去重，实际上有些网页是
按照特征提取的粒度现有方法可以分为以下三类
1.按照单词这个级别的粒度进行特征提取.
2.按照SHINGLE这个级别的粒度进行特征提取.SHNGLE是若干个连续出现的单词,级别处于文档和单词之间,比文档粒度小,比单词粒度大.
3.按照整个文档这个级别的粒度进行特征提取
算法-具体见真知
1. I-Match
2. Shingling
3. Locality Sensitive Hashing.(SimHash)
4. SpotSigs
5. Combined

9. simhash中如何抽取文本关键字及权重

传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的hash算法产生的两个签名，如果原始内容在一定概率下是相等的；如果不相等，除了说明原始内容不相等外，不再提供任何信息，因为即使原始内容只相差一个字节，所产生的签名也很可能差别很大。所以传统的Hash是无法在签名的维度上来衡量原内容的相似度，而SimHash本身属于一种局部敏感哈希算法，它产生的hash签名在一定程度上可以表征原内容的相似度。