❶ 搜索引擎如何判斷網頁文章的重復度
搜索引擎分詞的方法：
1）正向最大匹配法（由左到右的方向）；
2）逆向最大匹配法（由右到左的方向）；
3）最少切分（使每一句中切出的詞數最小）；
利用分詞方法，把文章中的詞切出來，然後對比，就可以分析出重復度，舉個例子：
逆向最大匹配法
我在小明家吃飯
用逆向最大匹配法來切詞，切的結果為：飯 吃飯 家吃飯 明家吃飯 小明家吃飯 在小明家吃飯 我在小明家吃飯
詞切出來後，拿這個詞去對照，很容易計算出重復度
其他方法可以以此類推，一般都是方法結合使用的。
❷ simhash java實現怎樣可以比較中文
可以通過」Scanner「函數 直接輸入參數的形式，來實現輸入和輸出語句，舉例：
import java.util.Scanner;
public class Test {
public static void main(String[] args) {
Scanner input=new Scanner(System.in);
System.out.println("請輸入一個中文：");
String length=input.next();//輸入中文字元串
System.out.println("輸入的字元串是："+length);//輸出輸入的中文
}
}
備註：Scanner函數就是用來進行語句輸入的，上面舉例的是中文字元串類型，也可以用以下語句「int length=input.nextInt()」，輸入的就是整型等。
❸ 幫忙解釋一下simHash演算法中的一個函數
傳統hash，做了這個hash後再做simhash。
❹ simhash演算法相似度達到多少可以認為內容一致
SIM = Structural SIMilarity（結構相似性），這是一種用來評測圖像質量的一種方法。由於人類視覺很容易從圖像中抽取出結構信息,因此計算兩幅圖像結構信息的相似性就可以用來作為一種檢測圖像質量的好壞. 首先結構信息不應該受到照明的影響,
❺ simhash如何進行文本查重
有1億個不重復的64位的01字元串，任意給出一個64位的01字元串f，如何快速從中找出與f漢明距離小於3的字元串？
大規模網頁的近似查重
主要翻譯自WWW07的Detecting Near-Duplicates for Web Crawling
WWW上存在大量內容近似相同的網頁，對搜索引擎而言，去除近似相同的網頁可以提高檢索效率、降低存儲開銷。
當爬蟲在抓取網頁時必須很快能在海量文本集中快速找出是否有重復的網頁。
論文主要2個貢獻：
1. 展示了simhash可以用以海量文本查重
2. 提出了一個在實際應用中可行的演算法。
兩篇文本相似度普遍的定義是比較向量化之後兩個詞袋中詞的交集程度，有cosine,jaccard等等
如果直接使用這種計算方式，時間空間復雜度都太高，因此有了simhash這種降維技術，
但是如何從傳統的向量相似度能用simhash來近似，論文沒提，應該是有很長一段推導要走的。
Simhash演算法
一篇文本提取出內容以後，經過基本的預處理，比如去除停詞，詞根還原，甚至chunking，最後可以得到一個向量。
對每一個term進行hash演算法轉換，得到長度f位的hash碼，每一位上1-0值進行正負權值轉換，例如f1位是1時，權值設為 +weight, fk位為0時，權值設為-weight。
講文本中所有的term轉換出的weight向量按f對應位累加最後得到一個f位的權值數組，位為正的置1，位為負的置0，那麼文本就轉變成一個f位的新1-0數組，也就是一個新的hash碼。
Simhash具有兩個「沖突的性質」：
1. 它是一個hash方法
2. 相似的文本具有相似的hash值，如果兩個文本的simhash越接近，也就是漢明距離越小，文本就越相似。
因此海量文本中查重的任務轉換位如何在海量simhash中快速確定是否存在漢明距離小的指紋。
也就是：在n個f-bit的指紋中，查詢漢明距離小於k的指紋。
在文章的實驗中（見最後），simhash採用64位的哈希函數。在80億網頁規模下漢明距離=3剛好合適。
因此任務的f-bit=64 , k=3 , n= 8*10^11
任務清晰，首先看一下兩種很直觀的方法：
1. 對輸入指紋，枚舉出所有漢明距離小於3的simhash指紋，對每個指紋在80億排序指紋中查詢。
（這種方法需要進行C（64，3）=41664次的simhash指紋，再為每個進行一次查詢）
2. 輸入指紋不變，對應集合相應位置變。也就是集合上任意3位組合的位置進行變化，實際上就是提前准備41664個排序可能，需要龐大的空間。輸入在這群集合並行去搜....
提出的方法介於兩者之間，合理的空間和時間的折中。
• 假設我們有一個已經排序的容量為2d，f-bit指紋集。看每個指紋的高d位。該高低位具有以下性質：盡管有很多的2d位組合存在，但高d位中有隻有少量重復的。
• 現在找一個接近於d的數字d』，由於整個表是排好序的，所以一趟搜索就能找出高d』位與目標指紋F相同的指紋集合f』。因為d』和d很接近，所以找出的集合f』也不會很大。
• 最後在集合f』中查找和F之間海明距離為k的指紋也就很快了。
• 總的思想：先要把檢索的集合縮小，然後在小集合中檢索f-d』位的海明距離
要是一時半會看不懂，那就從新回顧一下那兩種極端的辦法：
方法2，前61位上精確匹配，後面就不需要比較了
方法1，前0位上精確匹配，那就要在後面，也就是所有，上比較
那麼折中的想法是 前d- bits相同，留下3bit在(64-d)bit小范圍搜索，可行否?
d-bits的表示範圍有2^d，總量N個指紋，平均 每個表示後面只有N/(2^d)個
快速定位到前綴是d的位置以後，直接比較N/(2^k)個指紋。
如此只能保證前d位精確的那部分N/(2^d)指紋沒有遺漏漢明距離>3的
因此要保證64bits上所有部分都安全，全部才沒有遺漏。
方法2其實就是把所有的d=61 部分(也就是64選61)都包含了。
按照例子，80億網頁有2^34個，那麼理論上34位就能表示完80億不重復的指紋。
我們假設最前的34位的表示完了80億指紋，假設指紋在前30位是一樣的，那麼後面4位還可以表示24個，只需要逐一比較這16個指紋是否於待測指紋漢明距離小於3。
假設：對任意34位中的30位都可以這么做。
因此在一次完整的查找中，限定前q位精確匹配（假設這些指紋已經是q位有序的，可以採用二分查找，如果指紋量非常大，且分布均勻，甚至可以採用內插搜索），之後的2d-q個指紋剩下64-q位需要比較漢明距離小於3。
於是問題就轉變為如何切割64位的q。
將64位平分成若干份，例如4份ABCD，每份16位。
假設這些指紋已經按A部分排序好了，我們先按A的16位精確匹配到一個區間，這個區間的後BCD位檢查漢明距離是否小於3。
同樣的假設，其次我們按B的16位精確匹配到另一個區間，這個區間的所有指紋需要在ACD位上比較漢明距離是否小於3。
同理還有C和D
所以這里我們需要將全部的指紋T復制4份，T1 T2 T3 T4， T1按A排序，T2按B排序… 4份可以並行進行查詢，最後把結果合並。這樣即使最壞的情況：3個位分別落在其中3個區域ABC,ACD,BCD,ABD…都不會被漏掉。
只精確匹配16位，還需要逐一比較的指紋量依然龐大，可能達到2d-16個，我們也可以精確匹配更多的。
例如：將64位平分成4份ABCD，每份16位，在BCD的48位上，我們再分成4份，WXZY，每份12位，漢明距離的3位可以散落在任意三塊，那麼A與WXZY任意一份合起來做精確的28位…剩下3份用來檢查漢明距離。同理B，C，D也可以這樣，那麼T需要復制16次，ABCD與WXYZ的組合做精確匹配，每次精確匹配後還需要逐一比較的個數降低到2d-28個。不同的組合方式也就是時間和空間上的權衡。
最壞情況是其中3份可能有1位漢明距離差異為1。
演算法的描述如下：
1）先復制原表T為Tt份：T1,T2,….Tt
2）每個Ti都關聯一個pi和一個πi，其中pi是一個整數,πi是一個置換函數，負責把pi個bit位換到高位上。
3）應用置換函數πi到相應的Ti表上，然後對Ti進行排序
4）然後對每一個Ti和要匹配的指紋F、海明距離k做如下運算：
a) 然後使用F』的高pi位檢索，找出Ti中高pi位相同的集合
b) 在檢索出的集合中比較f-pi位，找出海明距離小於等於k的指紋
5）最後合並所有Ti中檢索出的結果
由於文本已經壓縮成8個位元組了，因此其實Simhash近似查重精度並不高：
❻ 有沒有對I-Match去重演算法和simhash演算法比較熟悉的朋友
一種方案是先將兩篇文章分別進行分詞，得到一系列特徵向量，然後計算特徵向量之間的距離（可以計算它們之間的歐氏距離、海明距離或者夾角餘弦等等），從而通過距離的大小來判斷兩篇文章的相似度。
另外一種方案是傳統hash，我們考慮為每一個web文檔通過hash的方式生成一個指紋（finger print）。
❼ 搜索引擎是如何判斷你文章是否採集的
內容一樣，字元出現的次數一樣
1、認定為原創文章的必要條件
假如這個網站沒有被收錄，這篇文章會認為是原創嗎? 當然不會!因為它根本不可能出現在搜索引擎的資料庫里!
那麼，如何讓它被認定成為原創內容呢?
第一個條件，網站必須有被搜索引擎收錄。假如這個網站被收錄了，但是不經常更新呢? 很簡單，如果不經常更新，發表的文章到被蜘蛛搜索到並收錄的時候也會認為是原創的。
2、轉載與採集後原創的認定
如果這篇文章被轉載了呢? 如果文章被轉載，那麼看轉載這篇文章的站更新周期與首次發表這篇文章的站的更新周期哪個更快。
不太明白更新周期?舉個例子說明：比如在A站發表，B站轉載，如果蜘蛛先訪問了A站，發現了文章，再來到B站發現了文章，很明顯的，原創權重歸A站。
那麼採集的情況是否符合這種情況? 當然，採集的情況一樣。如果B採集A，但B收錄比A早，B就可能變成原創!
3、蜘蛛的訪問時間
如果蜘蛛先訪問了B站呢? 當然權重給B站，一般的情況下都會這樣!
如果B站轉載的文章帶了A站的原文章頁面鏈接呢? 這就很明白了，剛收錄的時候，如果排名，兩條結果一起出現，有可能還是B站的排名好一點。 當然，文章轉載次數多了以後，A站的鏈接越多，對A站的文章越有好處，排名會慢慢變成A站在前面。
如果另外轉載的文章帶的是B站頁面的鏈接呢? 這種情況就搞笑了，給搜索引擎開了個玩笑，但它們如果判斷不好，就變成了一個鏈接流行度的比賽了。不過，如果都有很多外部鏈接，並且相差不大，那麼判斷的規則應該回到原點，誰先被收錄誰就是原創。
4、網頁快照生成的日期
搜索結果中網頁快照日期顯示時間最早的，一般就是原創了吧! 不一定，這個說法要在一個更新周期之內，比如說文章發表後一周內，快照時間越早的地址將越有被認可為原創的可能。 但如果文章都發表了幾個月了，說不定搜索引擎已經重新獲取過快照了，快照的日期就變了!
還有其它的可能嗎? 有，比如網路收錄，他可能會有一個收錄的資料庫，經過過濾後，收錄的內容才會到搜索結果里來。在這個期間就有一些問題了，比如A站首次發表，B站轉載。蜘蛛先訪問A站再訪問B站。而後可能先把B站的結果放出來了，而A站還在資料庫里。
所以說搜索引擎沒有收錄並不表示搜索引擎蜘蛛沒有訪問過這些內容，也許在搜索引擎的庫存里已經有記錄了，只是你查的時間沒有放出來而已，就像25號才放出來的內容，但是快照是20號的，這就是搜索引擎的庫存內容，同時這也是檢驗原創的核心時間點。
這種情況一般出現在新站與老站之間，A站發表，B站轉載，但A站在搜索引擎的信任度並不高的時候。不過只要是A站先被訪問到的，原創權還是A站的，這是最難分出來的情況，因為我們不知道蜘蛛先訪問哪個站，除非你知道兩個站的網站空間日誌內容，能看到搜索引擎對兩個頁面的訪問時間。
5、文章的偽原創
偽原創也會被認為是原創?大多數時候是這樣的，搜索引擎蜘蛛智力，你不要給予很高的期望，它就相當於三歲的小孩子，不能明確辨別這些內容是否一樣，因為它的思維太程式化了。如果你把文章的標題修改過，把文章的段落、結構、順序等修改過，甚至是兩篇或多篇內容差不多的文章混合在一起加工過，那麼搜索引擎的蜘蛛就很難判斷這篇文章是否被收錄，或許它可以判斷出有部分內容是相似或重復的，但是它不能因為這些細微的相似，而將這篇經過「深加工」的偽原創文章判斷為是轉載!當然，搜索引擎程式設計中有一個相似度的東西，比如文字內容相似度超過百分之幾就會被認為是轉載。