搜索引擎去重演算法

A. 搜索引擎是怎麼去重的

同一篇文章在一個網站中多次出現是搜索引擎不喜歡的，同一片文章在很多網站上出現也是搜索引擎厭惡的，特別是當用戶搜索的時候前幾頁都是這同樣一篇文章對於搜素引擎來認為他是不利於用戶體驗的。搜索引擎希望的是一篇文章只出現一次。是以搜素引擎識別重復文章和刪除重復文章就叫做去重。去重的方法是根據關鍵詞指紋來計算，選擇一個最具有代表意義的關鍵詞然後再分詞和去停止詞去噪之後在選擇10個特徵這樣就可以到達一個非常高的准確性，特徵再多了不但浪費計算並且沒有意義，簡單的加一些的地得已經讓我們知道這樣所謂的偽原創對付搜索引擎木有任何的意義。搜索引擎的去重不會只是淡淡的一個頁面或者一個網站，而是在整個互聯網都在運作，是以所謂的調換段落，和用幾篇文章拼成一篇文章的做法並不能讓搜索引擎認為這是原創文章。

B. 關於網路搜索的問題

搜索引擎出現的目的也就是搜索資料，你想要自己最完善的資料就是優化關鍵字，比如你搜索「王偉」 可以連帶職業一起搜索，「教師王偉」 二中教師王偉，這樣檢索出來的資料就會更貼近你檢索的關鍵字，歌曲也是一樣，「我愛你」 可以搜索成 「she我愛你」 或者其他的都可以

C. 搜索引擎是怎樣判斷原創的

搜索引擎判斷復制網頁一般都基於這么一個思想：為每個網頁計算出一組信息指紋（Fingerprint），若兩個網頁有一定數量相同的信息指紋，則認為這兩個網頁的內容重疊性很高，也就是說兩個網頁是內容復制的。很多搜索引擎判斷內容復制的方法都不太一樣，主要是以下兩點的不同：1、計算信息指紋（Fingerprint）的演算法；2、判斷信息指紋的相似程度的參數。在描述具體的演算法前，先說清楚兩點：1、什麼是信息指紋？信息指紋就是把網頁裡面正文信息，提取一定的信息，可以是關鍵字、詞、句子或者段落及其在網頁裡面的權重等，對它進行加密，如MD5加密，從而形成的一個字元串。信息指紋如同人的指紋，只要內容不相同，信息指紋就不一樣。2、演算法提取的信息不是針對整張網頁，而是把網站裡面共同的部分如導航條、logo、版權等信息（這些稱之為網頁的「噪音」）過濾掉後剩下的文本。分段簽名演算法這種演算法是按照一定的規則把網頁切成N段，對每一段進行簽名，形成每一段的信息指紋。如果這N個信息指紋裡面有M個相同時（m是系統定義的闕值），則認為兩者是復制網頁。這種演算法對於小規模的判斷復制網頁是很好的一種演算法，但是對於像google這樣海量的搜索引擎來說，演算法的復雜度相當高。基於關鍵詞的復制網頁演算法像google這類搜索引擎，他在抓取網頁的時候都會記下以下網頁信息：1、網頁中出現的關鍵詞（中文分詞技術）以及每個關鍵詞的權重（關鍵詞密度）；2、提取meta descrīption或者每個網頁的512個位元組的有效文字。關於第2點，和google有所不同，google是提取你的meta descrīption，如果沒有查詢關鍵字相關的512個位元組，而網路是直接提取後者。這一點大家使用過的都有所體會。在以下演算法描述中，我們約定幾個信息指紋變數：Pi表示第i個網頁；該網頁權重最高的N個關鍵詞構成集合Ti={t1,t2,...tn}，其對應的權重為Wi={w1,w2,...wi}摘要信息用Des(Pi)表示，前n個關鍵詞拼成的字元串用Con(Ti)表示，對這n個關鍵詞排序後形成的字元串用Sort(Ti)表示。以上信息指紋都用MD5函數進行加密。基於關鍵詞的復制網頁演算法有以下5種：1、MD5(Des(Pi))=MD5(Des(Pj)),就是說摘要信息完全一樣，i和j兩個網頁就認為是復制網頁；2、MD5(Con(Ti))=MD5(Con(Tj)),兩個網頁前n個關鍵詞及其權重的排序一樣，就認為是復制網頁；3、MD5(Sort(Ti))=MD5(Sort(Tj)),兩個網頁前n個關鍵詞一樣，權重可以不一樣，也認為是復制網頁。4、MD5(Con(Ti))=MD5(Con(Tj))並且Wi-Wj的平方除以Wi和Wj的平方之和小於某個闕值a，則認為兩者是復制網頁。5、MD5(Sort(Ti))=MD5(Sort(Tj))並且Wi-Wj的平方除以Wi和Wj的平方之和小於某個闕值a，則認為兩者是復制網頁。關於第4和第5的那個闕值a,主要是因為前一個判斷條件下，還是會有很多網頁被誤傷，搜索引擎開發根據權重的分布比例進行調節，防止誤傷。這個是北大天網搜索引擎的去重演算法（可以參考：《搜索引擎--原理、技術與系統》一書），以上5種演算法運行的時候，演算法的效果取決於N，就是關鍵詞數目的選取。當然啦，選的數量越多，判斷就會越精確，但是誰知而來的計算速度也會減慢下來。所以必須考慮一個計算速度和去重准確率的平衡。據天網試驗結果，10個左右關鍵詞最恰當。後記以上肯定無法覆蓋一個大型搜索引擎復制網頁的所有方面，他們必定還有一些輔助的信息指紋判斷，本文作為一個思路，給做搜索引擎優化的一個思路。小弟的站：合肥化妝攝影學校

D. 搜索引擎的工作過程分為哪幾個階段

搜索引擎的整個工作過程視為三個部分：蜘蛛在互聯網上爬行和抓取網頁信息，並存入原始網頁資料庫；對原始網頁資料庫中的信息進行提取和組織，並建立索引庫；根據用戶輸入的關鍵詞，快速找到相關文檔，並對找到的結果進行排序，並將查詢結果返回給用戶。

1、網頁抓取

Spider每遇到一個新文檔，都要搜索其頁面的鏈接網頁。搜索引擎蜘蛛訪問web頁面的過程類似普通用戶使用瀏覽器訪問其頁面，即B/S模式。引擎蜘蛛先向頁面提出訪問請求，伺服器接受其訪問請求並返回HTML代碼後，把獲取的HTML代碼存入原始頁面資料庫。

2、預處理，建立索引

為了便於用戶在數萬億級別以上的原始網頁資料庫中快速便捷地找到搜索結果，搜索引擎必須將spider抓取的原始web頁面做預處理。網頁預處理最主要過程是為網頁建立全文索引，之後開始分析網頁，最後建立倒排文件（也稱反向索引）。

3、查詢服務

在搜索引擎界面輸入關鍵詞，點擊「搜索」按鈕之後，搜索引擎程序開始對搜索詞進行以下處理：分詞處理、根據情況對整合搜索是否需要啟動進行判斷、找出錯別字和拼寫中出現的錯誤、把停止詞去掉。接著搜索引擎程序便把包含搜索詞的相關網頁從索引資料庫中找出，而且對網頁進行排序，最後按照一定格式返回到「搜索」頁面。

(4)搜索引擎去重演算法擴展閱讀

在信息抓取階段搜索引擎掌握的信息往往是局部的，因而為搜索引擎設計一個好的抓取優先順序策略並不是一件容易的事情，這里說的是一個深度抓取的優先策略。深度優先抓取它是以抓取到連接結構關系中的所有內容為主要目的的，具體實現方式是沿著樹形的深度遍歷樹的節點，盡可能深的搜索樹的分支，如果發現目標，則演算法中止。

深度優先抓取過程中，抓取程序從起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路最低端之後再轉入下一個起始頁，繼續跟蹤鏈接。

E. 搜索引擎核心演算法是什麼

搜索引擎核心演算法是獲得網站網頁資料，建立資料庫並提供查詢的系統。

索引擎的資料庫是依靠一個叫「網路機器人（crawlers）」或叫「網路蜘蛛（Spider）」的軟體，它通過網路上的各種鏈接自動獲取大量的網頁信息內容，並按照一定的規則進行分析和組織。谷歌和網路是典型的搜索引擎系統。

為了更好地服務於web搜索，搜索引擎分析和排序規則也就是說，搜索引擎演算法正在發生變化。由於互聯網上無數的網站頁面，搜索引擎蜘蛛無法將所有網頁下載並保存到伺服器上。

因此，許多搜索引擎蜘蛛只抓取那些重要的頁面，而評估爬行重要性的主要依據是鏈接寬度（以及外部鏈接的數量和質量）。

(5)搜索引擎去重演算法擴展閱讀：

搜索引擎核心演算法的優化：

1、在搜索前，根據條件降低搜索規模。

2、廣度優先搜索中，被處理過的節點，充分釋放空間。

3、給據問題的約束條件進行剪枝。

4、利用回溯演算法進行優化：回溯和深度優先是相似的，區別在於當一個節點被擴展時，不是所有的子節點都被擴展，而是只有一個子節點被擴展。所以它是盲的，但佔用的內存更少。

F. 百度主流相關性演算法有哪些你知道多少

一般是谷歌能走到哪一步，網路也會跟到哪一步。除了PR值的演算法，是基於李彥宏。 這里介紹的主流演算法是—— Simhash演算法 1、主流演算法——Simhash演算法 我們一般判斷文本與文本之間的相關性是很容易的。你演算法的效率，直接決定了你的使用性。 通過此演算法能夠了解網頁間的相關性對比和搜索引擎達到去重的效果。網路和谷歌都有基於此原理。這個大家可以網路一下具體解釋。 2、相關性演算法的對比程度 我們了解演算法，是為了獲得更多的權重。在應用上，我們主要在以下幾個方面。 第一：外鏈的有效性方面。比如，你是旅遊類站點，那麼你做的友鏈都是旅遊類。那麼有些企業站很難找到相關的。那麼可以找，本地的，同行業的。但是我們心裡清楚，相關性的總比不相關性的好。那麼找本地的、同行業的大家都沒有底，但是不管你是找同行業的還是本地的，其實沒有那麼大的影響。 第二，站內相關性。比如說內鏈，現在內鏈的列表都是隨機推薦的。隨機推薦的效果是最差的。隨機推薦的越多，質量就最低，也是網路這次演算法調整的內容之一，那麼那些網站是最多的？醫療站，幾乎是所有行業裡面最普遍的。隨機生成 這里，老師將會讓你徹底改變關於相關性的看法。一個是外鏈相關性方面，一個是內鏈相關性方面，一定要看仔細了。 3.外鏈方面的相關性方面 分兩個層次的應用。這里講兩個基礎的兩個概念，一個是谷歌PR值演算法和網路的超文本鏈接演算法，是怎麼來識別權威性的？我們在一個行業為什麼要進行權威性的識別？在任何團隊裡面都有自己的領袖，這個是一個自然現象。因為權威性的指導，能夠給信息帶來信用度。對信用的評級是有一定的層級的。因為搜索引擎是一個信息平台，那麼對信息就必須有一個權威性指導。所以搜索引擎就必須有兩個識別，一個是樞紐，一個是權威性。那麼什麼是樞紐？中心的意思。 權威性的建立，是有一些樞紐組成的。一個權威性站點，是接收了很多樞紐的指向的。樞紐是鏈接，但是鏈接不一定是樞紐。這個就是ICO標簽。如果你想成為權威性網站，那麼你要做的應該是不同行業的鏈接。如果你做的都是同行業的鏈接，你就成為不了權威性網站。 權威是指整個互聯網的權威，還是某個行業？權威可不可以跨行？旅遊行業的權威網站可不可以對酒店行業網站投票？我們所說的 高權重站點，針對的是行業，不是跨行業。 我們聽說一個高權重網站，我們都去發外鏈，以為可以帶來大量權重，其實錯了。他只能給他的那個行業的網站帶來權重。 樞紐鏈接是對不同的權威網站進行指向的。這個鏈接的導出頁面（樞紐），是對不同行業進行導向的。 如果你的網站都是同行業的，那麼你不是樞紐，也不可能稱為權威。做外鏈，請找樞紐 了解搜索引擎的相關性演算法了嗎？

G. 什麼是搜索引擎的去重如題 謝謝了

友情頂帖！！沒有贊助～～～～～～ 查看原帖>>

H. 百度搜索引擎工作原理是什麼，試寫出流程

你好！

搜索引擎的工作原理包括如下三個過程：首先在互聯中發現、搜集網頁信息；同時對信息進行提取和組織建立索引庫；再由檢索器根據用戶輸入的查詢關鍵字，在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並將查詢結果返回給用戶。

1、抓取網頁。每個獨立的搜索引擎都有自己的網頁抓取程序（spider）。Spider順著網頁中的超鏈接，連續地抓取網頁。被抓取的網頁被稱之為網頁快照。由於互聯網中超鏈接的應用很普遍，理論上，從一定范圍的網頁出發，就能搜集到絕大多數的網頁。

發現、抓取網頁信息需要有高性能的「網路蜘蛛」程序(Spider)去自動地在互聯網中搜索信息。一個典型的網路蜘蛛工作的方式，是查看一個頁面，並從中找到相關信息,然後它再從該頁面的所有鏈接中出發，繼續尋找相關的信息，以此類推，直至窮盡。網路蜘蛛要求能夠快速、全面。網路蜘蛛為實現其快速地瀏覽整個互聯網，通常在技術上採用搶先式多線程技術實現在網上聚集信息。通過搶先式多線程的使用，你能索引一個基於URL鏈接的Web頁面，啟動一個新的線程跟隨每個新的URL鏈接，索引一個新的URL起點。當然在伺服器上所開的線程也不能無限膨脹，需要在伺服器的正常運轉和快速收集網頁之間找一個平衡點。在演算法上各個搜索引擎技術公司可能不盡相同，但目的都是快速瀏覽Web頁和後續過程相配合。目前國內的搜索引擎技術公司中，比如網路公司的網路蜘蛛採用了可定製、高擴展性的調度演算法使得搜索器能在極短的時間內收集到最大數量的互聯網信息，並把所獲得的信息保存下來以備建立索引庫和用戶檢索。

2、處理網頁。搜索引擎抓到網頁後，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索引。其他還包括去除重復網頁、分詞（中文）、判斷網頁類型、分析超鏈接、計算網頁的重要度/豐富度等。

索引庫的建立關繫到用戶能否最迅速地找到最准確、最廣泛的信息，同時索引庫的建立也必須迅速，對網路蜘蛛抓來的網頁信息極快地建立索引，保證信息的及時性。對網頁採用基於網頁內容分析和基於超鏈分析相結合的方法進行相關度評價，能夠客觀地對網頁進行排序，從而極大限度地保證搜索出的結果與用戶的查詢串相一致。新浪搜索引擎對網站數據建立索引的過程中採取了按照關鍵詞在網站標題、網站描述、網站URL等不同位置的出現或網站的質量等級等建立索引庫，從而保證搜索出的結果與用戶的查詢串相一致。新浪搜索引擎在索引庫建立的過程中，對所有數據採用多進程並行的方式，對新的信息採取增量式的方法建立索引庫，從而保證能夠迅速建立索引，使數據能夠得到及時的更新。

3、提供檢索服務。用戶輸入關鍵詞進行檢索，搜索引擎從索引資料庫中找到匹配該關鍵詞的網頁；為了用戶便於判斷，除了網頁標題和URL外，還會提供一段來自網頁的摘要以及其他信息。

用戶檢索的過程是對前兩個過程的檢驗，檢驗該搜索引擎能否給出最准確、最廣泛的信息，檢驗該搜索引擎能否迅速地給出用戶最想得到的信息。對於網站數據的檢索，新浪搜索引擎採用多進程的方式在索引庫中檢索，大大減少了用戶的等待時間，並且在用戶查詢高峰時伺服器的負擔不會過高（平均的檢索時間在0.3秒左右）。對於網頁信息的檢索，作為國內眾多門戶網站的網頁檢索技術提供商的網路公司其搜索引擎運用了先進的多線程技術，採用高效的搜索演算法和穩定的UNIX平台，因此可大大縮短對用戶搜索請求的響應時間。作為慧聰I系列應用軟體產品之一的I-Search2000採用的超大規模動態緩存技術，使一級響應的覆蓋率達到75%以上，獨有的自學能力可自動將二級響應的覆蓋率擴充到20%以上。

我現在是在搜外網上學習，他們網站上有很多免費的視頻教程可以學，建議去看看！

I. 搜索引擎有「去重」機制，是不是由於這原因，每次發很多外鏈。。。起效果不大

解決辦法有二：
一是通過「偽原創」的方式，上網搜搜就知道
二是提高你發布的網頁的權重，以提高其被收錄的可能性，具體怎麼做呢？在你的站點里做一個網頁A，裡面就放最新你發布的內容的網址（不超過一百個，多了就分頁），這樣這個網頁A被收錄之後，你所有發布過的內容都增加了一個外部鏈接，那麼他的權重就比別人發的高那麼一點點，這樣就會情況好點

J. 搜索引擎在給搜索去重的環節中用到指紋演算法，那麼什麼是指紋演算法指紋演算法中的md5又是怎麼運行

指紋演算法：就是把指紋圖像，按特徵點要求的進行處理的方法以，形成特徵值，此種方式就是演算法

指紋模塊=深圳十指科技