關鍵詞檢索演算法

A. 什麼是關鍵字搜索什麼是目錄搜索什麼是引擎搜索

關鍵字搜索又稱保留字搜索是指在搜索引擎行業中，希望訪問者了解的產品、服務或者公司等內容名稱的用語。另外，關鍵字也是電腦語言用語。

目錄搜索引擎是以人工方式或半自動方式搜集信息，由編輯員查看信息之後，人工形成信息摘要，並將信息置於事先確定的分類框架中。信息大多面向網站，提供目錄瀏覽服務和直接檢索服務。

所謂搜索引擎，就是根據用戶需求與一定演算法，運用特定策略從互聯網檢索出制定信息反饋給用戶的一門檢索技術。

搜索引擎依託於多種技術，如網路爬蟲技術、檢索排序技術、網頁處理技術、大數據處理技術、自然語言處理技術等，為信息檢索用戶提供快速、高相關性的信息服務。

(1)關鍵詞檢索演算法擴展閱讀：

根據一定的策略、運用特定的計算機程序從互聯網上採集信息，在對信息進行組織和處理後，為用戶提供檢索服務，將檢索的相關信息展示給用戶的系統。

工作於互聯網上的一門檢索技術，它指在提高人們獲取搜集信息的速度，為人們提供更好的網路使用環境。從功能和原理上搜索引擎大致被分為全文搜索引擎、元搜索引擎、垂直搜索引擎和目錄搜索引擎等四大類。

基礎架構和演算法在技術上都已經基本成型和成熟。搜索引擎已經發展成為根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理後，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。

B. 英文搜索引擎bing的核心演算法是什麼

英文搜索引擎bing的核心演算法是：獲得網站網頁資料，建立資料庫並提供查詢的系統，搜索引擎的資料庫是依靠一個叫「網路機器人（crawlers）」或叫「網路蜘蛛（Spider）」的軟體，通過網路上的各種鏈接自動獲取大量網頁信息內容，並按一定的規則分析整理形成的。

bing加上為雅虎提供的搜索技術支持，必應已佔據29.3%的市場份額。

(2)關鍵詞檢索演算法擴展閱讀：

關鍵詞分數：

1、網頁title中關鍵詞的處理

2、H標簽（h1-h6）中關鍵詞的處理

3、文本內容中關鍵詞的密度

4、外鏈中關鍵詞的選擇

5、域名中的關鍵詞

域名權重：

1、域名注冊前的歷史問題

2、域名注冊時間的長短

3、外鏈網站的權重

4、外鏈、給出鏈接的相關度

5、是否使用歷史、鏈接形式

C. 什麼是關鍵詞關鍵詞怎麼來的

關鍵詞這個叫法的溯源我們先從一些知識網路來了解下。中文的叫法應該是從英文那邊翻譯過來的。網路的解釋是關鍵詞特指單個媒體在製作使用索引時，所用到的詞彙。在wikipedia上的解釋是a term used as a keyword toretriewv documenet in an inofrmation system such as catalog or a search engine.它的意思是關鍵詞是一種獲取信息的一種精煉的詞彙。因為我們知道如果要獲取一整塊信息它的量是非常大的，我們沒有辦法通過一整段的句子去找源頭，所以我們要從所有的信息當中去挖取出信息的核心意思，再從核心意思去轉換成一個單詞，這個單詞或是小段短語就是所謂的關鍵詞了。因此，關鍵詞是一個大內容下的精煉體。
隨後我們從字面意思也能看出，keyword的翻譯就是鑰匙或關鍵的意思，也就非常的形象告訴我們能否屬於個對的關鍵詞核心是要找到對的"鑰匙"。當在搜索的一剎那，用戶所用的關鍵詞種類可以非常之多，但所得到的搜索結果是不一樣的。不同的鑰匙是打開不同的門的，門就像搜索引擎里的演算法，演算法是源自於搜索引擎本身內部的綜合的計算能力。而要把這個門打開，就需要使用正確的關鍵詞。我這里也特意提到，鑰匙詞不等同就是一個關鍵詞，因為鑰匙詞是在一堆鑰匙中找對應的門，當用錯誤的鑰匙開錯誤的門是打不開的，所以當你用不對的關鍵詞去找對應的內容時可能找不到。因此我們必須要有一個清楚的概念就是，關鍵詞雖然每天我們都在這樣的稱呼它，但是它是否在實際意義上幫你找到了你要的內容了嗎?成功的關鍵詞的定義應該是結果是不是對，是不是找到你所要的信息了?
對於搜索引擎的關鍵詞其實就是要找到海量數字信息中的那一塊內容，在網路上面所有的訊息和文檔都是數字化的。內容是否匹配很重要，這里舉一個例子，比如你想找上海的地鐵圖，你一般會在搜索框上搜上海地鐵圖這樣的關鍵詞，出來的結果我看了下基本上都可以找到上海軌道交通圖的大圖的。所以對於這個關鍵詞來講是成功的!那又假如這個用戶用的詞是地鐵示意圖，地鐵圖，出現的結果不一定是這個的大圖或不一定是上海的地鐵圖，雖然聽起來有點小怪，為什麼你會覺得既然要找上海地鐵圖，為什麼不去搜索帶上海地域字樣的關鍵詞呢。你要知道，不是所有的用戶會很好的利用或是使用搜索引擎，搜索的動作不一定和他們的意圖能夠最好的匹配起來，所以說這樣的詞就可能不是一個成功的關鍵詞。
搜索引擎與關鍵詞的關系。 其實搜索引擎的工作原理應該大部分人都知道，總結起來講就是爬、抓、處、排、展。爬的意思就是派蜘蛛出來做搬運工的事情，也就是在你的網站上進行爬取，但記住爬取不代表抓取，抓取是指蜘蛛覺得你的內容是不錯的，它把內容帶回到處理中心，反過來內容不好的話就沒有抓取這個動作。所以在抓的過程中就有了處理這個過程，處理的過程一般我們稱為它是一個演算法，英文叫做 Algorithm。在這個演算法過程中，對於用戶來講沒有辦法進行所謂的人工干預，但也不排除某些搜索引擎會的，在演算法過程中我們知道所有的排序，內容處理，匹配，仿spam的處理。整個處理過程中最終是會展現出關鍵詞的在首頁或是前幾頁的順序，這個順序不只是排名的高與低，還有各式的形式或是稱為排名多樣性等等。那在排之後就是所謂給予用戶的一個展現。
那排名的展現，它是基於什麼東西呢?雖然搜索引擎已經把不同的內容作了這樣的處理，那問題是靠什麼東西把這個排名激發出來呢?這就牽涉到我們用戶所做的一個動作了，那就是關鍵詞搜索。在5個動作中，搜索引擎端會根據用戶端在瀏覽器中的輸入進行排名的展現。也就是說我們搜不同關鍵詞出來的排名展現是不一樣的，比如剛才講到的搜地鐵圖和搜上海1號線地鐵圖，你所看到的展現結果完全會不一樣的。雖然會有內容的一些重復，但在排名或是展現上肯定是不一樣的。所以總結來說搜索引擎的演算法決定排名，用戶的關鍵詞開啟展現。有些是客觀的，有些是用戶能決定。
雖然大家通常都在講做網站之前都需要做嵌入式的seo建站方法，此話不假。只是說當你在說這個話的時候，你是否真知道什麼是植入式的seo建站?它應該到底在什麼時候發生?通常把植入seo建站分為4個等級步驟，第一個等級是網站主題的一個定位，因為很多人可能會糾結說我到底是先設計網站呢，還是先設計關鍵詞?其實對於我來講，我還是會選擇從市場角度入手，你本身做這個網站為了是什麼?你的網站主題是什麼才是最要緊的，因為這將是這個網站今後的基因。基於網站主題上的開始必須要放棄一些行業里很熱的詞，不要因為這類詞熱所以我要做這個事情，這樣你的網站建設的初衷就變了。不管是賣產品還是賣服務你一定要保留你這個想法。 定完網站主題後你就要考慮網站的整體架構是什麼了，所以網站架構這步就要考慮seo了，它是一個比較傷筋動骨的東西，一開始如果做不好後面再去翻工是一個非常糟糕的一件事情。在架構上seo融入進入更多考量是蜘蛛抓取和收錄上為主的改良，在這基礎上再去對於網站設計進行操作。設計做好後就要去做內容的綱要了，之所以先做綱要的目的是給自己一個整體的填內容展望，你不太可能一下子把內容全部做好的。不同欄目下的核心內容綱要撰寫，軸心就不容易偏移。做好以上事情後，就要給你的上級去審核，是否所有的規劃都是合理准確的。

D. 百度指數的演算法是什麼

網路指數基於網路網頁搜索和網路新聞搜索的海量數據，計算出每個關鍵詞的用戶關注度和媒體關注度的數值。網路指數每天更新一次，並且提供自2006年6月至今任意時間段的用戶關注度數據。

同時，根據不同的關鍵詞，機器自動從網路新聞搜索中獲取與該關鍵詞最相關的10條熱門新聞，並將新聞按時間順序均勻分布在「用戶關注度」的曲線圖上，以字母標識，每個字母對應一條新聞。

(4)關鍵詞檢索演算法擴展閱讀

網路指數（Bai Index）是以網路海量網民行為數據為基礎的數據分析平台，是當前互聯網乃至整個數據時代最重要的統計分析平台之一，自發布之日便成為眾多企業營銷決策的重要依據。

「世界很復雜，網路更懂你」，網路指數能夠告訴用戶：某個關鍵詞在網路的搜索規模有多大，一段時間內的漲跌態勢以及相關的新聞輿論變化，關注這些詞的網民是什麼樣的，分布在哪裡，同時還搜了哪些相關的詞，幫助用戶優化數字營銷活動方案。

截至2014年，網路指數的主要功能模塊有：基於單個詞的趨勢研究（包含整體趨勢、PC趨勢還有移動趨勢）、需求圖譜、輿情管家、人群畫像；基於行業的整體趨勢、地域分布、人群屬性、搜索時間特徵。

網路指數的理想是「讓每個人都成為數據科學家」。對個人而言，大到置業時機、報考學校、入職企業發展趨勢，小到約會、旅遊目的地選擇，網路指數可以助其實現「智贏人生」；

對於企業而言，競品追蹤、受眾分析、傳播效果，均以科學圖標全景呈現，「智勝市場」變得輕松簡單。大數據驅動每個人的發展，而網路倡導數據決策的生活方式，正是為了讓更多人意識到數據的價值。

E. 論淘寶搜索推薦演算法排序機制及2021年搜索的方向。

[寫在前面]淘寶搜索引擎至今反復多次，搜索順序也從最初的統計模型升級到機械學習模型，到2010年為止沒有標簽沒有基礎標簽，隨著計算能力的提高，2010年後開始挖掘用戶的基礎標簽，從3年到2013年開始使用大規模的機械學習和實時特徵
但你有沒有想過為什麼2016-2017年的兩年是各種各樣的黑搜索盛行的一年，為什麼今天幾乎消失了？
最根本的原因是從統計演算法模型到機械學習模型的轉型期。
說白了，這時不收割就沒有收割的機會。因為統計模型即將退出歷史舞台。
因此，各路大神各自擴大了統計模型演算法中的影響因素。統計演算法無論在哪裡，點擊率和坑產都很容易搜索。
那兩年成了中小賣家的狂歡盛宴，很多大神的煙火也是旺盛的。
今天推薦演算法的第三代使用後，加上疫情的影響進行了鮮明的比較，真的很感慨。
淘寶真的沒有流量了嗎？電器商務真的做不到嗎？還是大家的思維沒有改變，停留在2016-2017年的黑搜宴會上不想醒來？
2017年、2018年、2019年是淘寶推薦演算法反復最快的3年，每年的演算法升級都不同，整體上到2019年9月為止統計演算法模型的影響因素還很大，從2019年下半年開始第三代推薦演算法後，全面的真正意義進入了以機械學習模型為中心的推薦演算法時代。
各路大神也無法驗證，加上百年疫情的影響，很多大神的隱蔽布也泄露了。
基本上以統計模型為主，訓練基本上沒有聲音，典型的是坑產游戲。
如果現在還能看到的話，基本上可以判斷他不是在訓練，而是在製作印刷用紙，一定會推薦使用資源，資源是多麼安全。
刷子的生產增加真的沒有效果嗎？不是我以前的文章說:不是不行，而是從坑產的角度思考，而是從改變競爭環境的角度思考，用補充書改變競爭環境，改變場地，有新的天地，任何手段都要為商業本質服務。
正文
概述統計演算法模型時代。
統計模型時代搜索引擎的排名是最原始的排名思考，如果你的類別不錯，關鍵詞比較正確，就能得到很大的流量，當時產品需求少，只要上下架的優化就能使產品上升。
到2016年為止沒有坑產游戲嗎？黑色搜索的效果不好嗎？其實，什麼時候坑產是最核心的機密，誰來教大家，什麼時候教的最多的是類別優化，關鍵詞優化，大部分優化都圍繞關鍵詞，電器商的老人想起了你什麼時候得到關鍵詞的人得到了世界。
有人告訴我做坑產，關鍵詞找到生意也來了。什麼時候知道坑產也沒有人給你刷子，大規模的補充書也出現在黑色搜索盛行的時期。
為什麼關鍵詞者得天下？
搜索關鍵詞是用戶目前意圖最直觀的表達，也是用戶表達意圖最直接的方式。
搜索的用戶購物意圖最強，成交意願也最強，現在搜索也是轉化率最高的流量來源。
統計時代關鍵詞背後直接依賴的是類別商品，只要製作類別和關鍵詞分詞即可，哪個時代最出現的黑馬通常是類別機會、關鍵詞機會、黑科學技術機會。
最基本的是商業本質，什麼時候產品需求少，沒有很多現在的類別，自己找類別，現在想想什麼概念。
記得什麼時候類別錯了，搜索也可以來。如果你的商品點擊反饋好的話，錯誤的類別沒有什麼影響，現在試試吧
搜索類是搜索的基礎。
什麼時候能稱霸，背後有商業邏輯，用戶行為數據好就行了。
但無論如何發展檢索都離不開關鍵詞。例如，上述關鍵詞是用戶表達意圖的最直接的方法，是當前消費者的檢索行為和購買行為發生了根本性的變化。
檢索依然根據消費者的行為數據和關鍵詞來判斷需求，這就是機械學習模型時代。
機器學習模式時代-推薦搜索演算法。
現在的商品體積和消費者購物行為的豐富性，統計演算法不能滿足檢索的本質要求。
所以現在搜索引擎開始發展深度學習模式更精細的建模-推薦搜索演算法，搜索排名更智能。
在此重點討論推薦檢索演算法，
2017、2018、2019是推薦檢索演算法真正意義發展的3年，3年3個系統版本每年更換一次，很多電器商人都不知道頭腦。
推薦檢索演算法和統計演算法模型的最大區別在於，Query的處理能力和演算法有召回機制
簡單表示推薦演算法的程序:
1:對檢索關鍵詞進行分詞、重寫的處理進行類別預判
2:根據用戶信息，即用戶以前的行為數據記錄和預測的性別、年齡、購買力、店鋪喜好、品牌喜好、實時行動作等信息存檔
3:根據檢索用戶信息，根據檢索用戶以前的行為數據檢索引擎和預測的性別、年齡、購買力、店鋪喜好、品牌喜好、實時行動作為等信息存檔3:根據檢索用戶信息的檢索用戶信息
也就是說，在第一關召回階段基本上與統計模型時代的最佳化途徑相同，核心是標題分詞和類別，現在最大的區別是根據用戶信息推薦最佳化，這是標簽和正確人群標簽圖像最佳化的基本意義。
為什麼現在一直在談論標簽，談論人標簽圖像？入池實際上是為了匹配真正的消費者用戶信息，通過直通車測試來判斷人群也是為了通過性別、年齡和購買力來優化匹配真正的消費者。
召回機制:
通過構建子單元索引方式加快商品檢索，不必經歷平台上億級的所有商品。該索引是搜索引擎中的倒置索引，利用倒置索引初始篩選商品的過程是召回階段。
在這個階段，不會進行復雜的計算，主要是根據現在的搜索條件進行商品候選集的快速圈定。
之後再進行粗排和精排，計算的復雜程度越來越高，計算的商品集合逐漸減少，最後完成整個排序過程。
主要召迴路徑分為
1:語言召回
2:向量召回
這些都是商業秘密不方便的說明，有興趣的是學習我們的在線會員課程標簽重疊游戲6是基於語言和向量召回的基礎邏輯實戰落地的課程。
下一階段進入粗行列，粗行列受這些因素的影響:
粗行列作為召回後的第一個門檻，希望用戶體驗以時間低的模型快速排序和篩選商品，第一關系將過濾到不適合本次檢索詞要求的商品
為了實現這個目的，首先要明確影響粗排名得分的因素
1:類別匹配得分和文本匹配得分，
2:商品信息質量(商品發布時間、商品等級、商品等級)
3:商品組合得分
點擊得分
交易得分賣方服務商業得分
在粗排列框架下，系統粗排列演算法根據商品類別的預測得分進行得分
點擊得分交易得分
交易得分賣方服務商業得分粗排列框架下，系統粗排列的大排列
最後是精排，檢索順序的主要目標是高相關性、高個性化的正確性。
每個用戶的喜好不同，系統會根據每個用戶的Query結合用戶信息進行召回。然後通過粗排後，商品數量從萬級下降到千級。
千級商品經排後直接向用戶展示，搜索過程中商品集合的思考和具體變化如下圖

前面的召回、粗排主要解決主題相關性，通過主題相關性的限制，首先縮小商品集合和我們的在線會員課程標簽
精排階段系是真正系統推薦演算法發揮真正威力時，應根據用戶行為反饋迅速進行機械學習建模，判斷用戶真實性、准確性和可持續控制性。
為什麼現在的游戲和黑色技術暫時出現，核心是系統演算法模型機械學習模型，系統分析用戶有問題，不正確，不穩定，維持性差，可以迅速調整。
也就是說，即使發現脆弱性，研究快速有效的方法，系統也會根據你精排階段的用戶行為迅速分析學習建模，發現模型有問題，你的玩法就結束了。
猜機器學習建模的速度有多快？
想玩黑色的東西早點死去吧。
現在使用的檢索順序模型主要是
CTR模型和CVR模型，具體模型過於復雜也不需要深入，但影響這兩種模型的最基本因素是用戶行為數據
真的不能假的，假的也不能假的演算法模型越來越智能化，演算法越來越強，只有回歸商業本質才能真正解決演算法模型背後真正想解決的問題，演算法基於商業邏輯。
2021年搜索向哪個方向發生變化:
2020年電器商人和螞蟻是不平凡的一年。2020年也是螞蟻從神壇上拉下來的元年，現在螞蟻有各種各樣的黑色。
基於中小賣家的走勢無疑是阿里必須正面面對的現實。
如何讓中小賣家迴流或留在平台上，搜索該怎麼做？
檢索一定是基於三方的考慮，買方、賣方和平台本身，現在市場上又開始提倡坑產搜索邏輯，坑產妖風又開始，根據推薦搜索演算法邏輯來談這個問題。
為什麼坑產思維是不死的小強，每次危機都會跳出來。
以統計模型為中心的坑產時代是淘寶從2003年到2015年一直使用的搜索演算法模型長達13年。
同時也是淘寶和中國網分紅的野蠻生長期，統計演算法模式讓太多電商賺錢。除了
之外，十年的奴役思維已經習慣了，在電器商圈，坑產游戲一定有人相信，其他人不一定被認可。所以，我們夾著尾巴發展的原因，時間真的可以證明一切，不用多說，做自己。
習慣性思維加上特殊時期的賺錢蝴蝶效應，使許多電器商人活在歷史的長夢中。正確地說，統計演算法模型的真正廢除是在2019年下半年。
同學說坑產永遠有效，我也這么想。
永遠有效的是起爆模型坑產權重驅動和統計演算法模型中的坑產排名不同。
起爆模型的坑產要素永遠有效，這永遠不會改變。
但是，如何有效地加上這個起爆模型的坑產權重，並不像模仿購物的意圖那麼簡單。
坑產游戲在2021年絕對不行。淘寶不會把現在的演算法系統換成15年前的。
基於三方利益:
購買者體驗
賣方利益
平台的發展
搜索肯定會向高精度和高控制性發展。以標簽為中心的用戶標簽圖像仍然是影響流量精度的基本因素。
必須從標簽的角度考慮和優化種子組的圖像。
通過種子組的圖像向相似人擴展到葉類人，業界喜好人最後向相關人擴展也是擴大流量的過程渠道。
基於推薦搜索演算法邏輯:
精密排列階段演算法更強，精度更高，轉化率更高，持續穩定性更強。
基於中小賣方流通的現狀，優化精排階段並非中小賣方能夠簡單接觸。
推薦演算法從搜索排名階段出現在哪個階段？
個人判斷
一是召回階段
二是粗排階段
上述提到召回階段的演算法簡單復蓋商品為萬級，排序規則也比較簡單，中小賣方在召回階段提高精度尤為重要。
在這個萬級商品庫中，如上下架的權重上升，中小賣方有機會上升到主頁，從子單元的索引召回中尋找機會。
或者根據中小賣方的新產品和中小賣方的店鋪水平進行特別優先搜索推薦，使中小賣方的新產品在低銷售狀態下顯示，可以實現錦囊演算法。
中小賣方有機會搜索主頁，不調用用戶信息直接打開主頁的展示權可能是中小賣方最大的支持。
根據召回階段的用戶行為數據，在粗排階段以比例融入用戶信息，即標簽的影響。
在初始召回階段，類別和分詞權重，看業者主圖場景反應背後的人們反饋，用系統引導，給中小賣方真正參考的流量方向和成交方向。
誰瘋狂地印刷用紙直接關閉黑屋，理解印刷用紙優化競爭場景，從優化人群的角度出發，適當放寬處罰。
通過召回階段，得到的用戶信息會影響粗體結果。在這個階段，用戶信息的權重比例不應該太大，流量卡也不應該太死。
在各檢索順序階段用戶信息，即用戶標簽對檢索的影響權重的問題。
這個方向我的個人觀點是可能的。

F. 如何對關鍵詞和對應的網頁進行加權搜索

2.1基於詞頻統計——詞位置加權的搜索引擎
利用關鍵詞在文檔中出現的頻率和位置排序是搜索引擎最早期排序的主要思想，其技術發展也最為成熟，是第一階段搜索引擎的主要排序技術，應用非常廣泛，至今仍是許多搜索引擎的核心排序技術。其基本原理是：關鍵詞在文檔中詞頻越高，出現的位置越重要，則被認為和檢索詞的相關性越好。
1）詞頻統計
文檔的詞頻是指查詢關鍵詞在文檔中出現的頻率。查詢關鍵詞詞頻在文檔中出現的頻率越高，其相關度越大。但當關鍵詞為常用詞時，使其對相關性判斷的意義非常小。TF/IDF很好的解決了這個問題。TF/IDF演算法被認為是信息檢索中最重要的發明。TF（Term
Frequency）：單文本詞彙頻率，用關鍵詞的次數除以網頁的總字數，其商稱為「關鍵詞的頻率」。IDF（Inverse Document
Frequency）：逆文本頻率指數，其原理是，一個關鍵詞在N個網頁中出現過，那麼N越大，此關鍵詞的權重越小，反之亦然。當關鍵詞為常用詞時，其權重極小，從而解決詞頻統計的缺陷。
2）詞位置加權
在搜索引擎中，主要針對網頁進行詞位置加權。所以，頁面版式信息的分析至關重要。通過對檢索關鍵詞在Web頁面中不同位置和版式，給予不同的權值，從而根據權值來確定所搜索結果與檢索關鍵詞相關程度。可以考慮的版式信息有：是否是標題，是否為關鍵詞，是否是正文，字體大小，是否加粗等等。同時，錨文本的信息也是非常重要的，它一般能精確的描述所指向的頁面的內容。
2.2基於鏈接分析排序的第二代搜索引擎
鏈接分析排序的思想起源於文獻引文索引機制，即論文被引用的次數越多或被越權威的論文引用，其論文就越有價值。鏈接分析排序的思路與其相似，網頁被別的網頁引用的次數越多或被越權威的網頁引用，其價值就越大。被別的網頁引用的次數越多，說明該網頁越受歡迎，被越權威的網頁引用，說明該網頁質量越高。鏈接分析排序演算法大體可以分為以下幾類：基於隨機漫遊模型的，比如PageRank和Repution演算法；基於概率模型的，如SALSA、PHITS；基於Hub和Authority相互加強模型的，如HITS及其變種；基於貝葉斯模型的，如貝葉斯演算法及其簡化版本。所有的演算法在實際應用中都結合傳統的內容分析技術進行了優化。本文主要介紹以下幾種經典排序演算法：
1）PageRank演算法
PageRank演算法由斯坦福大學博士研究生Sergey Brin和Lwraence
Page等提出的。PageRank演算法是Google搜索引擎的核心排序演算法，是Google成為全球最成功的搜索引擎的重要因素之一，同時開啟了鏈接分析研究的熱潮。
PageRank演算法的基本思想是：頁面的重要程度用PageRank值來衡量，PageRank值主要體現在兩個方面：引用該頁面的頁面個數和引用該頁面的頁面重要程度。一個頁面P（A）被另一個頁面P（B）引用，可看成P（B）推薦P（A），P（B）將其重要程度（PageRank值）平均的分配P（B）所引用的所有頁面，所以越多頁面引用P（A），則越多的頁面分配PageRank值給P（A），PageRank值也就越高，P（A）越重要。另外，P(B)越重要，它所引用的頁面能分配到的PageRank值就越多，P（A）的PageRank值也就越高，也就越重要。
其計算公式為：

PR（A）：頁面A的PageRank值；
d：阻尼系數，由於某些頁面沒有入鏈接或者出鏈接，無法計算PageRank值，為避免這個問題（即LinkSink問題），而提出的。阻尼系數常指定為0.85。
R（Pi）：頁面Pi的PageRank值；
C（Pi）：頁面鏈出的鏈接數量；
PageRank值的計算初始值相同，為了不忽視被重要網頁鏈接的網頁也是重要的這一重要因素，需要反復迭代運算，據張映海撰文的計算結果，需要進行10次以上的迭代後鏈接評價值趨於穩定，如此經過多次迭代，系統的PR值達到收斂。
PageRank是一個與查詢無關的靜態演算法，因此所有網頁的PageRank值均可以通過離線計算獲得。這樣，減少了用戶檢索時需要的排序時間，極大地降低了查詢響應時間。但是PageRank存在兩個缺陷：首先PageRank演算法嚴重歧視新加入的網頁，因為新的網頁的出鏈接和入鏈接通常都很少，PageRank值非常低。另外PageRank演算法僅僅依靠外部鏈接數量和重要度來進行排名，而忽略了頁面的主題相關性，以至於一些主題不相關的網頁（如廣告頁面）獲得較大的PageRank值，從而影響了搜索結果的准確性。為此，各種主題相關演算法紛紛涌現，其中以以下幾種演算法最為典型。
2）Topic-Sensitive PageRank演算法
由於最初PageRank演算法中是沒有考慮主題相關因素的，斯坦福大學計算機科學系Taher
Haveli-wala提出了一種主題敏感（Topic-Sensitive）的PageRank演算法解決了「主題漂流」問題。該演算法考慮到有些頁面在某些領域被認為是重要的，但並不表示它在其它領域也是重要的。
網頁A鏈接網頁B，可以看作網頁A對網頁B的評分，如果網頁A與網頁B屬於相同主題，則可認為A對B的評分更可靠。因為A與B可形象的看作是同行，同行對同行的了解往往比不是同行的要多，所以同行的評分往往比不是同行的評分可靠。遺憾的是TSPR並沒有利用主題的相關性來提高鏈接得分的准確性。
3）HillTop演算法
HillTop是Google的一個工程師Bharat在2001年獲得的專利。HillTop是一種查詢相關性鏈接分析演算法，克服了的PageRank的查詢無關性的缺點。HillTop演算法認為具有相同主題的相關文檔鏈接對於搜索者會有更大的價值。在Hilltop中僅考慮那些用於引導人們瀏覽資源的專家頁面（Export

Sources）。Hilltop在收到一個查詢請求時，首先根據查詢的主題計算出一列相關性最強的專家頁面，然後根據指向目標頁面的非從屬專家頁面的數量和相關性來對目標頁面進行排序。
HillTop演算法確定網頁與搜索關鍵詞的匹配程度的基本排序過程取代了過分依靠PageRank的值去尋找那些權威頁面的方法，避免了許多想通過增加許多無效鏈接來提高網頁PageRank值的作弊方法。HillTop演算法通過不同等級的評分確保了評價結果對關鍵詞的相關性，通過不同位置的評分確保了主題（行業）的相關性，通過可區分短語數防止了關鍵詞的堆砌。
但是，專家頁面的搜索和確定對演算法起關鍵作用，專家頁面的質量對演算法的准確性起著決定性作用，也就忽略了大多數非專家頁面的影響。專家頁面在互聯網中占的比例非常低（1.79%），無法代表互聯網全部網頁，所以HillTop存在一定的局限性。同時，不同於PageRank演算法，HillTop演算法的運算是在線運行的，對系統的響應時間產生極大的壓力。
4）HITS
HITS（Hyperlink Inced Topic
Search）演算法是Kleinberg在1998年提出的，是基於超鏈接分析排序演算法中另一個最著名的演算法之一。該演算法按照超鏈接的方向，將網頁分成兩種類型的頁面：Authority頁面和Hub頁面。Authority頁面又稱權威頁面，是指與某個查詢關鍵詞和組合最相近的頁面，Hub頁面又稱目錄頁，該頁面的內容主要是大量指向Authority頁面的鏈接，它的主要功能就是把這些Authority頁面聯合在一起。對於Authority頁面P，當指向P的Hub頁面越多，質量越高，P的Authority值就越大；而對於Hub頁面H，當H指向的Authority的頁面越多，Authority頁面質量越高，H的Hub值就越大。對整個Web集合而言，Authority和Hub是相互依賴、相互促進，相互加強的關系。Authority和Hub之間相互優化的關系，即為HITS演算法的基礎。
HITS基本思想是：演算法根據一個網頁的入度（指向此網頁的超鏈接）和出度（從此網頁指向別的網頁）來衡量網頁的重要性。在限定范圍之後根據網頁的出度和入度建立一個矩陣，通過矩陣的迭代運算和定義收斂的閾值不斷對兩個向量Authority和Hub值進行更新直至收斂。
實驗數據表明，HITS的排名准確性要比PageRank高，HITS演算法的設計符合網路用戶評價網路資源質量的普遍標准，因此能夠為用戶更好的利用網路信息檢索工具訪問互聯網資源帶來便利。
但卻存在以下缺陷：首先，HITS演算法只計算主特徵向量，處理不好主題漂移問題；其次，進行窄主題查詢時，可能產生主題泛化問題；第三，HITS演算法可以說一種實驗性質的嘗試。它必須在網路信息檢索系統進行面向內容的檢索操作之後，基於內容檢索的結果頁面及其直接相連的頁面之間的鏈接關系進行計算。盡管有人嘗試通過演算法改進和專門設立鏈接結構計算伺服器（Connectivity
Server）等操作，可以實現一定程度的在線實時計算，但其計算代價仍然是不可接受的。
2.3基於智能化排序的第三代搜索引擎
排序演算法在搜索引擎中具有特別重要的地位，目前許多搜索引擎都在進一步研究新的排序方法，來提升用戶的滿意度。但目前第二代搜索引擎有著兩個不足之處，在此背景下，基於智能化排序的第三代搜索引擎也就應運而生。
1）相關性問題
相關性是指檢索詞和頁面的相關程度。由於語言復雜，僅僅通過鏈接分析及網頁的表面特徵來判斷檢索詞與頁面的相關性是片面的。例如：檢索「稻瘟病」，有網頁是介紹水稻病蟲害信息的，但文中沒有「稻瘟病」這個詞，搜索引擎根本無法檢索到。正是以上原因，造成大量的搜索引擎作弊現象無法解決。解決相關性的的方法應該是增加語意理解，分析檢索關鍵詞與網頁的相關程度，相關性分析越精準，用戶的搜索效果就會越好。同時，相關性低的網頁可以剔除，有效地防止搜索引擎作弊現象。檢索關鍵詞和網頁的相關性是在線運行的，會給系統相應時間很大的壓力，可以採用分布式體系結構可以提高系統規模和性能。
2）搜索結果的單一化問題
在搜索引擎上，任何人搜索同一個詞的結果都是一樣。這並不能滿足用戶的需求。不同的用戶對檢索的結果要求是不一樣的。例如：普通的農民檢索「稻瘟病」，只是想得到稻瘟病的相關信息以及防治方法，但農業專家或科技工作者可能會想得到稻瘟病相關的論文。
解決搜索結果單一的方法是提供個性化服務，實現智能搜索。通過Web數據挖掘，建立用戶模型（如用戶背景、興趣、行為、風格），提供個性化服務。

G. appstore上 按某個關鍵字搜索 那個排序是怎麼排的呢

觀察一：中國區AppStore的搜索演算法按第一個字/詞進行搜索排序
分詞技術是搜索演算法的第一個步驟，指把用戶輸入的關鍵詞進行拆解，先去掉「的」「呀」之類的無意義詞後，然後從關鍵詞後往前進行分詞拆解。
比如：瘋狂的猴子，分詞後成為「瘋狂」「猴子」；憤怒的小鳥分詞後成為「憤怒」「小鳥」；微博分詞後成為2個獨立的字。
App Store搜索「瘋狂的猴子」和搜索「瘋狂」的結果幾乎一樣。
例如搜索：微博，以前第一個是微博，全稱匹配所以排名第一；而現在第一是微信、第二是新浪微博、第三是騰訊微博，我查看了微信的文字介紹，沒有出現過「微博」這個詞，按出現過很多「微」這個字。
我們再搜索「電影」，手電筒APP卻排名考前；感覺APP STORE完全u懂中文了。
觀察二：美國區搜索中文，還是採用標題完全匹配的老方法
在美國區，我們分別搜索了「騰訊微博」和「微博騰訊」，按理說都應該出現騰訊微博的APP，但當搜索「微博騰訊」時完全沒有結果。說明在美國區的中文搜索演算法還保持原樣。
APPYING康軼文 觀察後的感受：
1. 蘋果App Store在調整對中文關鍵詞搜索的排序演算法，現在只是剛開始；
2. 演算法中的中文詞庫還很稚嫩，因為連「微博」都不認識，這個詞庫有點舊；
3. 現在蘋果開始動關鍵詞搜索演算法了，說明ASO（App Store Keyword Optimization蘋果商店關鍵詞搜索排名優化）的市場將在1年左右形成。

H. 百度搜索引擎的演算法是怎樣的

衡量網頁質量的維度
網路搜索引擎在衡量網頁質量時，會從以下三個維度綜合考慮給出一個質量打分。下面會一一介紹這些影響網頁質量判斷的維度特徵：
• 內容質量
• 瀏覽體驗
• 可訪問性
一個訪問流暢，內容質量高且瀏覽體驗好的網頁具有較高的質量；反之，任何一個維度出現問題，都會影響網頁的整體質量。下面我們具體介紹下這三個維度。

衡量網頁質量的維度——內容質量

網頁主體內容是網頁的價值所在，是滿足用戶需求的前提基礎。網路搜索引擎評價網頁內容質量主要看其主體內容的好壞，以及主體內容是否可以讓用戶滿意。 不同類型網頁的主體內容不同，網路搜索引擎判斷不同網頁的內容價值時，需要關注的點也有區別，如：
• 首頁：導航鏈接和推薦內容是否清晰、有效。
• 文章頁：能否提供清晰完整的內容，圖文並茂更佳。
• 商品頁：是否提供了完整真實的商品信息和有效的購買入口。
• 問答頁：是否提供了有參考價值的答案。
• 下載頁：是否提供下載入口，是否有許可權限制，資源是否有效。
• 文檔頁：是否可供用戶閱讀，是否有許可權限制。
• 搜索結果頁：搜索出來的結果是否與標題相關。

網路搜索引擎考量網頁內容質量的維度非常多，最為重要的是：成本；內容完整；信息真實有效以及安全。下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的內容質量進行分類的，請站長對比自己站點的頁面，站在搜索引擎和用戶的角度為自己打分：
1、內容質量好：
網路搜索引擎認為內容質量好的網頁，花費了較多時間和精力編輯，傾注了編者的經驗和專業知識；內容清晰、完整且豐富；資源有效且優質；信息真實有效；安全無毒；不含任何作弊行為和意圖，對用戶有較強的正收益。對這部分網頁，網路搜索引擎會提高其展現在用戶面前的機率。例如：
• 專業醫療機構發布的內容豐富的醫療專題頁面；
• 資深工程師發布的完整解決某個技術問題的專業文章；
• 專業視頻網站上，播放清晰流暢的正版電影或影視全集頁面；
• 知名B2C網站上，一個完整有效的商品購買頁；
• 權威新聞站原創或經過編輯整理的熱點新聞報道；
• 經過網友認真編輯，內容豐富的詞條；
• 問答網站內，回答的內容可以完美解決提問者的問題。

實例參考：

示例

內容質量

說明

case 3.1.1-1

好

專業醫療網站發布的豐富醫療專題頁面

case 3.1.1-2

好

資深工程師發布的完整解決某個技術問題的專業文章

case 3.1.1-3

好

專業視頻網站上，播放清晰流暢的正版影視全集頁面

case 3.1.1-4

好

京東的一個完整有效的商品購買頁

case 3.1.1-5

好

權威新聞站原創的熱點新聞的報道

case 3.1.1-6

好

經過網友認真編輯，內容豐富的網路詞條

case3.1.1-7

好

網路知道上，完美解決用戶問題的問答頁

2、內容質量中：
內容質量中等的網頁往往能滿足用戶需求，但未花費較多時間和精力進行製作編輯，不能體現出編者的經驗和專業知識；內容完整但並不豐富；資源有效但質量欠佳；信息雖真實有效但屬採集得來；安全無毒；不含作弊行為和意圖。在互聯網中，中等質量網頁其實是一個比較大的數量集合，種類面貌也繁雜多樣，網路搜索引擎在評價這類網頁時往往還要考慮其它非常多因素。在這里，我們僅部分舉例來讓各位感受一下：
• 論壇類網站里一個普通的帖子；
• 一個普通的問答網頁；
• 沒有進行任何編輯，直接轉載其它網站的新聞；
• 無版權信息的普通電影播放頁
• 採集知名小說網站的盜版小說頁。

實例參考：

示例

內容質量

說明

case 3.1.2-1

中

網易直接轉載了中國新聞網的一篇新聞。

case 3.1.2-2

中

文庫上網友上傳的「國慶放假安排」新聞

case 3.1.2-3

中

採集起點小說網的盜版小說站

case 3.1.2-4

中

網路貼吧里一個普通的帖子

3、內容質量差：
網路搜索引擎認為主體內容信息量較少，或無有效信息、信息失效過期的都屬於內容質量差網頁，對用戶沒有什麼實質性的幫助，應該減少其展現的機會。同時，如果一個網站內該類網頁的佔比過大，也會影響網路搜索引擎對站點的評級，尤其是UGC網站、電商網站、黃頁網站要尤其重視對過期、失效網頁的管理。例如：
• 已下架的商品頁，或已過期的團購頁；
• 已過有效期的招聘、交易頁面；
• 資源已失效，如視頻已刪除、軟體下載後無法使用等。

4、沒有內容質量可言：
沒有內容質量可言的網頁指那些製作成本很低，粗製濫造；從別處採集來的內容未經最起碼的編輯整理即放置線上；掛木馬等病毒；含有作弊行為或意圖；完全不能滿足用戶需求，甚至含有欺騙內容的網頁。例如：
• 內容空短，有很少量的內容，卻不能支撐頁面的主要意圖；
• 問答頁有問無答，或回答完全不能解決問題；
• 站內搜索結果頁，但沒有給出相關信息

除上述網頁外，欺騙用戶和搜索引擎的網頁在無內容質量可言集合里占很高比例。網路搜索引擎對作弊網頁的定義是：不以滿足用戶需求為目的，通過不正當手段欺騙用戶和搜索引擎從而獲利的網頁。目前互聯網上這部分網頁還屬少數，但作弊網頁的價值是負向的，對用戶的傷害非常大，對這類網頁，搜索引擎持堅決打擊態度。

衡量網頁質量的維度——瀏覽體驗
不同質量的網頁帶給用戶的瀏覽體驗會有很大差距，一個優質的網頁給用戶的瀏覽體驗應該是正向的。用戶希望看到干凈、易閱讀的網頁，排版混亂、廣告過多會影響用戶對網頁主體內容的獲取。在網路搜索引擎網頁質量體系中，用戶對網頁主體內容的獲取成本與瀏覽體驗呈反比，即獲取成本越高，瀏覽體驗越低。面對內容質量相近的網頁，瀏覽體驗佳者更容易獲得更高的排位，而對於瀏覽體驗差的網頁，網路搜索引擎會視情況降低其展現的機率甚至拒絕收錄。
影響用戶瀏覽體驗好壞的因素很多，目前網路搜索引擎主要從內容排版、廣告影響兩方面對網頁進行考量：
內容排版：用戶進入網頁第一眼看到的就是內容排版，排版決定了用戶對網頁的第一印象，也決定了用戶對內容獲取的成本。
廣告影響：網路搜索引擎理解網站的生存發展需要資金支持，對網頁上放置正當廣告持支持態度。網頁應該以滿足用戶需求為主旨，最佳狀態即「主體內容與廣告一起滿足用戶需求，內容為主，廣告為輔」，而不應讓廣告成為網頁主體。

下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的瀏覽體驗進行分類的，站長可以據此對比檢驗自己站點的瀏覽體驗如何：
1、瀏覽體驗好：
頁面布局合理，用戶獲取主體內容成本低，一般具有以下特徵：
• 排版合理，版式美觀，易於閱讀和瀏覽；
• 用戶需要的內容占據網頁最重要位置；
• 能夠通過頁面標簽或頁面布局十分清楚地區分出哪些是廣告；
• 廣告不搶佔主體內容位置，不阻礙用戶對主要內容的獲取；

實例參考：

示例

瀏覽體驗

說明

case 3.2.1-1

好

招聘、房產等網站首頁也有很多廣告，但都是招聘相關的，瀏覽體驗是ok的。

case 3.2.1-2

好

文章頁，頁面布局合理，無廣告，排版好，結構合理

case 3.2.1-3

好

游戲首頁，排版美觀，布局合理，無廣告，瀏覽體驗優

2、瀏覽體驗差：
頁面布局和廣告放置影響了用戶對主體內容的獲取，提高了用戶獲取信息的成本，令用戶反感。包括但不僅限於以下情況：
• 正文內容不換行或不分段，用戶閱讀困難；
• 字體和背景顏色相近，內容辨別困難；
• 頁面布局不合理，網頁首屏看不到任何有價值的主體內容；
• 廣告遮擋主體內容；或者在通用解析度下，首屏都是廣告，看不到主體內容；
• 彈窗廣告過多；
• 影響閱讀的浮動廣告過多
• 點擊鏈接時，出現預期之外的彈窗；
• 廣告與內容混淆，不易區分；

衡量網頁質量的維度——可訪問性
用戶希望快速地從搜索引擎獲取到需要的信息，網路搜索引擎盡可能為用戶提供能一次性直接獲取所有信息的網頁結果。網路搜索引擎認為不能直接獲取到主體內容的網頁對用戶是不友好的，會視情況調整其展現機率。

網路搜索引擎會從正常打開、許可權限制、有效性三方面判斷網頁的可訪問性，對於可以正常訪問的網頁，可以參與正常排序；對於有許可權限制的網頁，再通過其它維度對其進行觀察；對於失效網頁，會降權其展現機制甚至從資料庫中刪除。

1、可正常訪問的網頁
無許可權限制，能直接訪問所有主體內容的網頁。

2、有許可權限制的網頁
此類網頁分為兩種：打開許可權和資源獲取許可權
1）打開許可權：指打開網頁都需要登錄許可權，沒有許可權完全無法看到具體內容，普通用戶無法獲取或獲取成本很高，網路搜索引擎會降低其展現機率。不包括以登錄為主要功能的網頁。
2）資源獲取許可權：指獲取網頁主要內容，如文檔、軟體、視頻等，需要許可權或者需要安裝插件才能獲得完整內容。此時會分三種情況：
• 提供優質、正版內容的網站，由於內容建設成本很高，盡管查看全文或下載時需要許可權或安裝插件，但屬於用戶預期之內，網路搜索引擎也不認為許可權行為對用戶造成傷害，給予與正常可訪問頁面相同的對待。
• 對於一些非優質、非正版的資源，來自於用戶轉載甚至機器採集，本身成本較低，內容也不獨特，用戶獲取資源還有許可權限制——需要用戶注冊登錄或者付費查看，網路搜索引擎會根據具體情況決定是否調整其展現。
• 還有一些視頻、下載資源頁，也許自身資源質量並不差，但需要安裝非常冷門的插件才能正常訪問，比如要求安裝「xx大片播放器」，網路搜索引擎會懷疑其有惡意傾向。

實例參考：

示例

可訪問性

說明

case 3.2-1

好

CNKI上的一篇論文，收費才能下載，但有版權，瀏覽體驗好

case 3.2-2

好

優酷上一部新電影，需要付費才能觀看，瀏覽體驗好。

case 3.2-3

中

內容是來，但是需要登錄才能看更多

case 3.2-4

差

入黨申請書，本身就是轉載的，網上到處都是，但這個頁面仍然要求收費才能下載。

3、失效網頁
往往指死鏈和主體資源失效的網頁。網路搜索引擎認為這部分網頁無法提供有價值信息，如果站點中此類網頁過多，也會影響網路搜索引擎對其的收錄和評級。建議站長對此類網頁進行相應設置，並及時登錄網路站長平台，使用死鏈提交工具告知網路搜索引擎。
失效網頁包括但不僅限於：
• 404、403、503等網頁；
• 程序代碼報錯網頁；
• 打開後提示內容被刪除，或因內容已不存在跳轉到首頁的網頁；
• 被刪除內容的論壇帖子，被刪除的視頻頁面（多出現在UGC站點）

具體請參閱《網路搜索引擎網頁質量白皮書》，望採納！

I. java關鍵字查詢演算法

import java.io.FileReader;
import java.io.BufferedReader;
import java.io.File;

public class search
{
//查找方法，參數，文件絕對路徑，查找關鍵字
public static boolean search(String filepath,String key)
{
try
{
File f = new File(filepath);
FileReader fr = new FileReader(f);
BufferedReader br = new BufferedReader(fr);
String s = "";
//int i = 1;
while((s = br.readLine()) != null)
{
if(s.indexOf(key) != -1)
{
return true;
}
}
return false;
}
catch(Exception e)
{
e.printStackTrace();
return false;
}
}
public static void main(String args[])
{
System.out.println(search.search("d://t.txt","l2"));
}
}

修改了下，加兩個變數，可以指出查找的位置。
import java.io.FileReader;
import java.io.BufferedReader;
import java.io.File;

public class search
{
//查找方法，參數，文件絕對路徑，查找關鍵字
public static String search(String filepath,String key)
{
try
{
File f = new File(filepath);
FileReader fr = new FileReader(f);
BufferedReader br = new BufferedReader(fr);
String s = "";
int i = 1;
int m = 0;
while((s = br.readLine()) != null)
{
if((m = s.indexOf(key)) != -1)
{
return "第"+i+"段,第"+m+"處";
}
i++;
}
return null;
}
catch(Exception e)
{
e.printStackTrace();
return null;
}
}
public static void main(String args[])
{
System.out.println(search.search("d://t.txt","asd"));
}
}

這個，查漢字是沒有問題的。
另外，你要全文檢索的話，indexOf（）還有個方法，indexOf(int start,String key),指定開始查找的位置跟關鍵字，你查到一處後，將這個數值加1，做為繼續查找的開始位置就可以了。