基於網路拓撲演算法

❶ 常用網路拓撲結構有哪些各有什麼特點

1。星型拓撲結構
網路有中央節點，其他節點（工作站、伺服器）都與中央節點直接相連，這種結構以中央節點為中心，因此又稱為集中式網路。2。環型網路拓撲結構
環行結構的特點是：每個端用戶都與兩個相臨的端用戶相連，因而存在著點到點鏈路，但總是以單向方式操作，於是便有上游端用戶和下游端用戶之稱；信息流在網中是沿著固定方向流動的，兩個節點僅有一條道路，故簡化了路徑選擇的控制；環路上各節點都是自舉控制，故控制軟體簡單；由於信息源在環路中是串列地穿過各個節點，當環中節點過多時，勢必影響信息傳輸速率，使網路的響應時間延長；環路是封閉的，不便於擴充；可靠性低，一個節點故障，將會造成全網癱瘓；維護難，對分支節點故障定位較難。
3。分布式拓撲結構
分布式結構的網路具有如下特點：由於採用分散控制，即使整個網路中的某個局部出現故障，也不會影響全網的操作，因而具有很高的可靠性；網中的路徑選擇最短路徑演算法，故網上延遲時間少，傳輸速率高，但控制復雜；各個節點間均可以直接建立數據鏈路，信息流程最短；便於全網范圍內的資源共享。缺點為連接線路用電纜長，造價高；網路管理軟體復雜；報文分組交換、路徑選擇、流向控制復雜；在一般區域網中不採用這種結構。
4。蜂窩拓撲結構
蜂窩拓撲結構是無線區域網中常用的結構。它以無線傳輸介質（微波、衛星、紅外等）點到點和多點傳輸為特徵，是一種無線網，適用於城市網、校園網、企業網。

❷ 爬蟲無法搜索應用內容，這是否為web應用勝出的最大籌碼

摘要1引言爬蟲研究
？

隨著互聯網的飛速發展，萬維網成為運營商的大量信息，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎（搜索引擎），通用搜索引擎如AltaVista的傳統，雅虎和谷歌，作為一種工具來幫助人們檢索信息的用戶訪問萬維網成為入口和指南。然而，這些通用搜索引擎有一定的局限性，如：？

（1）不同的領域，用戶往往有不同的背景和不同的檢索目的的需求，通用搜索引擎返回的結果包含了大量用戶不關心的頁面。 ？

（2）通用搜索引擎的目標是盡可能大的網路覆蓋，矛盾有限的資源和資源之間的無限的搜索引擎伺服器的網路數據將進一步深化。 ？

（3）萬維網在豐富的數據和網路技術，圖像，資料庫，音頻/視頻和多媒體數據的不同出現形式的發展，通用搜索引擎往往是密集和信息內容的數據結構具有一定的無力感，不能很好地查找和訪問。 ？

（4）通用搜索引擎大多是基於關鍵字的搜索，也很難根據提供的語義信息來支持查詢。 ？

為了解決上述問題，相關的網路資源，定向抓取爬蟲成了焦點。自動對焦下載網路爬蟲是一個程序，根據既定的目標抓取，網頁和相關鏈接選擇地訪問萬維網，以獲得他們所需要的信息。和常見的爬行動物（一般？目的網路爬蟲）不同的是，聚焦爬蟲並不追求大的覆蓋面，同時獲取有關特定主題的網頁，面向主題的用戶查詢的內容來准備數據資源的目標。 ？

1聚焦爬蟲工作原理及關鍵技術概述？

網路爬蟲是一個程序，自動提取網頁，它是搜索引擎下載從萬維網的網頁，是搜索引擎的重要組成部分。從一個或幾個初始頁面的URL開始得到初始網頁的URL在網頁抓取程序，從當前頁的新的URL連續抽出到隊列中，直到系統必須滿足停止條件傳統的爬行動物，為1（一）所示的流程圖中。聚焦爬蟲的工作流程較為復雜，需要過濾和分析演算法的基礎上某些網頁無關的鏈接，有用的鏈接，並繼續等待抓取到的URL隊列。它根據來自所述隊列一定的搜索策略來獲取頁面的下一個步驟的URL，並重復該過程，直到達到系統的某一條件被停止，如（b）所示，如圖1所示，然後選中。此外，所有的網頁都會被抓取爬蟲系統內存，對於一些分析，過濾和索引到隨後的搜索和檢索;履帶式進行聚焦，通過該方法獲得的結果也可以是爬行過程的反饋和指導後給出。 ？

相對於常見的網路爬蟲，爬蟲專注於三個主要問題需要解決：

（1）抓取目標的描述或定義;

（2）？在網路或數據分析和過濾;

（3）搜索策略的URL。 ？

目標網頁的分析抓取的描述和定義是確定的底層演算法，以及如何開發一個搜索策略的URL。該網站的URL分析演算法和候選排序演算法是確定的搜索引擎和網路爬蟲提供的關鍵服務的形式抓取行為。兩部分的演算法是密切相關的。 ？

2抓取目標的描述？

聚焦爬蟲抓取目標的現有描述可以基於目標網頁特徵進行分類的基礎上，基於3種目標數據模型和在該領域的概念。 ？

基於爬行爬行動物的特徵著陸頁，存儲和索引的對象一般是一個網站或網頁。根據獲得的種子樣品，可分為：？

（1）給定的初始抓取樣品預種子;

（2）預先給定的類別和分類的網站目錄對應的種子樣本，如Yahoo!分類結構;目標樣本爬行

（3）由用戶行為決定的，分為：

一）用戶在瀏覽抓取樣品顯示的標記; b）透過用戶訪問模式獲得登錄開采及相關樣本。 ？

其中尋呼特徵的內容可以是一個網頁，該網頁也可以其特徵在於，連桿結構，等等。 ？

現有目標集中爬蟲抓取的概念的描述或定義可以分為基於目標網頁特徵的基礎上，根據目標數據模型的三個方面。 ？

基於爬行爬行動物的特徵著陸頁，存儲和索引的對象一般是一個網站或網頁。具體獲得的種子樣品的方法可分為：（1）預種子給定初始隨機樣本; （2）預先給定的類別，並與web目錄對應的種子樣本，如Yahoo!分類結構等進行分類; （3）由目標用戶行為抓取樣品來確定。其中，所述頁特徵的內容可以是一個網頁，該網頁也可以特徵在於，連桿結構，等等。 ？

作者：奇寶元2006-1-10 10時11回復此發言

----------------- -------------------------------------------------- - 總結-----------

2履帶式履帶式技術的研究目標數據的數據頁模型，捕獲的數據通常是用一根線圖案上，或者可以被轉換或映射到目標數據模式。 ？

另一種方式來描述建立在本體或字典的領域中，用於從圖中的某個話題的重要性語義點不同特性的目標。 ？

3 Web搜索策略？

網路抓取策略可以分為深度優先，廣度優先和最佳優先3。深度優先在很多情況下會導致爬蟲抓（困）問題，目前常見的是廣度優先和最佳首選方法。 ？

3.1廣度優先搜索策略？

廣度優先搜索策略是指抓取，搜索目前的水平完成後，搜索進行到一個新的水平。設計和實現的演算法是相當簡單的。為了覆蓋盡可能在當前頁面，一般使用廣度優先搜索方法。也有很多的研究將集中在履帶的使用廣度優先搜索策略。其基本思想是通過鏈接有很大關聯的話題頁面在一定距離內考慮初始URL的概率。另一種方法是廣度優先搜索，並與廣度優先抓取網頁第一個策略，然後過濾掉不相關的頁面一起使用的Web過濾技術。這些方法的缺點在於，隨著抓取網頁，大量不相關的頁面將被下載和演算法的過濾效率將很低。 ？

3.2最佳優先搜索策略？根據一定的網頁分析演算法

最佳優先搜索策略來預測相似的候選著陸頁面的URL，或主題的相關性和選擇抓取一個或多個評價最好的網址。通過網路分析演算法只能訪問預測為「有用」的網頁。一個問題是，在許多的爬蟲抓取路徑相關的網頁可能會被忽略，因為最好的策略是當務之急局部最優搜索演算法。因此，當務之急必須是具體的改進從跳出局部最優解的應用程序的最佳組合。在第4節中討論的特定網頁的結合分析演算法。研究表明，這樣的閉環獨立的頁面的數量可以由30％調整到90％。 ？

4網路分析的演算法？

網頁分析演算法可以基於基於三種行為的網路拓撲結構，網路內容和用戶訪問進行總結。 ？

4.1基於網路拓撲分析演算法？

通過網頁或已知有直接或間接聯繫到他們關系的對象的數據之間的基於Web的鏈接（如網頁或網站都可以）演算法來評估。粒度分為網頁，網站及網頁封鎖這三種粒度粒度。 ？

4.1.1網站（網頁）粒度分析的演算法？

PageRank和HITS演算法是最常見的鏈接分析演算法，兩者通過遞歸的程度和標准化計算，每一頁的重要評價之間的網路鏈接。雖然PageRank演算法考慮了隨機用戶訪問的存在和水槽的頁面，但忽略用戶絕大多數有目的的訪問時間，即按相關的網頁，並與查詢主題鏈接。為了解決這個問題，HITS演算法提出了兩個關鍵的概念：權威頁面（權力）和基於中心的網站（集線器）。 ？

基於鏈接的抓取問題涉及到很多與主題無關的抓取路徑到目標網頁也處於目前的評估策略，部分中斷爬行行為頁面主題團之間的隧道現象的路徑。 [21]提出了一種基於反向鏈路（BackLink的）分層上下文模型（上下文模型）的方法，用來描述某一個點的跳拓撲圖層0的登陸頁面半徑內的目標網頁的物理中心，將物理啤酒花基於層次劃分的目標網頁，指向內部與外部網頁鏈接稱為反向鏈接。 ？

分析演算法4.1.2網站粒度？

網站粒度的資源發現和管理策略比簡單而有效的頁面更細的粒度。爬行動物的關鍵點抓取網站的粒度劃分和站點級別（SiteRank）計算的網站。計算SiteRank類似的PageRank，但需要有一定程度的抽象，在一些模型計算正確的鏈路權重的網站之間的聯系，以及。 ？

網站分為案件由域名劃分和IP地址是由兩種劃分。 [18]討論了這一局勢在分布式，通過域名相同不同主機下的IP地址，伺服器被分類網站，建設網站地圖，使用評估的方法SiteRank類似的PageRank。同時，根據不同的文件中的每個站點上，該文件結構圖，結合分布式計算分布SiteRank得到DocRank。 [18]表明，使用SiteRank的分布式計算，該演算法不僅大大降低了單機站點上的成本，並克服個別網站與整個網路的覆蓋范圍有限的缺點。一個優點是，與常見的欺詐很難SiteRank PageRank的欺騙。 ？

4.1.3網路分析演算法塊的粒度？

在一個頁面通常包含指向一些鏈接到其他頁面，這些鏈接指向的話題的相關頁面只有一部分，或根據網頁鏈接錨文本表明，它具有更高的重要性。然而，PageRank和HITS演算法，這些鏈接不作區分，所以經常帶到了網路分析雜訊干擾的廣告鏈接。在頁面中塊級（塊？級別）的鏈接分析演算法的基本思想是分割演算法通過VIPS網頁分為不同的網頁封鎖（頁塊），然後創建這些頁面上的網頁封鎖？要？塊與塊？到？頁面鏈接矩陣？記為Z和X？因此，在網頁上的W P = X×Z - 頁面的PageRank塊級圖;？？？？在塊的重量Wb = Z×X BlockRank框圖？？？？ ？已經實現了塊級別的PageRank和HITS演算法，並通過實驗證明了該演算法的效率和精度比傳統的同行更好。 ？

4.2分析演算法基於網頁內容的網頁？

基於演算法分析網頁內容是指利用網頁內容（文本，數據和其他資源）的特性的評價。頁面從原來的基於超文本，動態頁面的開發以後（或隱藏網路）的數據為基礎，對數據（PIW，公開可轉位網路），後者直接可見頁面數據400500倍液內容。另一方面，多媒體數據，Web服務和其他形式的網路資源也越來越豐富。因此，基於網頁內容的分析演算法是從原來的文本檢索方法比較簡單，覆蓋Web數據抽取，機器學習，數據挖掘，語義理解等綜合應用方法的開發。根據本條的規定，不同形式的Web數據的基礎上，網頁內容分析演算法，歸納以下三類：第一種為主要文本和超鏈接沒有任何結構或結構很簡單的網頁;第二從結構化數據源（如RDBMS）動態生成的頁面，數據不能被直接訪問大宗;對於數據的第一和第二類，具有良好的結構之間的第三邊界數據，顯示按照一定的圖案或風格，並可以直接訪問。 ？

4.2.1基於文本的網路分析演算法？

1）純文本分類和聚類演算法？

主要是借來的文本檢索技術。文本分析演算法可以快速地和有效地進行分類和頁面聚類，但是由於忽略了頁間結構信息和內部頁，很少單獨使用。 ？

2）超文本分類和聚類演算法？
頁文字也有大量的

❸ 伺服器上運行爬蟲程序，出現2003是什麼情況

是203吧，表示的是返回信息不確定或不完整

❹ 計算機網路的拓撲結構分為哪些

計算機網路的最主要的拓撲結構有匯流排型拓撲、環形拓撲、樹形拓撲、星形拓撲、混合型拓撲以及網狀拓撲。除了匯流排型、環型、星型還有樹形、混合型和網狀拓撲結構。

環形拓撲、星形拓撲、匯流排型拓撲是三個最基本的拓撲結構。在區域網中，使用最多的是星形結構。

1、匯流排型拓撲：

匯流排型拓撲是一種基於多點連接的拓撲結構，是將網路中的所有的設備通過相應的硬體介面直接連接在共同的傳輸介質上。匯流排拓撲結構使用一條所有PC都可訪問的公共通道，每台PC只要連一條線纜即可。在匯流排型拓撲結構中，所有網上微機都通過相應的硬體介面直接連在匯流排上， 任何一個結點的信息都可以沿著匯流排向兩個方向傳輸擴散，並且能被匯流排中任何一個結點所接收。

7、蜂窩拓撲結構：

蜂窩拓撲結構是無線區域網中常用的結構。

❺ 蜘蛛爬蟲的原理和作用

關於搜索引擎的大話還是少說些，下面開始正文搜索引擎蜘蛛爬蟲原理：

1 聚焦爬蟲工作原理及關鍵技術概述
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從Internet網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止，另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：
(1) 對抓取目標的描述或定義；
(2) 對網頁或數據的分析與過濾；
(3) 對URL的搜索策略。
抓取目標的描述和定義是決定網頁分析演算法與URL搜索策略如何制訂的基礎。而網頁分析演算法和候選URL排序演算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的演算法又是緊密相關的。

2 抓取目標描述
現有聚焦爬蟲對抓取目標的描述可分為基於目標網頁特徵、基於目標數據模式和基於領域概念3種。
基於目標網頁特徵的爬蟲所抓取、存儲並索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為：
（1） 預先給定的初始抓取種子樣本；
（2） 預先給定的網頁分類目錄和與分類目錄對應的種子樣本，如Yahoo!分類結構等；
（3） 通過用戶行為確定的抓取目標樣例，分為：
a) 用戶瀏覽過程中顯示標注的抓取樣本；
b) 通過用戶日誌挖掘得到訪問模式及相關樣本。
其中，網頁特徵可以是網頁的內容特徵，也可以是網頁的鏈接結構特徵，等等。
現有的聚焦爬蟲對抓取目標的描述或定義可以分為基於目標網頁特徵，基於目標數據模式和基於領域概念三種。
基於目標網頁特徵的爬蟲所抓取、存儲並索引的對象一般為網站或網頁。具體的方法根據種子樣本的獲取方式可以分為：（1）預先給定的初始抓取種子樣本；（2）預先給定的網頁分類目錄和與分類目錄對應的種子樣本，如Yahoo!分類結構等；（3）通過用戶行為確定的抓取目標樣例。其中，網頁特徵可以是網頁的內容特徵，也可以是網頁的鏈接結構特徵，等等。

基於目標數據模式的爬蟲針對的是網頁上的數據，所抓取的數據一般要符合一定的模式，或者可以轉化或映射為目標數據模式。

另一種描述方式是建立目標領域的本體或詞典，用於從語義角度分析不同特徵在某一主題中的重要程度。

3 網頁搜索策略
網頁的抓取策略可以分為深度優先、廣度優先和最佳優先三種。深度優先在很多情況下會導致爬蟲的陷入(trapped)問題，目前常見的是廣度優先和最佳優先方法。
3.1 廣度優先搜索策略
廣度優先搜索策略是指在抓取過程中，在完成當前層次的搜索後，才進行下一層次的搜索。該演算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁，一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用於聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜索與網頁過濾技術結合使用，先用廣度優先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在於，隨著抓取網頁的增多，大量的無關網頁將被下載並過濾，演算法的效率將變低。

3.2 最佳優先搜索策略
最佳優先搜索策略按照一定的網頁分析演算法，預測候選URL與目標網頁的相似度，或與主題的相關性，並選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析演算法預測為「有用」的網頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關網頁可能被忽略，因為最佳優先策略是一種局部最優搜索演算法。因此需要將最佳優先結合具體的應用進行改進，以跳出局部最優點。將在第4節中結合網頁分析演算法作具體的討論。研究表明，這樣的閉環調整可以將無關網頁數量降低30%~90%。

4 網頁分析演算法

網頁分析演算法可以歸納為基於網路拓撲、基於網頁內容和基於用戶訪問行為三種類型。
4.1 基於網路拓撲的分析演算法
基於網頁之間的鏈接，通過已知的網頁或數據，來對與其有直接或間接鏈接關系的對象（可以是網頁或網站等）作出評價的演算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種。
4.1.1 網頁(Webpage)粒度的分析演算法
PageRank和HITS演算法是最常見的鏈接分析演算法，兩者都是通過對網頁間鏈接度的遞歸和規范化計算，得到每個網頁的重要度評價。PageRank演算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在，但忽略了絕大多數用戶訪問時帶有目的性，即網頁和鏈接與查詢主題的相關性。針對這個問題，HITS演算法提出了兩個關鍵的概念：權威型網頁（authority）和中心型網頁（hub）。

基於鏈接的抓取的問題是相關頁面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網頁也指向目標網頁，局部評價策略中斷了在當前路徑上的抓取行為。文獻[21]提出了一種基於反向鏈接（BackLink）的分層式上下文模型（Context Model），用於描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁，將網頁依據指向目標網頁的物理跳數進行層次劃分，從外層網頁指向內層網頁的鏈接稱為反向鏈接。

4.1.2 網站粒度的分析演算法
網站粒度的資源發現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在於站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似，但是需要對網站之間的鏈接作一定程度抽象，並在一定的模型下計算鏈接的權重。
網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻[18]討論了在分布式情況下，通過對同一個域名下不同主機、伺服器的IP地址進行站點劃分，構造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據不同文件在各個站點上的分布情況，構造文檔圖，結合SiteRank分布式計算得到DocRank。文獻[18]證明，利用分布式的SiteRank計算，不僅大大降低了單機站點的演算法代價，而且克服了單獨站點對整個網路覆蓋率有限的缺點。附帶的一個優點是，常見PageRank 造假難以對SiteRank進行欺騙。
4.1.3 網頁塊粒度的分析演算法
在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關網頁的，或根據網頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS演算法中，沒有對這些鏈接作區分，因此常常給網頁分析帶來廣告等雜訊鏈接的干擾。在網頁塊級別(Blocklevel)進行鏈接分析的演算法的基本思想是通過VIPS網頁分割演算法將網頁分為不同的網頁塊(page block)，然後對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。於是，在pagetopage圖上的網頁塊級別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經有人實現了塊級別的PageRank和HITS演算法，並通過實驗證明，效率和准確率都比傳統的對應演算法要好。
4.2 基於網頁內容的網頁分析演算法
基於網頁內容的分析演算法指的是利用網頁內容（文本、數據等資源）特徵進行的網頁評價。網頁的內容從原來的以超文本為主，發展到後來動態頁面（或稱為Hidden Web）數據為主，後者的數據量約為直接可見頁面數據（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網路資源形式也日益豐富。因此，基於網頁內容的分析演算法也從原來的較為單純的文本檢索方法，發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同，將基於網頁內容的分析演算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁；第二種針對從結構化的數據源（如RDBMS）動態生成的頁面，其數據不能直接批量訪問；第三種針對的數據界於第一和第二類數據之間，具有較好的結構，顯示遵循一定模式或風格，且可以直接訪問。

❻ 如何理解網頁分析演算法

網頁分析演算法可以歸納為基於網路拓撲、基於網頁內容和基於用戶訪問行為三種類型。
1 基於網路拓撲的分析演算法
基於網頁之間的鏈接，通過已知的網頁或數據，來對與其有直接或間接鏈接關系的對象（可以是網頁或網站等）作出評價的演算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種。
1.1 網頁(Webpage)粒度的分析演算法
PageRank和HITS演算法是最常見的鏈接分析演算法，兩者都是通過對網頁間鏈接度的遞歸和規范化計算，得到每個網頁的重要度評價。PageRank演算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在，但忽略了絕大多數用戶訪問時帶有目的性，即網頁和鏈接與查詢主題的相關性。針對這個問題，HITS演算法提出了兩個關鍵的概念：權威型網頁（authority）和中心型網頁（hub）。
基於鏈接的抓取的問題是相關頁面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網頁也指向目標網頁，局部評價策略中斷了在當前路徑上的抓取行為。文獻提出了一種基於反向鏈接（BackLink）的分層式上下文模型（Context Model），用於描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁，將網頁依據指向目標網頁的物理跳數進行層次劃分，從外層網頁指向內層網頁的鏈接稱為反向鏈接。
1.2 網站粒度的分析演算法
網站粒度的資源發現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在於站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似，但是需要對網站之間的鏈接作一定程度抽象，並在一定的模型下計算鏈接的權重。
網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻討論了在分布式情況下，通過對同一個域名下不同主機、伺服器的IP地址進行站點劃分，構造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據不同文件在各個站點上的分布情況，構造文檔圖，結合SiteRank分布式計算得到DocRank。文獻證明，利用分布式的SiteRank計算，不僅大大降低了單機站點的演算法代價，而且克服了單獨站點對整個網路覆蓋率有限的缺點。附帶的一個優點是，常見PageRank 造假難以對SiteRank進行欺騙。
1.3 網頁塊粒度的分析演算法
在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關網頁的，或根據網頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS演算法中，沒有對這些鏈接作區分，因此常常給網頁分析帶來廣告等雜訊鏈接的干擾。在網頁塊級別(Blocklevel)進行鏈接分析的演算法的基本思想是通過VIPS網頁分割演算法將網頁分為不同的網頁塊(page block)，然後對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。於是，在pagetopage圖上的網頁塊級別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經有人實現了塊級別的PageRank和HITS演算法，並通過實驗證明，效率和准確率都比傳統的對應演算法要好。
2 基於網頁內容的網頁分析演算法
基於網頁內容的分析演算法指的是利用網頁內容（文本、數據等資源）特徵進行的網頁評價。網頁的內容從原來的以超文本為主，發展到後來動態頁面（或稱為hidden web）數據為主，後者的數據量約為直接可見頁面數據（PIW，publiclyIndexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網路資源形式也日益豐富。因此，基於網頁內容的分析演算法也從原來的較為單純的文本檢索方法，發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同，將基於網頁內容的分析演算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁；第二種針對從結構化的數據源（如RDBMS）動態生成的頁面，其數據不能直接批量訪問；第三種針對的數據界於第一和第二類數據之間，具有較好的結構，顯示遵循一定模式或風格，且可以直接訪問。
2.1 基於文本的網頁分析演算法
1) 純文本分類與聚類演算法
很大程度上借用了文本檢索的技術。文本分析演算法可以快速有效的對網頁進行分類和聚類，但是由於忽略了網頁間和網頁內部的結構信息，很少單獨使用。
2) 超文本分類和聚類演算法

❼ 簡述基於路由器路由表的拓撲發現方法的優點和缺點都有哪些

最基本的網路拓撲結構有：環形拓撲、星形拓撲、匯流排拓撲三個。
1. 匯流排拓撲結構 是將網路中的所有設備通過相應的硬體介面直接連接到公共匯流排上，結點之間按廣播方式通信，一個結點發出的信息，匯流排上的其它結點均可「收聽」到。 優點：結構簡單、布線容易、可靠性較高，易於擴充，是區域網常採用的拓撲結構。缺點：所有的數據都需經過匯流排傳送，匯流排成為整個網路的瓶頸；出現故障診斷較為困難。最著名的匯流排拓撲結構是乙太網（Ethernet）。
2. 星型拓撲結構 每個結點都由一條單獨的通信線路與中心結點連結。 優點：結構簡單、容易實現、便於管理，連接點的故障容易監測和排除。缺點：中心結點是全網路的可靠瓶頸，中心結點出現故障會導致網路的癱瘓。
3. 環形拓撲結構 各結點通過通信線路組成閉合迴路，環中數據只能單向傳輸。 優點：結構簡單，適合使用光纖，傳輸距離遠，傳輸延遲確定。缺點：環網中的每個結點均成為網路可靠性的瓶頸，任意結點出現故障都會造成網路癱瘓，另外故障診斷也較困難。最著名的環形拓撲結構網路是令牌環網（Token Ring）
4. 樹型拓撲結構 是一種層次結構，結點按層次連結，信息交換主要在上下結點之間進行，相鄰結點或同層結點之間一般不進行數據交換。優點：連結簡單，維護方便，適用於匯集信息的應用要求。缺點：資源共享能力較低，可靠性不高，任何一個工作站或鏈路的故障都會影響整個網路的運行。
5. 網狀拓撲結構 又稱作無規則結構，結點之間的聯結是任意的，沒有規律。優點：系統可靠性高，比較容易擴展，但是結構復雜，每一結點都與多點進行連結，因此必須採用路由演算法和流量控制方法。目前廣域網基本上採用網狀拓撲結構。
6.混合型拓撲結構 就是兩種或兩種以上的拓撲結構同時使用。優點：可以對網路的基本拓撲取長補短。缺點：網路配置掛包那裡難度大。

❽ 計算機網路拓撲結構有哪幾種

網路的拓撲（Topology）結構是指網路中通信線路和站點（計算機或設備）的相互連接的幾何形式。按照拓撲結構的不同，可以將網路分為星型網路、環型網路、匯流排型網路三種基本類型。在這三種類型的網路結構基礎上，可以組合出樹型網、簇星型網、網狀網等其他類型拓撲結構的網路。
1、星型網路結構
在星型網路結構中各個計算機使用各自的線纜連接到網路中，因此如果一個站點出了問題，不會影響整個網路的運行。星型網路結構是現在最常用的網路拓撲結構，如圖1所示。
2、環型網路結構
環型網路結構的各站點通過通信介質連成一個封閉的環形。環形網路容易安裝和監控，但容量有限，網路建成後，難以增加新的站點。因此，現在組建區域網已經基本上不使用環型網路結構了。
3、匯流排型網路結構
在匯流排型網路結構中所有的站點共享一條數據通道。匯流排型網路安裝簡單方便，需要鋪設的電纜最短，成本低，某個站點的故障一般不會影響整個網路，但介質的故障會導致網路癱瘓。匯流排網安全性低，監控比較困難，增加新站點也不如星型網容易。所以，匯流排型網路結構現在基本上已經被淘汰了。

❾ 計算機網路有哪幾種拓撲結構各自特點是什麼

計算機網路的拓撲結構主要有：匯流排型拓撲、星型拓撲、環型拓撲、樹型拓撲和混合型拓撲。
匯流排型拓撲
匯流排型結構由一條高速公用主幹電纜即匯流排連接若干個結點構成網路。網路中所有的結點通過匯流排進行信息的傳輸。這種結構的特點是結構簡單靈活，建網容易，使用方便，性能好。其缺點是主幹匯流排對網路起決定性作用，匯流排故障將影響整個網路。 匯流排型拓撲是使用最普遍的一種網路。
星型拓撲
星型拓撲由中央結點集線器與各個結點連接組成。這種網路各結點必須通過中央結點才能實現通信。星型結構的特點是結構簡單、建網容易，便於控制和管理。其缺點是中央結點負擔較重，容易形成系統的「瓶頸」，線路的利用率也不高。
環型拓撲
環型拓撲由各結點首尾相連形成一個閉合環型線路。環型網路中的信息傳送是單向的，即沿一個方向從一個結點傳到另一個結點；每個結點需安裝中繼器，以接收、放大、發送信號。這種結構的特點是結構簡單，建網容易，便於管理。其缺點是當結點過多時，將影響傳輸效率，不利於擴充。
樹型拓撲
樹型拓撲是一種分級結構。在樹型結構的網路中，任意兩個結點之間不產生迴路，每條通路都支持雙向傳輸。這種結構的特點是擴充方便、靈活，成本低，易推廣，適合於分主次或分等級的層次型管理系統。
網型拓撲
主要用於廣域網，由於結點之間有多條線路相連，所以網路的可靠性較搞高。由於結構比較復雜，建設成本較高。
混合型拓撲
混合型拓撲可以是不規則型的網路，也可以是點-點相連結構的網路。
蜂窩拓撲結構
蜂窩拓撲結構是無線區域網中常用的結構。它以無線傳輸介質（微波、衛星、紅外等）點到點和多點傳輸為特徵，是一種無線網，適用於城市網、校園網、企業網。
編輯本段區域網的結構
區域網中常見的結構為匯流排型或星型。

❿ 按照網路的拓撲結構，計算機網路可以劃分為哪幾類

按照網路的拓撲結構，計算機網路可以劃分為匯流排型拓撲、星型拓撲、環型拓撲、樹型拓撲、網狀拓撲和混合型拓撲。

1、星型拓撲

星型拓撲結構的優點

（1）結構簡單，連接方便，管理和維護都相對容易，而且擴展性強。

（2）網路延遲時間較小，傳輸誤差低。

（3）在同一網段內支持多種傳輸介質，除非中央節點故障，否則網路不會輕易癱瘓。

（4）每個節點直接連到中央節點，故障容易檢測和隔離，可以很方便地排除有故障的節點。

2、匯流排拓撲

匯流排拓撲結構的優點

(1)匯流排結構所需要的電纜數量少，線纜長度短，易於布線和維護。

(2)匯流排結構簡單,又是元源工作,有較高的可靠性。傳輸速率高，可達1~100Mbps。

(3)易於擴充,增加或減少用戶比較方便，結構簡單，組網容易，網路擴展方便

(4)多個節點共用一條傳輸信道，信道利用率高。

3、環型拓撲

環型拓撲的優點

(1)電纜長度短。

(2)增加或減少工作站時，僅需簡單的連接操作。

(3)可使用光纖。

4、樹型拓撲

樹型拓撲的優點

(1)易於擴展。

(2)故障隔離較容易。

5、混合型拓撲

混合型拓撲的優點

(1)故障診斷和隔離較為方便。

(2)易於擴展。

(3)安裝方便。

6、網型拓撲

網型拓撲的優點

(1)節點間路徑多，碰撞和阻塞減少。

(2)局部故障不影響整個網路，可靠性高。

7、開關電源拓撲

樹型拓撲的缺點：

各個節點對根的依賴性太大。

(10)基於網路拓撲演算法擴展閱讀

發展歷程

1、誕生階段

20世紀60年代中期之前的第一代計算機網路是以單個計算機為中心的遠程聯機系統，典型應用是由一台計算機和全美范圍內2000多個終端組成的飛機訂票系統，終端是一台計算機的外圍設備，包括顯示器和鍵盤，無CPU和內存

2、形成階段

20世紀60年代中期至70年代的第二代計算機網路是以多個主機通過通信線路互聯起來，為用戶提供服務，興起於60年代後期，典型代表是美國國防部高級研究計劃局協助開發的ARPANET。

3、互聯互通階段

20世紀70年代末至90年代的第三代計算機網路是具有統一的網路體系結構並遵守國際標準的開放式和標准化的網路。ARPANET興起後，計算機網路發展迅猛，各大計算機公司相繼推出自己的網路體系結構及實現這些結構的軟硬體產品。

4、高速網路技術階段

20世紀90年代至今的第四代計算機網路，由於區域網技術發展成熟，出現光纖及高速網路技術，整個網路就像一個對用戶透明的大的計算機系統，發展為以網際網路( Internet)為代表的互聯網。