A. 請求分析 百度蜘蛛爬行記錄Baispider+(+http://www
搜索引擎蜘蛛爬行記錄工具 蜘蛛爬行記錄V1.0(asp版) 下載地址：蜘蛛爬行記錄V1.0(asp版)壓縮包解壓後，將 bot.mdb,kan.asp,zhuz.asp三個文件上傳到網站根目錄下，要想看蜘蛛的爬行記錄，只需要訪問kan.asp這個頁面就可以了，比如我的：http://www.258tt.cn/kan.asp 。就看到了一下信息。
B. 如何查看百度蜘蛛爬行記錄
查看網路蜘蛛爬行記錄的方法：
第一，前往空間伺服器，下載網站日誌。
第二，打開網站日誌文件，搜索：Baispider。
網路（Bai）爬蟲名稱：Baispider
第三，鑒別網路蜘蛛的真偽。
由於很多站長工具會模擬網路蜘蛛的名稱來爬抓網站，因此，需要我們鑒別網路蜘蛛的真偽。
鑒別方法：
開始—運行—輸入 cmd ，用命令nslookup +ip
只要是網路的IP段，代碼中會有出現：name：spider，如果沒有出現，那就不說不是真的網路IP段
第四，可以通過日誌工具來查看網站日誌。例如：光年日誌。
C. 自己的網站如何統計蜘蛛記錄
用51la網站流量統計可以統計到。網路友盟大概都可以，我自己用慣51la。
D. 如何查看蜘蛛訪問網站的記錄
對於很多做網站的新手來說，都沒有經過系統地授課進行網路技術和建站知識學習，做網站都是靠自學，遇到難題在論壇發帖提問，更不會懂得網站優化，對於較基本操作——通過網站日誌看蜘蛛來訪情況都不知到哪裡看，怎麼看。前兩天看到很多人發帖提問，回復者的答案卻比較精煉，不具體，提問者還是雲里霧里的，現我就以自己的網站來系統地操作一次，提交給大家參考，有說錯的地方，請批評指正。
1、打開FTP登錄軟體，我用的是FlashFXP，登錄空間FTP
登錄FTP後，你會發現根目錄下有一個wwwlogs文件夾，（有的是weblog，註：不同的伺服器空間生成的日誌文件目錄名稱不一樣，僅供參考，一般文件夾中包含Log字元的就是日誌文件夾）。
2、打開wwwlogs文件夾後，裡面有一些以日期格式特徵為文件名的.gz後綴結尾的文件，這些就是我們需要下載到本地的日誌文件。
3、下載到電腦桌面後，解壓縮打開，裡面是一個記事本格式的文件，打開文件，看到的是下圖這樣的代碼，我下載的是3月7日的那個文件。
4、分析代碼
上圖1是網路蜘蛛的IP地址；
2是蜘蛛來訪日期時間（2012年3月6日1時21分22秒），3月7日的日誌文件記錄的是從3月6日凌晨開始，至3月7日1時11分39秒整個時間段的n多次來訪記錄）；
3是網路蜘蛛spider
4是我網站被訪問的網頁地址；
5是sogou 搜狗蜘蛛的來訪，同樣也能看到時間和被訪網頁。
如果是簡單的查看，您可以在記事本中搜索spider ，如果想精確分析，可藉助一些專用的分析軟體。分析下哪些時間段網路蜘蛛來的最頻繁，那麼我們就在這個時間段更新我們的網站內容，很容易被網路收錄的。
通過分析蜘蛛來訪紀錄，可以了解本站的大體情況，而不用再為網路不放出內頁或者不收錄的問題而苦惱了。
蜘蛛來訪正常，可以確切的說，搜索引擎對你的站很友好的，堅持更新自己的網站，會有不錯的收錄的。
註：有些共享IP空間可能不支持日誌功能，對於獨立ip虛擬主機則提供每天的日誌下載，而實在沒有可以日誌功能的空間可以參考使用蜘蛛爬行插件的一些方法進行分析。
E. 如何查看自己網站是否有蜘蛛來過
什麼是spider？
spider是網路搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立索引資料庫，使用戶能在網路搜索引擎中搜索到您網站的網頁。
spider對一個網站伺服器造成的訪問壓力如何？
spider會自動根據伺服器的負載能力調節訪問密度。在連續訪問一段時間後，spider會暫停一會，以防止增大伺服器的訪問壓力。所以在一般情況下，spider對您網站的伺服器不會造成過大壓力。
為什麼spider不停的抓取我的網站？
對於您網站上新產生的或者持續更新的頁面，spider會持續抓取。此外，您也可以檢查網站訪問日誌中spider的訪問是否正常，以防止有人惡意冒充spider來頻繁抓取您的網站。 如果您發現spider非正常抓取您的網站，請反饋至[email protected]，並請盡量給出spider對貴站的訪問日誌，以便於我們跟蹤處理。
我不想我的網站被spider訪問，我該怎麼做？
spider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止spider訪問您的網站，或者禁止spider訪問您網站上的部分文件。 注意：禁止spider訪問您的網站，將使您的網站上的網頁，在網路搜索引擎以及所有網路提供搜索引擎服務的搜索引擎中無法被搜索到。
關於robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法
為什麼我的網站已經加了robots.txt，還能在網路搜索出來？
因為搜索引擎索引資料庫的更新需要時間。雖然spider已經停止訪問您網站上的網頁，但網路搜索引擎資料庫中已經建立的網頁索引信息，可能需要二至四周才會清除。 另外也請檢查您的robots配置是否正確。
網路蜘蛛在robots.txt中的名字是什麼？
「spider」全部為小寫字母。
spider多長時間之後會重新抓取我的網頁？
網路搜索引擎每周更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，spider會重新訪問和更新一個網頁。
知道了什麼是網路蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站？這個可以從你伺服器或者虛擬主機的日誌中看出來，比如我用的虛擬主機的完整使用日誌中有這樣的記錄：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+http://www..com/search/spider.htm)"這就說明網路蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到sogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
各類蜘蛛IP收集，不一定完全准確。
序號 IP 注釋
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 網路蜘蛛
16 159.226.50.* 網路蜘蛛
17 202.108.11.* 網路蜘蛛
18 202.108.22.* 網路蜘蛛
19 202.108.23.* 網路蜘蛛
20 202.108.249.* 網路蜘蛛
21 202.108.250.* 網路蜘蛛
22 61.135.145.* 網路蜘蛛
23 61.135.146.* 網路蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中國蜘蛛
74 202.160.178.* yahoo中國蜘蛛
75 202.160.179.* yahoo中國蜘蛛
76 202.160.180.* yahoo中國蜘蛛
77 202.160.181.* yahoo中國蜘蛛
78 202.160.183.* yahoo中國蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
F. 我用站長工具的模擬蜘蛛源代碼查看器，發現我的網站代碼里有很多別的網站的鏈接，
你最好是用專業的網頁編輯器檢查下代碼，如果有外部鏈接刪除即可，但不可能出現你說的明明沒有，模擬抓取卻顯示多個外部鏈接，有可能是以下2種情況。
1、你使用的模擬蜘蛛工具有問題
2、檢查代碼不夠徹底、看看圖片、JS是不是有引用外部鏈接之類的
G. 怎麼讓網頁里顯示的時間也可以被蜘蛛抓取~~~~ 求源代碼~~
677777786534
H. 百度蜘蛛爬的是直接呈現的網頁頁面還是網頁源代碼
源碼 所以什麼seo網站優化 需要優化源代碼 就是這個道理
I. 網站沒有蜘蛛抓取記錄網站文章不收錄
檢查一下網站是否存在死鏈接，或者是大量跳轉，然後再看看是不是被被攻擊了？如果沒有這些問題，那麼你這是新網站嗎？新網站的話就比較正常，這就需要做優化了，每天站內站外的優化都要做。
J. 誰能告訴我怎樣看百度蜘蛛有沒有爬過我們的網站。
回復 Amity 的帖子搜索引擎抓取網站信息必會在伺服器上留下信息，這個信息就在網站日誌文件里。我們通過日誌可以了解搜索引擎的訪問情況，一般通過主機服務商開通日誌功能，再通過FTP訪問網站的根目錄，在根目錄下可以看到一個log或者weblog文件夾，這裡面就是日誌文件，我們把這個日誌文件下載下來，用記事本(或瀏覽器)打開就可以看到網站日誌的內容。 如果想要知道網站日誌文件包含了什麼內容，首先必須知道各搜索引擎的蜘蛛名稱，比如bd的蜘蛛程序名稱是spider，Google的機器人程序名稱是Google-Googlebot等等，我們在日誌的內容里搜索上述的的蜘蛛名就可以知道哪個搜索引擎已經爬取過網站了，這里就留下了他們的蛛絲馬跡。再者，必須能看懂常見的http狀態碼，最常見的HTTP狀態碼有200(頁面抓取成功)、304(上次抓取的和這次抓取的沒變化)，404(未找到頁面，錯誤鏈接)500(伺服器未響應，一般由伺服器維護和出故障，網站打不開時出現的)，伺服器狀態碼的值是我們和蜘蛛交流的信號。知道了這些基本信息以後我們就可以根據網站日誌進行分析了，一般來說我們只看bd和谷歌蜘蛛的爬行和抓取情況，當然有特殊需要的也可以對其他幾個蜘蛛的爬行情況進行分析。網站日誌中出現大量的谷歌蜘蛛和bd蜘蛛，說明搜索引擎蜘蛛時常來光顧你的網站。