A. 请求分析 百度蜘蛛爬行记录Baispider+(+http://www
搜索引擎蜘蛛爬行记录工具 蜘蛛爬行记录V1.0(asp版) 下载地址：蜘蛛爬行记录V1.0(asp版)压缩包解压后，将 bot.mdb,kan.asp,zhuz.asp三个文件上传到网站根目录下，要想看蜘蛛的爬行记录，只需要访问kan.asp这个页面就可以了，比如我的：http://www.258tt.cn/kan.asp 。就看到了一下信息。
B. 如何查看百度蜘蛛爬行记录
查看网络蜘蛛爬行记录的方法：
第一，前往空间服务器，下载网站日志。
第二，打开网站日志文件，搜索：Baispider。
网络（Bai）爬虫名称：Baispider
第三，鉴别网络蜘蛛的真伪。
由于很多站长工具会模拟网络蜘蛛的名称来爬抓网站，因此，需要我们鉴别网络蜘蛛的真伪。
鉴别方法：
开始—运行—输入 cmd ，用命令nslookup +ip
只要是网络的IP段，代码中会有出现：name：spider，如果没有出现，那就不说不是真的网络IP段
第四，可以通过日志工具来查看网站日志。例如：光年日志。
C. 自己的网站如何统计蜘蛛记录
用51la网站流量统计可以统计到。网络友盟大概都可以，我自己用惯51la。
D. 如何查看蜘蛛访问网站的记录
对于很多做网站的新手来说，都没有经过系统地授课进行网络技术和建站知识学习，做网站都是靠自学，遇到难题在论坛发帖提问，更不会懂得网站优化，对于较基本操作——通过网站日志看蜘蛛来访情况都不知到哪里看，怎么看。前两天看到很多人发帖提问，回复者的答案却比较精炼，不具体，提问者还是云里雾里的，现我就以自己的网站来系统地操作一次，提交给大家参考，有说错的地方，请批评指正。
1、打开FTP登录软件，我用的是FlashFXP，登录空间FTP
登录FTP后，你会发现根目录下有一个wwwlogs文件夹，（有的是weblog，注：不同的服务器空间生成的日志文件目录名称不一样，仅供参考，一般文件夹中包含Log字符的就是日志文件夹）。
2、打开wwwlogs文件夹后，里面有一些以日期格式特征为文件名的.gz后缀结尾的文件，这些就是我们需要下载到本地的日志文件。
3、下载到电脑桌面后，解压缩打开，里面是一个记事本格式的文件，打开文件，看到的是下图这样的代码，我下载的是3月7日的那个文件。
4、分析代码
上图1是网络蜘蛛的IP地址；
2是蜘蛛来访日期时间（2012年3月6日1时21分22秒），3月7日的日志文件记录的是从3月6日凌晨开始，至3月7日1时11分39秒整个时间段的n多次来访记录）；
3是网络蜘蛛spider
4是我网站被访问的网页地址；
5是sogou 搜狗蜘蛛的来访，同样也能看到时间和被访网页。
如果是简单的查看，您可以在记事本中搜索spider ，如果想精确分析，可借助一些专用的分析软件。分析下哪些时间段网络蜘蛛来的最频繁，那么我们就在这个时间段更新我们的网站内容，很容易被网络收录的。
通过分析蜘蛛来访纪录，可以了解本站的大体情况，而不用再为网络不放出内页或者不收录的问题而苦恼了。
蜘蛛来访正常，可以确切的说，搜索引擎对你的站很友好的，坚持更新自己的网站，会有不错的收录的。
注：有些共享IP空间可能不支持日志功能，对于独立ip虚拟主机则提供每天的日志下载，而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。
E. 如何查看自己网站是否有蜘蛛来过
什么是spider？
spider是网络搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在网络搜索引擎中搜索到您网站的网页。
spider对一个网站服务器造成的访问压力如何？
spider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，spider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，spider对您网站的服务器不会造成过大压力。
为什么spider不停的抓取我的网站？
对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。 如果您发现spider非正常抓取您的网站，请反馈至[email protected]，并请尽量给出spider对贵站的访问日志，以便于我们跟踪处理。
我不想我的网站被spider访问，我该怎么做？
spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。 注意：禁止spider访问您的网站，将使您的网站上的网页，在网络搜索引擎以及所有网络提供搜索引擎服务的搜索引擎中无法被搜索到。
关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
为什么我的网站已经加了robots.txt，还能在网络搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。
网络蜘蛛在robots.txt中的名字是什么？
“spider”全部为小写字母。
spider多长时间之后会重新抓取我的网页？
网络搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，spider会重新访问和更新一个网页。
知道了什么是网络蜘蛛，那么怎么才能知道蜘蛛是否来过你的站？这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+http://www..com/search/spider.htm)"这就说明网络蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
各类蜘蛛IP收集，不一定完全准确。
序号 IP 注释
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 网络蜘蛛
16 159.226.50.* 网络蜘蛛
17 202.108.11.* 网络蜘蛛
18 202.108.22.* 网络蜘蛛
19 202.108.23.* 网络蜘蛛
20 202.108.249.* 网络蜘蛛
21 202.108.250.* 网络蜘蛛
22 61.135.145.* 网络蜘蛛
23 61.135.146.* 网络蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
F. 我用站长工具的模拟蜘蛛源代码查看器，发现我的网站代码里有很多别的网站的链接，
你最好是用专业的网页编辑器检查下代码，如果有外部链接删除即可，但不可能出现你说的明明没有，模拟抓取却显示多个外部链接，有可能是以下2种情况。
1、你使用的模拟蜘蛛工具有问题
2、检查代码不够彻底、看看图片、JS是不是有引用外部链接之类的
G. 怎么让网页里显示的时间也可以被蜘蛛抓取~~~~ 求源代码~~
677777786534
H. 百度蜘蛛爬的是直接呈现的网页页面还是网页源代码
源码 所以什么seo网站优化 需要优化源代码 就是这个道理
I. 网站没有蜘蛛抓取记录网站文章不收录
检查一下网站是否存在死链接，或者是大量跳转，然后再看看是不是被被攻击了？如果没有这些问题，那么你这是新网站吗？新网站的话就比较正常，这就需要做优化了，每天站内站外的优化都要做。
J. 谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。
回复 Amity 的帖子搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。 如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如bd的蜘蛛程序名称是spider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看bd和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和bd蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。