1. python 爬蟲的問題
方法：
用工具，包括你的Firefox，可以用Firefox中的firebug，或者IE的F12等，去調試分析出對應的邏輯，即：
此處你所想要的浮標的數據，內部是如何生成的
看懂邏輯後，再去用代碼模擬出來
簡答：
你的那個地址，是需要你先搞懂邏輯，再代碼模擬，動態生成後，加上對應的header，（和相關的post data，甚至相關的cookie等信息），才能正常獲得的。
具體需要哪些數據，如何發送，參見下面的教程。
詳解：
具體的邏輯，一兩句話說不清，看了我的解釋，包括原理和工具，示例代碼後，
再來處理你自己的此處的問題，就懂了。
詳見：
先看：
詳解抓取網站，模擬登陸，抓取動態網頁的原理和實現（Python，C#等）再看：
Python專題教程：抓取網站，模擬登陸，抓取動態網頁
2. python爬蟲怎麼處理豆瓣網頁異常請求
1.URLError
首先解釋下URLError可能產生的原因：
網路無連接，即本機無法上網
連接不到特定的伺服器
伺服器不存在
在代碼中，我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子，先感受下它的風騷
Python
1
2
3
4
5
6
7
import urllib2
requset = urllib2.Request('http://www.xxxxx.com')
try:
urllib2.urlopen(requset)
except urllib2.URLError, e:
print e.reason
我們利用了 urlopen方法訪問了一個不存在的網址，運行結果如下：
Python
1
[Errno 11004] getaddrinfo failed
它說明了錯誤代號是11004，錯誤原因是 getaddrinfo failed
2.HTTPError
HTTPError是URLError的子類，在你利用urlopen方法發出一個請求時，伺服器上都會對應一個應答對象response，其中它包含一個數字」狀態碼」。舉個例子，假如response是一個」重定向」，需定位到別的地址獲取文檔，urllib2將對此進行處理。
其他不能處理的，urlopen會產生一個HTTPError，對應相應的狀態嗎，HTTP狀態碼表示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下：
100：繼續 客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩餘部分，或者如果請求已經完成，忽略這個響應。
101： 轉換協議 在發送完這個響應最後的空行後，伺服器將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該採取類似措施。
102：繼續處理 由WebDAV（RFC 2518）擴展的狀態碼，代表處理將被繼續執行。
200：請求成功 處理方式：獲得響應的內容，進行處理
201：請求完成，結果是創建了新資源。新創建資源的URI可在響應的實體中得到 處理方式：爬蟲中不會遇到
202：請求被接受，但處理尚未完成 處理方式：阻塞等待
204：伺服器端已經實現了請求，但是沒有返回新的信 息。如果客戶是用戶代理，則無須為此更新自身的文檔視圖。 處理方式：丟棄
300：該狀態碼不被HTTP/1.0的應用程序直接使用， 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。 處理方式：若程序中能夠處理，則進行進一步處理，如果程序中不能處理，則丟棄
301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源 處理方式：重定向到分配的URL
302：請求到的資源在一個不同的URL處臨時保存 處理方式：重定向到臨時的URL
304：請求的資源未更新 處理方式：丟棄
400：非法請求 處理方式：丟棄
401：未授權 處理方式：丟棄
403：禁止 處理方式：丟棄
404：沒有找到 處理方式：丟棄
500：伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。一般來說，這個問題都會在伺服器端的源代碼出現錯誤時出現。
501：伺服器無法識別 伺服器不支持當前請求所需要的某個功能。當伺服器無法識別請求的方法，並且無法支持其對任何資源的請求。
502：錯誤網關 作為網關或者代理工作的伺服器嘗試執行請求時，從上游伺服器接收到無效的響應。
503：服務出錯 由於臨時的伺服器維護或者過載，伺服器當前無法處理請求。這個狀況是臨時的，並且將在一段時間以後恢復。
HTTPError實例產生後會有一個code屬性，這就是是伺服器發送的相關錯誤號。
因為urllib2可以為你處理重定向，也就是3開頭的代號可以被處理，並且100-299范圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。
下面我們寫一個例子來感受一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外我們又列印了reason屬性，這是它的父類URLError的屬性。
Python
1
2
3
4
5
6
7
8
import urllib2
req = urllib2.Request('httt/cqcre')
try:
urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.code
print e.reason
運行結果如下
Python
1
2
403
Forbidden
錯誤代號是403，錯誤原因是Forbidden，說明伺服器禁止訪問。
我們知道，HTTPError的父類是URLError，根據編程經驗，父類的異常應當寫到子類異常的後面，如果子類捕獲不到，那麼可以捕獲父類的異常，所以上述的代碼可以這么改寫
Python
1
2
3
4
5
6
7
8
9
10
11
import urllib2
req = urllib2.Request('hcqcre')
try:
urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.code
except urllib2.URLError, e:
print e.reason
else:
print "OK"
如果捕獲到了HTTPError，則輸出code，不會再處理URLError異常。如果發生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤原因。
另外還可以加入 hasattr屬性提前對屬性進行判斷，代碼改寫如下
Python
1
2
3
4
5
6
7
8
9
10
11
12
import urllib2
req = urllib2.Request('httcqcre')
try:
urllib2.urlopen(req)
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
else:
print "OK"
首先對異常的屬性進行判斷，以免出現屬性輸出報錯的現象。
以上，就是對URLError和HTTPError的相關介紹，以及相應的錯誤處理辦法，小夥伴們加油！
3. python爬蟲 如何解決http error 503問題
從表面上看，Python爬蟲程序運行中出現503錯誤是伺服器的問題，其實真正的原因在程序，由於Python腳本運行過程中讀取的速度太快，明顯是自動讀取而不是人工查詢讀取，這時伺服器為了節省資源就會給Python腳本反饋回503錯誤。其實只要把爬取的速度放慢一點就好了。比如讀取一條記錄或幾條記錄後適當添加上time.sleep(10)，這樣就基本上不會出現503錯誤了。我本人在使用中一般是在每一次讀取後都運行time.sleep(1)或time.sleep(3)，具體的數值根據不同的網站確定。
4. 在學習python爬蟲，有沒有用於測試500錯誤的網站，可以讓我嘗試重試下載網址
沒有，自己搭建個寫個錯誤代碼就會報500錯了。
5. python爬蟲出現了錯誤，怎麼弄
調用test函數超時監控，使用sleep模擬函數執行超時 2、引入signal模塊，設置handler捕
6. 爬蟲訪問導致伺服器500報錯
500是伺服器內部錯誤，伺服器日誌中應該有體現的，個人推測應該是服務對於爬蟲訪問傳遞的參數跟用瀏覽器訪問不同的處理異常導致的
7. python 爬蟲時，urllib2.HTTPError:HTTP Error 502：Bad Gateway是什麼原因怎麼解決
可能是那個網站阻止了這類的訪問，只要在請求中加上偽裝成瀏覽器的header就可以了，比如：
headers={
'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201Firefox/3.5.6'
}
req=urllib2.Request(
url="http://www.qiushike.com/imgrank"
,
headers=headers
)
myResponse=urllib2.urlopen(req)
8. 如何使用python爬蟲時增加延時和重試.比如一旦出現500錯誤，就等待1分鍾再重試
def main():
try:
代碼(打開網址的代碼)
except Exception as e:
time模塊延時(自己查一下，我忘了)
main()
9. python爬蟲時出現internal server error
這種500錯誤是對方伺服器抗不住壓力，所以超時或者發生其它錯誤。和你的程序沒有太大關系。
10. python爬蟲返回錯誤
你的腳本里寫的有點問題，正常情況下不應該直接使用except來捕獲所有錯誤，因為這樣你根本看不到錯誤的原因，根據你圖片里那爬取異常四個字，誰知道錯誤原因呢？正常的代碼應該是這樣寫：
except Exception as e:
print("錯誤原因是：", e)
這樣才能把系統給發送的異常信息顯示出來，根據異常信息才能判斷是哪一步執行出錯了。
根據你圖片中的代碼信息，很有可能是你在鏈接中給出的參數出錯了，就是那個keyword值。你可以把異常結果發出來就能看的比較明顯了。
不知道我講清楚了沒有，希望可以幫助到你。