① 用Python爬取大眾點評時被反爬ip被封怎麼辦,他總叫我滑動驗證但滑動了也沒有用。。。求大佬幫忙。。。
1、放慢爬取速度,減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段,突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址,為了防止IP被封,這時就可以使用HTTP,來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理伺服器去幫我們得到網頁內容,然後再轉發回我們的電腦。要選擇高匿的ip,IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護,保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理,更不會知道我們真實的IP地址。
3、建立IP池,池子盡可能的大,且不同IP均勻輪換。
如果你需要大量爬取數據,建議你使用HTTP代理IP,在IP被封掉之前或者封掉之後迅速換掉該IP,這里有個使用的技巧是循環使用,在一個IP沒有被封之前,就換掉,過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。