❶ 如何優化 python 爬蟲的速度
1.dns cache
2. 多線程
3. 非同步io
❷ 如何優化 Python 爬蟲的速度
原因：爬蟲下載慢主要原因是阻塞等待發往網站的請求和網站返回。
解決方法：老漁哥認為可以主要採用非阻塞的epoll模型。將創建的socket連接句柄和回調函數注冊給操作系統，這樣在單進程和單線程的情況下可以並發大量對頁面的請求。
❸ 如何優化 Python 爬蟲的速度
從以下的五個方面去進行優化測試：
1、cpu瓶頸的話可以通過分布式的方式來解決 更多的結點去處理分發的任務就好了
2、本地帶寬的瓶頸通過雲伺服器解決(一般都有100MB的方案提供) 定時定量的去購買使用可以節約成本(畢竟不是搜索引擎不會一直開著的)
3、目標伺服器的帶寬限制(基於IP的)通過跨區的伺服器解決 雲伺服器提供商有多個機房的 分散節點所在的機房可以緩解問題 有提供動態ip的就更好了
4、目標伺服器的訪問限制，老漁哥提示搜一下<反爬蟲>策略就差不多了解了 根據自己的編程能力來應對 給兩個庫投石問路 SeleniumPhantomJS 對於驗證碼相關的可以考慮購買服務(有外包的, 最高級別是人肉的一定可以搞定, 量要考慮一下價格不菲)真的不建議自己搞。
目標網站系統比較知名的話(discuz)可以網上搜搜 足夠簡單的話可以用opencv(有python綁定的版本而且跨平台) thredshold(二值化)處理顏色, eroded/dilate(腐蝕膨脹)處理噪點, findContours(查找輪廓)處理字元分割,窮舉旋轉和簡單扭曲再匹配字型檔差不多就可以處理2010以前的簡單二維碼了(當然cpu開銷還是很大的)
5、目標伺服器的帶寬上限限制 這么做的話你的爬蟲就成了攻擊了不討論----以下內容常規的爬蟲可能不會涉
❹ 如何優化 Python 爬蟲的速度
爬蟲有些速度沒辦法提升，比如你請求第三方的網頁。這個完全依賴第三方的服務。我們能做的就是多線程並發和非同步或者分布式爬取。多線程有一個threadpool不錯。非同步用tornado的web.client，分布式就藉助中間消息隊列或者內存資料庫
❺ python 爬蟲 解析效率如何提升
提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。
多進程。使用CPU的多個核，使用幾個核就能提高幾倍。
多線程。將任務分成多個，並發（交替）的執行。
分布式爬蟲。讓多個設備去跑同一個項目，效率也能大幅提升。
打包技術。可以將python文件打包成可執行的exe文件，讓其在後台執行即可。
其他。比如，使用網速好的網路等等。
反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent聲明自己的身份，有時還要去填寫origin和referer聲明請求的來源。
限制登錄，即不登錄就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登錄。
復雜的交互，比如設置「驗證碼」來阻攔登錄。這就比較難做，解決方法1：我們用Selenium去手動輸入驗證碼；方法2：我們用一些圖像處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。
ip限制。如果這個IP地址，爬取網站頻次太高，那麼伺服器就會暫時封掉來自這個IP地址的請求。 解決方法：使用time.sleep()來對爬蟲的速度進行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。
❻ Python 到可以寫出一個爬蟲大約需要多長時間
簡單的三分鍾
復雜的一個小時
再復雜的24個小時？
更復雜，根據被採集的網站來一直變幻~
❼ 如何優化 Python 爬蟲的速度
1、使用非同步提高並發
2、分布式爬蟲策略
3、優化爬蟲自身解析html的效率（正則匹配與bs4的選擇）
❽ python爬蟲一秒鍾最快爬多少條數據
我見過3秒鍾喝完一「瓶」啤酒的人，也見過一小時才喝完一「杯」啤酒的人；
我見過一口吃完像巴掌大的麵包的人，也見過幾天才吃完像手指頭大的麵包；
——————我是一條可愛的分割線——————
回到正題：
爬蟲能爬多少，能爬多快。取決於演算法和網速。當然，說白了還是和工程師自己的實力有關。
# 好的爬蟲一秒可以爬上萬條數據，
# 有的爬蟲一天只能爬一條。
print 「人生苦短，python當歌」
❾ 如何優化 Python 爬蟲的速度
使用開源的爬蟲庫scrapy，原生支持多線程，還可以設定抓取速率，並發線程數等等參數；除此之外，scrapy對爬蟲提取HTML內容也有良好的支持。
優化方法有，開啟gzip，多線程，對於定向採集可以用正則取代xpath，用pycurl代替urlib。