python爬蟲必背知識

㈠ python爬蟲是什麼

Python爬蟲是一種使用Python編程語言編寫的網路爬蟲程序。以下是對Python爬蟲的詳細解釋：

一、定義與功能

• 定義：Python爬蟲，即利用Python語言開發的一種自動化程序，用於從互聯網上抓取、分析和收集數據。
• 功能：它模擬人類瀏覽器的行為，訪問網站、讀取網頁內容、提取所需信息，並將這些信息保存到本地資料庫或文件中。

二、工作原理

• 發送請求：Python爬蟲通過HTTP請求訪問目標網站的URL。
• 接收響應：網站伺服器返回HTML、JSON等格式的數據作為響應。
• 解析數據：爬蟲程序使用正則表達式、BeautifulSoup、lxml等工具解析響應數據，提取所需信息。
• 存儲數據：將提取的數據保存到本地文件、資料庫或進行進一步處理。

三、應用場景

• 搜索引擎：搜索引擎是Python爬蟲最常見的應用場景之一，用於抓取網頁內容並建立索引。
• 數據採集：企業或個人可以利用Python爬蟲從特定網站上抓取數據，用於市場分析、競品分析等。
• 網站監測：通過定期抓取網站內容，監測網站更新情況或進行內容對比。

四、注意事項

• 遵守法律法規：在抓取數據時，必須遵守相關法律法規和網站的使用協議。
• 避免對目標網站造成負擔：合理設置抓取頻率和並發數，避免對目標網站伺服器造成過大壓力。
• 數據隱私與安全：確保抓取的數據不涉及個人隱私和敏感信息，保障數據安全。

綜上所述，Python爬蟲是一種強大的數據抓取工具，在搜索引擎、數據採集和網站監測等領域具有廣泛應用。

㈡ 姣曚笟鐢熷繀鐪婸ython鐖鉶涓婃墜鎶宸

Python蹇閫熶笂鎵嬬殑7澶ф妧宸

Python蹇閫熶笂鎵嬬埇鉶鐨7澶ф妧宸

1銆佸熀鏈鎶撳彇緗戦〉

get鏂規硶

post鏂規硶

2銆佷嬌鐢ㄤ唬鐞咺P

鍦ㄥ紑鍙戠埇鉶榪囩▼涓緇忓父浼氶亣鍒癐P琚灝佹帀鐨勬儏鍐碉紝榪欐椂灝遍渶瑕佺敤鍒

浠ｇ悊IP錛

鍦╱rllib 2鍖呬腑鏈塒roxy Handler綾伙紝 閫氳繃姝ょ被鍙浠ヨ劇疆浠ｇ悊

璁塊棶緗戦〉錛屽備笅浠ｇ爜鐗囨碉細

3銆丆ookies澶勭悊

cookies鏄鏌愪簺緗戠珯涓轟簡杈ㄥ埆鐢ㄦ埛韜浠姐佽繘琛宻ession璺熻釜鑰

鍌ㄥ瓨鍦ㄧ敤鎴鋒湰鍦扮粓絝涓婄殑鏁版嵁(閫氬父緇忚繃鍔犲瘑) 錛 python鎻愪緵浜

cookie lib妯″潡鐢ㄤ簬澶勭悊cookies錛 cookie lib妯″潡鐨勪富瑕佷綔

鐢ㄦ槸鎻愪緵鍙瀛樺偍cookie鐨勫硅薄錛 浠ヤ究浜庝笌urllib 2妯″潡閰嶅悎浣

鐢ㄦ潵璁塊棶Internet璧勬簮銆

浠ｇ爜鐗囨碉細

鍏抽敭鍦ㄤ簬Cookie Jar() 錛 瀹冪敤浜庣＄悊HTTP cookie鍊箋佸瓨鍌

HTTP璇鋒眰鐢熸垚鐨刢ookie銆佸悜浼犲嚭鐨凥TTP璇鋒眰娣誨姞cookie

鐨勫硅薄銆傛暣涓猚ookie閮藉瓨鍌ㄥ湪鍐呭瓨涓錛 瀵笴ookie Jar瀹炰緥榪

琛屽瀮鍦懼洖鏀跺悗cookie涔熷皢涓㈠け錛 鎵鏈夎繃紼嬮兘涓嶉渶瑕佸崟鐙鍘繪搷浣

鎵嬪姩娣誨姞cookie錛

4銆佷吉瑁呮垚嫻忚堝櫒

鏌愪簺緗戠珯鍙嶆劅鐖鉶鐨勫埌璁匡紝浜庢槸瀵圭埇鉶涓寰嬫嫆緇濊鋒眰銆傛墍浠ョ敤

urllib 2鐩存帴璁塊棶緗戠珯緇忓父浼氬嚭鐜癏TTP Error 403錛

Forbidden鐨勬儏鍐點

瀵規湁浜沨eader瑕佺壒鍒鐣欐剰錛 Server絝浼氶拡瀵硅繖浜沨eader

鍋氭鏌ワ細

1.User-Agent鏈変簺Server鎴朠roxy浼氭鏌ヨュ礆紝 鐢ㄦ潵鍒

鏂鏄鍚︽槸嫻忚堝櫒鍙戣搗鐨凴equest銆

2.Content-Type鍦ㄤ嬌鐢≧EST鎺ュ彛鏃訛紝 Server浼氭鏌ヨ

鍊礆紝 鐢ㄦ潵紜瀹欻TTP Body涓鐨勫唴瀹硅ユ庢牱瑙ｆ瀽銆

榪欐椂鍙浠ラ氳繃淇鏀筯ttp鍖呬腑鐨刪eader鏉ュ疄鐜幫紝 浠ｇ爜鐗囨靛備笅

5銆侀獙璇佺爜鐨勫勭悊

瀵逛簬涓浜涚畝鍗曠殑楠岃瘉鐮侊紝鍙浠ヨ繘琛岀畝鍗曠殑璇嗗埆銆傛垜浠鍙榪涜岃繃涓

浜涚畝鍗曠殑楠岃瘉鐮佽瘑鍒錛屼絾鏄鏈変簺鍙嶄漢綾葷殑楠岃瘉鐮侊紝姣斿12306

錛屽彲浠ラ氳繃鎵撶爜騫沖彴榪涜屼漢宸ユ墦鐮侊紝褰撶劧榪欐槸瑕佷粯璐圭殑銆

6銆乬zip鍘嬬緝

鏈夋病鏈夐亣鍒拌繃鏌愪簺緗戦〉錛屼笉璁烘庝箞杞鐮侀兘鏄涓鍥涔辯爜銆傚搱鍝堬紝閭

璇存槑浣犺繕涓嶇煡閬撹稿歸eb鏈嶅姟鍏鋒湁鍙戦佸帇緙╂暟鎹鐨勮兘鍔涳紝 榪欏彲

浠ュ皢緗戠粶綰胯礬涓婁紶杈撶殑澶ч噺鏁版嵁娑堝噺60%浠ヤ笂銆傝繖灝ゅ叾閫傜敤浜

XML web鏈嶅姟錛 鍥犱負XML鏁版嵁鐨勫帇緙╃巼鍙浠ュ緢楂樸

浣嗘槸涓鑸鏈嶅姟鍣ㄤ笉浼氫負浣犲彂閫佸帇緙╂暟鎹錛岄櫎闈炰綘鍛婅瘔鏈嶅姟鍣ㄤ綘鍙

浠ュ勭悊鍘嬬緝鏁版嵁銆

浜庢槸闇瑕佽繖鏍蜂慨鏀逛唬鐮侊細

榪欐槸鍏抽敭錛氬壋寤篟equest瀵硅薄錛 娣誨姞涓涓獮ccept-

encoding澶翠俊鎮鍛婅瘔鏈嶅姟鍣ㄤ綘鑳芥帴鍙梘zip鍘嬬緝鏁版嵁銆

鐒跺悗灝辨槸瑙ｅ帇緙╂暟鎹錛

7銆佸氱嚎紼嬪苟鍙戞姄鍙

鍗曠嚎紼嬪お鎱㈢殑璇濓紝灝遍渶瑕佸氱嚎紼嬩簡錛岃繖閲岀粰涓綆鍗曠殑綰跨▼奼犳ā鏉

榪欎釜紼嬪簭鍙鏄綆鍗曞湴鎵撳嵃浜1-10錛屼絾鏄鍙浠ョ湅鍑烘槸騫跺彂鐨勩

鉶界劧璇碢ython鐨勫氱嚎紼嬪緢楦¤倠錛 浣嗘槸瀵逛簬鐖鉶榪欑嶇綉緇滈戠箒鍨

錛岃繕鏄鑳戒竴瀹氱▼搴︽彁楂樻晥鐜囩殑銆

㈢ python爬蟲需要什麼基礎

網頁知識

html，js,css，xpath這些知識，雖然簡單，但一定需要了解。 你得知道這些網頁是如何構成的，然後才能去分解他們.

HTTP知識

• 一般爬蟲你需要模擬瀏覽器的操作，才能去獲取網頁的信息

• 如果有些網站需要登錄，才能獲取更多的資料，你得去登錄，你得把登錄的賬號密碼進行提交

• 有些網站登錄後需要保存cookie信息才能繼續獲取更多資料

正則表達式

有了正則表達式才能更好的分割網頁信息，獲取我們想要的數據，所以正則表達式也是需要了解的.

一些重要的爬蟲庫

• url,url2

• beautiul Soup

資料庫

爬取到的數據我們得有個地方來保存，可以使用文件，也可以使用資料庫，這里我會使用mysql，還有更適合爬蟲的MongoDB資料庫，以及分布式要用到的redis 資料庫

爬蟲框架

PySpider和Scrapy這兩個爬蟲框架是非常NB的,簡單的爬蟲可以使用urllib與urllib2以及正則表達式就能完成，但高級的爬蟲還得用這兩個框架。 這兩個框架需要另行安裝。後面一起學習.

反爬蟲

有時候你的網站數據想禁止別人爬取，可以做一些反爬蟲處理操作。 打比方網路上就無法去查找淘寶上的數據，這樣就避開了搜索引擎的競爭，淘寶就可以搞自己的一套競價排名

分布式爬蟲

使用多個redis實例來緩存各台主機上爬取的數據。

爬蟲要學的東西還是挺多的，想把爬蟲玩得666，基本就是這些知識點吧！