python爬蟲學習html

『壹』 學習python爬蟲有什麼關於分析html頁面和請求過程的書和工具推薦

看書是基礎，除此之外還有學習路線，該怎麼學習，跟著路線來學的話，更加有效果。

第一階段—Python基礎准備：本階段主要是學習Python零基礎入門學習教程，html+css、javascript、jquery、python編程基礎、python初探等，讓你輕松入門python語言。

第二階段—Python Web開發: 本階段是主要Python開發基礎知識的講解，通過系統學習mysql資料庫、django、ajax、Tornado入門、個人博客系統實戰等相關技術，全面掌握python基礎開發技能技巧。

第三階段—Python擴展開發：本階段Python
開發進階，主要是Python開發實戰講解，針對有一定Python開發基礎學員，從Tkinter桌面編程、Python開發跨的記事本、編程實
戰、python爬蟲、論壇項目實戰等方面深入講解，讓學員快速精通python開發語言。

第四階段—Python開發選修：本節階段是Python開發的一個拓展講解，主要是linux系統、Flask框架、redis框架、node.js框架、html5+css3等相關系統和框架及技術方面的結合使用學習，讓精通python開發的你，技藝更加精湛。

『貳』 python爬蟲需要什麼基礎

網頁知識

html，js,css，xpath這些知識，雖然簡單，但一定需要了解。 你得知道這些網頁是如何構成的，然後才能去分解他們.

HTTP知識

• 一般爬蟲你需要模擬瀏覽器的操作，才能去獲取網頁的信息

• 如果有些網站需要登錄，才能獲取更多的資料，你得去登錄，你得把登錄的賬號密碼進行提交

• 有些網站登錄後需要保存cookie信息才能繼續獲取更多資料

正則表達式

有了正則表達式才能更好的分割網頁信息，獲取我們想要的數據，所以正則表達式也是需要了解的.

一些重要的爬蟲庫

• url,url2

• beautiul Soup

資料庫

爬取到的數據我們得有個地方來保存，可以使用文件，也可以使用資料庫，這里我會使用mysql，還有更適合爬蟲的MongoDB資料庫，以及分布式要用到的redis 資料庫

爬蟲框架

PySpider和Scrapy這兩個爬蟲框架是非常NB的,簡單的爬蟲可以使用urllib與urllib2以及正則表達式就能完成，但高級的爬蟲還得用這兩個框架。 這兩個框架需要另行安裝。後面一起學習.

反爬蟲

有時候你的網站數據想禁止別人爬取，可以做一些反爬蟲處理操作。 打比方網路上就無法去查找淘寶上的數據，這樣就避開了搜索引擎的競爭，淘寶就可以搞自己的一套競價排名

分布式爬蟲

使用多個redis實例來緩存各台主機上爬取的數據。

爬蟲要學的東西還是挺多的，想把爬蟲玩得666，基本就是這些知識點吧！

『叄』 學python編寫網路爬蟲程序很難嗎

沒寫過爬蟲的人可能會被一些以訛傳訛的消息所誤導，以為爬蟲就是搜資源，或是破解網站。
其實爬蟲只是用幾個普普通通的可以訪問網站的函數去訪問對方網站，然後利用編程語言的各種功能，對網站返回的各種信息進行篩選，從中找出自己需要的信息罷了。
不是只有python可以做爬蟲，只是python用著簡單，所以用python寫爬蟲的人多。每一個帶有訪問互聯網功能的編程語言，都可以做爬蟲。
學一下爬蟲常用的兩個庫（一個發網路請求的requsets庫，一個對網頁返回的信息進行分類的BeautifulSoup），學會用那幾個函數。如果你能掌握學習方法，而且不要沉迷於研究那兩個庫里究竟有些啥，而且不要沉迷於理解那幾個函數不同的參數究竟有什麼功能，半小時就能學完這兩個庫，然後開始寫爬蟲。
當然，寫爬蟲還需要了解一些html的知識（你還沒學，可能無法理解這是啥）
這時已經可以開始做一些，例如爬取新聞網站的新聞，下載圖片網站的圖片，這些基礎的爬蟲了。每個網站的製作者都有自己不同的想法，都有自己的反爬策略，沒法一概而論。
至於破解愛奇藝這些網站的視頻，抱歉，這不是爬蟲自帶的功能，爬蟲自帶的功能就只有訪問互聯網，並在網站返回的數據里方便的尋找東西.

『肆』 python3爬蟲獲取HTML文檔時的問題。

很正常。控制台支持的編碼有限。建議你存到文件再打開看是否正常。
另外頁面寫了是gbk編碼，存文件也試試gbk

『伍』 Python網路爬蟲學習建議，初學者需要哪些准備

1. 了解html和簡單的js，只有了解你要抓取的頁面，在獲取後才能有效分析。建議系統學習html這個很簡單；js較復雜不必多看，可以邊分析邊網路資料學習。

2. python方面，了解urllib和urllib2兩個庫，在抓取頁面要用到。Cookielib這個庫配合urllib2可以封裝opener，在需要cookie時可以自動解決，建議了解一些，會封裝opener即可。re正則表達式庫可以幫助你高效的從頁面中分離要的內容，正則表達式要略知一二。

3. 學習一些抓包知識，有些網站防爬，需要人工瀏覽一些頁面，抓取數據包分析防爬機制，然後做出應對措施。比如解決cookie問題，或者模擬設備等。
   

作為初學者，學會以上知識基本上爬取任何網站都沒問題了，但更重要的是耐心和細心。畢竟爬取網站時並不知道網站已開始是怎麼設計的，有哪些小坑，分析起來這些還是比較燒腦，但是分析成功很有成就感。

『陸』 python爬蟲學習教程哪個好

第一階段

Python開發基礎和核心特性1.變數及運算符2.分支及循環3.循環及字元串4.列表及嵌套列表5.字典及項目練習6.函數的使用7.遞歸及文件處理8.文件9.面向對象10.設計模式及異常處理11.異常及模塊的使用12.坦克大戰13.核心編程14.高級特性15.內存管理

第二階段

資料庫和linux基礎1.並發編程2.網路通信3.MySQL4.Linux5.正則表達式

第三階段

web前端開發基礎1.html基本標簽2.css樣式3.css浮動和定位4.js基礎5.js對象和函數6.js定時器和DOM7.js事件響應8.使用jquery9.jquery動畫特效10.Ajax非同步網路請求

第四階段

Python Web框架階段1.Django-Git版本控制2.Django-博客項目3.Django-商城項目4.Django模型層5.Django入門6.Django模板層7.Django視圖層8.Tornado框架

第五階段

Python 爬蟲實戰開發1.Python爬蟲基礎2.Python爬蟲Scrapy框架

『柒』 Python爬蟲怎麼抓取html網頁的代碼塊

范圍匹配大點，像這種

re.findall('(<div class="moco-course-wrap".*?</div>)',source,re.S)

可以看下這個

http://blog.csdn.net/tangdou5682/article/details/52596863

『捌』 如何入門 Python 爬蟲

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子里有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

如果你想要入門Python爬蟲，你需要做很多准備。首先是熟悉python編程；其次是了解HTML；

還要了解網路爬蟲的基本原理；最後是學習使用python爬蟲庫。

如果你不懂python，那麼需要先學習python這門非常easy的語言。編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但並不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網路教程，花個十幾天功夫，就能對python基礎有個三四分的認識了。

網路爬蟲的含義：

網路爬蟲，其實也可以叫做網路數據採集更容易理解。就是通過編程向網路伺服器請求數據（HTML表單），然後解析HTML，提取出自己想要的數據。

這會涉及到資料庫、網路伺服器、HTTP協議、HTML、數據科學、網路安全、圖像處理等非常多的內容。但對於初學者而言，並不需要掌握這么多。