python爬蟲提交表單_《用Python寫網路爬蟲》pdf下載在線閱讀求百度網盤雲資源

『壹』怎麼用python抓取網頁並實現一些提交操作

這個，可以網路一下：python爬蟲入門。然後裡面會有些視頻或者是網上教程會教你怎樣抓取網頁數據，並且使用post方式來提交操作

『貳』《用Python寫網路爬蟲》pdf下載在線閱讀，求百度網盤雲資源

《用Python寫網路爬蟲》（[澳]理查德勞森）電子書網盤下載免費在線閱讀

鏈接：

密碼：syiu

書名：用Python寫網路爬蟲

作者：[澳]理查德勞森

譯者：李斌

豆瓣評分：7.2

出版社：人民郵電出版社

出版年份：2016-8-1

頁數：157

內容簡介：

作為一種便捷地收集網上信息並從中抽取出可用信息的方式，網路爬蟲技術變得越來越有用。使用Python這樣的簡單編程語言，你可以使用少量編程技能就可以爬取復雜的網站。

《用Python寫網路爬蟲》作為使用Python來爬取網路數據的傑出指南，講解了從靜態頁面爬取數據的方法以及使用緩存來管理伺服器負載的方法。此外，本書還介紹了如何使用AJAX URL和Firebug擴展來爬取數據，以及有關爬取技術的更多真相，比如使用瀏覽器渲染、管理cookie、通過提交表單從受驗證碼保護的復雜網站中抽取數據等。本書使用Scrapy創建了一個高級網路爬蟲，並對一些真實的網站進行了爬取。

《用Python寫網路爬蟲》介紹了如下內容：

通過跟蹤鏈接來爬取網站；

使用lxml從頁面中抽取數據；

構建線程爬蟲來並行爬取頁面；

將下載的內容進行緩存，以降低帶寬消耗；

解析依賴於javaScript的網站；

與表單和會話進行交互；

解決受保護頁面的驗證碼問題；

對AJAX調用進行逆向工程；

使用Scrapy創建高級爬蟲。

本書讀者對象

本書是為想要構建可靠的數據爬取解決方案的開發人員寫作的，本書假定讀者具有一定的Python編程經驗。當然，具備其他編程語言開發經驗的讀者也可以閱讀本書，並理解書中涉及的概念和原理。

作者簡介：

Richard Lawson來自澳大利亞，畢業於墨爾本大學計算機科學專業。畢業後，他創辦了一家專注於網路爬蟲的公司，為超過50個國家的業務提供遠程工作。他精通於世界語，可以使用漢語和韓語對話，並且積極投身於開源軟體。他目前在牛津大學攻讀研究生學位，並利用業余時間研發自主無人機。

『叄』 python爬蟲時表單隱藏域與post提交的不一樣

抓出來，然後跟著表單PO出去就行了。

注意csrf可能是模板合成走表單的，也可能是走cookie飛的。如果你發現是表單域的玩意那就必然是走表單的……

這個應該是xsrf，繞過的方法很簡單，只要你在cookie里隨便給對應的xsrf欄位一個值，然後post的時候再把這個值作為xsrf欄位的值傳給伺服器就行了

『肆』 python爬蟲，如何知道post的表單提交地址

你應該使用chrome瀏覽器的調試工具，點擊提交的時候，網頁會請求網頁，裡麵包含了所有信息，包含報頭等。

具體信息見下圖：

『伍』 python爬蟲簡單問題，HTML對象的定位問題

這里有各種策略用於定位網頁中的元素(locate elements)，你可以選擇最適合的方案，Selenium提供了一下方法來定義一個頁面中的元素：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
下面是查找多個元素（這些方法將返回一個列表）：

find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

除了上面給出的公共方法，這里也有兩個在頁面對象定位器有用的私有方法。這兩個私有方法是find_element和find_elements。
常用方法是通過xpath相對路徑進行定位，同時CSS也是比較好的方法。舉例：

[html]view plain

<html>
<body>
<formid="loginForm">
<inputname="username"type="text"/>
<inputname="password"type="password"/>
<inputname="continue"type="submit"value="Login"/>
<inputname="continue"type="button"value="Clear"/>
</form>
</body>
<html>
定位username元素的方法如下：

[python]view plain

username=driver.find_element_by_xpath("//form[input/@name='username']")
username=driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")
username=driver.find_element_by_xpath("//input[@name='username']")
[1] 第一個form元素通過一個input子元素，name屬性和值為username實現

[2] 通過id=loginForm值的form元素找到第一個input子元素

[3] 屬性名為name且值為username的第一個input元素

二. 操作元素方法

在講述完定位對象(locate elements)之後我們需要對該已定位對象進行操作，通常所有的操作與頁面交互都將通過WebElement介面，常見的操作元素方法如下：

clear 清除元素的內容
send_keys 模擬按鍵輸入
click 點擊元素
submit 提交表單

舉例自動訪問FireFox瀏覽器自動登錄163郵箱。

[python]view plain

fromseleniumimportwebdriver
fromselenium.webdriver.common.keysimportKeys
importtime
#Login163email
driver=webdriver.Firefox()
driver.get("")
elem_user=driver.find_element_by_name("username")
elem_user.clear
elem_user.send_keys("15201615157")
elem_pwd=driver.find_element_by_name("password")
elem_pwd.clear
elem_pwd.send_keys("******")
elem_pwd.send_keys(Keys.RETURN)
#driver.find_element_by_id("loginBtn").click()
#driver.find_element_by_id("loginBtn").submit()
time.sleep(5)
assert""indriver.title
driver.close()
driver.quit()
首先通過name定位用戶名和密碼，再調用方法clear()清除輸入框默認內容，如「請輸入密碼」等提示，通過send_keys("**")輸入正確的用戶名和密碼，最後通過click()點擊登錄按鈕或send_keys(Keys.RETURN)相當於回車登錄，submit()提交表單。

PS：如果需要輸入中文，防止編碼錯誤使用send_keys(u"中文用戶名")。

三. WebElement介面獲取值

通過WebElement介面可以獲取常用的值，這些值同樣非常重要。

size 獲取元素的尺寸
text 獲取元素的文本
get_attribute(name) 獲取屬性值
location 獲取元素坐標，先找到要獲取的元素，再調用該方法
page_source 返回頁面源碼
driver.title 返回頁面標題
current_url 獲取當前頁面的URL
is_displayed() 設置該元素是否可見
is_enabled() 判斷元素是否被使用
is_selected() 判斷元素是否被選中
tag_name 返回元素的tagName

『陸』如何用python寫出爬蟲

先檢查是否有API

API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。

數據結構分析和數據存儲

爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。

對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。

資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。

數據流分析

對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。

值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。

明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。

同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。

數據採集

之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。

下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。

解析工具

源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。

BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。

正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。

對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。

數據整理

一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。

字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。

如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。

Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。

寫入資料庫

如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。

寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。

『柒』如何用python腳本提交JS的表單

如果是要提交表單內容給伺服器的 python 處理，那麼只需要在表單 <form> 裡面的 action 填寫服務端的處理路由就可以了。或者用 <a> 指向伺服器路由get querystring。前端方面不需要python啊。
前端的提交交互動作，都是由 javascript 處理就可以了
遠程登錄ssh之後，那個web頁面可以通過url訪問還是伺服器上可以直接讀取的文件？
如果是前者，就等於python爬蟲了，使用 uillib urllib2訪問 web頁面的 url 得到響應，然後解析，再使用剛才兩個標准模塊裡面的.大概事例代碼：
import urllib, urllib2
res = urllib2.urlopen("http://your.web.com")
html = res.read()
# 解析 html ，讀取你要提交的內容

# 提交到新的連接
# get
params = urllib.urlencode({'programe': 'python', 'age': 12})
f = urllib.urlopen("http://your.web.com?%s" % params)
# post
params = urllib.urlencode({'programe': 'python', 'age': 12})
f = urllib.urlopen("http://your.web.com", params)

直接讀取伺服器上的web文件內容解析提交的內容，後面的過程也是一樣。
另外，python 有個 requests 的庫，封裝得更好，使用方便

『捌』 Python爬蟲時遇到 form data該怎麼提交樓主用的是requests。詳情見圖片。

requests.post(url,data={｝，headers=headers)

『玖』 Python的request爬蟲填寫post請求能幹什麼，用什麼作用

最典型的，提交表單模擬登陸，get只是單純的通過URL構造請求，POST可以攜帶更多的元素

導航:首頁 > 編程語言 > python爬蟲提交表單

python爬蟲提交表單

與python爬蟲提交表單相關的資料