用python爬取教育網

『壹』 零基礎學python（1）——爬取房天下網站信息

一、認識網頁

       網頁分為三個部分：HTML(結構）、CSS（樣式）、JavaScript（功能）。

二、爬取網站信息入門

1、Soup = BeautifulSoup (html, 'lxml')，使用beautifulsoup來解析網頁。

2、使用 CSS selector來復制網頁元素的位置。

三、爬取房天下網站信息 

1、導入requests和beautifulsoup

2、定義函數spider_ftx，把所需要爬取的信息都定義出來

3、調用函數spider_ftx

4、翻頁爬取二手房信息

     由於每頁最多隻能顯示40條信息，觀察每一頁網址的變化規律，寫一個循環調用的語句，把全部100頁的信息全都爬取下來。

四、小結:

     目前只能爬取到網站的100頁信息，網站為了反爬，設置了可瀏覽的頁面量100。要想爬取網站的所有信息，可以通過分類去獲取，但是如何用python實現呢，請看下集。

『貳』 如何用 Python 爬取需要登錄的網站

登錄，主要是cookie會保存session id來表示身份。
你需要處理登錄返回的HTTP頭，Set-Cookie頭中包含了需要設置的cookie信息。
然後，你登錄後，訪問所有地址時需要在你的HTTP請求報文頭部中加入Cookie頭、設置之前伺服器返回的cookie值。
以上只是最簡單的登錄處理，如果有驗證碼，那就不在這個討論范圍內了，屬於圖像識別的領域了。

『叄』 如何用Python爬取學校

下面介紹login(self,k)方法
def login1(self,k):
user= str(123456789+k)#用戶名為學號，為保護隱私，採用該輸入，K位偏移量，這是由於學號採用遞增方式排列
passwd= str(123456789+k)#初始密碼等於用戶名
#設置提交給伺服器的數據
postdata= urllib.urlencode({
'user':user,
'pass':passwd,
'typeid':'2'})#typeid為用戶種類
request=urllib2.Request(
url=self.loginurl,
data = postdata,
headers=self.headers
)
result= self.opener.open(request)#登陸並獲取返回內容
return user#返回學號

登陸成功之後，由於cookie已存在並記錄在簽名定義的cookie中，因此可以直接訪問信息頁面，調用方法getInfPage(self)：
def getInfPage(self):
request=urllib2.Request(
url=self.infurl,
headers=self.headers
)
result= self.opener.open(request)
return result.read().decode('gbk')1234567

讀取的數據為html的文本，因此需要使用正則表達式對需要的內容進行抓取，調用方法readInf(self):
def readInf(self):
page= self.getInfPage()#page為html內容
inf=re.findall('<td.*?>([^<tr>].*?)</td>.*?<td.*?>(.*?)</td>',page,re.S)

return inf12345

按照規則匹配後數據將會存在list中並返回，此時調用writeinf(self,Items,user)方法講信息寫入excel

『肆』 如何用python爬取視頻網站的數據

1.模擬客戶端數據採集，分析http返回結果，清洗需要的數據，入庫。
2.根據已有數據進行計算，實現增長率之類的數據計算。
3.實時性很難做，你當然可以不停的采數據回來，做個偽實時系統，但需要考慮這些網站是否做了客戶端訪問次數的限制，你需要考慮在採集器達到訪問次數上限之前所採集的數據能否滿足你的要求，否則就要被封IP了。

『伍』 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

『陸』 python怎麼爬取網站數據

很簡單，三步，用爬蟲框架scrapy
1. 定義item類
2. 開發spider類
3. 開發pipeline
如果有不會的，可以看一看《瘋狂python講義》

『柒』 如何用 Python 爬取需要登錄的網站

最近我必須執行一項從一個需要登錄的網站上爬取一些網頁的操作。它沒有我想像中那麼簡單，因此我決定為它寫一個輔助教程。

在本教程中，我們將從我們的bitbucket賬戶中爬取一個項目列表。

教程中的代碼可以從我的 Github 中找到。

我們將會按照以下步驟進行：

提取登錄需要的詳細信息
執行站點登錄
爬取所需要的數據

在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：

Python
requests
lxml
1
2

requests
lxml

步驟一：研究該網站
打開登錄頁面

進入以下頁面 「bitbucket.org/account/signin」。你會看到如下圖所示的頁面（執行注銷，以防你已經登錄）

仔細研究那些我們需要提取的詳細信息，以供登錄之用

在這一部分，我們會創建一個字典來保存執行登錄的詳細信息：

1. 右擊 「Username or email」 欄位，選擇「查看元素」。我們將使用 「name」 屬性為 「username」 的輸入框的值。「username」將會是 key 值，我們的用戶名/電子郵箱就是對應的 value 值（在其他的網站上這些 key 值可能是 「email」，「 user_name」，「 login」，等等）。

2. 右擊 「Password」 欄位，選擇「查看元素」。在腳本中我們需要使用 「name」 屬性為 「password」 的輸入框的值。「password」 將是字典的 key 值，我們輸入的密碼將是對應的 value 值（在其他網站key值可能是 「userpassword」，「loginpassword」，「pwd」，等等）。

3. 在源代碼頁面中，查找一個名為 「csrfmiddlewaretoken」 的隱藏輸入標簽。「csrfmiddlewaretoken」 將是 key 值，而對應的 value 值將是這個隱藏的輸入值（在其他網站上這個 value 值可能是一個名為 「csrftoken」，「 authenticationtoken」 的隱藏輸入值）。列如：「」。

最後我們將會得到一個類似這樣的字典：

Python
payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}
1
2
3
4
5

payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}

請記住，這是這個網站的一個具體案例。雖然這個登錄表單很簡單，但其他網站可能需要我們檢查瀏覽器的請求日誌，並找到登錄步驟中應該使用的相關的 key 值和 value 值。

『捌』 如何用 Python 爬取需要登錄的網站

可以嘗試添加相關cookie來試著去訪問。自己先本地登錄一下，然後抓取頁面cookie，然後構造相應的請求，讓他看起來像是登錄過的，如果網站驗證的不是特別嚴的話，是可以成功的。
還有一種方法，就是用Selenium框架，他會打開一個瀏覽器，然後訪問指定url。但是還是免不了需要登錄一次，但是登錄過程，輸入賬號密碼和點擊登錄按鈕都是你可以模擬的。具體你可以參照官方文檔。

『玖』 如何用 Python 爬取需要登錄的網站

在header里加入cookie就可以了，例如網路首頁，你沒有登錄和登錄的效果是不一樣的，如果使用python模擬登錄的效果，就要把cookie一起post過去。