python爬蟲多層div

❶ python爬蟲，用find_all()找到某一標簽後，怎麼獲取下面數個同名子標簽的內容

#!/usr/bin/envpython
#coding:utf-8
frombs4importBeautifulSoup
#這個data可以替換成你的div=soup.find_all('div',class_="star")
#取的時候記得循環處理
data='''
<div>
<spanclass='a'protype='d'>1</span>
<spanclass='a'protype='d'>2</span>
<spanclass='a'protype='d'>3</span>
<spanclass='a'protype='d'>4</span>
</div>
'''
soup=BeautifulSoup(data,'lxml')
spans=soup.find_all('span')
span_content=[]
foriinspans:
printi,i.text#這里取標簽span的內容
span_content.append(i.text)
printspan_content

------------------------
<spanclass="a"protype="d">1</span>1
<spanclass="a"protype="d">2</span>2
<spanclass="a"protype="d">3</span>3
<spanclass="a"protype="d">4</span>4
[u'1',u'2',u'3',u'4']

❷ python怎麼抓取網頁中DIV的文字

1、編寫爬蟲思路：
確定下載目標，找到網頁，找到網頁中需要的內容。對數據進行處理。保存數據。
2、知識點說明：
1）確定網路中需要的信息，打開網頁後使用F12打開開發者模式。
在Network中可以看到很多信息，我們在頁面上看到的文字信息都保存在一個html文件中。點擊文件後可以看到response，文字信息都包含在response中。
對於需要輸入的信息，可以使用ctrl+f，進行搜索。查看信息前後包含哪些特定欄位。
對於超鏈接的提取，可以使用最左邊的箭頭點擊超鏈接，這時Elements會打開有該條超鏈接的信息，從中判斷需要提取的信息。從下載小說來看，在目錄頁提取出小說的鏈接和章節名。
2）注意編碼格式
輸入字元集一定要設置成utf-8。頁面大多為GBK字元集。不設置會亂碼。

❸ Python爬蟲篇（四）：京東數據批量採集

京東數據批量採集的步驟和要點如下：

1. 發起請求：

   • 使用requests庫打開京東搜索頁面，並輸入關鍵詞「粽子」。
   • 觀察頁面地址，發現搜索結果頁面的url結構為search.jd.com/Search?，其中關鍵詞固定，而動態參數page會隨頁數變化。

2. 獲取響應：

   • 嘗試獲取第一頁的數據，例如page=1，並觀察響應內容。
   • 注意到京東可能使用了ajax非同步載入，需要分析網路請求以獲取完整數據。

3. 解析內容：

   • 使用BeautifulSoup解析工具解析網頁內容。
   • 主要關注包含商品信息的id為J_goodsList的div。
   • 每個li標簽對應一個商品，需要提取相關商品信息。
   • 發現後續數據通過page參數為偶數的鏈接獲取，因此需要抓取page從1到200的數據，每頁60個商品。

4. 保存數據：

   • 將提取的商品信息存儲到list中。
   • 可以利用pandas等工具對數據進行分析和處理。

5. 數據分析：

   • 利用pandas分析粽子價格，發現價格區間和分布情況。
   • 可以將粽子價格分為不同區間，如貧民窟、平民區、小康家庭和富人區。

6. 數據可視化：

   • 讀取Excel數據。
   • 繪制餅圖等圖表，直觀呈現不同價格區間粽子的佔比情況。

總結： 京東數據批量採集需要遵循發起請求、獲取響應、解析內容、保存數據等步驟。 在解析內容時，需要注意網頁的動態載入和非同步請求，以確保獲取完整數據。 數據分析和可視化可以幫助我們更深入地了解市場行情和消費者行為。

❹ 如何利用python寫爬蟲程序

利用python寫爬蟲程序的方法：穗腔

1、先分析網站內容，紅色部芹族閉分即是網站文章內容div。