python爬虫多层div

❶ python爬虫，用find_all()找到某一标签后，怎么获取下面数个同名子标签的内容

#!/usr/bin/envpython
#coding:utf-8
frombs4importBeautifulSoup
#这个data可以替换成你的div=soup.find_all('div',class_="star")
#取的时候记得循环处理
data='''
<div>
<spanclass='a'protype='d'>1</span>
<spanclass='a'protype='d'>2</span>
<spanclass='a'protype='d'>3</span>
<spanclass='a'protype='d'>4</span>
</div>
'''
soup=BeautifulSoup(data,'lxml')
spans=soup.find_all('span')
span_content=[]
foriinspans:
printi,i.text#这里取标签span的内容
span_content.append(i.text)
printspan_content

------------------------
<spanclass="a"protype="d">1</span>1
<spanclass="a"protype="d">2</span>2
<spanclass="a"protype="d">3</span>3
<spanclass="a"protype="d">4</span>4
[u'1',u'2',u'3',u'4']

❷ python怎么抓取网页中DIV的文字

1、编写爬虫思路：
确定下载目标，找到网页，找到网页中需要的内容。对数据进行处理。保存数据。
2、知识点说明：
1）确定网络中需要的信息，打开网页后使用F12打开开发者模式。
在Network中可以看到很多信息，我们在页面上看到的文字信息都保存在一个html文件中。点击文件后可以看到response，文字信息都包含在response中。
对于需要输入的信息，可以使用ctrl+f，进行搜索。查看信息前后包含哪些特定字段。
对于超链接的提取，可以使用最左边的箭头点击超链接，这时Elements会打开有该条超链接的信息，从中判断需要提取的信息。从下载小说来看，在目录页提取出小说的链接和章节名。
2）注意编码格式
输入字符集一定要设置成utf-8。页面大多为GBK字符集。不设置会乱码。

❸ Python爬虫篇（四）：京东数据批量采集

京东数据批量采集的步骤和要点如下：

1. 发起请求：

   • 使用requests库打开京东搜索页面，并输入关键词“粽子”。
   • 观察页面地址，发现搜索结果页面的url结构为search.jd.com/Search?，其中关键词固定，而动态参数page会随页数变化。

2. 获取响应：

   • 尝试获取第一页的数据，例如page=1，并观察响应内容。
   • 注意到京东可能使用了ajax异步加载，需要分析网络请求以获取完整数据。

3. 解析内容：

   • 使用BeautifulSoup解析工具解析网页内容。
   • 主要关注包含商品信息的id为J_goodsList的div。
   • 每个li标签对应一个商品，需要提取相关商品信息。
   • 发现后续数据通过page参数为偶数的链接获取，因此需要抓取page从1到200的数据，每页60个商品。

4. 保存数据：

   • 将提取的商品信息存储到list中。
   • 可以利用pandas等工具对数据进行分析和处理。

5. 数据分析：

   • 利用pandas分析粽子价格，发现价格区间和分布情况。
   • 可以将粽子价格分为不同区间，如贫民窟、平民区、小康家庭和富人区。

6. 数据可视化：

   • 读取Excel数据。
   • 绘制饼图等图表，直观呈现不同价格区间粽子的占比情况。

总结： 京东数据批量采集需要遵循发起请求、获取响应、解析内容、保存数据等步骤。 在解析内容时，需要注意网页的动态加载和异步请求，以确保获取完整数据。 数据分析和可视化可以帮助我们更深入地了解市场行情和消费者行为。

❹ 如何利用python写爬虫程序

利用python写爬虫程序的方法：穗腔

1、先分析网站内容，红色部芹族闭分即是网站文章内容div。