‘壹’ 【python3网络爬虫开发实战】使用Selenium爬取淘宝商品
本文介绍使用Selenium爬取淘宝商品信息，并保存至MongoDB。首先，需确保已安装Chrome浏览器、ChromeDriver、Python的Selenium库以及PhantomJS、Firefox和其对应Driver。接着，分析淘宝接口和页面结构，发现通过构造URL参数，可直接抓取商品信息，无需关注复杂接口参数。页面分析显示，商品信息位于商品列表中，通过跳转链接可访问任意页的商品。使用Selenium获取页面源码后，利用pyquery解析，提取图片、名称、价格、购买人数、店铺名称和店铺所在地等信息，最终保存至MongoDB。
构造商品搜索URL，通过关键词自定义，构造URL并使用Selenium抓取页面。实现分页逻辑，通过跳转页码输入框实现自动跳转至所需页。等待页面加载，确保元素完全呈现后进行商品信息提取。解析页面源码，使用pyquery找到商品信息块，遍历提取图片链接、价格、成交量等信息，构建商品字典，调用方法保存至MongoDB。
遍历每页商品，调用获取方法并遍历页码1至100，完成所有商品信息抓取。运行代码，浏览器自动打开，输出提取结果至控制台，检查MongoDB中数据，确保成功存储所有商品信息。支持Chrome Headless模式，从版本59开始启用无界面模式，提升爬取效率。对接Firefox浏览器，只需更改浏览器对象创建方式。使用PhantomJS进行爬取，无需界面，优化爬取流程，可通过命令行配置，如设置缓存、禁用图片加载，提高效率。
实现流程清晰，自动化程度高，适用于大规模商品信息抓取需求。通过Selenium与MongoDB结合，为电商数据分析与市场调研提供数据支持。关注公众号获取更多技术教程与实践案例。
‘贰’ Python爬虫|微博热搜定时爬取，堪称摸鱼神器
在工作之余，你是否曾因对微博热搜上的热议话题充满好奇，却又不方便频繁查看而感到困扰？本文将介绍一种简单实用的方法，通过Python爬虫定时采集微博热搜榜和热评，实现了一个堪称“摸鱼神器”的自动化解决方案。下面，让我们一起探索实现这一目标的具体步骤和代码。
首先，我们要明确热搜页面的URL，即热榜首页，通常为 https://s.weibo.com/top/summary?cate=realtimehot。页面上展示的50条数据包括排行、热度、标题，以及每个热搜词条的详情页链接。
为了访问该页面并获取数据，我们需要登录微博账号。使用浏览器的开发者工具（F12）进行页面分析，找到并记录Cookie和User-Agent。同时，利用Google工具获取页面中数据的XPath表达式，以便后续的元素定位。
接下来，我们对详情页进行分析，目标是提取评论时间、用户名称、转发次数、评论次数、点赞次数以及评论内容等关键信息。这些操作与采集热搜榜的步骤类似，需要编写相应的Python代码实现。
实现代码主要分为以下几个部分：
1. **导入所需模块**：确保使用`requests`库发起HTTP请求，`BeautifulSoup`用于解析HTML页面，以及可能需要的其他库。
2. **定义全局变量**：存储Cookie、User-Agent以及数据保存路径等关键信息。
3. **热搜榜采集代码**：使用`requests`获取详情页链接，跳转到详情页后，利用`BeautifulSoup`解析数据，保存到全局变量`all_df`中。对于每个热搜，仅采集热评前三条，不足则跳过。
4. **调度代码**：通过向`get_hot_list`函数传递热搜页URL来启动采集过程，最后将数据保存至指定路径。
5. **异常处理**：确保代码在运行过程中能够应对可能出现的异常情况，保证程序稳定运行。
为了实现每小时自动运行，我们可以利用Windows的任务计划程序。在此过程中，需要修改代码中的Cookie和文件保存路径，如果在Jupyter notebook中运行，则需要导出一个`.py`文件。
创建任务计划程序的步骤如下：
1. **创建任务**：选择任务名称，设定触发器（如每小时运行）。
2. **设置触发时间**：选择具体时间点。
3. **选择程序**：选择要运行的Python脚本。
4. **确认**：完成设置后，任务即会按照设定的时间自动运行。
以上就是本文介绍的微博热搜定时爬取方法，整体操作难度适中，适合对Python有一定基础的开发者。通过实现自动化，不仅节省了频繁查看微博的时间，也极大地提高了工作效率。如果你在执行过程中遇到任何问题，欢迎随时联系作者寻求帮助。
‘叁’ 如何在scrapy框架下，用python实现爬虫自动跳转页面来抓去网页内容
Scrapy是一个用Python写的Crawler Framework，简单轻巧，并且非常方便。Scrapy使用Twisted这个异步网络库来处理网络通信，架构清晰，并且包含了各种中间件接口，可以灵活地完成各种需求。Scrapy整体架构如下图所示：
根据架构图介绍一下Scrapy中的各大组件及其功能：
Scrapy引擎（Engine）：负责控制数据流在系统的所有组建中流动，并在相应动作发生触发事件。
调度器（Scheler）：从引擎接收Request并将它们入队，以便之后引擎请求request时提供给引擎。
下载器（Downloader）：负责获取页面数据并提供给引擎，而后提供给Spider。
Spider：Scrapy用户编写用于分析Response并提取Item（即获取到的Item）或额外跟进的URL的类。每个Spider负责处理一个特定（或一些网站）。
Item Pipeline：负责处理被Spider提取出来的Item。典型的处理有清理验证及持久化（例如存储到数据库中，这部分后面会介绍存储到MySQL中，其他的数据库类似）。
下载器中间件（Downloader middlewares）：是在引擎即下载器之间的特定钩子（special hook），处理Downloader传递给引擎的Response。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能（后面会介绍配置一些中间并激活，用以应对反爬虫）。
Spider中间件（Spider middlewares）：是在引擎及Spider之间的特定钩子（special hook），处理Spider的输入（response）和输出（Items即Requests）。其提供了一个简便的机制，通过插入自定义的代码来扩展Scrapy功能。