① python为什么叫爬虫
Python被称为爬虫的原因主要有以下几点：
脚本特性与灵活性：Python具有脚本语言的特性，易于配置，对字符的处理非常灵活。这使得Python在编写网络爬虫时能够方便地处理各种网页内容和数据。
丰富的网络抓取模块：Python提供了丰富的网络抓取模块，如urllib、re、json、pyquery等，这些模块为开发者提供了强大的工具，使得网络数据的抓取变得更加简单和高效。
高效的第三方包：Python中有许多优秀的第三方包，如Scrapy框架、PySpider爬虫系统等，这些包和框架为开发者提供了完整的解决方案，使得网络爬虫的构建和维护变得更加容易。
简洁的语法和代码可读性：Python的语法简洁清晰，代码可读性强。使用Python编写网络爬虫，可以大大减少代码量，提高开发效率，同时也便于团队成员之间的代码阅读和协作。
综上所述，由于Python在脚本特性、网络抓取模块、第三方包支持以及语法简洁性等方面的优势，使得它成为开发网络爬虫的首选编程语言，因此也常被称作“爬虫”。
② Python爬虫入门教程！手把手教会你爬取网页数据
Python爬虫入门教程概述如下：
一、网络爬虫基础知识 定义：网络爬虫，即自动获取网页内容的程序，如搜索引擎就依赖庞大的爬虫系统从全球网站中提取数据。 流程：主要包括发送HTTP请求、解析HTML内容、提取有效信息。
二、发送HTTP请求 工具：Python中的Requests库是发起HTTP请求的常用工具。 GET请求：通过Requests库发送GET请求，获取Response对象，使用text或content属性获取返回的数据。 POST请求：用于提交表单，通过data参数传递表单信息，格式为字典。 增强header信息：为避免请求被拒绝，需增强header信息，如UserAgent、Cookie、host等。
三、解析HTML内容 工具：BeautifulSoup库和XPath是解析HTML内容的常用工具。 BeautifulSoup：可从网页中解析数据，但语法相对复杂。 XPath：一种XML路径语言，用于导航定位元素，可通过Chrome开发者工具快速定位XPath表达式。 选择工具：根据个人喜好和熟练程度选择BeautifulSoup或XPath。
四、提取有效信息 分析页面结构：识别目标网站中所需信息的标签和属性。 提取信息：使用BeautifulSoup或XPath提取所需信息，如图片地址等。
五、处理分页数据 识别分页规律：分析目标网站的分页规律，如通过修改start参数等处理不同页面的数据。
六、保存数据 编写下载器：根据提取的信息编写下载器保存数据，如图片等。 设置访问频率：避免影响网站正常运行，需设置合理的访问频率。
七、反反爬技术 反爬机制：网站可能设置的反爬机制，如cookie校验、请求频度检查、非浏览器访问限制、JS混淆等。 应对策略：添加cookie到headers中、使用代理IP访问、使用Selenium模拟浏览器等待等策略应对反爬机制。
总结：Python爬虫入门需掌握发送HTTP请求、解析HTML内容、提取有效信息、处理分页数据、保存数据等基本流程，并需了解反反爬技术以应对网站的反爬机制。在实际应用中，需不断学习和掌握更多技术和策略以提高爬虫效率和稳定性。