python爬虫和web的区分

1. python做web和php做web有哪些区别

语言优缺点不讨论，都可以做 Web 开发，区别在于
Python 是一门纯粹的编程语言，可以做 Web 开发，但最开始不是为了 Web 开发而发明的，所以在拿来做 Web 开发时，从架构上就比较独立，与 Apache 等 HTTP 服务器软件结合的不是那么紧密，以至于要有 WSGI 这种概念。
PHP 是一种强大的模板语言，一开始就是为了 Web 开发而存在的，虽然也可以做其它开发，所以与 Apache 什么的，一开始就结合得比较紧密，仿佛是天生一对一样。
仅从 WSGI 这种概念就可以看出区别，做 PHP 开发的，如果不关注 Python Web开发的话，估计很少有人听过 WSGI ，刚看到这个名词有时候可能很难理解，因为作为 PHP 程序员， Apache + PHP 一切都搞好了，不需要关心 PHP 是如何与 Apache 是如何通信的。而 Python 就不一样了，要考虑很多事情，很多东西都要自已做，或者自已直接搭 HTTP 服务器。之所以有这种差别，就是因为上面两条所说的语言定位的原因。

2. python的爬虫是什么意思

Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取 web 页面上自己想要的数据，也就是自动抓取数据。网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。
互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。
爬虫还可以验证超链接和HTML代码，用于网络抓取。
Python 爬虫
Python 爬虫架构
Python 爬虫架构主要由五个部分组成，分别是调度器、URL 管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。
调度器：相当于一台电脑的 CPU，主要负责调度 URL 管理器、下载器、解析器之间的协调工作。
URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重复抓取 URL 和循环抓取 URL，实现 URL 管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
网页下载器：通过传入一个 URL 地址来下载网页，将网页转换成一个字符串，网页下载器有 urlpb2（Python 官方基础模块）包括需要登录、代理、和 cookie，requests(第三方包)
网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据 DOM 树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python 自带的）、beautifulsoup（第三方插件，可以使用 Python 自带的 html.parser 进行解析，也可以使用 lxml 进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
应用程序：就是从网页中提取的有用数据组成的一个应用。
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
爬虫的本质是什么？
模拟浏览器打开网页，获取网页中我们想要的那部分数据
浏览器打开网页的过程：
当你在浏览器中输入地址后，经过 DNS 服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括 html,js,css 等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由 HTML 代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤 html 代码，从中获取我们想要资源。
相关推荐：《Python教程》以上就是小编分享的关于python的爬虫是什么意思的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！

3. 学Python做web还是爬虫未来那个发展比较好

光会一种待遇不好，要定位全栈。

4. Python爬虫是什么

爬虫一般是指网络资源的抓取，由于Python的脚本特性，易于配置对字符的处理非常灵活，Python有丰富的网络抓取模块，因此两者经常联系在一起Python就被叫作爬虫。

Python爬虫的构架组成：

5. python网络爬虫和java爬虫有什么区别

爬虫目前主要开发语言为java、Python、c++
对于一般的信息采集需要，各种语言差别不大。
c、c++
搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫采集的网站数量巨大，对页面的解析要求不高，部分支持javascript
python
网络功能强大，模拟登陆、解析javascript，短处是网页解析
python写起程序来真的很便捷，着名的python爬虫有scrapy等
java
java有很多解析器，对网页的解析支持很好，缺点是网络部分
java开源爬虫非常多，着名的如 nutch 国内有webmagic
java优秀的解析器有htmlparser、jsoup
对于一般性的需求无论java还是python都可以胜任。
如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。

6. web和Python哪个好

他们两个不属于同一个概念，web属于产品，而python是语言，可以用python来写web。Python是目前比较火的，而且市场需求量也是比较高的，相对于就业薪资也是比较高的，现在进入是非常好的时机。

7. python爬虫和测试的区别

爬虫的基本流程

发起请求

通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应

获取响应内容

如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型

解析内容

得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理

保存数据

保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件

8. webharvest和 python的区别

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。
Python（KK 英语发音：/ˈpaɪθən/）是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。Python的名字来源于一个喜剧。也许最初设计Python这种语言的人并没有想到Python会在工业和科研上获得如此广泛的使用。

9. python爬虫和web哪个好

从技术上来说没有好坏之分，只有学的好坏之分，关键在于你以后的职业规划在哪个方向，你要做开发就觉web,最好是全栈，你要往数据分析就选python爬虫！

10. 零基础，学习python哪个方向入门快爬虫 数据挖掘还是web

爬虫比较快,在学习爬虫过程中,你可以学习数据挖掘,如果深入学习的话,需要数学,统计学知识,web的话,可以后爬虫同时学习