python爬虫学习html

‘壹’ 学习python爬虫有什么关于分析html页面和请求过程的书和工具推荐

看书是基础，除此之外还有学习路线，该怎么学习，跟着路线来学的话，更加有效果。

第一阶段—Python基础准备：本阶段主要是学习Python零基础入门学习教程，html+css、javascript、jquery、python编程基础、python初探等，让你轻松入门python语言。

第二阶段—Python Web开发: 本阶段是主要Python开发基础知识的讲解，通过系统学习mysql数据库、django、ajax、Tornado入门、个人博客系统实战等相关技术，全面掌握python基础开发技能技巧。

第三阶段—Python扩展开发：本阶段Python
开发进阶，主要是Python开发实战讲解，针对有一定Python开发基础学员，从Tkinter桌面编程、Python开发跨的记事本、编程实
战、python爬虫、论坛项目实战等方面深入讲解，让学员快速精通python开发语言。

第四阶段—Python开发选修：本节阶段是Python开发的一个拓展讲解，主要是linux系统、Flask框架、redis框架、node.js框架、html5+css3等相关系统和框架及技术方面的结合使用学习，让精通python开发的你，技艺更加精湛。

‘贰’ python爬虫需要什么基础

网页知识

html，js,css，xpath这些知识，虽然简单，但一定需要了解。 你得知道这些网页是如何构成的，然后才能去分解他们.

HTTP知识

• 一般爬虫你需要模拟浏览器的操作，才能去获取网页的信息

• 如果有些网站需要登录，才能获取更多的资料，你得去登录，你得把登录的账号密码进行提交

• 有些网站登录后需要保存cookie信息才能继续获取更多资料

正则表达式

有了正则表达式才能更好的分割网页信息，获取我们想要的数据，所以正则表达式也是需要了解的.

一些重要的爬虫库

• url,url2

• beautiul Soup

数据库

爬取到的数据我们得有个地方来保存，可以使用文件，也可以使用数据库，这里我会使用mysql，还有更适合爬虫的MongoDB数据库，以及分布式要用到的redis 数据库

爬虫框架

PySpider和Scrapy这两个爬虫框架是非常NB的,简单的爬虫可以使用urllib与urllib2以及正则表达式就能完成，但高级的爬虫还得用这两个框架。 这两个框架需要另行安装。后面一起学习.

反爬虫

有时候你的网站数据想禁止别人爬取，可以做一些反爬虫处理操作。 打比方网络上就无法去查找淘宝上的数据，这样就避开了搜索引擎的竞争，淘宝就可以搞自己的一套竞价排名

分布式爬虫

使用多个redis实例来缓存各台主机上爬取的数据。

爬虫要学的东西还是挺多的，想把爬虫玩得666，基本就是这些知识点吧！

‘叁’ 学python编写网络爬虫程序很难吗

没写过爬虫的人可能会被一些以讹传讹的消息所误导，以为爬虫就是搜资源，或是破解网站。
其实爬虫只是用几个普普通通的可以访问网站的函数去访问对方网站，然后利用编程语言的各种功能，对网站返回的各种信息进行筛选，从中找出自己需要的信息罢了。
不是只有python可以做爬虫，只是python用着简单，所以用python写爬虫的人多。每一个带有访问互联网功能的编程语言，都可以做爬虫。
学一下爬虫常用的两个库（一个发网络请求的requsets库，一个对网页返回的信息进行分类的BeautifulSoup），学会用那几个函数。如果你能掌握学习方法，而且不要沉迷于研究那两个库里究竟有些啥，而且不要沉迷于理解那几个函数不同的参数究竟有什么功能，半小时就能学完这两个库，然后开始写爬虫。
当然，写爬虫还需要了解一些html的知识（你还没学，可能无法理解这是啥）
这时已经可以开始做一些，例如爬取新闻网站的新闻，下载图片网站的图片，这些基础的爬虫了。每个网站的制作者都有自己不同的想法，都有自己的反爬策略，没法一概而论。
至于破解爱奇艺这些网站的视频，抱歉，这不是爬虫自带的功能，爬虫自带的功能就只有访问互联网，并在网站返回的数据里方便的寻找东西.

‘肆’ python3爬虫获取HTML文档时的问题。

很正常。控制台支持的编码有限。建议你存到文件再打开看是否正常。
另外页面写了是gbk编码，存文件也试试gbk

‘伍’ Python网络爬虫学习建议，初学者需要哪些准备

1. 了解html和简单的js，只有了解你要抓取的页面，在获取后才能有效分析。建议系统学习html这个很简单；js较复杂不必多看，可以边分析边网络资料学习。

2. python方面，了解urllib和urllib2两个库，在抓取页面要用到。Cookielib这个库配合urllib2可以封装opener，在需要cookie时可以自动解决，建议了解一些，会封装opener即可。re正则表达式库可以帮助你高效的从页面中分离要的内容，正则表达式要略知一二。

3. 学习一些抓包知识，有些网站防爬，需要人工浏览一些页面，抓取数据包分析防爬机制，然后做出应对措施。比如解决cookie问题，或者模拟设备等。
   

作为初学者，学会以上知识基本上爬取任何网站都没问题了，但更重要的是耐心和细心。毕竟爬取网站时并不知道网站已开始是怎么设计的，有哪些小坑，分析起来这些还是比较烧脑，但是分析成功很有成就感。

‘陆’ python爬虫学习教程哪个好

第一阶段

Python开发基础和核心特性1.变量及运算符2.分支及循环3.循环及字符串4.列表及嵌套列表5.字典及项目练习6.函数的使用7.递归及文件处理8.文件9.面向对象10.设计模式及异常处理11.异常及模块的使用12.坦克大战13.核心编程14.高级特性15.内存管理

第二阶段

数据库和linux基础1.并发编程2.网络通信3.MySQL4.Linux5.正则表达式

第三阶段

web前端开发基础1.html基本标签2.css样式3.css浮动和定位4.js基础5.js对象和函数6.js定时器和DOM7.js事件响应8.使用jquery9.jquery动画特效10.Ajax异步网络请求

第四阶段

Python Web框架阶段1.Django-Git版本控制2.Django-博客项目3.Django-商城项目4.Django模型层5.Django入门6.Django模板层7.Django视图层8.Tornado框架

第五阶段

Python 爬虫实战开发1.Python爬虫基础2.Python爬虫Scrapy框架

‘柒’ Python爬虫怎么抓取html网页的代码块

范围匹配大点，像这种

re.findall('(<div class="moco-course-wrap".*?</div>)',source,re.S)

可以看下这个

http://blog.csdn.net/tangdou5682/article/details/52596863

‘捌’ 如何入门 Python 爬虫

“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。

如果你想要入门Python爬虫，你需要做很多准备。首先是熟悉python编程；其次是了解HTML；

还要了解网络爬虫的基本原理；最后是学习使用python爬虫库。

如果你不懂python，那么需要先学习python这门非常easy的语言。编程语言基础语法无非是数据类型、数据结构、运算符、逻辑结构、函数、文件IO、错误处理这些，学起来会显枯燥但并不难。

刚开始入门爬虫，你甚至不需要去学习python的类、多线程、模块之类的略难内容。找一个面向初学者的教材或者网络教程，花个十几天功夫，就能对python基础有个三四分的认识了。

网络爬虫的含义：

网络爬虫，其实也可以叫做网络数据采集更容易理解。就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。

这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言，并不需要掌握这么多。