python读取网页html_Python爬虫怎么抓取html网页的代码块

⑴ python可以爬取本地html页面信息吗

本地的不叫爬取了吧，直接读入文件就完了。

⑵ python如何读取网页中的数据

用Beautiful Soup这类解析模块：

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)；
它提供简单又常用的导航(navigating)，搜索以及修改剖析树的操作；
用urllib或者urllib2(推荐)将页面的html代码下载后，用beautifulsoup解析该html；

然后用beautifulsoup的查找模块或者正则匹配将你想获得的内容找出来，就可以进行相关处理了，例如：


html='<html><head><title>test</title></head><body><p>testbody</p></body></html>'
soup=BeautifulSoup(html)
soup.contents[0].name
#u'html'
soup.comtents[0].contents[0].name
#u'head'
head=soup.comtents[0].contents[0]
head.parent.name
#u'html'
head.next
#u'<title>test</title>

⑶ python里面request怎么读取html代码

使用Python 3的requests模块抓取网页源码并保存到文件示例：

import requests

ff = open('testt.txt','w',encoding='utf-8')

with open('test.txt',encoding="utf-8") as f:

for line in f:

ff.write(line)

ff.close()

这是演示读取一个txt文件，每次读取一行，并保存到另一个txt文件中的示例。

因为在命令行中打印每次读取一行的数据，中文会出现编码错误，所以每次读取一行并保存到另一个文件，这样来测试读取是否正常。（注意open的时候制定encoding编码方式）

⑷ python怎么获取网页上html dom element 对象

可以使用Python自带的HTMLParser模块解析HTML文档：
HTMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：
public Parser ();
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;
public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
和一个静态类public static Parser createParser (String html, String charset);

⑸ 怎么用python的BeautifulSoup来获取html中div的内容

# -*- coding:utf-8 -*-

#标签操作

from bs4 import BeautifulSoup
import urllib.request
import re

#如果是网址，可以用这个办法来读取网页
#html_doc = ""
#req = urllib.request.Request(html_doc)
#webpage = urllib.request.urlopen(req)
#html = webpage.read()

html="""
"""
soup = BeautifulSoup(html, 'html.parser') #文档对象

# 类名为xxx而且文本内容为hahaha的div
for k in soup.find_all('div',class_='atcTit_more'):#,string='更多'
print(k)

⑹ python 如何快速找到动态页面的html代码

两个方法：
1.通过抓包工具获取数据发送的地址，发送post请求获取json内容

2.selenium 模拟浏览器访问网站，获取加载后的动态页面html内容

⑺ python selenium如何获取下一页的html网页源码

一开始，基本上很多人都是用selenium IDE录制脚本开始的，我也是！有一本书写得很不错:selenium初学者指南！So，从录制回放开始我的selenium，而在这个过程中，不断地去补充我的html css知识，熟悉selenium的api！

慢慢地，发现录制的脚本在回放的时候经常报错，通过检查发现，是定位上的错误，导致这种定位的错误的最大原因是系统前端采用了某种框架，如tigerUI,exj....所以HTML里面的标签很多都是动态的，比如id，class，name！这对selenium操作定位的元素而进行自动化来说是致命伤！

所以，开始自己写定位信息，这已经是必须的了！从而学习了xpth和css选择器，掌握了更加有效，快速和稳定地定位页面上的元素（定位的时候难免会碰到有iframe，这就得先切换到iframe中再进行定位了）！也就是，在selenium IDE上写脚本！

信心满满地在selenium IDE上写了长长地一段脚本，并且反复跑都能成功！总算尝到了一点点幸福的滋味！然后呢，问题来了，当我要修改和扩展这段的脚本的时候，才发现这效率是相当地低！一句句查！一句句改！多么痛的领悟！

另外，selenium IDE 默认启动的是火狐，在使用selenium RC 启动 IE 进行跑脚本时浏览器总是会报错！各种搞不定，各种不淡定！决定放弃使用IDE！

selenium有一个强大之处就是支持多种语方：java,C#,python等等，并且可以把录制的脚本转换成代码！我用的是java，果断走起！

不用说，当然是把脚本转为java代码了，在E www.hbbz08.com clipse中重新开始搞！

选择一个测试框架：有Junit和TestNg两个选择，公司用的是junit，所以，不用多说，我就用junit验证selenium脚本的运行结果！并且，Junit和TestNG都可以生成比较直观的测试报告！

写好一些代码，会看到整段代码中密密麻麻充斥着基本相同的代码：开始封装代码！把常用到API封装起来！封装好之后代码看着就舒服多了！

接下来，是不是也应该把代码中的定位信息用一个专门的文件放起来，再去读取里面的定位信息，这样，维护代码和维护定位信息就放在了两个地方，不用老是扎在代码和定位路径中，简单地分一下层！果断尝试！

⑻ Python如何运行HTML程序

•实现效果1:点击【运行python】按钮,后台执行python,点击【结果】,页面下方显示python的运行结果,方法:原理是python将执行结果写入一个txt文件中,html再读取txt,将结...

⑼ Python爬虫怎么抓取html网页的代码块

范围匹配大点，像这种

re.findall('(<div class="moco-course-wrap".*?</div>)',source,re.S)

可以看下这个

http://blog.csdn.net/tangdou5682/article/details/52596863

⑽ python怎么获取html中指定行内容

一般使用BeautifulSoup，还是比较简单的
soup=BeaitifulSoup(html,'html.parser')
要找到某各元素使用find_all方法就行
for div in soup.find_all('div'):

但是经常会遇到网站有反爬的设置，比如子结点中含有换行符，只要写个函数去掉子结点间的换行符就行

导航:首页 > 编程语言 > python读取网页html

python读取网页html

与python读取网页html相关的资料