python爬取新浪新闻

A. python3 怎么爬取新闻网站

1 #coding=utf-8
2 import re # 正则表达式
3 import bs4 # Beautiful Soup 4 解析模块
4 import urllib2 # 网络访问模块
5 import News #自己定义的新闻结构
6 import codecs #解决编码问题的关键 ，使用codecs.open打开文件
7 import sys #1解决不同页面编码问题
8
9 reload(sys) # 2
10 sys.setdefaultencoding('utf-8') # 3
11
12 # 从首页获取所有链接
13 def GetAllUrl(home):
14 html = urllib2.urlopen(home).read().decode('utf8')
15 soup = bs4.BeautifulSoup(html, 'html.parser')
16 pattern = 'http://\w+\.jia\.\.com/article/\w+'
17 links = soup.find_all('a', href=re.compile(pattern))
18 for link in links:
19 url_set.add(link['href'])
20
21 def GetNews(url):
22 global NewsCount,MaxNewsCount #全局记录新闻数量
23 while len(url_set) != 0:
24 try:
25 # 获取链接
26 url = url_set.pop()
27 url_old.add(url)
28
29 # 获取代码
30 html = urllib2.urlopen(url).read().decode('utf8')
31
32 # 解析
33 soup = bs4.BeautifulSoup(html, 'html.parser')
34 pattern = 'http://\w+\.jia\.\.com/article/\w+' # 链接匹配规则
35 links = soup.find_all('a', href=re.compile(pattern))
36
37 # 获取URL
38 for link in links:
39 if link['href'] not in url_old:
40 url_set.add(link['href'])
41
42 # 获取信息
43 article = News.News()
44 article.url = url # URL信息
45 page = soup.find('div', {'id': 'page'})
46 article.title = page.find('h1').get_text() # 标题信息
47 info = page.find('div', {'class': 'article-info'})
48 article.author = info.find('a', {'class': 'name'}).get_text() # 作者信息
49 article.date = info.find('span', {'class': 'time'}).get_text() # 日期信息
50 article.about = page.find('blockquote').get_text()
51 pnode = page.find('div', {'class': 'article-detail'}).find_all('p')
52 article.content = ''
53 for node in pnode: # 获取文章段落
54 article.content += node.get_text() + '\n' # 追加段落信息
55
56 SaveNews(article)
57
58 print NewsCount
59 break
60 except Exception as e:
61 print(e)
62 continue
63 else:
64 print(article.title)
65 NewsCount+=1
66 finally:
67 # 判断数据是否收集完成
68 if NewsCount == MaxNewsCount:
69 break
70
71 def SaveNews(Object):
72 file.write("【"+Object.title+"】"+"\t")
73 file.write(Object.author+"\t"+Object.date+"\n")
74 file.write(Object.content+"\n"+"\n")
75
76 url_set = set() # url集合
77 url_old = set() # 爬过的url集合
78
79 NewsCount = 0
80 MaxNewsCount=3
81
82 home = 'http://jia..com/' # 起始位置
83
84 GetAllUrl(home)
85
86 file=codecs.open("D:\\test.txt","a+") #文件操作
87
88 for url in url_set:
89 GetNews(url)
90 # 判断数据是否收集完成
91 if NewsCount == MaxNewsCount:
92 break
93
94 file.close()
复制代码
新闻文章结构

复制代码
1 #coding: utf-8
2 # 文章类定义
3 class News(object):
4 def __init__(self):
5 self.url = None
6 self.title = None
7 self.author = None
8 self.date = None
9 self.about = None
10 self.content = None

B. python把爬下来新浪新闻的数据用正则切出来

比如优酷，你就直接采集专辑地址或者视频播放页的地址，然后直接添加就好了! 采集助手那里 有个链接，直接指向论坛说明贴的!

C. python 新浪微博爬虫，求助

0x00. 起因
因为参加学校大学生创新竞赛，研究有关微博博文表达的情绪，需要大量微博博文，而网上无论是国内的某度、csdn，还是国外谷歌、gayhub、codeproject等都找不到想要的程序，没办法只能自己写一个程序了。
ps.在爬盟找到类似的程序，但是是windows下的，并且闭源，而且最终爬取保存的文件用notepad++打开有很多奇怪的问题，所以放弃了。
0x01. 基础知识
本程序由Python写成，所以基本的python知识是必须的。另外，如果你有一定的计算机网络基础，在前期准备时会有少走很多弯路。
对于爬虫，需要明确几点：
1. 对爬取对象分类，可以分为以下几种：第一种是不需要登录的，比如博主以前练手时爬的中国天气网，这种网页爬取难度较低，建议爬虫新手爬这类网页；第二种是需要登录的，如豆瓣、新浪微博，这些网页爬取难度较高；第三种独立于前两种，你想要的信息一般是动态刷新的，如AJAX或内嵌资源，这种爬虫难度最大，博主也没研究过，在此不细举（据同学说淘宝的商品评论就属于这类）。
2. 如果同一个数据源有多种形式（比如电脑版、手机版、客户端等），优先选取较为“纯净的”展现。比如新浪微博，有网页版，也有手机版，而且手机版可以用电脑浏览器访问，这时我优先选手机版新浪微博。
3. 爬虫一般是将网页下载到本地，再通过某些方式提取出感兴趣的信息。也就是说，爬取网页只完成了一半，你还要将你感兴趣的信息从下载下来的html文件中提取出来。这时就需要一些xml的知识了，在这个项目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技术，详情请访问w3cschool。
4. 爬虫应该尽量模仿人类，现在网站反爬机制已经比较发达，从验证码到禁IP，爬虫技术和反爬技术可谓不断博弈。
0x02. 开始
决定了爬虫的目标之后，首先应该访问目标网页，明确目标网页属于上述几种爬虫的哪种，另外，记录为了得到感兴趣的信息你需要进行的步骤，如是否需要登录，如果需要登录，是否需要验证码；你要进行哪些操作才能获得希望得到的信息，是否需要提交某些表单；你希望得到的信息所在页面的url有什么规律等等。
以下博文以博主项目为例，该项目爬取特定新浪微博用户从注册至今的所有微博博文和根据关键词爬取100页微博博文（大约1000条）。
0x03. 收集必要信息
首先访问目标网页，发现需要登录，进入登录页面如下新浪微博手机版登录页面
注意url后半段有很多形如”%xx”的转义字符，本文后面将会讲到。
从这个页面可以看到，登录新浪微博手机版需要填写账号、密码和验证码。
这个验证码是近期（本文创作于2016.3.11）才需要提供的，如果不需要提供验证码的话，将有两种方法进行登录。
第一种是填写账号密码之后执行js模拟点击“登录”按钮，博主之前写过一个Java爬虫就是利用这个方法，但是现在找不到工程了，在此不再赘述。
第二种需要一定HTTP基础，提交包含所需信息的HTTP POST请求。我们需要Wireshark 工具来抓取登录微博时我们发出和接收的数据包。如下图我抓取了在登录时发出和接收的数据包Wireshark抓取结果1
在搜索栏提供搜索条件”http”可得到所有http协议数据包，右侧info显示该数据包的缩略信息。图中蓝色一行是POST请求，并且info中有”login”，可以初步判断这个请求是登录时发出的第一个数据包，并且这个180.149.153.4应该是新浪微博手机版登录认证的服务器IP地址，此时我们并没有任何的cookie。
在序号为30是数据包中有一个从该IP发出的HTTP数据包，里面有四个Set-Cookie字段，这些cookie将是我们爬虫的基础。
Wireshark抓取结果2
早在新浪微博服务器反爬机制升级之前，登录是不需要验证码的，通过提交POST请求，可以拿到这些cookie，在项目源码中的TestCookie.py中有示例代码。
ps.如果没有wireshark或者不想这么麻烦的话，可以用浏览器的开发者工具，以chrome为例，在登录前打开开发者工具，转到Network，登录，可以看到发出和接收的数据，登录完成后可以看到cookies，如下图chrome开发者工具
接下来访问所需页面，查看页面url是否有某种规律。由于本项目目标之一是获取某用户的全部微博，所以直接访问该用户的微博页面，以央视新闻 为例。
央视新闻1
图为央视新闻微博第一页，观察该页面的url可以发现，新浪微博手机版的微博页面url组成是 “weibo.cn/(displayID)?page=(pagenum)” 。这将成为我们爬虫拼接url的依据。
接下来查看网页源码，找到我们希望得到的信息的位置。打开浏览器开发者工具，直接定位某条微博，可以发现它的位置，如下所示。
xpath
观察html代码发现，所有的微博都在<div>标签里，并且这个标签里有两个属性，其中class属性为”c”，和一个唯一的id属性值。得到这个信息有助于将所需信息提取出来。
另外，还有一些需要特别注意的因素
* 微博分为原创微博和转发微博
* 按照发布时间至当前时间的差距，在页面上有”MM分钟前”、”今天HH:MM”、”mm月dd日 HH:MM”、”yyyy-mm-dd HH:MM:SS”等多种显示时间的方式* 手机版新浪微博一个页面大约显示10条微博，所以要注意对总共页数进行记录以上几点都是细节，在爬虫和提取的时候需要仔细考虑。
0x04. 编码
1.爬取用户微博
本项目开发语言是Python 2.7，项目中用了一些第三方库，第三方库可以用pip的方法添加。
既然程序自动登录的想法被验证码挡住了，想要访问特定用户微博页面，只能使用者提供cookies了。
首先用到的是Python的request模块，它提供了带cookies的url请求。
import request
print request.get(url, cookies=cookies).content使用这段代码就可以打印带cookies的url请求页面结果。
首先取得该用户微博页面数，通过检查网页源码，查找到表示页数的元素，通过XPath等技术提取出页数。
页数
项目使用lxml模块对html进行XPath提取。
首先导入lxml模块，在项目里只用到了etree，所以from lxml import etree
然后利用下面的方法返回页数
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下来就是不断地拼接url->访问url->下载网页。
需要注意的是，由于新浪反爬机制的存在，同一cookies访问页面过于“频繁”的话会进入类似于“冷却期”，即返回一个无用页面，通过分析该无用页面发现，这个页面在特定的地方会出现特定的信息，通过XPath技术来检查这个特定地方是否出现了特定信息即可判断该页面是否对我们有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博广场' and title.text != '微博'
如果出现了无用页面，只需简单地重新访问即可，但是通过后期的实验发现，如果长期处于过频访问，返回的页面将全是无用页面，程序也将陷入死循环。为了避免程序陷入死循环，博主设置了尝试次数阈值trycount，超过这个阈值之后方法自动返回。
下面代码片展示了单线程爬虫的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考虑到程序的时间效率，在写好单线程爬虫之后，博主也写了多线程爬虫版本，基本思想是将微博页数除以线程数，如一个微博用户有100页微博，程序开10个线程，那么每个线程只负责10个页面的爬取，其他基本思想跟单线程类似，只需仔细处理边界值即可，在此不再赘述，感兴趣的同学可以直接看代码。另外，由于多线程的效率比较高，并发量特别大，所以服务器很容易就返回无效页面，此时trycount的设置就显得更重要了。博主在写这篇微博的时候，用一个新的cookies，多线程爬取现场测试了一下爬取北京邮电大学的微博，3976条微博全部爬取成功并提取博文，用时仅15s，实际可能跟cookies的新旧程度和网络环境有关，命令行设置如下，命令行意义在项目网址里有说明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介绍结束，接下来就是爬虫的第二部分，解析了。由于项目中提供了多线程爬取方法，而多线程一般是无序的，但微博博文是依靠时间排序的，所以项目采用了一种折衷的办法，将下载完成的页面保存在本地文件系统，每个页面以其页号为文件名，待爬取的工作结束后，再遍历文件夹内所有文件并解析。
通过前面的观察，我们已经了解到微博博文存在的标签有什么特点了，利用XPath技术，将这个页面里所有有这个特点的标签全部提取出来已经不是难事了。
在这再次提醒，微博分为转发微博和原创微博、时间表示方式。另外，由于我们的研究课题仅对微博文本感兴趣，所以配图不考虑。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法传递的参数parsingtime的设置初衷是，开发前期爬取和解析可能不是同时进行的（并不是严格的“同时”），微博时间显示是基于访问时间的，比如爬取时间是10:00，这时爬取到一条微博显示是5分钟前发布的，但如果解析时间是10:30，那么解析时间将错误，所以应该讲解析时间设置为10:00。到后期爬虫基本开发完毕，爬取工作和解析工作开始时间差距降低，时间差将是爬取过程时长，基本可以忽略。
解析结果保存在一个列表里，最后将这个列表以json格式保存到文件系统里，删除过渡文件夹，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取关键词
同样的，收集必要的信息。在微博手机版搜索页面敲入”python”，观察url，研究其规律。虽然第一页并无规律，但是第二页我们发现了规律，而且这个规律可以返回应用于第一页第一页
第二页
应用后第一页
观察url可以发现，对于关键词的搜索，url中的变量只有keyword和page（事实上，hideSearchFrame对我们的搜索结果和爬虫都没有影响），所以在代码中我们就可以对这两个变量进行控制。
另外，如果关键词是中文，那么url就需要对中文字符进行转换，如我们在搜索框敲入”开心”并搜索，发现url如下显示搜索开心
但复制出来却为
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib库有qoute方法处理中文转换的功能（如果是英文则不做转换），所以在拼接url前使用这个方法处理一下参数。
另外，考虑到关键词搜索属于数据收集阶段使用的方法，所以在此只提供单线程下载网页，如有多线程需要，大家可以按照多线程爬取用户微博的方法自己改写。最后，对下载下来的网页进行提取并保存（我知道这样的模块设计有点奇怪，打算重(xin)构(qing)时(hao)时再改，就先这样吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前从未写过任何爬虫程序，为了获取新浪微博博文，博主先后写了3个不同的爬虫程序，有Python，有Java，爬虫不能用了是很正常的，不要气馁，爬虫程序和反爬机制一直都在不断博弈中，道高一尺魔高一丈。
另. 转载请告知博主，如果觉得博主帅的话就可以不用告知了

D. 用python想把新浪网页给抓下来保存在文档里，但是新浪网的中文编码是什么都试过了不行。求助！

网页所使用的编码一般都写在网页的头部

可以在图中的圆圈中看到，新浪所使用的编码是 gb2312

E. 如何通过python调用新浪微博的API来爬取数据

1：安装python(这个不多说啦)
2：下载新浪微博SDK的python包，解压为weibopy目录

3：申请AppKey，

流程：

1：通过oAuth认证
按我的理解简化如下：
用户在新浪微博给的页面输入账号密码，然后微博给应用一个PIN码，这样应用通过PIN码才有权限访问该用户的信息，而应用在整个过程中是接触不到密码的，所以用户觉得很安全，后果很满意
2：获得认证之后，就可以使用微博SDK提供的API获得信息啦
3：如果想设计web或者客户端应用的话，那就继续加个GUI好啦(未完成)

代码：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler
from weibopy.api import API

AppKey = '2525355147'
AppSecret = ''

my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)

my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text

F. 如何用Python写一个抓取新浪财经网指定企业年报的脚本

代码如下：
1). xml可能的中文编码错误处理
def xml_Error_C(filename):
fp_xml=open(filename)
fp_x=''#中文乱码改正
for i in range(os.path.getsize(filename)):
i+=1
a=fp_xml.read(1)
if a=='&':
fp_xml.seek(-1,1)
if fp_xml.read(6)=='&nbsp;':
i+=5
continue
else:
fp_xml.seek(-5,1)
fp_x+=a
fp_xml=open(filename,'w+')
fp_xml.write(fp_x)
fp_xml.flush()
fp_xml.close()

2). xml转xls
def Xmltoxls(xmlname,xlsname):
if os.path.getsize(xmlname)<1024:#小于1K，无该项数据
return False
wb=xlwt.Workbook(encoding='utf-8')
ws=wb.add_sheet('Table')
fp_xml=minidom.parse(xmlname)
root=fp_xml.documentElement
Row=root.getElementsByTagName('Row')
Data=root.getElementsByTagName('Data')
col_num=len(Data)/len(Row)
row_num= 0
for row in Row:
Data=row.getElementsByTagName('Data')
for i in range(col_num):
if len(Data[i].childNodes)==0:
ws.write(row_num,i,' ')
continue
ws.write(row_num,i,Data[i].childNodes[0].nodeValue.strip().encode('utf-8'))
row_num+=1
wb.save(xlsname)
return True上整体代码：
from xml.dom import minidom
import xlwt
import os,shutil
import time,urllib2
def Xmltoxls(xmlname,xlsname):
if os.path.getsize(xmlname)<1024:
return False
wb=xlwt.Workbook(encoding='utf-8')
ws=wb.add_sheet('Table')
fp_xml=minidom.parse(xmlname)
root=fp_xml.documentElement
Row=root.getElementsByTagName('Row')
Data=root.getElementsByTagName('Data')
col_num=len(Data)/len(Row)
row_num= 0
for row in Row:
Data=row.getElementsByTagName('Data')
for i in range(col_num):
if len(Data[i].childNodes)==0:
ws.write(row_num,i,' ')
continue
ws.write(row_num,i,Data[i].childNodes[0].nodeValue.strip().encode('utf-8'))
row_num+=1
wb.save(xlsname)
return True
def xml_Error_C(filename):
fp_xml=open(filename)
fp_x=''#中文乱码改正
for i in range(os.path.getsize(filename)):
i+=1
a=fp_xml.read(1)
if a=='&':
fp_xml.seek(-1,1)
if fp_xml.read(6)=='&nbsp;':
i+=5
continue
else:
fp_xml.seek(-5,1)
fp_x+=a
fp_xml=open(filename,'w+')
fp_xml.write(fp_x)
fp_xml.flush()
fp_xml.close()
def errorlog(error):
fp_error=open('errorlog.txt','a')
fp_error.write(error+' ')
fp_error.close
fp_code=open('stockcode..txt')
fp_basic=open('basicdata_url.txt')
temp='z:\temp.xml'
for line in fp_code:#设置代码起始位置
if line.split()[0]=='601958':
break
for line in fp_code:#遍历所有代码及名称
filepath='basicdata\'+line.split()[0]+line.split()[1].replace('*','&')#建立文件夹
if not os.path.isdir(filepath):
os.makedirs(filepath)
for url in fp_basic:#抓取所有数据并保存
url_f=url.split()[0]+line.split()[0]+('01' if int(line.split()[0])>599999 else '02')+'&exp=1'
print 'I am handle '+line+' '+url.split()[1]+' '+'data for you'
filename=filepath+'\'+line.split()[0]+' '+url.split()[1]+'.xls'
while True:#get xml data
try:
u=urllib2.urlopen(url_f)
time.sleep(0.3)
data=u.read()
f=open(temp,'w+')#保存文件
f.write(data)
f.flush()
f.close()
break
except :
print 'Network error,try latter!'
time.sleep(10)
while True:#xml data to xls data
if url.split()[1] in ['News','Notice','Subject']:
shutil.move(temp,filename) # os.rename("oldname","newname")
break
try:
xml_Error_C(temp)
Xmltoxls(temp,filename)
except IOError:
errorlog('No '+filename)
except:
shutil.move(temp,filename)
errorlog('Not Done '+filename)
break
time.sleep(0.2)
time.sleep(7)
fp_basic.seek(0)
print 'All data have been getted.'
fp_code.close()
fp_basic.close()

G. 如何写爬虫程序爬取豆瓣网或者新浪微博里的内容

在面向对象的高级语言中，早已有人将http请求封装成了类库，你只需要调下接口，就能获得目标网页的源码。所以程序需要做的就是请求目标url，获取页面的源码，解析html。基本流程是：
获取目标页面源码，方法：调用对应的类库。
解析html文件，提取出自己想要的信息。方法：正则表达式或者解析html的库。

按照上述步骤，C++（Qt）涉及的类是：
WebView，它的内核其实就是webkit，所以它就是一个功能原始的浏览器，他内置能够返回页面源码的函数，接受一个url的string类型参数，返回一个QString对象。
WebView类有方法能够处理DOM。
C#（.net）涉及的类是：
WebClient，WebRequest，HttpWebRequest等类，第一个封装得比较高级，写法简单，后面两个封装得低级，写起来麻烦但是用起来灵活，HttpWebRequest是WebRequest的一个子类。
Html Agility Pack。
Python涉及的包是：
urllib，urllib2，前者仅可以接受URL，不能伪装Header，但是需要用它的一个函数对post数据进行编码。类似于浏览器的有Selenium。
BeautifulSoup。
上面三种相比，python写法最简单，操作也灵活，要获取源码只要写一句话就行。字符串处理python也毫不逊色于C#和C++。

H. python爬取新浪网页新闻时，分割代码类名怎么消失了

建议改用属性查找，如下示例：
soup.find(attrs={‘class’:’feed-card-item’})
图3替换是什么意思？请补充描述。

I. python 怎样爬去网页的内容

用python爬取网页信息的话，需要学习几个模块，urllib，urllib2，urllib3，requests，httplib等等模块，还要学习re模块（也就是正则表达式）。根据不同的场景使用不同的模块来高效快速的解决问题。

最开始我建议你还是从最简单的urllib模块学起，比如爬新浪首页（声明：本代码只做学术研究，绝无攻击用意）：

这样就把新浪首页的源代码爬取到了，这是整个网页信息，如果你要提取你觉得有用的信息得学会使用字符串方法或者正则表达式了。

平时多看看网上的文章和教程，很快就能学会的。

补充一点：以上使用的环境是python2，在python3中，已经把urllib，urllib2，urllib3整合为一个包，而不再有这几个单词为名字的模块。

J. Python如何爬取新浪网前三页文字

如果你在英文词典里边查Python，他会给出你Python是大蟒蛇的释义，这样读：英[ˈpaɪθən]、美[ˈpaɪθɑ:n]，Python是着名的“龟叔”Guido van Rossum在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。Python是一种计算机程序设计语言。是一种动态的、面向对象的脚本语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。