1. python数据采集是什么
数据采集(DAQ)，又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析，处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。
网络爬虫是用于数据采集的一门技术，可以帮助我们自动地进行信息的获取与筛选。从技术手段来说，网络爬虫有多种实现方案，如PHP、Java、Python ...。那么用python 也会有很多不同的技术方案（Urllib、requests、scrapy、selenium...)，每种技术各有各的特点，只需掌握一种技术，其它便迎刃而解。同理，某一种技术解决不了的难题，用其它技术或方依然无法解决。网络爬虫的难点并不在于网络爬虫本身，而在于网页的分析与爬虫的反爬攻克问题。
python学习网，免费的在线学习python平台，欢迎关注！
2. python 做监控数据采集，怎么做.新手请教
这么具体的问题，找通用demo很难啊，个人觉得问题的难点不在Python。
1. 获取什么服务器性能数据和如何获取，可以请教公司内部运维。
2. 获取什么数据库性能数据和如何获取，可以请教公司内部DBA。
3. 以上两点搞定了，才能确定临时数据存储结构和最终数据库表结构。
以上三点是关键，Python的事情就简单多了，提供一种思路：一分钟一次，实时性不高，每台服务器用cron部署一个a.py，用于获取性能数据，在某
一台服务器有一个b.py，负责获取所有服务器a.py产生的数据，然后写入数据库；a.py如何上报到b.py取决于你擅长什么，如果熟悉网络编程，用
a.py做客户端上报到服务端b.py，如果熟悉shell的文件同步(如rsync)，a.py只写本地文件，b.py调用c.sh（封装rsync）
拉取远程文件。
如果解决了您的问题请采纳！
如果未解决请继续追问！
3. 如何利用python对网页的数据进行实时采集并输出
这让我想到了一个应用场景，在实时网络征信系统中，通过即时网络爬虫从多个信用数据源获取数据。并且将数据即时注入到信用评估系统中，形成一个集成化的数据流。
可以通过下面的代码生成一个提取器将标准的HTML DOM对象输出为结构化内容。
4. python网络数据采集常用什么库
urllib2或者urllib3加上beautifulsoup就能采集一些简单的网络数据了
大型一点的框架用scrapy，pyspider应该好些
5. PHP或者python进行数据采集和分析，有什么比较成熟的框架
比较成熟的爬虫框架有：
（1）scrapy，鼎鼎大名，目前也支持到py3了。
（2）pyspider，国人开发的，带有状态界面，也挺不错。
6. 如何用最简单的Python爬虫采集整个网站
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
7. 基于python数据采集与处理
数据采集作为信息获取的主要方法,被广泛应用于电力监测、航空航天、生物医学、电子通信等测控领域。
针对LabVIEW数据采集系统整体架构以及系统软件设计进行了分析，希望能借助LabVIEW丰富的函数库,易于进行系统功能扩展。
8. python网络数据采集 用python写网络爬虫 哪个好
写python爬虫2年多了，主要用的scrapy。关于python3，还没有开始学；在这方面，我算是传统的。一直在思考什么时候转python3。我主要关注的是我常用的python库是否支持，一旦支持，就立刻转python3.从最早的django、MySQLdb、PIL（Pillow）不支持，但现在这三者都支持了。所以在做web项目的时候是可以直接用python3了。所以现在的计划是今年下半年转python3。
说回爬虫。scrapy确实使用者众，可惜还不支持python3。所以现在的爬虫项目还是用python2.7。现在用着非常顺手。我的思路是，用django开发业务逻辑，根据业务逻辑建立的model，用scrapy抓取。是的，我的项目将django和scrapy代码放在一个repo了。也可以分开。另外，scrapy的调度使用的是celery，所有爬虫的调度时间和频率都是用celery控制的。django、scrapy、celery是我做开发的三大法器。
如果你不想使用scrapy等框架，像上面的回答一样，用一些请求库和解析库也能搭建出来。但我倾向于用django、celery、scrapy搭建通用的抓取系统。简单说，用django建立模型，scrapy做一些常用爬虫，规则定义模块；celery制定调度策略，可以非常快地建立一套系统。
9. 如何评价利用python制作数据采集,计算,可视化界面呢
先来设置两个url地址，第一个用于第一次访问，这样可以获得网站服务器发来的cookie，第二个网址是用于登陆的地址
引入两个模块，cookielib和urllib2
接着，我们安装一个cookie处理器，代码如下，这个代码很多人不太能读懂，其实你会用就可以了，他们就是这个固定的形式，顶多改改变量的名字。你复制下来以后自己用就可以了，用多了，你再去看代码的意义，你就都懂了。
然后我们先访问一下网站，获得一个cookie，你不用管这个cookie该怎么弄，前面设置的cookie处理器会自动处理。
接着，我们写一下postdata，也就是你要post的数据，因为我们打算登陆网站，所以postdata里肯定有用户名和密码，那么怎么知道该怎么写postdata呢？看你抓包得到的post数据。下面第一幅图是httpwatch抓包截图，点击postdata，看到post的数据，然后我们看第二幅图，就是python的写法。你自己感受一下。
写完postdata以后，我们 要将postdata转码一下，让服务器可以解读postdata数据
接着设置headers信息，headers也是抓包得到的。同样的方式，你去写header内的信息
然后我们通过request方法来登陆网站，并返回数据，返回的数据存储在request中
通过rulopen方法和read方法来读取数据，并打印出来。
我们看到输出的结果，这说明我们虽然正确的模拟了登陆网站需要的post信息，但是没有考虑到登陆网站是需要验证码的，后期我们会看到如何处理验证码，如果你拿这个教程去处理没有验证码的登陆问题，那么你现在已经成功了。
10. python网络数据采集 怎么样 知乎
基本的爬虫工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)