1. python數據採集是什麼
數據採集(DAQ)，又稱數據獲取，是指從感測器和其它待測設備等模擬和數字被測單元中自動採集非電量或者電量信號,送到上位機中進行分析，處理。數據採集系統是結合基於計算機或者其他專用測試平台的測量軟硬體產品來實現靈活的、用戶自定義的測量系統。採集一般是采樣方式，即隔一定時間（稱采樣周期）對同一點數據重復採集。採集的數據大多是瞬時值，也可是某段時間內的一個特徵值。
網路爬蟲是用於數據採集的一門技術，可以幫助我們自動地進行信息的獲取與篩選。從技術手段來說，網路爬蟲有多種實現方案，如PHP、Java、Python ...。那麼用python 也會有很多不同的技術方案（Urllib、requests、scrapy、selenium...)，每種技術各有各的特點，只需掌握一種技術，其它便迎刃而解。同理，某一種技術解決不了的難題，用其它技術或方依然無法解決。網路爬蟲的難點並不在於網路爬蟲本身，而在於網頁的分析與爬蟲的反爬攻克問題。
python學習網，免費的在線學習python平台，歡迎關注！
2. python 做監控數據採集，怎麼做.新手請教
這么具體的問題，找通用demo很難啊，個人覺得問題的難點不在Python。
1. 獲取什麼伺服器性能數據和如何獲取，可以請教公司內部運維。
2. 獲取什麼資料庫性能數據和如何獲取，可以請教公司內部DBA。
3. 以上兩點搞定了，才能確定臨時數據存儲結構和最終資料庫表結構。
以上三點是關鍵，Python的事情就簡單多了，提供一種思路：一分鍾一次，實時性不高，每台伺服器用cron部署一個a.py，用於獲取性能數據，在某
一台伺服器有一個b.py，負責獲取所有伺服器a.py產生的數據，然後寫入資料庫；a.py如何上報到b.py取決於你擅長什麼，如果熟悉網路編程，用
a.py做客戶端上報到服務端b.py，如果熟悉shell的文件同步(如rsync)，a.py只寫本地文件，b.py調用c.sh（封裝rsync）
拉取遠程文件。
如果解決了您的問題請採納！
如果未解決請繼續追問！
3. 如何利用python對網頁的數據進行實時採集並輸出
這讓我想到了一個應用場景，在實時網路徵信系統中，通過即時網路爬蟲從多個信用數據源獲取數據。並且將數據即時注入到信用評估系統中，形成一個集成化的數據流。
可以通過下面的代碼生成一個提取器將標準的HTML DOM對象輸出為結構化內容。
4. python網路數據採集常用什麼庫
urllib2或者urllib3加上beautifulsoup就能採集一些簡單的網路數據了
大型一點的框架用scrapy，pyspider應該好些
5. PHP或者python進行數據採集和分析，有什麼比較成熟的框架
比較成熟的爬蟲框架有：
（1）scrapy，鼎鼎大名，目前也支持到py3了。
（2）pyspider，國人開發的，帶有狀態界面，也挺不錯。
6. 如何用最簡單的Python爬蟲採集整個網站
採集網站數據並不難，但是需要爬蟲有足夠的深度。我們創建一個爬蟲，遞歸地遍歷每個網站，只收集那些網站頁面上的數據。一般的比較費時間的網站採集方法從頂級頁面開始（一般是網站主頁），然後搜索頁面上的所有鏈接，形成列表，再去採集到的這些鏈接頁面，繼續採集每個頁面的鏈接形成新的列表，重復執行。
7. 基於python數據採集與處理
數據採集作為信息獲取的主要方法,被廣泛應用於電力監測、航空航天、生物醫學、電子通信等測控領域。
針對LabVIEW數據採集系統整體架構以及系統軟體設計進行了分析，希望能藉助LabVIEW豐富的函數庫,易於進行系統功能擴展。
8. python網路數據採集 用python寫網路爬蟲 哪個好
寫python爬蟲2年多了，主要用的scrapy。關於python3，還沒有開始學；在這方面，我算是傳統的。一直在思考什麼時候轉python3。我主要關注的是我常用的python庫是否支持，一旦支持，就立刻轉python3.從最早的django、MySQLdb、PIL（Pillow）不支持，但現在這三者都支持了。所以在做web項目的時候是可以直接用python3了。所以現在的計劃是今年下半年轉python3。
說回爬蟲。scrapy確實使用者眾，可惜還不支持python3。所以現在的爬蟲項目還是用python2.7。現在用著非常順手。我的思路是，用django開發業務邏輯，根據業務邏輯建立的model，用scrapy抓取。是的，我的項目將django和scrapy代碼放在一個repo了。也可以分開。另外，scrapy的調度使用的是celery，所有爬蟲的調度時間和頻率都是用celery控制的。django、scrapy、celery是我做開發的三大法器。
如果你不想使用scrapy等框架，像上面的回答一樣，用一些請求庫和解析庫也能搭建出來。但我傾向於用django、celery、scrapy搭建通用的抓取系統。簡單說，用django建立模型，scrapy做一些常用爬蟲，規則定義模塊；celery制定調度策略，可以非常快地建立一套系統。
9. 如何評價利用python製作數據採集,計算,可視化界面呢
先來設置兩個url地址，第一個用於第一次訪問，這樣可以獲得網站伺服器發來的cookie，第二個網址是用於登陸的地址
引入兩個模塊，cookielib和urllib2
接著，我們安裝一個cookie處理器，代碼如下，這個代碼很多人不太能讀懂，其實你會用就可以了，他們就是這個固定的形式，頂多改改變數的名字。你復制下來以後自己用就可以了，用多了，你再去看代碼的意義，你就都懂了。
然後我們先訪問一下網站，獲得一個cookie，你不用管這個cookie該怎麼弄，前面設置的cookie處理器會自動處理。
接著，我們寫一下postdata，也就是你要post的數據，因為我們打算登陸網站，所以postdata里肯定有用戶名和密碼，那麼怎麼知道該怎麼寫postdata呢？看你抓包得到的post數據。下面第一幅圖是httpwatch抓包截圖，點擊postdata，看到post的數據，然後我們看第二幅圖，就是python的寫法。你自己感受一下。
寫完postdata以後，我們 要將postdata轉碼一下，讓伺服器可以解讀postdata數據
接著設置headers信息，headers也是抓包得到的。同樣的方式，你去寫header內的信息
然後我們通過request方法來登陸網站，並返回數據，返回的數據存儲在request中
通過rulopen方法和read方法來讀取數據，並列印出來。
我們看到輸出的結果，這說明我們雖然正確的模擬了登陸網站需要的post信息，但是沒有考慮到登陸網站是需要驗證碼的，後期我們會看到如何處理驗證碼，如果你拿這個教程去處理沒有驗證碼的登陸問題，那麼你現在已經成功了。
10. python網路數據採集 怎麼樣 知乎
基本的爬蟲工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大規模網頁抓取，你需要學習分布式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分布式隊列就好。最簡單的實現是python-rq: https://github.com/nvie/rq
rq和Scrapy的結合：darkrho/scrapy-redis · GitHub
後續處理，網頁析取(grangier/python-goose · GitHub)，存儲(Mongodb)