python抓取數據

Ⅰ 怎麼用python爬取相關數據

以下代碼運行通過：

importrequests
frombs4importBeautifulSoup
importos


headers={
'User-Agent':"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.1(KHTML,likeGecko)"
"Chrome/22.0.1207.1Safari/537.1"}
##瀏覽器請求頭（大部分網站沒有這個請求頭會報錯）
all_url='http://www.mzitu.com/all'
start_html=requests.get(all_url,headers=headers)
##使用requests中的get方法來獲取all_url的內容headers為請求頭
print(start_html.text)
##列印start_html
##concent是二進制的數據，下載圖片、視頻、音頻、等多媒體內容時使用concent
##列印網頁內容時使用text

運行效果：

Ⅱ python怎樣抓取網頁中的文字和數字數據

通過xpath路徑來定位到要提取的元素，在路徑後面加上/text()可以提取該元素的文本，如果是要提取屬性值，在路徑後面加上/@屬性名就可以。如果要只採集數字或者文字，可以使用正則來實現。比如數字的正字表達式：[0-9]+。希望可以幫到題主

Ⅲ python爬蟲抓取數據的步驟

三步，用scrapy

1. 定義item類
   

2. 開發spider類

3. 開發pipeline

Ⅳ 如何用python抓取網頁上的數據

使用內置的包來抓取，就是在模仿瀏覽器訪問頁面，再把頁面的數據給解析出來，也可以看做是一次請求。

Ⅳ 如何利用python爬蟲獲取數據

python是一款應用非常廣泛的腳本程序語言，谷歌公司的網頁就是用python編寫。python在生物信息、統計、網頁製作、計算等多個領域都體現出了強大的功能。python和其他腳本語言如java、R、Perl一樣，都可以直接在命令行里運行腳本程序。工具/原料python；CMD命令行；windows操作系統方法/步驟1、首先下載安裝python，建議安裝2.7版本以上，3.0版本以下，由於3.0版本以上不向下兼容，體驗較差。2、打開文本編輯器，推薦editplus，notepad等，將文件保存成.py格式，editplus和notepad支持識別python語法。腳本第一行一定要寫上#!usr/bin/python表示該腳本文件是可執行python腳本如果python目錄不在usr/bin目錄下，則替換成當前python執行程序的目錄。3、編寫完腳本之後注意調試、可以直接用editplus調試。調試方法可自行網路。腳本寫完之後，打開CMD命令行，前提是python已經被加入到環境變數中，如果沒有加入到環境變數，請網路4、在CMD命令行中，輸入「python」+「空格」，即」python「；將已經寫好的腳本文件拖拽到當前游標位置，然後敲回車運行即可。

Ⅵ 如何利用python從資料庫抓取數據

僅在里邊定義連接字串,在使用的時候在創建對象，使用完對象就關閉
Config.asp:
Quote
<%
Dim Def_Sample
Def_Path=server.MapPath("data.mdb")
Def_Sample="DBQ="+Def_Path+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};" '連接字串
%>

Ⅶ python爬蟲數據提取

理論上可以，實際要看目標網頁的情況，反爬蟲機制、js動態刷新抓取都是比較頭疼的。
當然如果不考慮效率，selenium 之類的網頁自動化方式，通常都可以實現。

Ⅷ python爬蟲爬取的數據可以做什麼

爬蟲的概念是，爬取網上能看到的數據，也就是只要網上存在的，通過瀏覽器可以看到的數據。爬蟲都可以爬取。爬蟲爬取的原理就是偽裝成瀏覽器，然後進行爬取操作

哪些數據你需要你就可以爬取。比如爬取公司競爭對手的商業數據，爬取電影，音樂，圖片等等的。只要你希望得到的，前提瀏覽器可以訪問的都可以爬取

Ⅸ 如何用python 爬蟲抓取金融數據

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息

其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。

語法 說明

. 匹配任意除換行符「 」外的字元

* 匹配前一個字元0次或無限次

？ 匹配前一個字元0次或一次

s 空白字元：[<空格> fv]

S 非空白字元：[^s]

[...] 字元集，對應的位置可以是字元集中任意字元

(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')

最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])