python3登錄新浪微博_python 新浪微博爬蟲求助

① 如何通過python調用新浪微博的API

1.下載SDK

使用python調用API的話，首先要去下一個Python的SDK，sinaweibopy

連接地址在此： http://michaelliao.github.com/sinaweibopy/

可以使用pip很快的導入，github連接里的wiki也有入門的使用方法，很容易看懂。

2.理解新浪微博的授權機制

在調用API之前，首先要搞懂什麼叫OAuth 2，即新浪微博的授權機制，

連接在此： http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E

3.在新浪微博注冊應用

每個人都可以通過新浪微博開發者平台注冊自己的應用，我注冊的是站內應用。注冊後會為每個應用分配唯一的app key 和 app secret,這在上文提到的授權機制中需要用到，相當與每個應用的標示吧。

至此，我們可以嘗試寫代碼調用新浪微博的API啦。

4.簡單的調用API實例

參考了往上很多資料和文檔，寫了一個簡單的調用過程。

# _*_ coding: utf-8 _*_
from weibo import APIClient
import webbrowser
APP_KEY = 」
APP_SECRET = 」
CALLBACK_URL = 」
#這個是設置回調地址，必須與那個」高級信息「里的一致
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
url = client.get_authorize_url()
# TODO: redirect to url
#print url
webbrowser.open_new(url)
# 獲取URL參數code:
code = 『『
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
r = client.request_access_token(code)
access_token = r.access_token # 新浪返回的token，類似abc123xyz456
expires_in = r.expires_in # token過期的UNIX時間：http://zh.wikipedia.org/wiki/UNIX%E6%97%B6%E9%97%B4
# TODO: 在此可保存access token
client.set_access_token(access_token, expires_in)

print client.friendships.friends.bilateral.ids.get(uid = 12345678)

通過以上的代碼，我實現了調用相互關注API的調用，即查找與某個id的用戶相互關注的人的列表。

其中，APP_KEY和APP_SECRET就是前文中分配給每個應用的信息，回調地址在每個應用的高級信息中可以看到，需要自己設置，不過隨便設置一下就好

比較惡心的是code的獲取，我一開始看sinaweibopy的文檔的時候也沒弄懂是什麼意思，如上面的代碼所示，url得到的是一個授權的網址，我們通過

webbrowser.open_new(url)
這行代碼打開瀏覽器跳轉到授權的界面，然後觀察所在界面的網址，會顯示大概如下一樣的格式：

http://apps.weibo.com/sayarywei?code=

看到了嗎？
問號後面有一個code=……的一個東西，把等號後面的字元串拷貝下來賦給code就可以了，但是每次運行程序是code不是一成不變的，也就是說每次都
要有這么一個手動獲取的過程，我覺得很麻煩，以後自己再研究一下，實現自動獲取code就好了。如果能有哪位大神告訴我，感激不盡~

好了，得到正確的code之後就可以完成授權認證，也就可以調用微博的API啦，至於如何在Python下調用，我拷貝一下sinaweibopy上的介紹：

首先查看新浪微博API文檔，例如：

API：statuses/user_timeline

請求格式：GET

請求參數：

source：string，採用OAuth授權方式不需要此參數，其他授權方式為必填參數，數值為應用的AppKey?。

access_token：string，採用OAuth授權方式為必填參數，其他授權方式不需要此參數，OAuth授權後獲得。

uid：int64，需要查詢的用戶ID。

screen_name：string，需要查詢的用戶昵稱。

（其它可選參數略）

調用方法：將API的「/」變為「.」，根據請求格式是GET或POST，調用get ()或post()並傳入關鍵字參數，但不包括source和access_token參數：

r = client.statuses.user_timeline.get(uid=123456)
for st in r.statuses:
print st.text

若為POST調用，則示例代碼如下：

r = client.statuses.update.post(status=u'測試OAuth 2.0發微博')

若需要上傳文件，傳入file-like object參數，示例代碼如下：

f = open('/Users/michael/test.png', 'rb')
r = client.statuses.upload.post(status=u'測試OAuth 2.0帶圖片發微博', pic=f)
f.close() # APIClient不會自動關閉文件，需要手動關閉

請注意：上傳的文件必須是file-like object，不能是str，因為無法區分一個str是文件還是欄位。可以通過StringIO把一個str包裝成file-like object。

② 怎樣用python爬新浪微博大V所有數據

我是個微博重度用戶，工作學習之餘喜歡刷刷timeline看看有什麼新鮮事發生，也因此認識了不少高質量的原創大V，有分享技術資料的，比如好東西傳送門；有時不時給你一點人生經驗的，比如石康；有高產的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥木木蘿希木初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內容，但後來發現新浪微博的API限制實在太多，大家感受一下：

iTerm

小問題：在我的測試中，有的時候會出現圖片下載失敗的問題，具體原因還不是很清楚，可能是網速問題，因為我宿舍的網速實在太不穩定了，當然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，裡面存儲了爬取的所有圖片的下載鏈接，如果出現大片的圖片下載失敗，可以將該鏈接群一股腦導進迅雷等下載工具進行下載。

另外，我的系統是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這里就不展開講了。

下面我就給出實現代碼（嚴肅臉）

Python

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding('utf-8')

if(len(sys.argv) >=2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u"請輸入user_id: "))

cookie = {"Cookie": "#your cookie"}

url = 'd?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""

urllist_set = set()

word_count = 1

image_count = 1

print u'爬蟲准備就緒...'

for page in range(1,pageNum+1):

#獲取lxml頁面

url = 'hu/%d?filter=1&page=%d'%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath('//span[@class="ctt"]')

for each in content:

text = each.xpath('string(.)')

if word_count >= 4:

text = "%d :"%(word_count-3) +text+" "

else :

text = text+" "

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, "lxml")

urllist = soup.find_all('a',href=re.compile(r'^mblog/oripic',re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)

image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")

fo.write(result)

word_path=os.getcwd()+'/%d'%user_id

print u'文字微博爬取完畢'

link = ""

fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")

for eachlink in urllist_set:

link = link + eachlink +" "

fo2.write(link)

print u'圖片鏈接爬取完畢'

if not urllist_set:

print u'該頁面中不存在圖片'

else:

#下載圖片,保存在當前目錄的pythonimg文件夾下

image_path=os.getcwd()+'/weibo_image'

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + '/%s.jpg' % x

print u'正在下載第%s張圖片' % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u"該圖片下載失敗:%s"%imgurl

x+=1

print u'原創微博爬取完畢，共%d條，保存路徑%s'%(word_count-4,word_path)

print u'微博圖片爬取完畢，共%d張，保存路徑%s'%(image_count-1,image_path)

③ python可以直接登錄新浪微博發信息嗎

可以啊。這方面有開放的API。另外你也可以獲得它的COOKIE，然後直接通過WEB界面發。不過不建議你用來群發。

④ python 爬網頁遇到重定向怎麼處理

展開全部
停止條件，這個你懂的，並重復上述過程，不斷從當前頁面上抽取新的URL放入隊列.request模擬構建一個帶cookies的瀏覽器。
2，先到微博登陸頁面模擬登錄，用來抓取微博內容，其實可以使用urllib、現有的項目
google
project網站有一個項目叫做sinawler1，可以找到一個參考的源碼，從頁面中找出所有URL，代碼可以更加簡短，獲得初始網頁上的URL、策略體系，省去對cookies的處理。
3。然後，抓取頁面，選擇滿足要求的URL文本說明，直到滿足要求退出，裡面很多比較深入的內容。聚焦爬蟲的工作流程較為復雜。網站上不去，比如演算法分析，直到達到系統的某一條件時停止，就是專門的新浪微博爬蟲。
4，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，他是用python2寫的，從理論角度提升代碼的技術層次，保留有用的鏈接並將其放入等待抓取的URL隊列。不過可以網路一下「python編寫的新浪微博爬蟲（現在的登陸方法見新的一則微博）「、網路爬蟲基本原理
傳統爬蟲從一個或若干初始網頁的URL開始。如果用python3寫、設計基本思路
正如你所說，重復上面的抓取動作，模擬點擊這些URL，它將根
據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，會大有幫助

⑤ python 登錄新浪微博

所有的
原理
邏輯
教程
代碼
都寫好了，需要的自己去看即可：
如何用Python，C#等語言去實現抓取靜態網頁模擬登陸網站

(此處不給貼地址，請自己用google搜帖子標題，即可找到帖子地址)

⑥ python登錄新浪微博後的cookie怎麼和網頁登錄的cookie不一致

一個瀏覽器登錄新浪微博後cookie應該都有區別吧，cookie可以登錄的時間等因素有關，python登錄新浪微博的時候，你可以模擬你網頁登錄的形式登錄試試看你和網頁登錄的cookie一樣不

⑦ 怎麼用python實現新浪微博的登陸與自動評論

自動化，自動登錄微博，自動發微博。微博內容要有意義，不能是隨機生成的字元。可以設置每隔一段時間發一條微博，頻率不能太快，當然也不能太慢。怎麼用python實現新浪微博的登陸與自動評論

⑧ python模擬登錄新浪微博上的預登錄是什麼意思

1 腳本模擬登陸新浪微博，保存cookie；
2 有了cookie信息後，利用cookie信息直接訪問微博url。
其中，第一步是這里討論的重點。要想能更好的模擬這一步，一個好的網路監視工具是必須的，可以使用Firefox的Firebug和Chrome及IE自帶的開發工具（注意下，IE必須IE9以上版本才有監視網路的功能，Chrome的網路交互報文可以到network部分查看）。

⑨ Python中爬新浪微博時的模擬登錄老不成功，出錯如下↓ AttributeError:'set'

網路上經常有些不知所謂的人提問說我的代碼報錯,但就是不給出代碼.我對於這種人的回答只有一個: 你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼我看!!!我怎知道
你的代碼寫錯了,你要再問哪裡錯了,為什麼錯了,我只能說,你TMD又沒給代碼...

⑩ python 新浪微博爬蟲，求助

0x00. 起因
因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。
ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。
0x01. 基礎知識
本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網路基礎，在前期准備時會有少走很多彎路。
對於爬蟲，需要明確幾點：
1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。
2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為「純凈的」展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。
3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。
4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。
0x02. 開始
決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。
以下博文以博主項目為例，該項目爬取特定新浪微博用戶從注冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。
0x03. 收集必要信息
首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面
注意url後半段有很多形如」%xx」的轉義字元，本文後面將會講到。
從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。
這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。
第一種是填寫賬號密碼之後執行js模擬點擊「登錄」按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。
第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1
在搜索欄提供搜索條件」http」可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有」login」，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的伺服器IP地址，此時我們並沒有任何的cookie。
在序號為30是數據包中有一個從該IP發出的HTTP數據包，裡面有四個Set-Cookie欄位，這些cookie將是我們爬蟲的基礎。
Wireshark抓取結果2
早在新浪微博伺服器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。
ps.如果沒有wireshark或者不想這么麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具
接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞為例。
央視新聞1
圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是「weibo.cn/(displayID)?page=(pagenum)」。這將成為我們爬蟲拼接url的依據。
接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。
xpath
觀察html代碼發現，所有的微博都在<div>標簽里，並且這個標簽里有兩個屬性，其中class屬性為」c」，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。
另外，還有一些需要特別注意的因素
* 微博分為原創微博和轉發微博
* 按照發布時間至當前時間的差距，在頁面上有」MM分鍾前」、」今天HH:MM」、」mm月dd日 HH:MM」、」yyyy-mm-dd HH:MM:SS」等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。
0x04. 編碼
1.爬取用戶微博
本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。
既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。
首先用到的是Python的request模塊，它提供了帶cookies的url請求。
import request
print request.get(url, cookies=cookies).content使用這段代碼就可以列印帶cookies的url請求頁面結果。
首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。
頁數
項目使用lxml模塊對html進行XPath提取。
首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree
然後利用下面的方法返回頁數
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下來就是不斷地拼接url->訪問url->下載網頁。
需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於「頻繁」的話會進入類似於「冷卻期」，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博廣場' and title.text != '微博'
如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。
下面代碼片展示了單線程爬蟲的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以伺服器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網路環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。
通過前面的觀察，我們已經了解到微博博文存在的標簽有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標簽全部提取出來已經不是難事了。
在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的「同時」），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鍾前發布的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。
解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取關鍵詞
同樣的，收集必要的信息。在微博手機版搜索頁面敲入」python」，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁
第二頁
應用後第一頁
觀察url可以發現，對於關鍵詞的搜索，url中的變數只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變數進行控制。
另外，如果關鍵詞是中文，那麼url就需要對中文字元進行轉換，如我們在搜索框敲入」開心」並搜索，發現url如下顯示搜索開心
但復制出來卻為
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。
另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。
另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了

導航:首頁 > 編程語言 > python3登錄新浪微博

python3登錄新浪微博

與python3登錄新浪微博相關的資料