微信文章提取源碼

① 怎麼看微信網頁的源碼

可以通過代理抓包的方式獲取微信頁面源碼。如想獲取源碼，請關注微信公眾平台「心靈擱淺」，回復「微信源碼」，即可獲取解決方案。

② 微信小程序源碼提取 微信小程序源碼提取

微信小程序源碼開發製作有好有壞。好處是即使沒有代碼基礎，也可以快速開發一款小程序；並且價格便宜，適合沒有太多時間和精力製作小程序的中小企業和個人；壞處是用源碼開發小程序，很難進行二次開發，無法滿足個性化的功能需求。

③ 如何才能把公眾號文章提取出來

如何快速的把微信公眾號里的好文章導出或下載出來。
方法/步驟
1/9 分步閱讀
第一步：首先你要有台電腦or 筆記本........哈哈哈必須的
你要在電腦上打開微信電腦版，登陸上去

查看剩餘1張圖
2/9
第二步：打開微信.............找到訂閱號，挑選任意一個公眾號

查看剩餘1張圖
3/9
第三步：隨便選打開它！！！！（如果找不到文章可以在查看歷史消息裡面找到）這里我選擇打開紐西蘭哈哈哈~

查看剩餘1張圖
4/9
第四步：進入你選擇文章之後，左上角
這里有兩個選擇供你選擇............只要能在瀏覽器上打開都可以，反正我選擇右邊這個

查看剩餘3張圖
5/9
第五步：文章打開後，在空白處點擊右鍵出現下邊的小框框然後選擇列印、列印、列印！！

查看剩餘1張圖
6/9
第六步：
看圖嘍就這樣，點擊左上角的保存，OK完事搞定、

查看剩餘3張圖
7/9
最後：恭喜你得到了一個PDF格式文檔，如果你想要Word文檔可以轉換的哦、

查看剩餘1張圖
8/9
隱藏小彩蛋，供你挑選哦~~~~
左側的最下面有個選擇功能 背景圖形、背景圖形、背景圖形
當然不同瀏覽器會把這個功能給隱藏起來，但我相信你可以找到滴。
自己對比一下兩張圖片的不同把

查看剩餘1張圖
9/9
最後提醒，一定要把圖片載入完成後再進行後面列印保存的步驟，否則你打開文章後會發現沒有載入好的圖片，其次就是因為你保存的是文檔所以視頻變成圖片、

④ 如何獲取微信網頁源碼

點右上角分享到瀏覽器打開，用火狐瀏覽器有插件可以看到手機網頁源碼

⑤ python怎麼抓取微信閱

抓取微信公眾號的文章

一.思路分析

目前所知曉的能夠抓取的方法有：

1、微信APP中微信公眾號文章鏈接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通過微信合作方搜狗搜索引擎（http://weixin.sogou.com/），發送相應請求來間接抓取

第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。

因此本文採用的是方法2----通過給 weixin.sogou.com 發送即時請求來實時解析抓取數據並保存到本地。

二.爬取過程

1、首先在搜狗的微信搜索頁面測試一下，這樣能夠讓我們的思路更加清晰

在搜索引擎上使用微信公眾號英文名進行「搜公眾號」操作（因為公眾號英文名是公眾號唯一的，而中文名可能會有重復，同時公眾號名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，並從頁面中解析出搜索結果公眾號對應的主頁跳轉鏈接。

2.獲取主頁入口內容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

這里使用的是request.get()的方法獲取入口網頁內容

[python]view plain

• #爬蟲偽裝頭部設置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #設置操作超時時長

• self.timeout=5

• #爬蟲模擬在一個request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公眾為關鍵字搜索該公眾號

• defget_search_result_by_keywords(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.獲取公眾號地址

從獲取到的網頁內容中，得到公眾號主頁地址， 這一步驟有很多方法， beautifulsoup、webdriver，直接使用正則，pyquery等都可以

這里使用的是pyquery的方法來查找公眾號主頁入口地址

[python]view plain

• #獲得公眾號主頁地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.獲取公眾號主頁的文章列表

首先需要載入公眾號主頁，這里用的是phantomjs+webdriver, 因為這個主頁的內容需要JS 渲染載入，採用之前的方法只能獲得靜態的網頁內容

[python]view plain

• #使用webdriver載入公眾號主頁內容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #執行js得到整個頁面內容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主頁內容之後，獲取文章列表，這個文章列表中有我們需要的內容

[python]view plain

• #獲取公眾號文章內容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'開始查找內容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公眾號僅僅有10篇文章，有的可能多一點

• #returndoc('div[class="weui_msg_card"]')#公眾號只有10篇文章文章的

5.解析每一個文章列表，獲取我們需要的信息

6.處理對應的內容

包括文章名字，地址，簡介，發表時間等

7.保存文章內容

以html的格式保存到本地

同時將上一步驟的內容保存成excel 的格式

8.保存json數據

這樣，每一步拆分完，爬取公眾號的文章就不是特別難了。

三、源碼

第一版源碼如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '構造函數'

• self.kw=kw

• #搜狐微信搜索鏈接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬蟲偽裝

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101FirePHP/0refox/47.0FirePHP/0.7.4.1'}

• #操作超時時長

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根據返回sougou_search_html，從中獲取公眾號主頁鏈接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '執行js渲染內容，並返回渲染後的html內容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #執行js得到整個dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '從selenium_html中解析出微信公眾號文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles轉換成數據字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'開始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析單篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('標題是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址為：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章簡述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('發表時間為：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面圖片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面圖片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '獲取文章詳情內容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '頁面內容寫入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '數據寫入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定義log函數'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有時候對方會封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話，代表被重定向了，提醒過一陣子重試'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '創建文件夾'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬蟲入口函數'

• #Step0：創建公眾號命名的文件夾

• self.create_dir()

• #Step1：GET請求到搜狗微信引擎，以微信公眾號英文名稱作為查詢關鍵字

• self.log(u'開始獲取，微信公眾號英文名為：%s'%self.kw)

• self.log(u'開始調用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：從搜索結果頁中解析出公眾號主頁鏈接

• self.log(u'獲取sougou_search_html成功，開始抓取公眾號對應的主頁wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'獲取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs獲取js非同步載入渲染後的html

• self.log(u'開始調用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:檢測目標網站是否進行了封鎖

• ifself.need_verify(selenium_html):

• self.log(u'爬蟲被目標網站封鎖，請稍後再試')

• else:

• #Step5:使用PyQuery，從Step3獲取的html中解析出公眾號文章列表的數據

• self.log(u'調用selenium渲染html完成，開始解析公眾號文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章數據封裝成字典的list

• self.log(u'開始整合微信文章數據為字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list轉換為Json

• self.log(u'整合完成，開始轉換為json')

• data_json=json.mps(articles_list)

• #Step8:寫文件

• self.log(u'轉換為json完成，開始保存json數據到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序結束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'輸入要爬取的公眾號')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果公眾號的文章內容包括視視頻，可能會報錯。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

⑥ 如何獲取微信小程序前端源碼

微信小程序都是在本地運行的，所以我們可以在我們的手機內存中找到小程序的源碼文件。

如果你的手機已經root了，那麼可以直接查找/data/data/com.tencent.mm/MicroMsg/.../appbrand/pkg/路徑中有一段...，這里表示不確定具體一個，一般是很長的數字和字母組成的文件 ，可以先將所有的小程序文件夾刪除，然後重新進入你想要的小程序，這樣就可以確定是哪個文件了，當然，如果沒有root可以使用模擬器來拿，建議還是使用模擬器，更方便一些。

拿到了wxpkg文件，但是我們還差一步，需要將這個文件進行反編譯得到內部的各個文件才可以。

wxpkg 是經過微信加密的文件，無法直接通過解壓來獲得，如果開發比較深入的話，可以直接拿到github的star比較多的wxunpkg ，然後安裝運行去解壓，如果不是很擅長的話，可以直接使用已經做好的傻瓜式的桌面軟體，直接進行反編譯處理 。

原理介紹：網頁鏈接

軟體獲取：網頁鏈接

我的建議還是直接去看下github的源碼，了解下反編譯原理，然後nodejs語言不擅長可以拿其他的語言來嘗試處理下，算是學習也可以。