導航:首頁 > 源碼編譯 > python簡單源碼分享網站

python簡單源碼分享網站

發布時間:2022-05-27 08:27:11

python,求一個簡單的selenium+re的網頁源碼爬取

網頁爬取不一定要用Selenium,Selenium是為了注入瀏覽器獲取點擊行為的調試工具,如果網頁無需人工交互就可以抓取,不建議你使用selenium。要使用它,你需要安裝一個工具軟體,使用Chrome瀏覽器需要下載chromedriver.exe到system32下,如使用firefox則要下載geckodriver.exe到system32下。下面以chromedriver驅動chrome為例:

#-*-coding:UTF-8-*-
fromseleniumimportwebdriver
frombs4importBeautifulSoup
importre
importtime

if__name__=='__main__':

options=webdriver.ChromeOptions()
options.add_argument('user-agent="Mozilla/5.0(Linux;Android4.0.4;GalaxyNexusBuild/IMM76B)AppleWebKit/535.19(KHTML,likeGecko)Chrome/18.0.1025.133MobileSafari/535.19"')
driver=webdriver.Chrome()
driver.get('url')#你要抓取網路文庫的URL,隨便找個幾十頁的替換掉

html=driver.page_source
bf1=BeautifulSoup(html,'lxml')
result=bf1.find_all(class_='rtcspage')
bf2=BeautifulSoup(str(result[0]),'lxml')
title=bf2.div.div.h1.string
pagenum=bf2.find_all(class_='size')
pagenum=BeautifulSoup(str(pagenum),'lxml').span.string
pagepattern=re.compile('頁數:(d+)頁')
num=int(pagepattern.findall(pagenum)[0])
print('文章標題:%s'%title)
print('文章頁數:%d'%num)


whileTrue:
num=num/5.0
html=driver.page_source
bf1=BeautifulSoup(html,'lxml')
result=bf1.find_all(class_='rtcspage')
foreach_resultinresult:
bf2=BeautifulSoup(str(each_result),'lxml')
texts=bf2.find_all('p')
foreach_textintexts:
main_body=BeautifulSoup(str(each_text),'lxml')
foreachinmain_body.find_all(True):
ifeach.name=='span':
print(each.string.replace('xa0',''),end='')
elifeach.name=='br':
print('')
print(' ')
ifnum>1:
page=driver.find_elements_by_xpath("//div[@class='page']")
driver.execute_script('arguments[0].scrollIntoView();',page[-1])#拖動到可見的元素去
nextpage=driver.find_element_by_xpath("//a[@data-fun='next']")
nextpage.click()
time.sleep(3)
else:
break

執行代碼,chromedriver自動為你打開chrome瀏覽器,此時你翻頁到最後,點擊閱讀更多,然後等一段時間後關閉瀏覽器,代碼繼續執行。

❷ 尋找一個python的交流論壇,最好論壇里有PYTHON實際源代碼的 像CSDN這種論壇據免了

python論壇:http://www.okpython.com/
http://www.pythonid.com/
http://www.itlong.com/
python資源站:http://www.python8.org

推薦:
javaEye上的python論壇 http://www.javaeye.com/forums/board/Python
Python 中文社區 (需輕功)http://python.cn/
啄木鳥社區 (有很多python英文書籍的翻譯項目)http://wiki.woodpecker.org.cn/moin/
中文Zope/Plone用戶組: http://czug.org/

❸ 初學Python,有哪些 Pythonic 的源碼推薦閱讀

如果一定要推薦一些 python 的源碼去讀,我的建議是標准庫里關於網路的代碼。從 SocketServer 開始,補上 socket
模塊的知識,熟悉 TCP/UDP 編程,然後了解 Mixin 機制的最佳示例
SocketServer.{ForkingMixIn|ThreadingMixIn},借這個機會了解 thread/threading
模塊,這時會對並發量提出新的要求,就可以讀 select 模塊,開始對 select/{epoll|kqueue}
有深刻理解,搞懂以後就可以接觸一下非同步框架 asyncore 和 asynchat。這時開始出現分岔。如果是做 game 等以 TCP/UDP
協議為基礎的應用,可以去讀 greenlet 和 gevent,如果是做 web,則走下一條路。

做 web,讀
BaseHTTPServer、SimpleHTTPServer 和 CGIHTTPServer,讀
cgi/cgitb,自己隨意寫框架,讀cookielib,讀 wsgiref,這時候自己寫一個簡便的 web framework 就 so
easy 了,老闆再也不擔心你寫 web 了,選擇 flask/web.py/django/pyramid 都心中有數了。因為走的是 web
的路,所以難免要調用一下別人的 api,搞懂一下 httplib/urllib/urllib/urlparse。

❹ 希望介紹個學Python的好網站或者下載資源,或者書本。採納後追加~!謝謝分享

網路雲課堂
http://study.163.com/,裡面有很多不光是python的學習。

比如你找到這個地址中就有python的模塊。
http://study.163.com/find.htm#/find/courselist?ct=31001&ct2=31013

❺ 有哪些python代碼分享的網站

一個github就夠了,都是開源項目

❻ python windows系統 源代碼

一、python如何運行程序

首先說一下python解釋器,它是一種讓其他程序運行起來的程序。當你編寫了一段python程序,python解釋器將讀取程序,並按照其中的命令執行,得出結果,實際上,解釋器是代碼與機器的計算機硬體之間的軟體邏輯層。

通俗來說,我們的計算機是基於二進制進行運算的,無論你用什麼語言來寫程序,無論你的程序寫的多麼簡單或多麼復雜,最終交給計算機運行的一定是0或1,因為計算機只能識別0和1。

我們目前使用的大多數編程語言都是高級程序語言,也就是利於我們人類閱讀的語言,要使我們編寫的程序能夠在計算機上跑起來,要經過一定的轉換才可以,python程序大致的過程應該是這樣:

源代碼-->位元組碼-->pvm(虛擬機)-->機器碼

可以到Python的官方網站下載python(http://www.python.org),通常包括解釋器、庫文件及簡單的編碼環境(IDLE)。把源代碼編譯成位元組碼其實是為了程序更節省時間,如果源代碼沒有變動,那麼運行程序時會直接從位元組碼讀取,加快速度,把位元組碼放到虛擬機去解釋,可以更好的跨平台運行,最後轉換成機器碼。

二、Windows系統下搭建python編程環境。

1、進入Python官網http://www.python.org,在「Downloads」下拉菜單中選擇相應的操作系統,我們選擇windows。

最後選擇菜單中的Run下的run mole即可運行,快捷鍵為F5。

❼ 哪裡可以下載到python比較好的源代碼.不是書

到網上找幾個源代碼下載網站,上面會有幾個,但因為Python在國內還不怎麼流行起來,所以多找幾個源碼網就可以了。

❽ 找一個可以存放源代碼的站點(python語言編寫)

類似PUDN的網站?

❾ 從哪能找到python示常式序或源碼

哥,要下載源碼也是去官網下載啊,點下面那個就行了
https://www.python.org/ftp/python/3.4.3/python-3.4.3.tar.xz

❿ 《python編程初學者指南》書本中的涉及的源碼哪裡可以下載

感謝樓上夥伴的無私分享~

雖然已經是5年前的提問了,不過我還是想在這里補充回答一下,雖然書中指定的網址已經發生了變化,但依然有效,輸入原網址後會跳轉到新的網址。因為網站中包含很多書籍的信息和配套資源,所以需要我們根據書籍的作者或書名或ISBN手動搜索到這本書,

上面頁面對應的網址是:

網頁鏈接

不過資源下載起來很慢……建議直接使用樓上的分享~

閱讀全文

與python簡單源碼分享網站相關的資料

熱點內容
java解析網頁 瀏覽:836
2020廣西藝術分演算法 瀏覽:101
手機解壓文件大不能解壓 瀏覽:99
android獲取當前系統時間 瀏覽:324
蘋果電腦安卓版怎麼還原 瀏覽:612
javaftpjar 瀏覽:324
phpmysql自增id 瀏覽:920
仿抖音系統源碼建站 瀏覽:746
雲伺服器搭建sqlserver2008 瀏覽:950
如何查看伺服器安全組 瀏覽:429
雲伺服器會保存app記錄嗎 瀏覽:716
程序員身份證年齡 瀏覽:943
appstore如何注冊一個美國帳號 瀏覽:321
春筍公式源碼 瀏覽:497
蔚來app如何反饋 瀏覽:51
基礎生態學pdf 瀏覽:957
cp2012單片機 瀏覽:990
張曉謙程序員 瀏覽:115
取消應用加密忘記密碼 瀏覽:998
心熵pdf 瀏覽:809