導航:首頁 > 編程語言 > pythonurldownload

pythonurldownload

發布時間:2022-03-31 20:25:34

❶ 為什麼用pip install會出現Could not find a version that satisfies the requirement ×××

關掉代理就好了。我的是這樣

python 2.7 urlopen 函數,如何提高下載速度.

可以使用多進程或多線程並發下載。其實你的方法已經是多進程的一種了。


python中有多進程模塊multiprocessing和多線程multithreading。


思路是這樣,將需要下載的連接送入隊列,然後各個進程(或線程)從隊列里拿任務然後下載。前面的兩個類庫都提供進程、線程安全的隊列。


樓下給了個多線程的示例,這里我給一個稍微復雜點的進程的示例。其實線程和進程庫的介面基本是一致的。

#!/usr/bin/envpython
#encoding=utf-8
#test.py

,Process
fromQueueimportEmpty
importurllib
importtime

urls=[line.strip()forlineinopen('urls.txt')]
queue=Queue(1024)

forurlinurls:
queue.put(url)

defdownload():
whileTrue:
try:
url=queue.get()
f=urllib.urlopen(url)
r=f.read()
#這里保存你下載的文件
exceptEmpty:
time.sleep(5)
exceptException,e:
print'downloaderror:%s'%e

foriinrange(10):
p=Process(target=download)
p.start()
p.join()


使用方法:編輯一個文件urls.txt,每行一個url。然後:

nohup./test.py&


結束進程則需要找到它的進程號,然後kill -9


望採納,謝謝支持!

閱讀全文

與pythonurldownload相關的資料

熱點內容
縣委書記可以給人武部下達命令嗎 瀏覽:723
阿里雲ecs伺服器無法連接公網ip 瀏覽:637
什麼安卓電影軟體最好看又免費 瀏覽:926
q瀏覽器解壓文件在哪裡 瀏覽:319
程序員摘錄 瀏覽:414
秘密花園解壓原理 瀏覽:951
編譯鏈接框架 瀏覽:340
python多行圖形注釋 瀏覽:632
亳州前端程序員私活工作平台 瀏覽:839
回轉式壓縮機工作原理 瀏覽:811
wow最新的伺服器地址 瀏覽:193
sonyprivate文件夾 瀏覽:707
最大功率跟蹤演算法 瀏覽:343
八路軍命令 瀏覽:276
安卓手機如何安裝BT種子 瀏覽:794
linux重啟網卡命令行 瀏覽:930
ug數控編程是什麼 瀏覽:500
文件夾備注標簽在哪裡 瀏覽:611
10匹的壓縮機功率是多少 瀏覽:576
製作app和網站哪個更簡單 瀏覽:726