python爬取圖片404

1. python如何爬取百度圖片

幾乎所有的網站都會有反爬機制，這就需要在爬取網頁時攜帶一些特殊參數，比如：user-agent、Cookie等等，可以在寫代碼的時候用工具將所有參數都帶上。

2. centos7安裝python3.9顯示404怎麼辦

如果在 CentOS 7 上安裝清告掘 Python 3.9 時出現 404 錯誤，可能是由於缺少 yum 存儲庫導致的。您可以嘗試以下方法：

• 首先，確保已啟用 EPEL 存儲庫。EPEL 存儲庫包含許多擴展軟體包友飢，而不僅僅是 CentOS 自帶的。

  sqlCopy codesudo yum install epel-release
  

• 接下來，添答核加 IUS 存儲庫。IUS 存儲庫提供了 Python 3.9 的 RPM 軟體包。

  bashCopy codesudo rpm -Uvh https://rhel7.iuscommunity.org/ius-release.rpm
  

• 現在，更新 yum 緩存並安裝 Python 3.9。

  Copy codesudo yum makecache
  sudo yum install python39
  

  如果您需要開發 Python 應用程序，請安裝 python39-devel 和 python39-pip 軟體包。

  Copy codesudo yum install python39-devel python39-pip
  

以上步驟中的命令將添加所需的存儲庫並安裝 Python 3.9。如果您仍然遇到問題，請確保網路連接正常，並嘗試使用其他源或手動下載 RPM 文件。

3. Python爬蟲爬取圖片這個報錯怎麼處理

你好！你的錯誤原因在於html頁面獲取到的img標簽src屬性中的鏈接，可能是因為src中的url格式是這樣的：

<imgsrc="//hao123.com/xxx/xxx/xxx/"></img>

這樣獲取到的鏈接都沒有帶上協議：http或者https。而導致程序拋出ValueError的錯誤異常。

因為正常的url格式應該類似這樣的：https://www..com/

即 協議://用戶名:密碼@子域名.域名.頂級域名:埠號/目錄/文件名.文件後綴?參數=值#標志

參考網頁鏈接

可將代碼中第一個for循環中download_links.append修改為：

forpic_taginsoup.find_all('img'):
pic_link=pic_tag.get('src')
download_links.append('http:'+pic_link)

4. 新手，用python寫的爬蟲，為什麼出現404

可能是你的header寫的太簡單了，我剛剛也是一直404，因為一開始我的header里只有User-Agent，再加上Accept,Accept-Encoding,Content-Type,Host,Origin,Proxy-Connection,Referer,Upgrade-Insecure-Requests就行了，這些都可以從chrome的開發者工具里直接看，或者用fiddler等工具看。

5. 使用python爬取網頁，獲取不到圖片地址

這個大圖片是在點擊之後用 JS 控制載入的。

你可以看看 js/js.js 這個文件，253 行：

functionchangeImg(){
		jQuery("#bitImg").attr('src','p/p'+pictID+'/'+indexNum+'.'+jpgPng);	
	}

其實大圖的規律很好找， 下面縮略圖列表的 src 可以用 #variContent > li > img 取到，可以在源碼中的 107 行找到：

view-source:http://pictogram2.com/?p=2315

縮略圖列表地址長這樣：

/p/p0997/tn/1.jpg

/p/p0997/tn/2.jpg

/p/p0997/tn/3.jpg

...

如果要獲取大圖，只要去掉「tn」這一段就可以：

/p/p0997/1.jpg

/p/p0997/2.jpg

/p/p0997/3.jpg

...

然後拼接域名在前面，GET 下來就是大圖，比如第一個大圖鏈接：

第一個大圖地址

不過，你如果僅僅只是想要抓那個站的全部素材，窮舉「p0997」這一段的序號（比如改成「p0098」，這個應該是圖集的 ID），並且遍歷最後一段的圖片序號，擴展名可能是 jpg 也可能是 png，從 1 開始（「1.jpg」，「2.jpg」...）直到返回 404 停止。

思路大概是這么個思路，不過話說回來，你這么爬人家素材真的道德嗎？