1. python中urlparse有什麼用
補充下樓上的,例如我要查max()這個BIF的使用方法,有兩個,第一是直接在IDLE輸入help(max),第二是打開Python Docs文檔(快捷鍵:F1),查找max.
查看更多答案>>
2. python urlparse屬於哪個類庫
import urlparse
3. python對url進行操作需要什麼模塊
urllib2吧 #python2.7
4. python 中關於用beautifulsoup4庫解析網頁源代碼標簽的問題,急求解答
以網路為例
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# -*- coding:utf-8 -*-
import requests
import urlparse
import os
from bs4 import BeautifulSoup
def process(url):
headers = {'content-type': 'application/json',
'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
pageSourse = requests.get(url, headers=headers).text
page_soup = BeautifulSoup(pageSourse)
a_all = page_soup.findAll("a")
link_urls=[i.get('href') for i in a_all]#有些是javascript觸發事件,過濾方法自己寫下。
img_all = page_soup.findAll("img")
img_urls=[i.get("src") for i in img_all]
print link_urls,img_urls
return (link_urls, img_urls)
process("<a href="https://www..com"" target="_blank">https://www..com"</a>)
5. Python什麼爬蟲庫好用
請求庫:
1. requests 這個庫是爬蟲最常用的一個庫
2. Selenium Selenium 是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作 對於一些用JS做誼染的頁面來說,這種抓取方式是非常有效的。
3.ChomeDrive 安裝了這個庫,才能驅動Chrome瀏覽器完成相應的操作
4.GeckoDriver 使用W3C WebDriver兼容客戶端與基於Gecko的瀏覽器進行交互的代理。
5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎,它原生支持多種Web標准:Dom操作,css選擇器,json,Canvas以及SVG。
6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫,當我們發送一個請求後。程序會一直等待伺服器響應,直到伺服器響應後,程序才會最下一步處理。其實,這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情,如進行請求的調度,響應的處理等,那麼爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供非同步web服務的庫。使用說這個庫用起來還是相當方便的。
解析庫:
1.lxml lxml是python的一個解析庫,這個庫支持HTML和xml的解析,支持XPath的解析方式,而且效率也是非常高的,深受廣大程序員的熱愛
2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫,它可以很方便的懂網頁中提取數據,擁有強大的API和多種解析方式。
3.pyquery 同樣是一個強大的網頁解析工具,它提供了和 jQuery 類似的語法來解析HTML 文梢,
資料庫:
1.mysql 資料庫
2.MongoDB Mo goDB 是由 ++語言編寫的非關系型資料庫, 是一個基於分布式文件存儲的開源資料庫系統內容存儲形式類似 JSON 對象,它的欄位值可以包含其他文檔、數組及文檔數組,非常靈活
3.Redis 是一個基於 存的高效的非關系型資料庫,
存儲庫:
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump
web庫:
1.Flask 是一個輕量級的Web服務程序,它簡單,易用,靈活
2.Tornado 是一個支持非同步的Web框架,通過使用非阻塞I/O流,可以支持成千上萬的開放式連接。
6. python3.4中urllib 有沒有urlencode函數
有,python 3.x中urllib和urilib2合並成了urllib。
其中urllib2.urlopen()變成了urllib.request.urlopen()
urllib2.Request()變成了urllib.request.Request()