1. python中urlparse有什么用
补充下楼上的，例如我要查max()这个BIF的使用方法，有两个，第一是直接在IDLE输入help(max)，第二是打开Python Docs文档（快捷键：F1），查找max.
查看更多答案>>
2. python urlparse属于哪个类库
import urlparse
3. python对url进行操作需要什么模块
urllib2吧 #python2.7
4. python 中关于用beautifulsoup4库解析网页源代码标签的问题，急求解答
以网络为例
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# -*- coding:utf-8 -*-
import requests
import urlparse
import os
from bs4 import BeautifulSoup
def process(url):
headers = {'content-type': 'application/json',
'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
pageSourse = requests.get(url, headers=headers).text
page_soup = BeautifulSoup(pageSourse)
a_all = page_soup.findAll("a")
link_urls=[i.get('href') for i in a_all]#有些是javascript触发事件，过滤方法自己写下。
img_all = page_soup.findAll("img")
img_urls=[i.get("src") for i in img_all]
print link_urls,img_urls
return (link_urls, img_urls)
process("<a href="https://www..com"" target="_blank">https://www..com"</a>)
5. Python什么爬虫库好用
请求库：
1. requests 这个库是爬虫最常用的一个库
2. Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。
3.ChomeDrive 安装了这个库，才能驱动Chrome浏览器完成相应的操作
4.GeckoDriver 使用W3C WebDriver兼容客户端与基于Gecko的浏览器进行交互的代理。
5.PhantomJS PhantomJS 是一个无界面 、可脚本编程的 WebKit 浏览器引擎，它原生支持多种Web标准：Dom操作，css选择器，json，Canvas以及SVG。
6.aiohttp 之前接收requests库是一个阻塞式HTTP请求库，当我们发送一个请求后。程序会一直等待服务器响应，直到服务器响应后，程序才会最下一步处理。其实，这个过程比较耗时间。如果程序可以在等待的过程中做一些其他的事情，如进行请求的调度，响应的处理等，那么爬虫的效率就会比之前的那种方式有很大的提升。 而aiohttp就是这样一个提供异步web服务的库。使用说这个库用起来还是相当方便的。
解析库：
1.lxml lxml是python的一个解析库，这个库支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受广大程序员的热爱
2.Beautiful Soup Beautiful Soup也是python里一个HTML或XMl的解析库，它可以很方便的懂网页中提取数据，拥有强大的API和多种解析方式。
3.pyquery 同样是一个强大的网页解析工具，它提供了和 jQuery 类似的语法来解析HTML 文梢，
数据库：
1.mysql 数据库
2.MongoDB Mo goDB 是由 ＋＋语言编写的非关系型数据库， 是一个基于分布式文件存储的开源数据库系统内容存储形式类似 JSON 对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活
3.Redis 是一个基于 存的高效的非关系型数据库，
存储库：
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump
web库：
1.Flask 是一个轻量级的Web服务程序，它简单，易用，灵活
2.Tornado 是一个支持异步的Web框架，通过使用非阻塞I/O流，可以支持成千上万的开放式连接。
6. python3.4中urllib 有没有urlencode函数
有，python 3.x中urllib和urilib2合并成了urllib。
其中urllib2.urlopen()变成了urllib.request.urlopen()
urllib2.Request()变成了urllib.request.Request()