① python 如何查找文本中的所有http链接
results=re.findall("(?isu)(http\://[a-zA-Z0-9\.\?/&\=\:]+)")
open("urls.txt","wb").write("\r\n".joint(results))
这样可以。不过如果URL里中汉字就没有办法了。 主要的好处是适用性强。基本上所有的文本格式文档都支持。
② python怎么获取百度搜索页面的链接
目前可以获取到页面加密后的URL（但是针对相同的一个网址每次获取的加密后URL都不同，可以理解），但是第3步获取到的页面，不是httpfox中的那个页面，而是很复杂的页面（应该是跳转之后到页面）。
尝试了requests.get()中设定参数allow_redirects=False，但是获取的回复也不是httpfox的那个content。
③ 如何在python创建两个用来保存某一个网页的所有链接 一个用来保存所有已经已经浏览过的链接。 一
#2个列表存储，a存未浏览的，b存已浏览的：
a=[url1, url2, url3]
b=[]
#如果，浏览一个网址就像这样操作一下：
b.append(a.pop(0))
④ 如何用python的selenium提取页面所有资源加载的链接
用浏览器打开你那个连接（完整加载），通过 查看源 找到你要的数据(记住标记，比如某个元素)，selenium+python获取到页面代码再去判断查找你的标记就知道是否加载完了。
⑤ python怎么获取动态网页链接
四中方法：
'''
得到当前页面所有连接
'''
import requests
import re
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
url = 'http://www.ok226.com'
r = requests.get(url)
r.encoding = 'gb2312'
# 利用 re
matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)
for link in matchs:
print(link)
print()
# 利用 BeautifulSoup4 （DOM树）
soup = BeautifulSoup(r.text,'lxml')
for a in soup.find_all('a'):
link = a['href']
print(link)
print()
# 利用 lxml.etree （XPath）
tree = etree.HTML(r.text)
for link in tree.xpath("//@href"):
print(link)
print()
# 利用selenium（要开浏览器！）
driver = webdriver.Firefox()
driver.get(url)
for link in driver.find_elements_by_tag_name("a"):
print(link.get_attribute("href"))
driver.close()
⑥ python爬虫，抓取一个页面中所有链接内的文字和图片并保存在本地怎么
并不是所有的网站结构都是一样的，你说的功能大体可以用Python实现，但并没有写好的通用代码，还需要根据不同的网页去做调试。
⑦ python怎么在爬出的html里的所有链接前加上一串字符串想创一个新的网页，要打开里面原本的相
正则替换 。
⑧ Python提取网页链接和标题
提取所有链接应该用循环：
urls = driver.find_elements_by_xpath("//a")
for url in urls:
print(url.get_attribute("href"))如果get_attribute方法报错应该是没有找到a标签对象，如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间；另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。
⑨ python 怎样爬取网页所有链接
给你贴一下我前一段时间回答的类似问题，用的soup，还有一个用的正则就不贴了，手机不太方便，如下。
import beautifulsoup
import urllib2
def main():
userMainUrl = "你要抓取的地址"
req = urllib2.Request(userMainUrl)
resp = urllib2.urlopen(req)
respHtml = resp.read()
foundLabel = respHtml.findAll("label")
finalL =foundLabel.string
print "biaoti=",finalL
if __name__=="__main__":
main();
PS：如果不会改的话追问一下，回头我用电脑给你写一份
⑩ 用python selenium提取网页中的所有<a>标签中的超级链接地址
提取所有链接应该用循环：
urls=driver.find_elements_by_xpath("//a")
forurlinurls:
print(url.get_attribute("href"))如果get_attribute方法报错应该是没有找到a标签对象，如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间；另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。