Ⅰ python爬虫怎么获取到的网站的所有url
首先我们可以先获取要下载图片的整个页面信息。
getjpg.py
#coding=utf-8
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
print html
Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:
urllib.urlopen()方法用于打开一个URL地址。
read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下载下来。执行程序就会把整个网页打印输出。
Ⅱ 如何通过python获取到网站的所有url
可以通过正则表达式匹配出来的，网址的正则表达式：([\w-]+\.)+[\w-]+.([^a-z])(/[\w-: ./?%&=]*)?|[a-zA-Z\-\.][\w-]+.([^a-z])(/[\w-: ./?%&=]*)?
Ⅲ python 爬虫怎么获取网址
初始地址是要你自己给的。
后续的地址可以通过解析网页内容（比如 pyquery），通过属性名提取，比如 pq（item）.attr("src")
Ⅳ Python怎样抓取当前页面HTML内容
当然这样子也是可以的，不过通用点的方法是用beautifulsoup库去定位id=phoneCodestatus
Ⅳ python 能获取当前浏览器内的网址吗
如果要多浏览器的话，就是用win32com调用windows api , 自己针对每个浏览器去写，
比如: 首先枚举所有窗口，在里面按浏览器标识找到这个窗口的handler，然后取找里面的 地址栏控件的handler，然后通过windows 消息取得他的内容
Ⅵ python 如何获取url信息
importweb
defmake_text(string):
returnstring
urls=('/','tutorial')
render=web.template.render('templates/')
app=web.application(urls,globals())
my_form=web.form.Form(
web.form.Textbox('',class_='textfield',id='textfield'),
)
classtutorial:
defGET(self):
form=my_form()
returnrender.tutorial(form,"Yourtextgoeshere.")
defPOST(self):
form=my_form()
form.validates()
s=form.value['textfield']
returnmake_text(s)
if__name__=='__main__':
app.run()
Ⅶ python如何提取网页信息
requests库+ 正则表达式/dom库/xpath库等
Ⅷ python scrapy 如何获取当前页面url
你好，在response中有url的信息，你可用下面的代码：
def parse(self, response):
print "URL: " + response.request.url
Ⅸ 如何用Python获取浏览器中输入的网址
请表述清楚意思，是要在网页里面输入python代码 ，然后可以看到执行结果，还是要如何 如果想实现网页里面输入python代码 ，然后可以看到执行结果，可以参看http://c.runoob.com/compile/6 这个网页 直接在网页输入运行代码
Ⅹ python怎么获取动态网页链接
四中方法：
'''
得到当前页面所有连接
'''
import requests
import re
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
url = 'http://www.ok226.com'
r = requests.get(url)
r.encoding = 'gb2312'
# 利用 re
matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)
for link in matchs:
print(link)
print()
# 利用 BeautifulSoup4 （DOM树）
soup = BeautifulSoup(r.text,'lxml')
for a in soup.find_all('a'):
link = a['href']
print(link)
print()
# 利用 lxml.etree （XPath）
tree = etree.HTML(r.text)
for link in tree.xpath("//@href"):
print(link)
print()
# 利用selenium（要开浏览器！）
driver = webdriver.Firefox()
driver.get(url)
for link in driver.find_elements_by_tag_name("a"):
print(link.get_attribute("href"))
driver.close()