python爬取颤音app

① python 怎么爬取app端数据

可以，但是不提倡这种行为 1，在手机上设置代理，代理到你的电脑上 2，再在电脑上用tcpmp或者其他图形化的抓包工具获得数据包，分析这些数据包找到你要的数据 3，根据前两步的结果，写代码模拟app的操作获得你需要的数据

② 如何用30行代码爬取Google Play 100万个App的数据

基础工作:
内置元素选择器
序列化和存储数据
处理cookie、HTTP头这些东西的中间件
爬取 Sitemap 或者 RSS

等等

我的需求是爬取 Google Play 市场上的所有 App 的页面链接以及下载数量。

首先确保配置好 Python 2.7, MongoDB 数据库, 以及 Python 的 pip 包管理系统。

然后安装对应的 Python 包并且生成项目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google

然后把 app/spider/google.py 换成下面的内容：
`# -*- coding: utf-8 -*-
import scrapy

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem

class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
'',
''
]
rules = [
Rule(LinkExtractor(allow=("\.google\.com/store/apps/details", )), callback='parse_app',follow=True),
] # CrawlSpider 会根据 rules 规则爬取页面并调用函数进行处理

def parse_app(self, response):
# 在这里只获取页面的 URL 以及下载数量
item = GoogleItem()
item['url'] = response.url
item['num'] = response.xpath("//div[@itemprop='numDownloads']").xpath("text()").extract()
yield item

在 app/items 里添加下面的代码：
class GoogleItem(scrapy.Item):
url = scrapy.Field()
num = scrapy.Field()

在 app/setting.py 里面添加下面的代码
# 这里是配置 scrapy-mongodb 到数据库的连接，用于自动把爬取后的数据存入到 MongoDB
ITEM_PIPELINES = [
'scrapy_mongodb.MongoDBPipeline',
]

MONGODB_URI = 'mongodb://127.0.0.1:27017'
MONGODB_DATABASE = 'scrapy'
MONGODB_COLLECTION = 'play'

然后，没有其他工作了。。连配置文件一共不到四十行。之后开启 MongoDB，在项目目录下运行
scrapy crawl google -s JOBDIR=app/jobs

然后就静静等它跑完吧。-s JOBDIR=app/jobs 参数的意思是把工作状态和已经爬取过的页面数据存到 app/jobs 目录下，即使中间中断了，也可以运行上面的命令从该目录恢复工作，而不用重新开始。

在我的 Linode 最低配的 VPS 上，它跑了大概 40 个小时，最后在 MongoDB 下的数据是有 156 万条记录。2015 年 1 月的新闻是 Google Play 上有 143 万款 App, 相信已经爬取了绝大多数 App 页面了。
`> use scrapy
switched to db scrapy
> db.play.count()
1564754
> db.play.find().limit(1)
"_id" : ObjectId("55479d9da28a7c1cca449c23"), "url" : "", "num" : [ " 100,000,000 - 500,000,000 " ]()
>

③ 谁说Python不克不及爬取APP上面的数据

function nTabs(thisObj,Num){
if(thisObj.className == "active")return;
var tabObj = thisObj.parentNode.id;
var tabList = document.getElementById(tabObj).getElementsByTagName("li");
for(i=0; i <tabList.length; i++)
{

④ 用Python爬取大众点评时被反爬ip被封怎么办，他总叫我滑动验证但滑动了也没有用。。。求大佬帮忙。。。

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。

3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬取数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。

⑤ 谁说Python不能爬取APP上面的数据

抓包吗？？？？？？？？？？？？？？？？？

⑥ 哪位大侠用python做过网络爬虫，可以爬取apk的，有代码的发一份给我研究下，谢谢

保存文件的话

import urllib

urllib.urlretrieve(url[,filename[,reporthook[,data]]])

比如 urllib..urlretrieve("http://s.xnimg.cn/imgpro/v6/logo.png", "logo.png")

先说明一下网页重定向。比如在一个download.aspx里

<%
response.rederict("xxx.apk")
%>

这句话是在服务器端运行的，我现在一下子想不到办法

⑦ 如何进行手机APP的数据爬取

Python爬虫手机的步骤：

1. 下载fiddler抓包工具

2. 设置fiddler

这里有两点需要说明一下。

设置允许抓取HTTPS信息包

操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。

设置允许外部设备发送HTTP/HTTPS到fiddler

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。

好了，需要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。

可以使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。

好了，下面我们开始手机端的设置。

手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。

进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。

进入后，填写上面记住的ip地址和端口号，确定保存。

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。

以上就简单完成了所有的操作，最后我们测试一下是否好用。

5. 手机端测试

就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。

结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。

⑧ python爬虫这样子为什么一直爬的是相同的东西，应该怎么爬取其他td标签下的内容

importrequests
frombs4importBeautifulSoup
importre

headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/49.0.2623.221Safari/537.36SE2.XMetaSr1.0'}
ALL=[]
defget_url(s):
	url='https://hr.tencent.com/position.php?keywirds=测试&tid=0&start=%s#a'%s
	req=requests.get(url,headers=headers,timeout=3)
	res=req.content
	soup=BeautifulSoup(res,'lxml')
	s=soup.select('table.tablelisttr')
	Text=s[1:-1]
	foriinText:
		job={'职位名称':None,
		'职位类别':None,
		'人数':None,
		'地点':None,
		'发布时间':None}
		L=i.text.strip('').split('')
		job['职位名称']=L[0]
		job['职位类别']=L[1]
		job['人数']=L[2]
		job['地点']=L[3]
		job['发布时间']=L[4]
		ALL.append(job)
foriinrange(0,101,10):
	get_url(i)
print(ALL)

你的问题应该是字段key的问题，key是唯一的。多个结果的话会覆盖，加个list来表达就可以规避这个问题

⑨ python爬虫必知必会的几个工具包

爬虫是学习python有趣途径，同样有强大的框架
python自带的urllib其实使用起来有点麻烦，推荐你使用requests库，这是一个非常强大，使用方便的库，而且有全面的中文文档，网上爬数据爬图片都不在话下。
还有更高级的库-scrapy库。
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy 使用了 Twisted异步网络库来处理网络通讯。爬取网站数据，当然少不了正则模块re，还有beautiful soup模块
re模块具有强大的处理字符串的能力，但是使用起来并不简单，因为当你觉得可以使用正则表达式的时候，这本身就是一个问题，因为写出一个正则表达式就是一个大问题。不过不用怕，在处理网站结构的数据时，有更强大的库-beautiful soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，拥有完善的中文文档，提供了种类繁多的属性和方法供你选择，让你解析网站数据更加的得心应手！
web后端框架django，flask
python在web开发方面也是多面手，既有大而全的框架django，又有小而精的框架flask。
虽说在web开发方面有许多框架，但是最常用的还是这两种，如果你想做中方面的工作，学好这两个框架就够用了，而且，目前的python后端开发的招聘需求多半是要求会这两个框架。

⑩ python3 用BeautifulSoup 爬取指定ul下的a标签

用select('ul的css路径').find_all(...)

css路径直接用浏览器开发视图，从ul复制就好，当然也可以把前面多余的部分删掉