python中crawl命令

Ⅰ 在pycharm中编写python爬虫怎么解决scrapy没有crawl命令问题

答案很简单，四步：
新建项目 (Project)：新建一个新的爬虫项目
明确目标（Items）：明确你想要抓取的目标
制作爬虫（Spider）：制作爬虫开始爬取网页
存储内容（Pipeline）：设计管道存储爬取内容

Ⅱ 如何用Python写一个分布式爬虫

本文将会以PC端微博进行讲解，因为移动端微博数据不如PC短全面，而且抓取和解析难度都会小一些。文章比较长，由于篇幅所限，文章并没有列出所有代码，只是讲了大致流程和思路。

要抓微博数据，第一步便是模拟登陆，因为很多信息（比如用户信息，用户主页微博数据翻页等各种翻页）都需要在登录状态下才能查看。关于模拟登陆进阶，我写过两篇文章，一篇是模拟登陆微博的，是从小白的角度写的。另外一篇是模拟登陆网络云的，是从有一定经验的熟手的角度写的。读了这两篇文章，并且根据我写的过程自己动手实现过的同学，应该对于模拟登陆PC端微博是没有太大难度的。那两篇文章没有讲如何处理验证码，这里我简单说一下，做爬虫的同学不要老想着用什么机器学习的方法去识别复杂验证码，真的难度非常大，这应该也不是一个爬虫工程师的工作重点，当然这只是我的个人建议。工程化的项目，我还是建议大家通过打码平台来解决验证码的问题。我在分布式微博爬虫中就是直接调用打码平台的接口来做的大规模微博账号的模拟登陆，效果还不错，而且打码成本很低。

说完模拟登陆（具体请参见我写的那两篇文章，篇幅所限，我就不过来了），我们现在正式进入微博的数据抓取。这里我会以微博用户信息抓取为例来进行分析和讲解。

关于用户信息抓取，可能我们有两个目的。一个是我们只想抓一些指定用户，另外一个是我们想尽可能多的抓取更多数量的用户的信息。我的目的假定是第二种。那么我们该以什么样的策略来抓取，才能获得尽可能多的用户信息呢？如果我们初始用户选择有误，选了一些不活跃的用户，很可能会形成一个环，这样就抓不了太多的数据。这里有一个很简单的思路：我们把一些大V拿来做为种子用户，我们先抓他们的个人信息，然后再抓大V所关注的用户和粉丝，大V关注的用户肯定也是类似大V的用户，这样的话，就不容易形成环了。

策略我们都清楚了。就该是分析和编码了。

我们先来分析如何构造用户信息的URL。这里我以微博名为一起神吐槽的博主为例进行分析。做爬虫的话，一个很重要的意识就是爬虫能抓的数据都是人能看到的数据，反过来，人能在浏览器上看到的数据，爬虫几乎都能抓。这里用的是几乎，因为有的数据抓取难度特别。我们首先需要以正常人的流程看看怎么获取到用户的信息。我们先进入该博主的主页，如下图

根据唯一性判断

我们在页面源码中搜索，只发现一个script中有该字符串，那么就是那段script是页面相关信息。我们可以通过正则表达式把该script提取出来，然后把其中的html也提取出来，再保存到本地，看看信息是否全面。这里我就不截图了。感觉还有很多要写的，不然篇幅太长了。

另外，对于具体页面的解析，我也不做太多的介绍了。太细的东西还是建议读读源码。我只讲一下，我觉得的一种处理异常的比较优雅的方式。微博爬虫的话，主要是页面样式太多，如果你打算包含所有不同的用户的模版，那么我觉得几乎不可能，不同用户模版，用到的解析规则就不一样。那么出现解析异常如何处理？尤其是你没有catch到的异常。很可能因为这个问题，程序就崩掉。其实对于Python这门语言来说，我们可以通过装饰器来捕捉我们没有考虑到的异常，比如我这个装饰器

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

def parse_decorator(return_type):

"""

:param return_type: 用于捕捉页面解析的异常, 0表示返回数字0, 1表示返回空字符串, 2表示返回[],3表示返回False, 4表示返回{}, 5返回None

:return: 0,'',[],False,{},None

"""

def page_parse(func):

@wraps(func)

def handle_error(*keys):

try:

return func(*keys)

except Exception as e:

parser.error(e)

if return_type == 5:

return None

elif return_type == 4:

return {}

elif return_type == 3:

return False

elif return_type == 2:

return []

elif return_type == 1:

return ''

else:

return 0

return handle_error

return page_parse

上面的代码就是处理解析页面发生异常的情况，我们只能在数据的准确性、全面性和程序的健壮性之间做一些取舍。用装饰器的话，程序中不用写太多的try语句，代码重复率也会减少很多。

页面的解析由于篇幅所限，我就讲到这里了。没有涉及太具体的解析，其中一个还有一个比较难的点，就是数据的全面性，读者可以去多观察几个微博用户的个人信息，就会发现有的个人信息，有的用户有填写，有的并没有。解析的时候要考虑完的话，建议从自己的微博的个人信息入手，看到底有哪些可以填。这样可以保证几乎不会漏掉一些重要的信息。

最后，我再切合本文的标题，讲如何搭建一个分布式的微博爬虫。开发过程中，我们可以先就做单机单线程的爬虫，然后再改成使用celery的方式。这里这样做是为了方便开发和测试，因为你单机搭起来并且跑得通了，那么分布式的话，就很容易改了，因为celery的API使用本来就很简洁。

我们抓取的是用户信息和他的关注和粉丝uid。用户信息的话，我们一个请求大概能抓取一个用户的信息，而粉丝和关注我们一个请求可以抓取18个左右（因为这个抓的是列表），显然可以发现用户信息应该多占一些请求的资源。这时候就该介绍理论篇没有介绍的关于celery的一个高级特性了，它叫做任务路由。直白点说，它可以规定哪个分布式节点能做哪些任务，不能做哪些任务。它的存在可以让资源分配更加合理，分布式微博爬虫项目初期，就没有使用任务路由，然后抓了十多万条关注和分析，结果发现用户信息抓几万条，这就是资源分配得不合理。那么如何进行任务路由呢？

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

# coding:utf-8

import os

from datetime import timedelta

from celery import Celery

from kombu import Exchange, Queue

from config.conf import get_broker_or_backend

from celery import platforms

# 允许celery以root身份启动

platforms.C_FORCE_ROOT = True

worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log')

beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log')

tasks = ['tasks.login', 'tasks.user']

# include的作用就是注册服务化函数

app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2))

app.conf.update(

CELERY_TIMEZONE='Asia/Shanghai',

CELERY_ENABLE_UTC=True,

CELERYD_LOG_FILE=worker_log_path,

CELERYBEAT_LOG_FILE=beat_log_path,

CELERY_ACCEPT_CONTENT=['json'],

CELERY_TASK_SERIALIZER='json',

CELERY_RESULT_SERIALIZER='json',

CELERY_QUEUES=(

Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'),

Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'),

Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'),

)

上述代码我指定了有login_queue、user_crawler、fans_followers三个任务队列。它们分别的作用是登录、用户信息抓取、粉丝和关注抓取。现在假设我有三台爬虫服务器A、B和C。我想让我所有的账号登录任务分散到三台服务器、让用户抓取在A和B上执行，让粉丝和关注抓取在C上执行，那么启动A、B、C三个服务器的celery worker的命令就分别是

Python

1

2

3

celery -A tasks.workers -Q login_queue,user_crawler worker -l info -c 1 # A服务器和B服务器启动worker的命令，它们只会执行登录和用户信息抓取任务

celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C服务器启动worker的命令，它只会执行登录、粉丝和关注抓取任务

然后我们通过命令行或者代码（如下）就能发送所有任务给各个节点执行了

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

4

Ⅲ 为什么会没有“crawl”的命令

bin/nutch crawl urls -dir crawl -depth 3 -topN5
就你这条命令来看：
1、需要cygwin进入nutch的目录即nutch home，才有bin/nutch命令
2、urls必须是在nutch home下？另外urls是文件还是文件夹，如果是文件夹，里面有例如url.txt之类的文件没有
3、-dir crawl中的crawl是一个文件夹，在nutch home下，你有创建没？
4、不知道你的截屏是否完整，如果不是完整的，后面有&> crawl/crawl.log之类的，这是将log记录到指定的这个crawl/crawl.log中，是否在nutch home下有类似crawl/crawl.log的存在。 【如果是完整的，则log直接打印在cygwin中，这条可以忽视】

Ⅳ python爬虫程序问题

这个运行的时候要加参数的，
在cmd下 python <爬虫程序路径> <http://www..com/(或者其他网址)>
如果提示Python不是内部外部命令的，吧Python加到环境变量里，如果你用的是Linux，当我没说。
------------------------------------------------------------------
这个是正解。

Ⅳ python scrapy 怎么将爬取的内容写出

首先，安装Python，坑太多了，一个个爬。由于我是windows环境，没钱买mac, 在安装的时候遇到各种各样的问题，确实各种各样的依赖。安装教程不再赘述。如果在安装的过程中遇到 ERROR：需要windows c/c++问题，一般是由于缺少windows开发编译环境，晚上大多数教程是安装一个VisualStudio，太不靠谱了，事实上只要安装一个WindowsSDK就可以了。下面贴上我的爬虫代码：

爬虫主程序：

[python]view plain

• #-*-coding:utf-8-*-

• importscrapy

• fromscrapy.httpimportRequest

• fromzjf.FsmzItemsimportFsmzItem

• fromscrapy.selectorimportSelector

• #圈圈：情感生活

• classMySpider(scrapy.Spider):

• #爬虫名

• name="MySpider"

• #设定域名

• allowed_domains=["nvsheng.com"]

• #爬取地址

• start_urls=[]

• #flag

• x=0

• #爬取方法

• defparse(self,response):

• item=FsmzItem()

• sel=Selector(response)

• item['title']=sel.xpath('//h1/text()').extract()

• item['text']=sel.xpath('//*[@class="content"]/p/text()').extract()

• item['imags']=sel.xpath('//div[@id="content"]/p/a/img/@src|//div[@id="content"]/p/img/@src').extract()

• ifMySpider.x==0:

• page_list=MySpider.getUrl(self,response)

• forpage_singleinpage_list:

• yieldRequest(page_single)

• MySpider.x+=1

• yielditem

• #init:动态传入参数

• #命令行传参写法：scrapycrawlMySpider-astart_url="e_url"

• def__init__(self,*args,**kwargs):

• super(MySpider,self).__init__(*args,**kwargs)

• self.start_urls=[kwargs.get('start_url')]

• defgetUrl(self,response):

• url_list=[]

• select=Selector(response)

• page_list_tmp=select.xpath('//div[@class="viewnewpages"]/a[not(@class="next")]/@href').extract()

• forpage_tmpinpage_list_tmp:

• ifpage_tmpnotinurl_list:

• url_list.append("px/"+page_tmp)

• returnurl_list



• PipeLines类

[python]view plain

• #-*-coding:utf-8-*-

• #Defineyouritempipelineshere

• #

• #Don'_PIPELINESsetting

• fromzjfimportsettings

• importjson,os,re,random

• importurllib.request

• importrequests,json

• fromrequests_toolbelt.multipart.encoderimportMultipartEncoder

• classMyPipeline(object):

• flag=1

• post_title=''

• post_text=[]

• post_text_imageUrl_list=[]

• cs=[]

• user_id=''

• def__init__(self):

• MyPipeline.user_id=MyPipeline.getRandomUser('37619,18441390,18441391')

• #processthedata

• defprocess_item(self,item,spider):

• #获取随机user_id，模拟发帖

• user_id=MyPipeline.user_id

• #获取正文text_str_tmp

• text=item['text']

• text_str_tmp=""

• forstrintext:

• text_str_tmp=text_str_tmp+str

• #print(text_str_tmp)

• #获取标题

• ifMyPipeline.flag==1:

• title=item['title']

• MyPipeline.post_title=MyPipeline.post_title+title[0]

• #保存并上传图片

• text_insert_pic=''

• text_insert_pic_w=''

• text_insert_pic_h=''

• forimag_urlinitem['imags']:

• img_name=imag_url.replace('/','').replace('.','').replace('|','').replace(':','')

• pic_dir=settings.IMAGES_STORE+'%s.jpg'%(img_name)

• urllib.request.urlretrieve(imag_url,pic_dir)

• #图片上传，返回json

• upload_img_result=MyPipeline.uploadImage(pic_dir,'image/jpeg')

• #获取json中保存图片路径

• text_insert_pic=upload_img_result['result']['image_url']

• text_insert_pic_w=upload_img_result['result']['w']

• text_insert_pic_h=upload_img_result['result']['h']

• #拼接json

• ifMyPipeline.flag==1:

• cs_json={"c":text_str_tmp,"i":"","w":text_insert_pic_w,"h":text_insert_pic_h}

• else:

• cs_json={"c":text_str_tmp,"i":text_insert_pic,"w":text_insert_pic_w,"h":text_insert_pic_h}

• MyPipeline.cs.append(cs_json)

• MyPipeline.flag+=1

• returnitem

• #spider开启时被调用

• defopen_spider(self,spider):

• pass

• #sipder关闭时被调用

• defclose_spider(self,spider):

• strcs=json.mps(MyPipeline.cs)

• jsonData={"apisign":"","user_id":MyPipeline.user_id,"gid":30,"t":MyPipeline.post_title,"cs":strcs}

• MyPipeline.uploadPost(jsonData)

• #上传图片

• defuploadImage(img_path,content_type):

• "uploadImagefunctions"

• #UPLOAD_IMG_URL="dpostimage"

• UPLOAD_IMG_URL="oadpostimage"

• #传图片

• #imgPath='D:picshttp___img_nvsheng_com_uploads_allimg_170119_18-1f1191g440_jpg.jpg'

• m=MultipartEncoder(

• #fields={'user_id':'192323',

• #'images':('filename',open(imgPath,'rb'),'image/JPEG')}

• fields={'user_id':MyPipeline.user_id,

• 'apisign':'',

• 'image':('filename',open(img_path,'rb'),'image/jpeg')}

• )

• r=requests.post(UPLOAD_IMG_URL,data=m,headers={'Content-Type':m.content_type})

• returnr.json()

• defuploadPost(jsonData):

• CREATE_POST_URL="hmagespost"

[python]view plain

• reqPost=requests.post(CREATE_POST_URL,data=jsonData)

[python]view plain

• defgetRandomUser(userStr):

• user_list=[]

• user_chooesd=''

• foruser_idinstr(userStr).split(','):

• user_list.append(user_id)

• userId_idx=random.randint(1,len(user_list))

• user_chooesd=user_list[userId_idx-1]

• returnuser_chooesd



• 字段保存Items类

[python]view plain

• #-*-coding:utf-8-*-

• #

• #

• #Seedocumentationin:

• importscrapy

• classFsmzItem(scrapy.Item):

• #:

• #name=scrapy.Field()

• title=scrapy.Field()

• #tutor=scrapy.Field()

• #strongText=scrapy.Field()

• text=scrapy.Field()

• imags=scrapy.Field()



• 在命令行里键入
• scrapy crawl MySpider -a start_url="www.aaa.com"



这样就可以爬取aaa.com下的内容了

Ⅵ 写个shell脚本要启动scrapy框架!现在情况是启动会打印第三横的内容,第二句scrapy crawl命令并不会执行

用$把命令括起来:$((scrapy crawl ch))

Ⅶ 如何用Python爬取搜索引擎的结果

我选取的是爬取网络知道的html 作为我的搜索源数据，目前先打算做网页标题的搜索，选用了 Python 的 scrapy 库来对网页进行爬取，爬取网页的标题，url，以及html，用sqlist3来对爬取的数据源进行管理。
爬取的过程是一个深度优先的过程，设定四个起始 url ，然后维护一个数据库，数据库中有两个表，一个 infoLib，其中存储了爬取的主要信息：标题，url ，html；另一个表为urlLib，存储已经爬取的url，是一个辅助表，在我们爬取每个网页前，需要先判断该网页是否已爬过（是否存在urlLib中）。在数据存储的过程中，使用了SQL的少量语法，由于我之前学过 MySQL ，这块处理起来比较驾轻就熟。
深度优先的网页爬取方案是：给定初始 url，爬取这个网页中所有 url，继续对网页中的 url 递归爬取。代码逐段解析在下面，方便自己以后回顾。
1.建一个 scrapy 工程：
关于建工程，可以参看这个scrapy入门教程，通过运行:

[python] view plain
scrapy startproject ***

在当前目录下建一个scrapy 的项目，然后在 spiders 的子目录下建立一个 .py文件，该文件即是爬虫的主要文件，注意：其中该文件的名字不能与该工程的名字相同，否则，之后调用跑这个爬虫的时候将会出现错误，见ImportError。
2.具体写.py文件：

[python] view plain
import scrapy
from scrapy import Request
import sqlite3

class rsSpider(scrapy.spiders.Spider): #该类继承自 scrapy 中的 spider
name = "" #将该爬虫命名为 “知道”，在执行爬虫时对应指令将为： scrapy crawl
#download_delay = 1 #只是用于控制爬虫速度的，1s/次，可以用来对付反爬虫
allowed_domains = ["..com"] #允许爬取的作用域
url_first = 'http://..com/question/' #用于之后解析域名用的短字符串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定义初始的 url ，有五类知道起始网页

#add database
connDataBase = sqlite3.connect(".db") #连接到数据库“.db”
cDataBase = connDataBase.cursor() #设置定位指针
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通过定位指针操作数据库，若.db中 infoLib表不存在，则建立该表，其中主键是自增的 id（用于引擎的docId）,下一列是文章的标题，然后是url，最后是html

#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通过定位指针操作数据库，若.db中urlLib表不存在，则建立该表，其中只存了 url，保存已经爬过的url，之所以再建一个表，是猜测表的主键应该使用哈希表存储的，查询速度较快，此处其实也可以用一个外键将两个表关联起来

2. .py文件中的parse函数：

.py文件中的parse函数将具体处理url返回的 response，进行解析，具体代码中说明：

[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取网页中的名称
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取网页的 url，并不是直接使用函数获取，那样会夹杂乱码
pageHtml = response.xpath("//html").extract()[0] #获取网页html

# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若当前url 是 start_url 中以一员。进行该判断的原因是，我们对重复的 start_url 中的网址将仍然进行爬取，而对非 start_url 中的曾经爬过的网页将不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若当前Url已经爬过
pass #则不再在数据库中添加信息，只是由其为跟继续往下爬
else: #否则，将信息爬入数据库
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此时进入的非 url 网页一定是没有爬取过的（因为深入start_url之后的网页都会先进行判断，在爬取，在下面的for循环中判断）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))

self.connDataBase.commit() #保存数据库的更新

print "-----------------------------------------------" #输出提示信息，没啥用

for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有该网页的延伸网页，进行判断并对未爬过的网页进行爬取
sel = "http://..com" + sel #解析出延伸网页的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判断该网页是否已在数据库中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，则对其继续进行爬取
yield Request(url = sel, callback=self.parse)

Ⅷ 如何把数据写入日志里（python）

#coding=utf-8

def initlog():
import logging

# 生成一个日志对象
logger = logging.getLogger()
# 生成一个Handler。logging支持许多Handler，
# 象FileHandler, SocketHandler, SMTPHandler等，我由于要写
# 文件就使用了FileHandler。
# logfile是一个全局变量，它就是一个文件名，如：'crawl.log'
logfile = 'test.log'
hdlr = logging.FileHandler(logfile)
# 成一个格式器，用于规范日志的输出格式。如果没有这行代码，那么缺省的
# 格式就是："%(message)s"。也就是写日志时，信息是什么日志中就是什么，
# 没有日期，没有信息级别等信息。logging支持许多种替换值，详细请看
# Formatter的文档说明。这里有三项：时间，信息级别，日志信息
formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
# 将格式器设置到处理器上
hdlr.setFormatter(formatter)
# 将处理器加到日志对象上
logger.addHandler(hdlr)
# 设置日志信息输出的级别。logging提供多种级别的日志信息，如：NOTSET,
# DEBUG, INFO, WARNING, ERROR, CRITICAL等。每个级别都对应一个数值。
# 如果不执行此句，缺省为30(WARNING)。可以执行：logging.getLevelName
# (logger.getEffectiveLevel())来查看缺省的日志级别。日志对象对于不同
# 的级别信息提供不同的函数进行输出，如：info(), error(), debug()等。当
# 写入日志时，小于指定级别的信息将被忽略。因此为了输出想要的日志级别一定
# 要设置好此参数。这里我设为NOTSET（值为0），也就是想输出所有信息
logger.setLevel(logging.NOTSET)
return logger
logging=initlog()
logging.info(u'注册')

Ⅸ 为什么会没有“crawl”的命令

bin/nutch crawl urls -dir crawl -depth 3 -topN5 就你这条命令来看： 1、需要cygwin进入nutch的目录即nutch home，才有bin/nutch命令 2、urls必须是在nutch home下？另外urls是文件还是文件夹，如果是文件夹，里面有例如url.txt之类的文件没有...