python中crawl命令_如何用Python爬取搜索引擎的結果

Ⅰ 在pycharm中編寫python爬蟲怎麼解決scrapy沒有crawl命令問題

答案很簡單，四步：
新建項目 (Project)：新建一個新的爬蟲項目
明確目標（Items）：明確你想要抓取的目標
製作爬蟲（Spider）：製作爬蟲開始爬取網頁
存儲內容（Pipeline）：設計管道存儲爬取內容

Ⅱ 如何用Python寫一個分布式爬蟲

本文將會以PC端微博進行講解，因為移動端微博數據不如PC短全面，而且抓取和解析難度都會小一些。文章比較長，由於篇幅所限，文章並沒有列出所有代碼，只是講了大致流程和思路。

要抓微博數據，第一步便是模擬登陸，因為很多信息（比如用戶信息，用戶主頁微博數據翻頁等各種翻頁）都需要在登錄狀態下才能查看。關於模擬登陸進階，我寫過兩篇文章，一篇是模擬登陸微博的，是從小白的角度寫的。另外一篇是模擬登陸網路雲的，是從有一定經驗的熟手的角度寫的。讀了這兩篇文章，並且根據我寫的過程自己動手實現過的同學，應該對於模擬登陸PC端微博是沒有太大難度的。那兩篇文章沒有講如何處理驗證碼，這里我簡單說一下，做爬蟲的同學不要老想著用什麼機器學習的方法去識別復雜驗證碼，真的難度非常大，這應該也不是一個爬蟲工程師的工作重點，當然這只是我的個人建議。工程化的項目，我還是建議大家通過打碼平台來解決驗證碼的問題。我在分布式微博爬蟲中就是直接調用打碼平台的介面來做的大規模微博賬號的模擬登陸，效果還不錯，而且打碼成本很低。

說完模擬登陸（具體請參見我寫的那兩篇文章，篇幅所限，我就不過來了），我們現在正式進入微博的數據抓取。這里我會以微博用戶信息抓取為例來進行分析和講解。

關於用戶信息抓取，可能我們有兩個目的。一個是我們只想抓一些指定用戶，另外一個是我們想盡可能多的抓取更多數量的用戶的信息。我的目的假定是第二種。那麼我們該以什麼樣的策略來抓取，才能獲得盡可能多的用戶信息呢？如果我們初始用戶選擇有誤，選了一些不活躍的用戶，很可能會形成一個環，這樣就抓不了太多的數據。這里有一個很簡單的思路：我們把一些大V拿來做為種子用戶，我們先抓他們的個人信息，然後再抓大V所關注的用戶和粉絲，大V關注的用戶肯定也是類似大V的用戶，這樣的話，就不容易形成環了。

策略我們都清楚了。就該是分析和編碼了。

我們先來分析如何構造用戶信息的URL。這里我以微博名為一起神吐槽的博主為例進行分析。做爬蟲的話，一個很重要的意識就是爬蟲能抓的數據都是人能看到的數據，反過來，人能在瀏覽器上看到的數據，爬蟲幾乎都能抓。這里用的是幾乎，因為有的數據抓取難度特別。我們首先需要以正常人的流程看看怎麼獲取到用戶的信息。我們先進入該博主的主頁，如下圖

根據唯一性判斷

我們在頁面源碼中搜索，只發現一個script中有該字元串，那麼就是那段script是頁面相關信息。我們可以通過正則表達式把該script提取出來，然後把其中的html也提取出來，再保存到本地，看看信息是否全面。這里我就不截圖了。感覺還有很多要寫的，不然篇幅太長了。

另外，對於具體頁面的解析，我也不做太多的介紹了。太細的東西還是建議讀讀源碼。我只講一下，我覺得的一種處理異常的比較優雅的方式。微博爬蟲的話，主要是頁面樣式太多，如果你打算包含所有不同的用戶的模版，那麼我覺得幾乎不可能，不同用戶模版，用到的解析規則就不一樣。那麼出現解析異常如何處理？尤其是你沒有catch到的異常。很可能因為這個問題，程序就崩掉。其實對於Python這門語言來說，我們可以通過裝飾器來捕捉我們沒有考慮到的異常，比如我這個裝飾器

Python

def parse_decorator(return_type):

"""

:param return_type: 用於捕捉頁面解析的異常, 0表示返回數字0, 1表示返回空字元串, 2表示返回[],3表示返回False, 4表示返回{}, 5返回None

:return: 0,'',[],False,{},None

"""

def page_parse(func):

@wraps(func)

def handle_error(*keys):

try:

return func(*keys)

except Exception as e:

parser.error(e)

if return_type == 5:

return None

elif return_type == 4:

return {}

elif return_type == 3:

return False

elif return_type == 2:

return []

elif return_type == 1:

return ''

else:

return 0

return handle_error

return page_parse

上面的代碼就是處理解析頁面發生異常的情況，我們只能在數據的准確性、全面性和程序的健壯性之間做一些取捨。用裝飾器的話，程序中不用寫太多的try語句，代碼重復率也會減少很多。

頁面的解析由於篇幅所限，我就講到這里了。沒有涉及太具體的解析，其中一個還有一個比較難的點，就是數據的全面性，讀者可以去多觀察幾個微博用戶的個人信息，就會發現有的個人信息，有的用戶有填寫，有的並沒有。解析的時候要考慮完的話，建議從自己的微博的個人信息入手，看到底有哪些可以填。這樣可以保證幾乎不會漏掉一些重要的信息。

最後，我再切合本文的標題，講如何搭建一個分布式的微博爬蟲。開發過程中，我們可以先就做單機單線程的爬蟲，然後再改成使用celery的方式。這里這樣做是為了方便開發和測試，因為你單機搭起來並且跑得通了，那麼分布式的話，就很容易改了，因為celery的API使用本來就很簡潔。

我們抓取的是用戶信息和他的關注和粉絲uid。用戶信息的話，我們一個請求大概能抓取一個用戶的信息，而粉絲和關注我們一個請求可以抓取18個左右（因為這個抓的是列表），顯然可以發現用戶信息應該多佔一些請求的資源。這時候就該介紹理論篇沒有介紹的關於celery的一個高級特性了，它叫做任務路由。直白點說，它可以規定哪個分布式節點能做哪些任務，不能做哪些任務。它的存在可以讓資源分配更加合理，分布式微博爬蟲項目初期，就沒有使用任務路由，然後抓了十多萬條關注和分析，結果發現用戶信息抓幾萬條，這就是資源分配得不合理。那麼如何進行任務路由呢？

Python

# coding:utf-8

import os

from datetime import timedelta

from celery import Celery

from kombu import Exchange, Queue

from config.conf import get_broker_or_backend

from celery import platforms

# 允許celery以root身份啟動

platforms.C_FORCE_ROOT = True

worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log')

beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log')

tasks = ['tasks.login', 'tasks.user']

# include的作用就是注冊服務化函數

app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2))

app.conf.update(

CELERY_TIMEZONE='Asia/Shanghai',

CELERY_ENABLE_UTC=True,

CELERYD_LOG_FILE=worker_log_path,

CELERYBEAT_LOG_FILE=beat_log_path,

CELERY_ACCEPT_CONTENT=['json'],

CELERY_TASK_SERIALIZER='json',

CELERY_RESULT_SERIALIZER='json',

CELERY_QUEUES=(

Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'),

Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'),

Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'),

)

上述代碼我指定了有login_queue、user_crawler、fans_followers三個任務隊列。它們分別的作用是登錄、用戶信息抓取、粉絲和關注抓取。現在假設我有三台爬蟲伺服器A、B和C。我想讓我所有的賬號登錄任務分散到三台伺服器、讓用戶抓取在A和B上執行，讓粉絲和關注抓取在C上執行，那麼啟動A、B、C三個伺服器的celery worker的命令就分別是

Python

celery -A tasks.workers -Q login_queue,user_crawler worker -l info -c 1 # A伺服器和B伺服器啟動worker的命令，它們只會執行登錄和用戶信息抓取任務

celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C伺服器啟動worker的命令，它只會執行登錄、粉絲和關注抓取任務

然後我們通過命令行或者代碼（如下）就能發送所有任務給各個節點執行了

Python

Ⅲ 為什麼會沒有「crawl」的命令

bin/nutch crawl urls -dir crawl -depth 3 -topN5
就你這條命令來看：
1、需要cygwin進入nutch的目錄即nutch home，才有bin/nutch命令
2、urls必須是在nutch home下？另外urls是文件還是文件夾，如果是文件夾，裡面有例如url.txt之類的文件沒有
3、-dir crawl中的crawl是一個文件夾，在nutch home下，你有創建沒？
4、不知道你的截屏是否完整，如果不是完整的，後面有&> crawl/crawl.log之類的，這是將log記錄到指定的這個crawl/crawl.log中，是否在nutch home下有類似crawl/crawl.log的存在。【如果是完整的，則log直接列印在cygwin中，這條可以忽視】

Ⅳ python爬蟲程序問題

這個運行的時候要加參數的，
在cmd下 python <爬蟲程序路徑> <http://www..com/(或者其他網址)>
如果提示Python不是內部外部命令的，吧Python加到環境變數里，如果你用的是Linux，當我沒說。
------------------------------------------------------------------
這個是正解。

Ⅳ python scrapy 怎麼將爬取的內容寫出

首先，安裝Python，坑太多了，一個個爬。由於我是windows環境，沒錢買mac, 在安裝的時候遇到各種各樣的問題，確實各種各樣的依賴。安裝教程不再贅述。如果在安裝的過程中遇到 ERROR：需要windows c/c++問題，一般是由於缺少windows開發編譯環境，晚上大多數教程是安裝一個VisualStudio，太不靠譜了，事實上只要安裝一個WindowsSDK就可以了。下面貼上我的爬蟲代碼：

爬蟲主程序：

[python]view plain

#-*-coding:utf-8-*-
importscrapy
fromscrapy.httpimportRequest
fromzjf.FsmzItemsimportFsmzItem
fromscrapy.selectorimportSelector
#圈圈：情感生活
classMySpider(scrapy.Spider):
#爬蟲名
name="MySpider"
#設定域名
allowed_domains=["nvsheng.com"]
#爬取地址
start_urls=[]
#flag
x=0
#爬取方法
defparse(self,response):
item=FsmzItem()
sel=Selector(response)
item['title']=sel.xpath('//h1/text()').extract()
item['text']=sel.xpath('//*[@class="content"]/p/text()').extract()
item['imags']=sel.xpath('//div[@id="content"]/p/a/img/@src|//div[@id="content"]/p/img/@src').extract()
ifMySpider.x==0:
page_list=MySpider.getUrl(self,response)
forpage_singleinpage_list:
yieldRequest(page_single)
MySpider.x+=1
yielditem
#init:動態傳入參數
#命令行傳參寫法：scrapycrawlMySpider-astart_url="e_url"
def__init__(self,*args,**kwargs):
super(MySpider,self).__init__(*args,**kwargs)
self.start_urls=[kwargs.get('start_url')]
defgetUrl(self,response):
url_list=[]
select=Selector(response)
page_list_tmp=select.xpath('//div[@class="viewnewpages"]/a[not(@class="next")]/@href').extract()
forpage_tmpinpage_list_tmp:
ifpage_tmpnotinurl_list:
url_list.append("px/"+page_tmp)
returnurl_list

PipeLines類

[python]view plain

#-*-coding:utf-8-*-
#Defineyouritempipelineshere
#
#Don'_PIPELINESsetting
fromzjfimportsettings
importjson,os,re,random
importurllib.request
importrequests,json
fromrequests_toolbelt.multipart.encoderimportMultipartEncoder
classMyPipeline(object):
flag=1
post_title=''
post_text=[]
post_text_imageUrl_list=[]
cs=[]
user_id=''
def__init__(self):
MyPipeline.user_id=MyPipeline.getRandomUser('37619,18441390,18441391')
#processthedata
defprocess_item(self,item,spider):
#獲取隨機user_id，模擬發帖
user_id=MyPipeline.user_id
#獲取正文text_str_tmp
text=item['text']
text_str_tmp=""
forstrintext:
text_str_tmp=text_str_tmp+str
#print(text_str_tmp)
#獲取標題
ifMyPipeline.flag==1:
title=item['title']
MyPipeline.post_title=MyPipeline.post_title+title[0]
#保存並上傳圖片
text_insert_pic=''
text_insert_pic_w=''
text_insert_pic_h=''
forimag_urlinitem['imags']:
img_name=imag_url.replace('/','').replace('.','').replace('|','').replace(':','')
pic_dir=settings.IMAGES_STORE+'%s.jpg'%(img_name)
urllib.request.urlretrieve(imag_url,pic_dir)
#圖片上傳，返回json
upload_img_result=MyPipeline.uploadImage(pic_dir,'image/jpeg')
#獲取json中保存圖片路徑
text_insert_pic=upload_img_result['result']['image_url']
text_insert_pic_w=upload_img_result['result']['w']
text_insert_pic_h=upload_img_result['result']['h']
#拼接json
ifMyPipeline.flag==1:
cs_json={"c":text_str_tmp,"i":"","w":text_insert_pic_w,"h":text_insert_pic_h}
else:
cs_json={"c":text_str_tmp,"i":text_insert_pic,"w":text_insert_pic_w,"h":text_insert_pic_h}
MyPipeline.cs.append(cs_json)
MyPipeline.flag+=1
returnitem
#spider開啟時被調用
defopen_spider(self,spider):
pass
#sipder關閉時被調用
defclose_spider(self,spider):
strcs=json.mps(MyPipeline.cs)
jsonData={"apisign":"","user_id":MyPipeline.user_id,"gid":30,"t":MyPipeline.post_title,"cs":strcs}
MyPipeline.uploadPost(jsonData)
#上傳圖片
defuploadImage(img_path,content_type):
"uploadImagefunctions"
#UPLOAD_IMG_URL="dpostimage"
UPLOAD_IMG_URL="oadpostimage"
#傳圖片
#imgPath='D:picshttp___img_nvsheng_com_uploads_allimg_170119_18-1f1191g440_jpg.jpg'
m=MultipartEncoder(
#fields={'user_id':'192323',
#'images':('filename',open(imgPath,'rb'),'image/JPEG')}
fields={'user_id':MyPipeline.user_id,
'apisign':'',
'image':('filename',open(img_path,'rb'),'image/jpeg')}
)
r=requests.post(UPLOAD_IMG_URL,data=m,headers={'Content-Type':m.content_type})
returnr.json()
defuploadPost(jsonData):
CREATE_POST_URL="hmagespost"

[python]view plain

reqPost=requests.post(CREATE_POST_URL,data=jsonData)

[python]view plain

defgetRandomUser(userStr):
user_list=[]
user_chooesd=''
foruser_idinstr(userStr).split(','):
user_list.append(user_id)
userId_idx=random.randint(1,len(user_list))
user_chooesd=user_list[userId_idx-1]
returnuser_chooesd

欄位保存Items類

[python]view plain

#-*-coding:utf-8-*-
#
#
#Seedocumentationin:
importscrapy
classFsmzItem(scrapy.Item):
#:
#name=scrapy.Field()
title=scrapy.Field()
#tutor=scrapy.Field()
#strongText=scrapy.Field()
text=scrapy.Field()
imags=scrapy.Field()

在命令行里鍵入
scrapy crawl MySpider -a start_url="www.aaa.com"

這樣就可以爬取aaa.com下的內容了

Ⅵ 寫個shell腳本要啟動scrapy框架!現在情況是啟動會列印第三橫的內容,第二句scrapy crawl命令並不會執行

用$把命令括起來:$((scrapy crawl ch))

Ⅶ 如何用Python爬取搜索引擎的結果

我選取的是爬取網路知道的html 作為我的搜索源數據，目前先打算做網頁標題的搜索，選用了 Python 的 scrapy 庫來對網頁進行爬取，爬取網頁的標題，url，以及html，用sqlist3來對爬取的數據源進行管理。
爬取的過程是一個深度優先的過程，設定四個起始 url ，然後維護一個資料庫，資料庫中有兩個表，一個 infoLib，其中存儲了爬取的主要信息：標題，url ，html；另一個表為urlLib，存儲已經爬取的url，是一個輔助表，在我們爬取每個網頁前，需要先判斷該網頁是否已爬過（是否存在urlLib中）。在數據存儲的過程中，使用了SQL的少量語法，由於我之前學過 MySQL ，這塊處理起來比較駕輕就熟。
深度優先的網頁爬取方案是：給定初始 url，爬取這個網頁中所有 url，繼續對網頁中的 url 遞歸爬取。代碼逐段解析在下面，方便自己以後回顧。
1.建一個 scrapy 工程：
關於建工程，可以參看這個scrapy入門教程，通過運行:

[python] view plain
scrapy startproject ***

在當前目錄下建一個scrapy 的項目，然後在 spiders 的子目錄下建立一個 .py文件，該文件即是爬蟲的主要文件，注意：其中該文件的名字不能與該工程的名字相同，否則，之後調用跑這個爬蟲的時候將會出現錯誤，見ImportError。
2.具體寫.py文件：

[python] view plain
import scrapy
from scrapy import Request
import sqlite3

class rsSpider(scrapy.spiders.Spider): #該類繼承自 scrapy 中的 spider
name = "" #將該爬蟲命名為「知道」，在執行爬蟲時對應指令將為： scrapy crawl
#download_delay = 1 #只是用於控制爬蟲速度的，1s/次，可以用來對付反爬蟲
allowed_domains = ["..com"] #允許爬取的作用域
url_first = 'http://..com/question/' #用於之後解析域名用的短字元串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定義初始的 url ，有五類知道起始網頁

#add database
connDataBase = sqlite3.connect(".db") #連接到資料庫「.db」
cDataBase = connDataBase.cursor() #設置定位指針
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通過定位指針操作資料庫，若.db中 infoLib表不存在，則建立該表，其中主鍵是自增的 id（用於引擎的docId）,下一列是文章的標題，然後是url，最後是html

#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通過定位指針操作資料庫，若.db中urlLib表不存在，則建立該表，其中只存了 url，保存已經爬過的url，之所以再建一個表，是猜測表的主鍵應該使用哈希表存儲的，查詢速度較快，此處其實也可以用一個外鍵將兩個表關聯起來

2. .py文件中的parse函數：

.py文件中的parse函數將具體處理url返回的 response，進行解析，具體代碼中說明：

[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取網頁中的名稱
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取網頁的 url，並不是直接使用函數獲取，那樣會夾雜亂碼
pageHtml = response.xpath("//html").extract()[0] #獲取網頁html

# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若當前url 是 start_url 中以一員。進行該判斷的原因是，我們對重復的 start_url 中的網址將仍然進行爬取，而對非 start_url 中的曾經爬過的網頁將不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若當前Url已經爬過
pass #則不再在資料庫中添加信息，只是由其為跟繼續往下爬
else: #否則，將信息爬入資料庫
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此時進入的非 url 網頁一定是沒有爬取過的（因為深入start_url之後的網頁都會先進行判斷，在爬取，在下面的for循環中判斷）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))

self.connDataBase.commit() #保存資料庫的更新

print "-----------------------------------------------" #輸出提示信息，沒啥用

for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有該網頁的延伸網頁，進行判斷並對未爬過的網頁進行爬取
sel = "http://..com" + sel #解析出延伸網頁的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判斷該網頁是否已在資料庫中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，則對其繼續進行爬取
yield Request(url = sel, callback=self.parse)

Ⅷ 如何把數據寫入日誌里（python）

#coding=utf-8

def initlog():
import logging

# 生成一個日誌對象
logger = logging.getLogger()
# 生成一個Handler。logging支持許多Handler，
# 象FileHandler, SocketHandler, SMTPHandler等，我由於要寫
# 文件就使用了FileHandler。
# logfile是一個全局變數，它就是一個文件名，如：'crawl.log'
logfile = 'test.log'
hdlr = logging.FileHandler(logfile)
# 成一個格式器，用於規范日誌的輸出格式。如果沒有這行代碼，那麼預設的
# 格式就是："%(message)s"。也就是寫日誌時，信息是什麼日誌中就是什麼，
# 沒有日期，沒有信息級別等信息。logging支持許多種替換值，詳細請看
# Formatter的文檔說明。這里有三項：時間，信息級別，日誌信息
formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
# 將格式器設置到處理器上
hdlr.setFormatter(formatter)
# 將處理器加到日誌對象上
logger.addHandler(hdlr)
# 設置日誌信息輸出的級別。logging提供多種級別的日誌信息，如：NOTSET,
# DEBUG, INFO, WARNING, ERROR, CRITICAL等。每個級別都對應一個數值。
# 如果不執行此句，預設為30(WARNING)。可以執行：logging.getLevelName
# (logger.getEffectiveLevel())來查看預設的日誌級別。日誌對象對於不同
# 的級別信息提供不同的函數進行輸出，如：info(), error(), debug()等。當
# 寫入日誌時，小於指定級別的信息將被忽略。因此為了輸出想要的日誌級別一定
# 要設置好此參數。這里我設為NOTSET（值為0），也就是想輸出所有信息
logger.setLevel(logging.NOTSET)
return logger
logging=initlog()
logging.info(u'注冊')

Ⅸ 為什麼會沒有「crawl」的命令

導航:首頁 > 程序命令 > python中crawl命令

python中crawl命令

與python中crawl命令相關的資料