scrapy不是內部命令

❶ scrapy startproject 不是直接在終端輸入命令就好嗎

南京軍區福州總院暫時沒有銀行終端自助終端機計劃: Self-service Terminals Project2. 自助查詢終端機: self-inquiry terminal3. 自助預訂服務終端機: self-service booking terminal銀行自助終端機功能銀行的自助終端機的功能主要包括：現金取款、現金存款、現金存取款、余額查詢、本行或異行轉賬、修改密碼等基本功能；有些多功能自助終端機還提供諸如存摺列印、對賬單列印、支票存款、信封存款、繳費、充值等一系列便捷服務。

❷ 究竟在哪裡打開Scrapy 命令行，當我不是在scrapy的安裝目錄下打開命令行運算符時，scrapy為什麼就用不了

因為沒有把路徑添加到 PATH 環境變數 中，所以，當前路徑不是安裝目錄時，打不開的。。。。。。。。。。。。。。

❸ Scrapy不能創建工程怎麼辦

1.首先得有一個Scrapy項目，我在Desktop上新建一個Scrapy的項目叫test，
2.在Desktop目錄打開命令行，鍵入命令：scrapy startproject test1

3.打開Pycharm，選擇open ,選擇項目，ok

4.打開如下界面之後，按alt + 1， 打開project 面板

5.在test1/spiders/，文件夾下，新建一個爬蟲spider.py， 注意代碼中的name="dmoz"。這個名字後面會用到。

6.在test1目錄和scrapy.cfg同級目錄下面，新建一個begin.py文件，注意箭頭2所指的名字和第5步中的name='dmoz' 名字是一樣的。
from scrapy import cmdline

cmdline.execut
123

7. 上面把文件搞定了，下面要配置一下pycharm了。點擊Run->Edit Configurations

8. 新建一個運行的python模塊

9. Name：改成spider； script：選擇剛才新建的那個begin.py文件；Working Direciton：改成自己的工作目錄

10. 至此，大功告成了，點擊下圖，右上角的按鈕就能運行了。

❹ pycharm 引入scrapy

你用的是pycharm把，pycharm不會將當前文件目錄自動加入自己的sourse_path。右鍵make_directory as-->sources path將當前工作的文件夾加入source_path就可以了。

❺ 同時裝有python2.7 python3.5 scrapy命令怎麼在python2.7上面運行

終端scrapy命令實際上是調用了python安裝文件夾的子文件夾Scripts里的scrapy.exe(windows系統)或者scrapy.sh(linux系統)

所以如果你在終端鍵入scrapy執行的是python3.5的, 說明你的默認python是3.5

這個時候要想執行python2.7的,有幾個方法:

1. 改變path環境變數, 設置python2.7為默認python(這個太麻煩, 不推薦)

2. 執行scrapy命令(假設要執行scrapy startproject projectname)的時候不直接鍵入scrapy, 而是加上scrapy的絕對路徑,

   windows上: C:InstallAnaconda2Scriptsscrapy startproject projectname

   linux 同理

3. 把python2.7的scrapy.exe所在的文件夾(我這里是C:InstallAnaconda2Scripts)添加到環境變數Path里, 將scrapy.exe重命名為scrapy2.exe(linux同理)

   然後終端運行的時候就輸入 scrapy2 startproject projectname 即可

4. 用virtualenv創建兩個隔離的虛擬python環境, 分別執行

❻ scrapy命令是否必須在cmd狀態下才能用

關於如何查看埠是否被佔用，可以根據以下步驟來操作：1、開始---->運行---->cmd，或者是window+R組合鍵，調出命令窗口；2、輸入命令：netstat-ano，列出所有埠的情況。在列表中觀察被佔用的埠，比如是49157，首先找到它。3、查看被佔用埠對應的PID，輸入命令：netstat-aon|findstr"49157"，回車，記下最後一位數字，即PID,這里是2720。4、繼續輸入tasklist|findstr"2720"，回車，查看是哪個進程或者程序佔用了2720埠，結果是：svchost.exe5、或者是打開任務管理器，切換到進程選項卡，在PID一列查看2720對應的進程是誰，如果看不到PID這一列,如下圖：6、則點擊查看--->選擇列，將PID(進程標示符)前面的勾打上，點擊確定。7、這樣就看到了PID這一列標識，看一下2720對應的進程是誰，如果沒有，把下面的顯示所有用戶的進程前面的勾打上，就可以看到了，映像名稱是svchost.exe，描述是，Windows的主進程,與上面命令查看的完全一致。8、結束該進程：在任務管理器中選中該進程點擊」結束進程「按鈕，或者是在cmd的命令窗口中輸入：taskkill/f/t/imTencentdl.exe。

❼ 如何在eclipse中使用scrapy

步驟如下：

一、創建項目

如果安裝了最新的pydev，創建一個新項目會有三個選項，這里直接選擇一個普通的python項目即可，此時查看項目目錄，目錄項只有兩個工程文件。

配置完成，點擊Debug按鈕，如果能正常顯示類似於下面的信息則說明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:

至此eclipse + pydev開發環境debug Scrapy就全部完成了。

❽ Python安裝Scrapy出現以下錯誤怎麼辦

windows的話把以下文件都安裝了就行：

pyopenssl/+download
Microsoft Visual C++ Compiler for Python 2.7
Python Package Index
最後使用pip install Scrapy命令進行安裝即可。

❾ scrapy 怎樣添加命令行參數

在scrapy使用過程中，很多情況下需要根據實際需求定製自己的擴展，小到實現自己的pipelines，大到用新的scheler替換默認的scheler。

擴展可以按照是否需要讀取crawler大致分為兩種，對於不需要讀取的，比如pipelines的編寫，只需要實現默認的方法porcess_item。需要讀取的，如scheler的編寫又存在另外的方式。

1.第一種
這種處理起來比較簡單，一般是根據scrapy的signals實現相應的處理。具體實現可見文檔pipelines的編寫方法。

2.第二種
（1）區別：
這種方式和第一種的主要區別是需要使用crawler內部信息，比如接收內部信號，如signals.spider_opened等。還體現在對設置setting.py的是否需要讀取上。

（2）實現：
i)讀取設置一般通過from_settings函數實現。一下是scrapy-redis中scheler的from_settings的實現方法：

def from_settings(cls, settings):
persist = settings.get('SCHEDULER_PERSIST', SCHEDULER_PERSIST)
queue_key = settings.get('SCHEDULER_QUEUE_KEY', QUEUE_KEY)
queue_cls = load_object(settings.get('SCHEDULER_QUEUE_CLASS', QUEUE_CLASS))
pefilter_key = settings.get('DUPEFILTER_KEY', DUPEFILTER_KEY)
idle_before_close = settings.get('SCHEDULER_IDLE_BEFORE_CLOSE', IDLE_BEFORE_CLOSE)
server = connection.from_settings(settings)
return cls(server, persist, queue_key, queue_cls, pefilter_key, idle_before_close)
ii)from_crawler()

Scrapy API的主要入口是 Crawler 的實例對象， 通過類方法 from_crawler 將它傳遞給擴展(extensions)。 該對象提供對所有Scrapy核心組件的訪問， 也是擴展訪問Scrapy核心組件和掛載功能到Scrapy的唯一途徑。

實現例子如下：

def from_crawler(cls, crawler):
instance = cls.from_settings(crawler.settings)
return instance
iii)其它函數

想pipelines中的process_item一樣，有些函數是此類型組建所必需的，整個框架在執行時會使用到次函數，所以必須加以實現。如scheler中的enqueue_request、next_request等函數。

最難處理的也是第iii種，這需要全局了解scrapy運行邏輯，函數調用關系等。比較簡單的方式是按照原組件的函數功能，函數返回值等根據自己編寫的擴展的功能重新實現。就是照葫蘆畫瓢。

scrapy內data stream在其文檔的架構上已經說明，但是轉化到代碼上好難找啊。