爬蟲用什麼編譯器寫

A. java 寫一個簡單的網路爬蟲怎麼搭建平台

SeimiCrawler 也是不錯的選擇

~~~~~~~~

B. 為什麼寫爬蟲都喜歡用python

python的腳本特性，python易於配置，對字元的處理也非常靈活，加上python有著豐富的網路抓取模塊，所以兩者經常聯系在一起。
作為一門編程語言而言，python是純粹的自由軟體，以簡潔清晰的語法和強制使用空白符進行語句縮進的特點從而深受程序員的喜愛。使用python來完成編程任務的話編寫的代碼量更少，代碼簡潔簡短可讀性更強，一個團隊進行開發的時候讀別人的代碼會更快，開發效率會更高，使工作變得更加高效。
這是一門非常適合開發網路爬蟲的編程語言，相比於其他靜態編程語言，python抓取網頁文檔的介面更簡潔;相比於其他動態腳本語言，python的urllib2包提供了較為完整的訪問網頁文檔的API。此外，python中有優秀的第三方包可以高效實現網頁抓取，並可用極短的代碼完成網頁的標簽過濾功能。這也就是為什麼python被叫作爬蟲的原因。

C. 爬蟲是Python寫的嗎

爬蟲是一種程序，是模擬人訪問網頁的
爬蟲可以用任何語言編寫。現在用Python寫爬蟲比較方便，但不一定必須用他

D. Google和百度的爬蟲是用什麼語言寫的

每個網站都有一個「爬蟲協議」，至少大型網站都會有。
Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是「網路爬蟲排除標准」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
越是大型網站，Robots協議越規范，他們為了提高自己在搜索結果的位置，會針對網路、谷歌等搜素引擎寫爬蟲協議，而網路等搜索引擎不需要特別針對這些大網站寫協議換個角度想，大的搜索引擎就那幾個，而所謂「大網站」數不勝數，怎麼可能寫的過來？
如果你沒能理解這部分內容，說明你還處在「菜鳥」級別。一般的爬蟲演算法是：先查找新地址，用隊列或者堆棧來存儲新增加的url；然後用爬蟲程序從隊列或者堆棧中取地址，繼續爬蟲。因為這兩方面程序執行的速度是不一樣的，不是說找到一個url就能立即爬完，或者有時候還沒找到新url就已經爬完了，所以分了兩個結構。
一般的程序中都會用多個函數來執行一個過程，但這在新手的學習中是不常見到、也是不易搞懂的。
鑒於你提出的問題，我覺得你不到能搞通爬蟲程序的階段，建議你還是從簡單的程序開始。看看這個編程語言入門經典100例【Python版】，希望對你有幫助

E. 爬蟲技術是什麼，真的只能用Python寫嗎

爬蟲可以用很多語言寫，我知道的就那麼幾種：python、java、php、js，其他的語言我還沒有接觸到

F. 怎麼在DOS下用C語言寫網路爬蟲

• 獲取cspider_t。

• 自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。

• 添加初始要抓取的url到任務隊列。

• 編寫解析函數和數據持久化函數。

• 啟動爬蟲。
  

例子

先來看下簡單的爬蟲例子，會在後面詳細講解例子。

• #include<cspider/spider.h>



• /*


• 自定義的解析函數，d為獲取到的html頁面字元串


• */


• void p(cspider_t *cspider, char *d, void *user_data) {



• char *get[100];


• //xpath解析html


• int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);



• int i;


• for (i = 0; i < size; i++) {


• //將獲取到的電影名稱，持久化


• saveString(cspider, get[i]);


• }



• }


• /*


• 數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存


• */


• void s(void *str, void *user_data) {


• char *get = (char *)str;


• FILE *file = (FILE*)user_data;


• fprintf(file, "%s ", get);


• return;


• }



• int main() {


• //初始化spider


• cspider_t *spider = init_cspider();


• char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";


• //char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";



• //設置要抓取頁面的url


• cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");


• //設置user agent


• cs_setopt_useragent(spider, agent);


• //cs_setopt_cookie(spider, cookie);


• //傳入解析函數和數據持久化函數的指針


• cs_setopt_process(spider, p, NULL);


• //s函數的user_data指針指向stdout


• cs_setopt_save(spider, s, stdout);


• //設置線程數量


• cs_setopt_threadnum(spider, DOWNLOAD, 2);


• cs_setopt_threadnum(spider, SAVE, 2);


• //FILE *fp = fopen("log", "wb+");


• //cs_setopt_logfile(spider, fp);


• //開始爬蟲


• return cs_run(spider);


• }

G. 入門爬蟲下載Python還要下載單獨的編譯器如pycharm直接用IELD(Python)不行嗎

可以
但是自帶的不好用

H. 編寫爬蟲需要用到哪些軟體最後得到的是什麼一個exe程序嗎

寫爬蟲也不需要什麼具體的軟體，主要是看你用什麼語言用什麼庫罷了。用python實現爬蟲應該是最簡單的，有功能強大的urllib2,beautifulsoup，request等庫，用起來很方便，網上找點教程就會了。寫爬蟲還可以試試 scrapy框架，可是省去好多細節，用起來很方便。如果用python等腳本來寫的話需要一個解釋器就夠了。如果是用java等來寫的話就會編譯成一個exe可執行文件。