python爬蟲和web的區分

1. python做web和php做web有哪些區別

語言優缺點不討論，都可以做 Web 開發，區別在於
Python 是一門純粹的編程語言，可以做 Web 開發，但最開始不是為了 Web 開發而發明的，所以在拿來做 Web 開發時，從架構上就比較獨立，與 Apache 等 HTTP 伺服器軟體結合的不是那麼緊密，以至於要有 WSGI 這種概念。
PHP 是一種強大的模板語言，一開始就是為了 Web 開發而存在的，雖然也可以做其它開發，所以與 Apache 什麼的，一開始就結合得比較緊密，彷彿是天生一對一樣。
僅從 WSGI 這種概念就可以看出區別，做 PHP 開發的，如果不關注 Python Web開發的話，估計很少有人聽過 WSGI ，剛看到這個名詞有時候可能很難理解，因為作為 PHP 程序員， Apache + PHP 一切都搞好了，不需要關心 PHP 是如何與 Apache 是如何通信的。而 Python 就不一樣了，要考慮很多事情，很多東西都要自已做，或者自已直接搭 HTTP 伺服器。之所以有這種差別，就是因為上面兩條所說的語言定位的原因。

2. python的爬蟲是什麼意思

Python爬蟲即使用Python程序開發的網路爬蟲（網頁蜘蛛，網路機器人），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。其實通俗的講就是通過程序去獲取 web 頁面上自己想要的數據，也就是自動抓取數據。網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽萬維網的網路機器人。其目的一般為編纂網路索引。
網路搜索引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面保存下來，以便搜索引擎事後生成索引供用戶搜索。
爬蟲訪問網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作。因此在訪問大量頁面時，爬蟲需要考慮到規劃、負載，還需要講「禮貌」。 不願意被爬蟲訪問、被爬蟲主人知曉的公開站點可以使用robots.txt文件之類的方法避免訪問。這個文件可以要求機器人只對網站的一部分進行索引，或完全不作處理。
互聯網上的頁面極多，即使是最大的爬蟲系統也無法做出完整的索引。因此在公元2000年之前的萬維網出現初期，搜索引擎經常找不到多少相關結果。現在的搜索引擎在這方面已經進步很多，能夠即刻給出高質量結果。
爬蟲還可以驗證超鏈接和HTML代碼，用於網路抓取。
Python 爬蟲
Python 爬蟲架構
Python 爬蟲架構主要由五個部分組成，分別是調度器、URL 管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。
調度器：相當於一台電腦的 CPU，主要負責調度 URL 管理器、下載器、解析器之間的協調工作。
URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重復抓取 URL 和循環抓取 URL，實現 URL 管理器主要用三種方式，通過內存、資料庫、緩存資料庫來實現。
網頁下載器：通過傳入一個 URL 地址來下載網頁，將網頁轉換成一個字元串，網頁下載器有 urlpb2（Python 官方基礎模塊）包括需要登錄、代理、和 cookie，requests(第三方包)
網頁解析器：將一個網頁字元串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據 DOM 樹的解析方式來解析。網頁解析器有正則表達式（直觀，將網頁轉成字元串通過模糊匹配的方式來提取有價值的信息，當文檔比較復雜的時候，該方法提取數據的時候就會非常的困難）、html.parser（Python 自帶的）、beautifulsoup（第三方插件，可以使用 Python 自帶的 html.parser 進行解析，也可以使用 lxml 進行解析，相對於其他幾種來說要強大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 樹的方式進行解析的。
應用程序：就是從網頁中提取的有用數據組成的一個應用。
爬蟲可以做什麼？
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。
爬蟲的本質是什麼？
模擬瀏覽器打開網頁，獲取網頁中我們想要的那部分數據
瀏覽器打開網頁的過程：
當你在瀏覽器中輸入地址後，經過 DNS 伺服器找到伺服器主機，向伺服器發送一個請求，伺服器經過解析後發送給用戶瀏覽器結果，包括 html,js,css 等文件內容，瀏覽器解析出來最後呈現給用戶在瀏覽器上看到的結果
所以用戶看到的瀏覽器的結果就是由 HTML 代碼構成的，我們爬蟲就是為了獲取這些內容，通過分析和過濾 html 代碼，從中獲取我們想要資源。
相關推薦：《Python教程》以上就是小編分享的關於python的爬蟲是什麼意思的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

3. 學Python做web還是爬蟲未來那個發展比較好

光會一種待遇不好，要定位全棧。

4. Python爬蟲是什麼

爬蟲一般是指網路資源的抓取，由於Python的腳本特性，易於配置對字元的處理非常靈活，Python有豐富的網路抓取模塊，因此兩者經常聯系在一起Python就被叫作爬蟲。

Python爬蟲的構架組成：

5. python網路爬蟲和java爬蟲有什麼區別

爬蟲目前主要開發語言為java、Python、c++
對於一般的信息採集需要，各種語言差別不大。
c、c++
搜索引擎無一例外使用C\C++ 開發爬蟲，猜想搜索引擎爬蟲採集的網站數量巨大，對頁面的解析要求不高，部分支持javascript
python
網路功能強大，模擬登陸、解析javascript，短處是網頁解析
python寫起程序來真的很便捷，著名的python爬蟲有scrapy等
java
java有很多解析器，對網頁的解析支持很好，缺點是網路部分
java開源爬蟲非常多，著名的如 nutch 國內有webmagic
java優秀的解析器有htmlparser、jsoup
對於一般性的需求無論java還是python都可以勝任。
如需要模擬登陸、對抗防採集選擇python更方便些，如果需要處理復雜的網頁，解析網頁內容生成結構化數據或者對網頁內容精細的解析則可以選擇java。

6. web和Python哪個好

他們兩個不屬於同一個概念，web屬於產品，而python是語言，可以用python來寫web。Python是目前比較火的，而且市場需求量也是比較高的，相對於就業薪資也是比較高的，現在進入是非常好的時機。

7. python爬蟲和測試的區別

爬蟲的基本流程

發起請求

通過HTTP庫向目標站點發起請求，也就是發送一個Request，請求可以包含額外的header等信息，等待伺服器響應

獲取響應內容

如果伺服器能正常響應，會得到一個Response，Response的內容便是所要獲取的頁面內容，類型可能是HTML,Json字元串，二進制數據（圖片或者視頻）等類型

解析內容

得到的內容可能是HTML,可以用正則表達式，頁面解析庫進行解析，可能是Json,可以直接轉換為Json對象解析，可能是二進制數據，可以做保存或者進一步的處理

保存數據

保存形式多樣，可以存為文本，也可以保存到資料庫，或者保存特定格式的文件

8. webharvest和 python的區別

Web-Harvest是一個Java開源Web數據抽取工具。它能夠收集指定的Web頁面並從這些頁面中提取有用的數據。Web-Harvest主要是運用了像XSLT,XQuery,正則表達式等這些技術來實現對text/xml的操作。
Python（KK 英語發音：/ˈpaɪθən/）是一種面向對象、直譯式計算機程序設計語言。也是一種功能強大而完善的通用型語言，已經具有十多年的發展歷史，成熟且穩定。Python 具有腳本語言中最豐富和強大的類庫，足以支持絕大多數日常應用。 Python語法簡捷而清晰，具有豐富和強大的類庫。它常被昵稱為膠水語言，它能夠很輕松的把用其他語言製作的各種模塊（尤其是C/C++）輕松地聯結在一起。Python的名字來源於一個喜劇。也許最初設計Python這種語言的人並沒有想到Python會在工業和科研上獲得如此廣泛的使用。

9. python爬蟲和web哪個好

從技術上來說沒有好壞之分，只有學的好壞之分，關鍵在於你以後的職業規劃在哪個方向，你要做開發就覺web,最好是全棧，你要往數據分析就選python爬蟲！

10. 零基礎，學習python哪個方向入門快爬蟲 數據挖掘還是web

爬蟲比較快,在學習爬蟲過程中,你可以學習數據挖掘,如果深入學習的話,需要數學,統計學知識,web的話,可以後爬蟲同時學習