❶ python爬蟲幾個步驟教你寫入mysql資料庫
構建Python爬蟲以將數據寫入MySQL資料庫，實現數據持久化存儲，通常有多種方式，如Excel、TXT、JSON、CSV等。然而，將數據存入MySQL資料庫提供了豐富的操作和靈活性，尤其對Python後端開發人員有益。以下是一系列步驟，幫助您熟悉整個流程。
首先，安裝phpStudy並按照指南配置MySQL資料庫。設置用戶名和密碼，然後啟動服務。在主界面，找到MySQL客戶端並連接到本地資料庫，使用設置的用戶名和密碼。
接著，創建MySQL資料庫中的相應表結構。使用SQL語句定義表的列和屬性，確保與爬取的數據結構相匹配。
編寫一個SQL語句字元串，用於插入數據。通過Python的連接對象執行SQL語句，實現數據寫入。這里提供了一個簡單的SQL語句生成和執行函數模板，方便使用。
對於網頁數據爬取，使用如XPath等技術提取信息。在瀏覽器開發者工具中，定位所需元素，復制其選擇器或路徑。這一步是數據提取的關鍵。
下面是一個實現數據爬取和寫入資料庫的Python類示例代碼，供參考。確保按照實際需求調整代碼，以適應具體網頁結構。
最終目標是展示爬取成功，數據已正確保存到MySQL資料庫中。通過查詢資料庫驗證數據是否完整且正確。
❷ python爬蟲用什麼庫
以下是爬蟲經常用到的庫
請求庫
1. requests
requests庫應該是現在做爬蟲最火最實用的庫了，非常的人性化。有關於它的使用我之前也寫過一篇文章 一起看看Python之Requests庫 ，大家可以去看一下。
2.urllib3
urllib3是一個非常強大的http請求庫，提供一系列的操作URL的功能。
3.selenium
自動化測試工具。一個調用瀏覽器的 driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
對於這個庫並非只是Python才能用，像JAVA、Python、C#等都能夠使用selenium這個庫
4.aiohttp
基於 asyncio 實現的 HTTP 框架。非同步操作藉助於 async/await 關鍵字，使用非同步庫進行數據抓取，可以大大提高效率。
這個屬於進階爬蟲時候必須掌握的非同步庫。有關於aiohttp的詳細操作，可以去官方文檔：https://aiohttp.readthedocs.io/en/stable/
Python學習網- 專業的python自學、交流公益平台！
解析庫
1、beautifulsoup
html 和 XML 的解析,從網頁中提取信息，同時擁有強大的API和多樣解析方式。一個我經常使用的解析庫，對於html的解析是非常的好用。對於寫爬蟲的人來說這也是必須掌握的庫。
2、lxml
支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
3、pyquery
jQuery 的 Python 實現，能夠以 jQuery 的語法來操作解析 HTML 文檔，易用性和解析速度都很好。
數據存儲
1、pymysql
官方文檔：https://pymysql.readthedocs.io/en/latest/
一個純 Python 實現的 MySQL 客戶端操作庫。非常的實用、非常的簡單。
2、pymongo
官方文檔：https://api.mongodb.com/python/
顧名思義，一個用於直接連接 mongodb 資料庫進行查詢操作的庫。
3、redismp
redis-mp是將redis和json互轉的工具；redis-mp是基於ruby開發，需要ruby環境，而且新版本的redis-mp要求2.2.2以上的ruby版本，centos中yum只能安裝2.0版本的ruby。需要先安裝ruby的管理工具rvm安裝高版本的ruby。
❸ 爬蟲寫入mysql表裡的數據都是這種Unicode編碼，怎麼轉為可讀文字
unicode emoji是4個位元組的，存不進MySQL里，找到一個轉義的庫code.iamcal.com/php/emoji/，但是轉為Unicode之後，還是4個位元組，一樣存不進，應該說根本沒轉。轉為其他格式的emoji又怕以後新增了表情不好做，你們在不改資料庫編碼的前提下，是怎麼弄的？
方法1：base_encode64
這種方法是可以，但是舊數據沒有經過encode操作，取數據的時候如果統一進行decode的話，舊數據會丟失的。
方法2：urlencode
這個似乎可以，對沒有經過encode的數據進行decode也不會有影響，而且多次decode似乎也不會有影響。
❹ Python爬蟲如何寫
先檢查是否有API
API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。
數據結構分析和數據存儲
爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。
對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。
資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。
數據流分析
對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。
值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。
明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。
同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。
數據採集
之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。
下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。
BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。
正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。
對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。
數據整理
一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。
字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。
如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。
Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。
寫入資料庫
如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。
寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。