『壹』 【python3網路爬蟲開發實戰】使用Selenium爬取淘寶商品
本文介紹使用Selenium爬取淘寶商品信息，並保存至MongoDB。首先，需確保已安裝Chrome瀏覽器、ChromeDriver、Python的Selenium庫以及PhantomJS、Firefox和其對應Driver。接著，分析淘寶介面和頁面結構，發現通過構造URL參數，可直接抓取商品信息，無需關注復雜介面參數。頁面分析顯示，商品信息位於商品列表中，通過跳轉鏈接可訪問任意頁的商品。使用Selenium獲取頁面源碼後，利用pyquery解析，提取圖片、名稱、價格、購買人數、店鋪名稱和店鋪所在地等信息，最終保存至MongoDB。
構造商品搜索URL，通過關鍵詞自定義，構造URL並使用Selenium抓取頁面。實現分頁邏輯，通過跳轉頁碼輸入框實現自動跳轉至所需頁。等待頁面載入，確保元素完全呈現後進行商品信息提取。解析頁面源碼，使用pyquery找到商品信息塊，遍歷提取圖片鏈接、價格、成交量等信息，構建商品字典，調用方法保存至MongoDB。
遍歷每頁商品，調用獲取方法並遍歷頁碼1至100，完成所有商品信息抓取。運行代碼，瀏覽器自動打開，輸出提取結果至控制台，檢查MongoDB中數據，確保成功存儲所有商品信息。支持Chrome Headless模式，從版本59開始啟用無界面模式，提升爬取效率。對接Firefox瀏覽器，只需更改瀏覽器對象創建方式。使用PhantomJS進行爬取，無需界面，優化爬取流程，可通過命令行配置，如設置緩存、禁用圖片載入，提高效率。
實現流程清晰，自動化程度高，適用於大規模商品信息抓取需求。通過Selenium與MongoDB結合，為電商數據分析與市場調研提供數據支持。關注公眾號獲取更多技術教程與實踐案例。
『貳』 Python爬蟲|微博熱搜定時爬取，堪稱摸魚神器
在工作之餘，你是否曾因對微博熱搜上的熱議話題充滿好奇，卻又不方便頻繁查看而感到困擾？本文將介紹一種簡單實用的方法，通過Python爬蟲定時採集微博熱搜榜和熱評，實現了一個堪稱「摸魚神器」的自動化解決方案。下面，讓我們一起探索實現這一目標的具體步驟和代碼。
首先，我們要明確熱搜頁面的URL，即熱榜首頁，通常為 https://s.weibo.com/top/summary?cate=realtimehot。頁面上展示的50條數據包括排行、熱度、標題，以及每個熱搜詞條的詳情頁鏈接。
為了訪問該頁面並獲取數據，我們需要登錄微博賬號。使用瀏覽器的開發者工具（F12）進行頁面分析，找到並記錄Cookie和User-Agent。同時，利用Google工具獲取頁面中數據的XPath表達式，以便後續的元素定位。
接下來，我們對詳情頁進行分析，目標是提取評論時間、用戶名稱、轉發次數、評論次數、點贊次數以及評論內容等關鍵信息。這些操作與採集熱搜榜的步驟類似，需要編寫相應的Python代碼實現。
實現代碼主要分為以下幾個部分：
1. **導入所需模塊**：確保使用`requests`庫發起HTTP請求，`BeautifulSoup`用於解析HTML頁面，以及可能需要的其他庫。
2. **定義全局變數**：存儲Cookie、User-Agent以及數據保存路徑等關鍵信息。
3. **熱搜榜採集代碼**：使用`requests`獲取詳情頁鏈接，跳轉到詳情頁後，利用`BeautifulSoup`解析數據，保存到全局變數`all_df`中。對於每個熱搜，僅採集熱評前三條，不足則跳過。
4. **調度代碼**：通過向`get_hot_list`函數傳遞熱搜頁URL來啟動採集過程，最後將數據保存至指定路徑。
5. **異常處理**：確保代碼在運行過程中能夠應對可能出現的異常情況，保證程序穩定運行。
為了實現每小時自動運行，我們可以利用Windows的任務計劃程序。在此過程中，需要修改代碼中的Cookie和文件保存路徑，如果在Jupyter notebook中運行，則需要導出一個`.py`文件。
創建任務計劃程序的步驟如下：
1. **創建任務**：選擇任務名稱，設定觸發器（如每小時運行）。
2. **設置觸發時間**：選擇具體時間點。
3. **選擇程序**：選擇要運行的Python腳本。
4. **確認**：完成設置後，任務即會按照設定的時間自動運行。
以上就是本文介紹的微博熱搜定時爬取方法，整體操作難度適中，適合對Python有一定基礎的開發者。通過實現自動化，不僅節省了頻繁查看微博的時間，也極大地提高了工作效率。如果你在執行過程中遇到任何問題，歡迎隨時聯系作者尋求幫助。
『叄』 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容
Scrapy是一個用Python寫的Crawler Framework，簡單輕巧，並且非常方便。Scrapy使用Twisted這個非同步網路庫來處理網路通信，架構清晰，並且包含了各種中間件介面，可以靈活地完成各種需求。Scrapy整體架構如下圖所示：
根據架構圖介紹一下Scrapy中的各大組件及其功能：
Scrapy引擎（Engine）：負責控制數據流在系統的所有組建中流動，並在相應動作發生觸發事件。
調度器（Scheler）：從引擎接收Request並將它們入隊，以便之後引擎請求request時提供給引擎。
下載器（Downloader）：負責獲取頁面數據並提供給引擎，而後提供給Spider。
Spider：Scrapy用戶編寫用於分析Response並提取Item（即獲取到的Item）或額外跟進的URL的類。每個Spider負責處理一個特定（或一些網站）。
Item Pipeline：負責處理被Spider提取出來的Item。典型的處理有清理驗證及持久化（例如存儲到資料庫中，這部分後面會介紹存儲到MySQL中，其他的資料庫類似）。
下載器中間件（Downloader middlewares）：是在引擎即下載器之間的特定鉤子（special hook），處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能（後面會介紹配置一些中間並激活，用以應對反爬蟲）。
Spider中間件（Spider middlewares）：是在引擎及Spider之間的特定鉤子（special hook），處理Spider的輸入（response）和輸出（Items即Requests）。其提供了一個簡便的機制，通過插入自定義的代碼來擴展Scrapy功能。