bitbucket源碼

1. 如何用 Python 爬取需要登錄的網站

最近我必須執行一項從一個需要登錄的網站上爬取一些網頁的操作。它沒有我想像中那麼簡單，因此我決定為它寫一個輔助教程。

在本教程中，我們將從我們的bitbucket賬戶中爬取一個項目列表。

教程中的代碼可以從我的Github中找到。

我們將會按照以下步驟進行：

• 提取登錄需要的詳細信息

• 執行站點登錄

• 爬取所需要的數據

在本教程中，我使用了以下包（可以在requirements.txt中找到）：

Python

1

2

requests

lxml

步驟一：研究該網站

打開登錄頁面

進入以下頁面 「bitbucket.org/account/signin」。你會看到如下圖所示的頁面（執行注銷，以防你已經登錄）

仔細研究那些我們需要提取的詳細信息，以供登錄之用

在這一部分，我們會創建一個字典來保存執行登錄的詳細信息：

1. 右擊 「Username or email」 欄位，選擇「查看元素」。我們將使用 「name」 屬性為 「username」 的輸入框的值。「username」將會是 key 值，我們的用戶名/電子郵箱就是對應的 value 值（在其他的網站上這些 key 值可能是 「email」，「 user_name」，「 login」，等等）。

2. 右擊 「Password」 欄位，選擇「查看元素」。在腳本中我們需要使用 「name」 屬性為 「password」的輸入框的值。「password」 將是字典的 key 值，我們輸入的密碼將是對應的 value 值（在其他網站key值可能是 「userpassword」，「loginpassword」，「pwd」，等等）。

3. 在源代碼頁面中，查找一個名為 「csrfmiddlewaretoken」 的隱藏輸入標簽。「csrfmiddlewaretoken」 將是 key 值，而對應的 value 值將是這個隱藏的輸入值（在其他網站上這個 value 值可能是一個名為 「csrftoken」，「authenticationtoken」的隱藏輸入值）。列如：「」。

最後我們將會得到一個類似這樣的字典：

Python

1

2

3

4

5

payload = {

"username": "<USER NAME>",

"password": "<PASSWORD>",

"csrfmiddlewaretoken": "<CSRF_TOKEN>"

}

請記住，這是這個網站的一個具體案例。雖然這個登錄表單很簡單，但其他網站可能需要我們檢查瀏覽器的請求日誌，並找到登錄步驟中應該使用的相關的 key 值和 value 值。

步驟2：執行登錄網站

對於這個腳本，我們只需要導入如下內容：

Python

1

2

import requests

from lxml import html

首先，我們要創建session對象。這個對象會允許我們保存所有的登錄會話請求。

Python

1

session_requests = requests.session()

第二，我們要從該網頁上提取在登錄時所使用的 csrf 標記。在這個例子中，我們使用的是 lxml 和 xpath 來提取，我們也可以使用正則表達式或者其他的一些方法來提取這些數據。

Python

1

2

3

4

5

login_url = "n/?next=/"

result = session_requests.get(login_url)

tree = html.fromstring(result.text)

authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

**更多關於xpath 和lxml的信息可以在這里找到。

接下來，我們要執行登錄階段。在這一階段，我們發送一個 POST 請求給登錄的 url。我們使用前面步驟中創建的 payload 作為 data 。也可以為該請求使用一個標題並在該標題中給這個相同的 url添加一個參照鍵。

Python

1

2

3

4

5

result = session_requests.post(

login_url,

data = payload,

headers = dict(referer=login_url)

)

步驟三：爬取內容

現在，我們已經登錄成功了，我們將從bitbucket dashboard頁面上執行真正的爬取操作。

Python

1

2

3

4

5

url = '/overview'

result = session_requests.get(

url,

headers = dict(referer = url)

)

為了測試以上內容，我們從 bitbucket dashboard 頁面上爬取了項目列表。我們將再次使用 xpath 來查找目標元素，清除新行中的文本和空格並列印出結果。如果一切都運行 OK，輸出結果應該是你 bitbucket 賬戶中的 buckets / project 列表。

Python

1

2

3

4

5

tree = html.fromstring(result.content)

bucket_elems = tree.findall(".//span[@class='repo-name']/")

bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]

print bucket_names

你也可以通過檢查從每個請求返回的狀態代碼來驗證這些請求結果。它不會總是能讓你知道登錄階段是否是成功的，但是可以用來作為一個驗證指標。

例如：

Python

1

2

result.ok # 會告訴我們最後一次請求是否成功

result.status_code # 會返回給我們最後一次請求的狀態

2. 除了GitHub，你還知道那些免費源代碼託管網站

除了GitHub，還有以下免費源代碼託管網站：

1. GitLab：

   • 提供與GitHub相似的全面功能，如代碼審查、時間跟蹤等。
   • 開源軟體，允許在自定義伺服器上部署，靈活性高。

2. BitBucket：

   • 提供無限制的私人和公共倉庫，支持五個成員使用。
   • 具備代碼搜索、管道管理、合並請求等強大功能。
   • 支持任何Git客戶端或命令行操作，可部署在雲端、數據中心或本地伺服器。

3. SourceForge：

   • 開源代碼倉庫網站的先驅之一，為超過370萬注冊用戶託管代碼。
   • 基於Apache Allura提供服務，允許開發者託管靜態和動態頁面。

4. GitKraken：

   • 以獨特功能、美觀界面、速度和易用性吸引用戶。
   • 支持Windows、Mac和Linux系統，提供大小可調界面和優化速度。
   • 與GitHub、Bitbucket和GitLab等無縫集成，簡化遠程代碼倉庫管理。

5. LaunchPad：

   • 完全免費的協作平台，提供錯誤跟蹤、代碼審查等功能。
   • Ubuntu Linux、MySQL和Openstack等熱門項目託管在該平台。

6. Gitee：

   • 由開源中國社區提供，基於Gitlab開源軟體開發。
   • 國內最大的代碼託管系統，為國內開發者提供穩定且優質的服務。

7. 阿里雲Code：

   • 阿里雲提供的免費代碼託管服務，注冊阿里雲賬號即可使用。

8. 碼市：

   • 一站式雲端軟體服務平台，提供任務協作、代碼管理、在線編輯器等工具。

9. 網路效率雲：

   • 網路提供的代碼託管平台，包括代碼託管、版本管理、持續集成等功能。

這些網站各有特色，可以根據具體需求和偏好選擇合適的源代碼託管平台。