A. curl和libcurl的區別簡介
curl簡介
curl是利用URL語法在命令行方式下工作的開源文件傳輸工具。
它支持很多協議：DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP,
LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet and TFTP。
curl同樣支持SSL證書,HTTP POST, HTTP
PUT,FTP上傳，基於表單的HTTP上傳，代理(proxies)、cookies、用戶名/密碼認證(Basic, Digest,
NTLM等)、下載文件斷點續傳，上載文件斷點續傳(file transfer resume)，http代理伺服器管道（proxy
tunneling)以及其他特性。
curl是瑞典curl組織開發的,curl的官網是http://curl.haxx.se/,可以從官網獲取它的源代碼和相關說明。
libcurl簡介
libcurl為一個免費開源的，客戶端url傳輸庫，支持DICT, FILE, FTP, FTPS, Gopher, HTTP,
HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP,
SMTP, SMTPS, Telnet and TFTP等協議。
同curl一樣，libcurl也支持SSL證書,HTTP POST, HTTP
PUT,FTP上傳，基於表單的HTTP上傳，代理(proxies)、cookies、用戶名/密碼認證(Basic, Digest,
NTLM等)、下載文件斷點續傳，上載文件斷點續傳(file transfer resume)，http代理伺服器管道（proxy
tunneling)等。
libcurl是高度可移植的，可以工作在不同的平台上，支持Windows，Unix，Linux等。
libcurl是免費的，線程安全的，IPV6兼容的，同事它還有很多其他非常豐富的特性。libcurl已經被很多知名的大企業以及應用程序所採用。
可以在這里獲取libcurl的源碼及相關文檔。
curl與libcurl對比
相同點
curl和libcurl都可以利用多種多樣的協議來傳輸文件，包括HTTP, HTTPS, FTP, FTPS, GOPHER, LDAP, DICT, TELNET and FILE等。
不同點
curl是命令行工具，可以通過shell或腳本來運行curl。curl底層所使用的庫是libcurl。
libcurl是一個庫，通常與別的程序綁定在一起使用，如命令行工具curl就是封裝了libcurl庫。所以我們也可以在你自己的程序或項目中使用libcurl以獲得類似CURL的強大功能。接下來將要介紹的php擴展就是對curl的一個封裝。
B. PHP如何開啟curl
開啟php curl函數庫的步驟
1).去掉windows/php.ini 文件里;extension=php_curl.dll前面的; /*用 echo phpinfo();查看php.ini的路徑*/
2).把php5/libeay32.dll，ssleay32.dll復制到系統目錄windows/下
3).重啟apache
配置php支持curl
curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。它支持很多協議：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同樣支持HTTPS認證，HTTP POST方法, HTTP PUT方法, FTP上傳, kerberos認證, HTTP上傳, 代理伺服器, cookies, 用戶名/密碼認證, 下載文件斷點續傳, 上載文件斷點續傳, http代理伺服器管道（ proxy tunneling）, 甚至它還支持IPv6, socks5代理伺服器, 通過http代理伺服器上傳文件到FTP伺服器等等，功能十分強大。Windows操作系統下的網路螞蟻，網際快車(FlashGet)的功能它都可以做到。准確的說，curl支持文件的上傳和下載，所以是一個綜合傳輸工具，但是按照傳統，用戶習慣稱curl為下載工具。
配置方法：
1、拷貝PHP目錄中的libeay32.dll 和 ssleay32.dll 兩個文件到 system32 目錄。
2、修改php.ini：配置好 extension_dir ，去掉 extension = php_curl.dll 前面的分號。
---------------------------
php下擴展php_curl.dll的安裝
---------------------------
已經內置有php_curl.dll,在ext目錄下,此DLL用於支持SSL和zlib.
在php.ini中找到有extension=php_curl.dll, 去掉前面的注釋.
設置extension_dir=c:phpext, 刷新PHP頁面時報錯, 說找不到模塊php_curl.dll.
拷貝php_curl.dll 到windowssystem32,還是同樣的錯.
在網上找了一下,需要將:
libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll
都拷貝到system32目錄下,重啟IIS即可.
C. php爬蟲程序中怎麼樣偽造ip地址防止被封
1、國內ADSL是王道，多申請些線路，分布在多個不同的電信區局，能跨省跨市更好，自己寫好斷線重撥組件，自己寫動態IP追蹤服務，遠程硬體重置（主要針對ADSL貓，防止其宕機），其餘的任務分配，數據回收~
2、1.IP必須需要，，ADSL。如果有條件，其實可以跟機房多申請外網IP。
2.在有外網IP的機器上，部署代理伺服器。
3.你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。
3、ADSL + 腳本，監測是否被封，然後不斷切換 ip
設置查詢頻率限制
正統的做法是調用該網站提供的服務介面。
4、
1 user agent 偽裝和輪換
2 使用代理 ip 和輪換
3 cookies 的處理，有的網站對登陸用戶政策寬鬆些
友情提示：考慮爬蟲給人家網站帶來的負擔，be a responsible crawler
5、
盡可能的模擬用戶行為：
1、UserAgent經常換一換；
2、訪問時間間隔設長一點，訪問時間設置為隨機數；
3、訪問頁面的順序也可以隨機著來
6、
1. 對爬蟲抓取進行壓力控制；
2. 可以考慮使用代理的方式訪問目標站點。
-降低抓取頻率，時間設置長一些，訪問時間採用隨機數
-頻繁切換UserAgent（模擬瀏覽器訪問）
-多頁面數據，隨機訪問然後抓取數據
-更換用戶IP
D. php如何帶cookies訪問需要登錄的網站
使用curl
CURLOPT_COOKIE 設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔，分號後帶一個空格(例如， "fruit=apple; colour=red")。
CURLOPT_COOKIEFILE 包含cookie數據的文件名，cookie文件的格式可以是Netscape格式，或者只是純HTTP頭部信息存入文件。
CURLOPT_COOKIEJAR 連接結束後保存cookie信息的文件。
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url); // 請求的地址
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiesfile); // 連接結束後保存cookie信息的文件
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiesfile); // 請求時發送的cookie信息文件
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_exec($ch);
curl_close($ch);
E. php,用CURL post登錄的時候，我需要把登錄後返回的cookie保存到資料庫裡面
可以。你可以先獲取一個cookies值去進行curl操作,或者在登錄成功後獲取其header頭信息。裡面有cookies