php抓數據

『壹』 php怎樣抓取網頁代碼中動態顯示的數據

你是想抓別人網頁上ajax動態載入的數據吧？

1、要找到它的ajax載入的URL地址

2、利用PHP的file_get_contents($url)函數讀取那個url地址。

3、對抓取到的內容進行分析或正則過濾。

『貳』 php正則表達式怎麼抓取網頁數據

會用正則就會抓取。
不會正則，一時半會也教不錯。
不過，推薦你使用phpQuery這個框架，用jQuery的使用器來抓取數據。

『叄』 phpstudy怎麼抓取網頁數據

什麼網頁數據？

是打開 本地網頁還是打開網上網頁

如果是本地網頁的話 在瀏覽器上輸入127.0.0.1或者localhost進行訪問

如果是外網我理解的是你要獲取外網的一個網頁，可以用代碼或者程序來實現

（一般稱為採集程序，或者小偷程序）

//個人認為curl好一點，因為curl可以模擬瀏覽器，有的網站會過濾機器人

//1.php代碼
//把網頁讀入一個字元串
$contone=file_get_contents('url');
print_r($contone);
//curl採集
#初始化curl（true/false）
$ch=curl_init();
#請求url地址
$params[CURLOPT_URL]='網址';
#是否返回響應頭信息
$params[CURLOPT_HEADER]=true;
#是否將結果返回
$params[CURLOPT_RETURNTRANSFER]=true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION]=true;
#偽造瀏覽器
$params[CURLOPT_USERAGENT]='Mozilla/5.0(WindowsNT5.1;rv:9.0.1)Gecko/20100101Firefox/9.0.1';
curl_setopt_array($ch,$params);
$content=curl_exec($ch);
//輸出網頁內容
print_r($content);

//下面是整個curl採集類
classCurl{
#採集的地址
public$url;
#匹配的正則
public$preg;
#模擬登錄需要的用戶名
public$username;
#模擬登錄需要的密碼;
public$pwd;
#cookie存儲的路徑
private$cookie_path;
#採集數據的字元集
public$charset;

/**
*構造方法，初始化採集基本信息
*@param$url採集的url
*@param$preg匹配的正則
*@paramstring$username用戶名
*@paramstring$pwd密碼
*@paramstring$charset字元集
*/
publicfunction__construct($info){
extract($info);
$this->url=$url;
$this->preg=$preg;
if(isset($charset)){
header("content-type:text/html;charset=".$this->charset);
}else{
header("content-type:text/html;charset=utf-8");
}
if(isset($username)){
$this->username=$username;
}
if(isset($pwd)){
$this->pwd=$pwd;
}
}
/*
*採集數據，非表單提交方式，直接採集的
*/
publicfunctionget_info(){
#初始化curl
$ch=curl_init();
#請求url地址
$params[CURLOPT_URL]=$this->url;
#是否返回響應頭信息
$params[CURLOPT_HEADER]=true;
#是否將結果返回
$params[CURLOPT_RETURNTRANSFER]=true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION]=true;
#偽造瀏覽器
$params[CURLOPT_USERAGENT]='Mozilla/5.0(WindowsNT5.1;rv:9.0.1)Gecko/20100101Firefox/9.0.1';
//判斷是否有cookie,有的話直接使用
//if(isset($_COOKIE['cookie_jar'])&&($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){
//$params[CURLOPT_COOKIEFILE]=$_COOKIE['cookie_jar'];//這里判斷cookie
//}else{
//$cookie_jar=tempnam($this->cookie_path,'cookie');//產生一個cookie文件
//$params[CURLOPT_COOKIEJAR]=$cookie_jar;//寫入cookie信息
//setcookie('cookie_jar',$cookie_jar);//保存cookie路徑
//}
#開始發送請求，傳入curl參數
curl_setopt_array($ch,$params);
$content=curl_exec($ch);
preg_match_all($this->preg,$content,$arr);
return$arr;
}

/**
*採集遠程圖片
*@param$img圖片路徑是一個數組
*@param$save_path圖片保存在你本地的路徑
*@returnbool
*/
publicfunctionget_img($img,$save_path){
for($i=0;$i<count($img);$i++){
$res=@file_get_contents($img[$i]);
$img_type=substr($img[$i],strrpos($img[$i],"."));
$path=$save_path.time().rand(1,9999999).mt_rand().$img_type;
$img[$i]=$path;
file_put_contents($path,$res);
}
return$img;
}

//登錄後採集
publicfunctionregister_info(){
//採集的信息需要先登錄的就要先模擬登錄
//設置cookie保存路徑
$ch=curl_init();

//組裝用戶名和密碼
$info['username']=$this->username;
$info['password']=$this->pwd;
//模擬表單提交
$params[CURLOPT_URL]=$this->url;//請求url地址
$params[CURLOPT_HEADER]=true;//是否返回響應頭信息
$params[CURLOPT_RETURNTRANSFER]=true;//是否將結果返回
$params[CURLOPT_FOLLOWLOCATION]=true;//是否重定向
$params[CURLOPT_USERAGENT]='Mozilla/5.0(WindowsNT5.1;rv:9.0.1)Gecko/20100101Firefox/9.0.1';
$postfields='';
//將表單要提交的數據編程URL拼接方式
foreach($infoas$key=>$value){
$postfields.=urlencode($key).'='.urlencode($value).'&';
}
$params[CURLOPT_POST]=true;
$params[CURLOPT_POSTFIELDS]=$postfields;
//判斷是否有cookie,有的話直接使用
if(isset($_COOKIE['cookie_jar'])&&($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){
$params[CURLOPT_COOKIEFILE]=$_COOKIE['cookie_jar'];//這里判斷cookie
}else{
$cookie_jar=tempnam($this->cookie_path,'cookie');//產生一個cookie文件
$params[CURLOPT_COOKIEJAR]=$cookie_jar;//寫入cookie信息
setcookie('cookie_jar',$cookie_jar);//保存cookie路徑
}
curl_setopt_array($ch,$params);//傳入curl參數
$content=curl_exec($ch);//執行
return$content;
}
}

『肆』 php每天抓取數據並更新新

以前我用過querylist插件抓數據，伺服器寫和定時器，每天固定時間去運行腳本。朝這個方式試試
高並發下數據的更新，應該 update table xxx set num = num - 1 的方式，這種方式可以保證數據的正確性。
但是會出現 num 為負數的問題，如果庫存為負數，顯然是不合理的。
於是，需要將 num 欄位設置為 無符號整型，這樣就不會出現負數了，因為，如果減到負數，就會更新失敗。
但是這種依然會造成很多無用的更新語句的執行，是不合理的。
於是，update table xxx set num = num - 1 where num > 0，
這樣當 num 等於0之後就不會去更新資料庫了，減少了很多無用的開銷。
這種方式被稱作「樂觀鎖」
此外，對於搶紅包這種非整數的操作，我們應該轉換為整數的操作。
關於搶購超賣的控制
一般搶購功能是一個相對於正常售賣系統來說獨立的子系統，這樣既可以防止搶購時的高並發影響到正常系統，
也可以做到針對於搶購業務的特殊處理。
在後台設計一些功能，可以就昂正常的商品加入到搶購活動中並編輯成為搶購商品，寫入到搶購商品表，當然
也可以把搶購商品表寫入redis而不是數據表。並且在原商品表寫入一個同樣的商品（id相同，用於訂單查看，
此商品不可購買）
如果是數據表，為了控制超賣，需要對表進行行鎖，更新的時候帶上 where goods_amount > 0。
如果是redis，使用 hincrby 一個負數來減庫存，並且 hincrby 會返回改變後的值，再來判斷返回值是否大於0，
因為redis每個命令都是原子性的，這樣不用鎖表就可控制超賣。

『伍』 php中如何提取數據

有很多方法的呀，
1)字元串截取，$result
=
substr($whole,
0,
4);
2)用空格分割字元串到數組中：$ary
=
explode('
',
$whole);
$result
=
$ary[0]

『陸』 php抓取數據

像這樣採集的程序一般把循環的速度搞一下，如果太快，一個網速跟不上，一是伺服器設置了防採集或是防CC攻擊等，如果你每5分鍾採集一次，這樣，肯定不會受到限制，如果你一分鍾採集100或是更多次這伺服器會限制你訪問，認為你是惡意攻擊，明白？就像網路或google 機器人一樣，如果不做限制採集過多，會把伺服器拉死。

『柒』 怎麼用php採集網站數據

簡單的分了幾個步驟：
1、確定採集目標
2、獲取目標遠程頁面內容（curl、file_get_contents）
3、分析頁面html源碼，正則匹配你需要的內容（preg_match、preg_match_all），這一步最為重要，不同頁面正則匹配規則不一樣
4、入庫

『捌』 如何利用php抓取網站動態產生的數據

$url = "網站地址目錄";
$queryServer = curl_init();
curl_setopt($queryServer, CURLOPT_URL, $url);
curl_setopt($queryServer, CURLOPT_HEADER, 0);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);
curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);
$html = curl_exec($queryServer);
$html = iconv('UTF-8','GBK//IGNORE',$html); //如果你需要是的數據是utf-8編碼的,這一行可以注銷，如果需要gbk編碼的,請保留.如果出現亂碼，就是一行的問題，你自己調著試吧
//echo $holder;exit; 此處可以輸出來測試.
$html = str_replace(array("\n","\r","\t"),"",$html);
$preg = '/<table\s+width=\"800\"[^>]+>(.*?)<\/table>/';
preg_match_all($preg,$html,$out);
//匹配每行
preg_match_all('/<tr[^>]+>(.*?)<\/tr>/',$out[1][0],$tr);
//匹配每個td
$result = array();
$match = '/<td.+>([^<]+)<\/td>/U';
foreach( $tr[0] as $key => $value ){
preg_match_all($match,$value,$arr);
$result[] = $arr[1];
}
//輸出測試,$result就是你要的數據，至於你要怎麼輸出顯示格式，那就隨心調就好了。
foreach( $result as $key => $value ){
echo implode("\t",$value);
echo "<br>";
}
exit;