phpcurl抓取网页指定内容

Ⅰ php 如何获取到一个网页的内容

1.file_get_contents
PHP代码

复制代码 代码如下:

<?php
$url = "http://www.jb51.net";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>

2.curl
PHP代码

复制代码 代码如下:

<?php
$url = "http://www.jb51.net";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>

3.fopen->fread->fclose
PHP代码

复制代码 代码如下:

<?php
$handle = fopen ("http://www.jb51.net", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>

注：
1.
使用file_get_contents和fopen必须空间开启allow_url_fopen。方法：编辑php.ini，设置
allow_url_fopen = On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法：windows下修改php.ini，将extension=php_curl.dll前面的分
号去掉，而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安装curl扩
展。

Ⅱ 如何用php CURL 抓取微信网页的内容

给你简单介绍几个吧
一、file_get_contents函数
$content = file_get_contents("URL");//URL就是你要获取的页面的地址
二、利用curl扩展
代码如下：
function getCurl($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//不输出内容
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close ($ch);
return $result;
}

PS：需要安装PHP的curl扩展

Ⅲ php获取指定网页内容

一、用file_get_contents函数,以post方式获取url

<?php

$url='http://www.domain.com/test.php?id=123';

$data=array('foo'=>'bar');

$data= http_build_query($data);

$opts=array(

'http'=>array(

'method'=>'POST',

'header'=>"Content-type: application/x-www-form-urlencoded " .

"Content-Length: " .strlen($data) ." ",

'content'=>$data

)

);

$ctx= stream_context_create($opts);

$html= @file_get_contents($url,'',$ctx);

二、用file_get_contents以get方式获取内容

<?php

$url='http://www.domain.com/?para=123';

$html=file_get_contents($url);

echo$html;

?>

三、用fopen打开url, 以get方式获取内容

<?php

$fp=fopen($url,'r');

$header= stream_get_meta_data($fp);//获取报头信息

while(!feof($fp)) {

$result.=fgets($fp, 1024);

}

echo"url header: {$header} <br>":

echo"url body: $result";

fclose($fp);

?>

四、用fopen打开url, 以post方式获取内容

<?php

$data=array('foo2'=>'bar2','foo3'=>'bar3');

$data= http_build_query($data);

$opts=array(

'http'=>array(

'method'=>'POST',

'header'=>"Content-type: application/x-www-form-

urlencoded Cookie:cook1=c3;cook2=c4 " .

"Content-Length: " .strlen($data) ." ",

'content'=>$data

)

);

$context= stream_context_create($opts);

$html=fopen('http://www.test.com/zzzz.php?id=i3&id2=i4','rb',false,$context);

$w=fread($html,1024);

echo$w;

?>

五、使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展

<?php

$ch= curl_init();

$timeout= 5;

curl_setopt ($ch, CURLOPT_URL,'http://www.domain.com/');

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,$timeout);

$file_contents= curl_exec($ch);

curl_close($ch);

echo$file_contents;

?>

Ⅳ 如何用php获取指定地址 的网页源文件

$info=file_get_contents('https://..com/question/1513631908043601820.html?entry=&ishq=1');

//info就是网页的源文件可以直接输出也可以保存

echofile_put_contents('./test.html',$info)?'保存成功':'保存失败';//保存

Ⅳ php获取网页源码内容有哪些办法

可以参考以下几种方法：

方法一： file_get_contents获取

<span style="white-space:pre"></span>$url="http://www..com/";

<span style="white-space:pre"></span>$fh= file_get_contents

('http://www.hxfzzx.com/news/fzfj/');<span style="white-space:pre"></span>echo $fh;

拓展资料

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

Ⅵ php的curl怎么爬取网页内容

编程爬虫比较难入门。
建议使用操作简单、功能强大的八爪鱼。

八爪鱼具有以下特点：

1、行业知名，全球300万+用户都在使用。
2、内置数百个主流网站采集模板，满足绝大部分采集需求，会鼠标点击以及文本输入即可采集数据。
3、智能采集，自动识别多种验证码，提供代理IP池，结合UA切换，可有效突破封锁，顺利采集数据。
4、可视化操作流程，眼见即可采（可采集市面上98%的网站），不管是图片电话，还是自媒体论坛，支持所有业务渠道的爬虫，满足各种采集需求。
5、云采集，5000台云服务器，24*7高效稳定采集，结合API可无缝对接内部系统，定期同步爬数据。
6、支持企业私有化部署，可部署在隔离内网环境。提供定制化部署方案，满足多种数据安全级别。

Ⅶ 用php获取指定网页内容

functiongetRemoteRes($url,$postfields=NULL,$timeout=60){
	$ci=curl_init();
	curl_setopt($ci,CURLOPT_URL,$url);
	curl_setopt($ci,CURLOPT_HEADER,FALSE);
	curl_setopt($ci,CURLOPT_RETURNTRANSFER,TRUE);
	curl_setopt($ci,CURLOPT_SSL_VERIFYPEER,0);
	curl_setopt($ci,CURLOPT_SSL_VERIFYHOST,0);
	curl_setopt($ci,CURLOPT_TIMEOUT,$timeout);
	curl_setopt($ci,CURLOPT_POST,TRUE);
	if(is_array($postfields)){
		$field_str="";
		foreach($postfieldsas$k=>$v){
			$field_str.="&$k=".urlencode($v);
		}
		curl_setopt($ci,CURLOPT_POSTFIELDS,$field_str);
	}
	$response=curl_exec($ci);
	if(curl_errno($ci)){
		return'ERRNO!';
	}else{
		$httpStatusCode=curl_getinfo($ci,CURLINFO_HTTP_CODE);
		if(200!==$httpStatusCode){
			return'ERRNO!';
		}
	}
	curl_close($ci);
	return$response;
}
先用以上函数获取指定的网页,然后从返回的数据中解析出你要的数据.可以使用正则表达式来提取,这要根据你要获取的页面源代码来判断了.暂时未知,以上只是提供一个思路给你.

Ⅷ php中想要抓取网页中某一段的数据的代码

<?php
$url='abc.com/';
$data=get_file($url);

$pattern='你的内容正则表达式';
perg_match($pattern,$data,$match);

print_r($match);

function get_file($url)
{
$curl = curl_init($url);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$data = curl_exec($curl);
return $data;
}
?>