① 怎样通过java使用socks代理访问服务器
packagetest;
importjava.io.IOException;
importjava.util.Date;
importorg.apache.commons.httpclient.HttpClient;
importorg.apache.commons.httpclient.HttpException;
importorg.apache.commons.httpclient.UsernamePasswordCredentials;
importorg.apache.commons.httpclient.auth.AuthScope;
importorg.apache.commons.httpclient.methods.PostMethod;
publicclasstest
{
publicstaticvoidmain(Stringargs[])
{
HttpClienthc=newHttpClient();
System.out.println("开始时间:"+System.currentTimeMillis());
for(inti=0;i<=100;i++)
{
try
{
//每10秒才会保存一次
Thread.sleep(12000);
}catch(InterruptedExceptione1)
{
//TODOAuto-generatedcatchblock
e1.printStackTrace();
}
Dated=newDate();
PostMethodpm=newPostMethod(
"http://www.tongaichina.com/post.asp?type=int&name=click&time="
+d.getTime());
try
{
//这里写代理地址及端口
hc.getHostConfiguration().setProxy("代理地址",端口);
//这里是用户名与密码
=(
"用户名","密码");
hc.getState().setProxyCredentials(AuthScope.ANY,creds);
hc.executeMethod(pm);
System.out.println(pm.getResponseBodyAsString());
}catch(HttpExceptione)
{
//TODOAuto-generatedcatchblock
e.printStackTrace();
}catch(IOExceptione)
{
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
System.out.println(i);
}
System.out.println("结束时间:"+System.currentTimeMillis());
}
}
② java httpClients使用代理服务器访问第三方时需要双向认证,但是认证不过,不使用代理就可以,请大神指点
那就不使用代理呗,不是更简单
③ java 访问不到本地的proxy
这个是 apache httpclient 的代码
CredentialsProvider credsProvider = new BasicCredentialsProvider();
credsProvider.setCredentials(
new AuthScope("localhost", 8080),
new UsernamePasswordCredentials("username", "password"));
CloseableHttpClient httpclient = HttpClients.custom()
.setDefaultCredentialsProvider(credsProvider).build();
try {
HttpHost target = new HttpHost("www.verisign.com", 443, "https");
HttpHost proxy = new HttpHost("localhost", 8080);
RequestConfig config = RequestConfig.custom()
.setProxy(proxy)
.build();
HttpGet httpget = new HttpGet("/");
httpget.setConfig(config);
System.out.println("Executing request " + httpget.getRequestLine() + " to " + target + " via " + proxy);
CloseableHttpResponse response = httpclient.execute(target, httpget);
try {
System.out.println("----------------------------------------");
System.out.println(response.getStatusLine());
EntityUtils.consume(response.getEntity());
} finally {
response.close();
}
} finally {
httpclient.close();
}
因为 不给发链接,你去 apache httpcomponents 的网站,找 httpclient ,example 里面都有的
④ java爬虫代理如何实现
爬虫离不开的就是代理服务器了,如果我们不用http来爬虫,ip不更改的情况下,是很难进行的。当我们在使用爬虫爬取网站资料,速度快,可以不知疲倦地连续工作。但是由于爬虫软件在访问网站时,行为过于频繁,远超人力操作速度,就很容易被网站察觉,而封掉用户的IP。
所以,使用爬虫软件时,为了防止IP被封,或者IP已经被封,还想用自己的IP访问封了自己IP的网站时,就要用到代理IP了。http能够对我们的ip地址进行更改,这一操作能够有效减少了网站的ip限制的影响,对爬虫是很有帮助的。Ipidea含有240+国家地区的ip,真实住宅网络高度匿名强力保护本地信息。
⑤ java HttpClient设置代理的话,用户名和密码怎么设置
使用代理需要导入:commons-logging-1.1.jar,httpclient-4.0-beta2.jar ,httpcore-4.1-alpha1.jar 和 commons-codec-1.4.jar架包。
在连接代理时需要使用用户名和密码构造UsernamePasswordCredentials对象并作为参数传递给HttpClient对象。
具体用法如下:
publicstaticvoidmain(Stringargs[])
{
StringBuffersb=newStringBuffer();
//创建HttpClient实例
HttpClientclient=getHttpClient();
//创建httpGet
HttpGethttpGet=newHttpGet("http://www.csdn.net");
//执行
try{
HttpResponseresponse=client.execute(httpGet);
HttpEntityentry=response.getEntity();
if(entry!=null)
{
InputStreamReaderis=newInputStreamReader(entry.getContent());
BufferedReaderbr=newBufferedReader(is);
Stringstr=null;
while((str=br.readLine())!=null)
{
sb.append(str.trim());
}
br.close();
}
}catch(ClientProtocolExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
System.out.println(sb.toString());
}
//设置代理
(){
DefaultHttpClienthttpClient=newDefaultHttpClient();
StringproxyHost="proxycn2.huawei.com";
intproxyPort=8080;
StringuserName="china\******";
Stringpassword="*******“
httpClient.getCredentialsProvider().setCredentials(
newAuthScope(proxyHost,proxyPort),
(userName,password));
HttpHostproxy=newHttpHost(proxyHost,proxyPort);
httpClient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY,proxy);
returnhttpClient;
}
⑥ java动态代理实现步骤
您好,提问者:
1、可以使用apache开发的HttpClient.jar来实现。
2、如果纯Java代码,首先创建一个Proxy类来进行指定协议,比如:Proxy.HTTP,构造方法请见JDK API文档,另外指定一个SocketAddress的ip和端口,一般http端口为80。
接下来就是访问Http网站了,使用URL url = new URL("xxx");地址,然后使用HttpConnection对象,把Proxy指定进去就可以了。
⑦ 使用浏览器访问一个url能正常访问,但是通过java httpclient请求时却总是超时,是怎么回事啊
如果在局域网可以访问那说明同局域网都是可以访问的, 检查一下你电脑是否开启了防火墙, 开启相关端口, 如果是超时了那么检查两边的网络是否正常, 能否ping通
⑧ 如何使用HttpClient
Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基于Http协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容,掌握HttpClient后,相信对于Http协议的了解会更加深入。
一、简介
HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中,比如Apache Jakarta上很着名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。
下载地址: http://hc.apache.org/downloads.cgi
二、特性
1. 基于标准、纯净的java语言。实现了Http1.0和Http1.1
2. 以可扩展的面向对象的结构实现了Http全部的方法(GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE)。
3. 支持HTTPS协议。
4. 通过Http代理建立透明的连接。
5. 利用CONNECT方法通过Http代理建立隧道的https连接。
6. Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。
7. 插件式的自定义认证方案。
8. 便携可靠的套接字工厂使它更容易的使用第三方解决方案。
9. 连接管理器支持多线程应用。支持设置最大连接数,同时支持设置每个主机的最大连接数,发现并关闭过期的连接。
10. 自动处理Set-Cookie中的Cookie。
11. 插件式的自定义Cookie策略。
12. Request的输出流可以避免流中内容直接缓冲到socket服务器。
13. Response的输入流可以有效的从socket服务器直接读取相应内容。
14. 在http1.0和http1.1中利用KeepAlive保持持久连接。
15. 直接获取服务器发送的response code和 headers。
16. 设置连接超时的能力。
17. 实验性的支持http1.1 response caching。
18. 源代码基于Apache License 可免费获取。
三、使用方法
使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。
1. 创建HttpClient对象。
2. 创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建HttpPost对象。
3. 如果需要发送请求参数,可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数;对于HttpPost对象而言,也可调用setEntity(HttpEntity entity)方法来设置请求参数。
4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求,该方法返回一个HttpResponse。
5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头;调用HttpResponse的getEntity()方法可获取HttpEntity对象,该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。
6. 释放连接。无论执行方法是否成功,都必须释放连接
四、实例
[java] view plain 在CODE上查看代码片派生到我的代码片
本实例是采用HttpClient4.3最新版本。该版本与之前的代码写法风格相差较大,大家多留意下。
⑨ java httpclient 需要设置代理吗
是否要代理,看使用的环境
~
~
~