㈠ java适合写爬虫吗
JAVA也可以实现爬虫，比如jsoup包，一个非常方便解析html的工具呢。
不过相对来说，java语言笨重，稍微有些麻烦。
㈡ java jsoup怎样爬取特定网页内的数据
1、Jsoup简述
Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。
2、快速开始
1)分析HTML页面，明确哪些数据是需要抓取的
2)使用HttpClient读取HTML页面
HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中.
3)使用Jsoup解析html字符串
通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以操作DOM树的方式来获得html页面上指定的内容。
3、保存爬取的页面数据
1)保存普通数据到数据库中
将爬取的数据封装进实体Bean中，并存到数据库内。
2)保存图片到服务器上
直接通过下载图片的方式将图片保存到服务器本地。
㈢ 菜鸟求教 java爬虫 Jsoup 查找元素 求教如何select出来这四个数据，谢谢！
Elements elestb = Jsoup.select("table");
Elelments elestr = elestb.get(0).select("tr");
Elements eles= elestr.get(1).select("a");
//第一个
String a1 = elestd.get(0).text();
//第二个
String a2 = elestd.get(1).text();
Elements elestd = elestr.get(1).select("td");
//第三个
String td1 = elestd.get(2).text();
//第四个
String td2 = elestd.get(3).text();
㈣ java jsoup 爬虫 怎么防止重复爬取
正好最近在学习这方面的内容。
两种思路：
可以将当前爬取的url存在一个list中作登记，在下一次开始爬子链接的时候进行比对，如果已经存在在list中则跳过，如果不存在那么继续爬
可以将所有的url网络先遍历一遍存在list中，然后根据list而不是再次访问子链接url进行爬取，在url存入list的过程中进行查重处理
顺便为了方便控制。建议设置爬取深度，在一定深度内进行爬取。
㈤ Java里，jsoup爬虫问题，求解
首先IP是不能伪造的，因为涉及到tcp/ip的通信问题。除非你根本不想要返回结果，那就成了DDOS攻击了，最常见的是更换代理。使用代理访问。
既然是过于频繁就把调用时间弄长点。这样估计就可以了。
㈥ （java爬虫）jsoup为什么两个标签之间的文本不显示
这是开发者工具解析到的一个论坛页面结构。。
可以看到每一个a标签和br标签之间总会夹着一个text,,也就是密码文本。而我根据网上的
API教程：
siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h1 ~ p
写成这样
Elements links_1 = tdsm.select("#postmessage_24532691>br~text");
然后打印_links_1.size为0.也就是并没有匹配到一个元素
特此求正确写法
1、用找的标签调用一下text（）这个方法就可以得到两个标签之间的内容了
2、Element对象的textNodes()或ownText()方法。
㈦ 详解如何基于Java用Jsoup爬虫HTML数据
1、要爬虫一个html数据在之前可以使用HtmlParser，见链接http://www.cnblogs.com/loveyakamoz/archive/2011/07/27/2118937.html 但自从jsoup诞生后，使用比HtmlParser更方面。此处就是利用jsoup解析html的，需要加载lib文件夹下的jsoup-1.7.2.jar、jsoup-1.7.2-sources.jar，自己add to build path即可。
后者是源码，可以查看，真正的包就第一个。
2、jsoup可以直接打开一个网页url，此处为了方便已经写了从url获取string类型的html代码了。所以可以直接利用Document doc = Jsoup.parse(htmlStr); 得到Document类。