htmlxpathjava

㈠ java和python哪个适合写爬虫

当然是Python，一般我们都口语化说Python爬虫，爬虫工程师都是用python语言。
Python独特的优势是写爬虫的关键。1)跨平台，对Linux和windows都有不错的支持;2)科学计算、数值拟合：Numpy、Scipy;3)可视化：2d：Matplotlib, 3d: Mayavi2;4)复杂网络：Networkx、scrapy爬虫;5)交互式终端、网站的快速开发。
用Python爬取信息的方法有三种：
1、正则表达式。实现步骤分为五步：1)在tomcat服务器端部署一个html网页;2)使用URL与网页建立联系;3)获取输入流，用于读取网页中的内容;4)建立正则规则;5)将提取到的数据放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各种html解析器，包括python自带的标准库，还有其他的许多第三方库模块。其中一个是lxml parser。借助网页的结构和属性等特性来解析网页的工具，有了它我们不用再去写一些复杂的正则，只需要简单的几条语句就可以完成网页中某个元素的提取。
3、Lxml。Lxml是Python的一个解析库，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解决三个问题：1)有一个XML文件，如何解析;2)解析后，如果查找、定位某个标签;3)定位后如何操作标签，比如访问属性、文本内容等。
当网页结构简单并且想要避免额外依赖(不需要安装库)，使用正则表达式更为合适。当需要爬取数据量较少时，使用较慢的BeautifulSoup也可以的。当数据量大时，需要追求效益时，Lxml时最好选择。
爬虫是一个比较容易上手的技术，也许你看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，并不是1*n这么简单，因此很多企业都在高薪招聘Python精英人才。

㈡ 如何用htmlunit向服务器javascrtipt提交数据和得到运行结果

看了下你的网站，你的目的应该是测试按下搜索按钮之后显示的结果网页里面的内容是否符合预想吧，其实htmlunit本身相当于模拟了一个浏览器，所以你不需要分别执行那几个javascript，只要用htmlunit的webclient用你的地址装入网页（这时候他会自动装入需要的javascript并执行），然后用你会得到一个htmlpage对象，从里面找到需要填值的input对象，设置参数，然后找到搜索按钮，模拟点击即可，然后webclient会像真正的浏览器一样做submit，并更新他内部的网页数据，之后你只要在更新过的htmlpage对象中寻找预想结果应该生成的网页对象并判断其值是否正确即可。
我没有用过python版的htmlunit，我用的是java版，但用法应该类似，你也可以参考下面的这个网页，当然他只做到了submit，之后的对结果的判断做法是类似的，也可以用你上面写的通过xpath到结果网页里面寻找的方法。
http://blog.csdn.net/xuweilinjijis/article/details/8984290

㈢ java用xpath定位中怎么传入变量

在xpath中该如何使用变量，想选择id是某个值的元素，这个值是个变量。
response.xpath('//div[@id=val]').extract_first()
1. response.xpath('//div[@id=' + val + ']').extract_first()
2. response.xpath('//div[@id={}]'.format(val)).extract_first()
3. response.xpath('//div[@id=$val]/a/text()', val='images').extract_first()

㈣ html中的一个button元素，没有id，name之类的，怎么能捕捉到该元素啊用xpath代码如下

没有id和name，但是你有class属性啊，通过class属性去获取
使用jquery：
$(".common-btn")

㈤ java html页面可以使用el表达式吗

java html页面是不可以使用el表达式的，因为会引起系统的冲突，只有jsp文件才可以写el表达式。EL（Expression Language） 是为了使JSP写起来更加简单。表达式语言的灵感来自于 ECMAScript 和 XPath 表达式语言，它提供了在 JSP 中简化表达式的方法，让Jsp的代码更加简化。

㈥ 正则表达式、xpath、BeautifulSoup和JSONPath的区别

1.正则表达式是进行内容匹配，将符合要求的内容全部获取；xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检
测出内容是否为真的标签；Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下，
xpath的速度会快一点，因为xpath底层是用c来实现的
2.三者语法不同，正则表达式使用元字符，将所有获得内容与匹配条件进行匹配，而xpath和bs4将获取的解析后的源码进行按条件筛选，筛选
出想要的标签即根据标签属性来找到指定的标签，之后对标签进行对应内容获取。

㈦ xpath能获取div下的所有tr中的td内容么

1、首先自己编写了一个网页。

㈧ java XPath怎么获取节点属性的值

我用的java.
List att = xmlConfig.getList("//permission[@mole="609"]/@idEnable");
for(int i=0; i<att.size(); i++)
{
String value = ((Attribute)att.get(i)).getValue();
}

㈨ java中几种解析html的工具

HTML分析是一个比较复杂的工作，Java世界主要有几款比较方便的分析工具：

1.Jsoup
Jsoup是一个集强大和便利于一体的HTML解析工具。它方便的地方是，可以用于支持用jQuery中css selector的方式选取元素，这对于熟悉js的开发者来说基本没有学习成本。

String content = "blabla";
Document doc = JSoup.parse(content);
Elements links = doc.select("a[href]");

Jsoup还支持白名单过滤机制，对于网站防止XSS攻击也是很好的。

2.HtmlParser

HtmlParser的功能比较完备，也挺灵活，但谈不上方便。这个项目很久没有维护了，最新版本是2.1。HtmlParser的核心元素是Node，对应一个HTML标签，支持getChildren()等树状遍历方式。HtmlParser另外一个核心元素是NodeFilter，通过实现NodeFilter接口，可以对页面元素进行筛选。这里有一篇HtmlParser的使用文章：使用 HttpClient 和 HtmlParser 实现简易爬虫。

3.Apache tika

tika是专为抽取而生的工具，还支持PDF、Zip甚至是JavaClass。使用tika分析HTML，需要自己定义一个抽取内容的Handler并继承org.xml.sax.helpers.DefaultHandler，解析方式就是xml标准的方式。crawler4j中就使用了tika作为解析工具。SAX这种流式的解析方式对于分析大文件很有用，我个人倒是认为对于解析html意义不是很大。

• InputStream inputStream = null;


• HtmlParser htmlParser = new HtmlParser();


• htmlParser.parse(new ByteArrayInputStream(page.getContentData()),


• contentHandler, metadata, new ParseContext());



4.HtmlCleaner与XPath

HtmlCleaner最大的优点是：支持XPath的方式选取元素。XPath是一门在XML中查找信息的语言，也可以用于抽取HTML元素。XPath与CSS Selector大部分功能都是重合的，但是CSS Selector专门针对HTML，写法更简洁，而XPath则是通用的标准，可以精确到属性值。XPath有一定的学习成本，但是对经常需要编写爬虫的人来说，这点投入绝对是值得的。

㈩ selenium webdriver java需要学哪些java知识

1. Selenium Webdriver Java 最大化浏览器窗口。
System.setProperty("webdriver.firefox.bin","D:/MozillaFirefox/firefox.exe");
WebDriver driver = new FirefoxDriver();
driver.manage().window().maximize();
参考文章：http://xebee.xebia.in/2012/04/06/maximize-browser-window-in-selenium-web-driver/
2. Selenium Webdriver java 浏览器中前进，后退，刷新操作。
System.setProperty("webdriver.firefox.bin","D:/MozillaFirefox/firefox.exe");
WebDriver driver = newFirefoxDriver();
driver.manage().window().maximize();
driver.get("http://www.google.com.hk");
driver.navigate().forward();// 前进
driver.navigate().back();// 后退
driver.navigate().refresh();// 刷新
3.WebDriver的几个实现：
Name ofdriver Available on whichOS? Classto instantiate
HtmlUnit Driver All org.openqa.selenium.htmlunit.HtmlUnitDriver
Firefox Driver All org.openqa.selenium.firefox.FirefoxDriver
Internet Explorer Driver Windows org.openqa.selenium.ie.InternetExplorerDriver
Chrome Driver All org.openqa.selenium.chrome.ChromeDriver
（1）HtmlUnitDriver是纯java的驱动器，全部在内存中运行，不会实际打开浏览器，但其速度很快。
（2）Firefox Driver：速度慢。
4. TestNG实例：
http://blog.csdn.net/yuxinlong2006/article/details/6765522
http://magustest.com/blog/automationtesting/webdriver-testng/
WebDriver+TestNG+ANT 实现多浏览器兼容性测试
http://www.51testing.com/?uid-375957-action-viewspace-itemid-817942
5. Webdriver 针对iframe中的元素定位
Selenium2在使用get()方法打开一个网页的时候，是不会继续加载里面的iframe中的内容的(这一点与Selenium有所区别)。那么，我们就需要人为的要求Selenium2对iframe中的内容进行加载。
例子一：
driver.switchTo().frame(driver.findElement(By.xpath("//iframe[@class='g-editor-iframe']")));
例子二：
driver.switchTo().frame(driver.findElement(By.id("SpFrame")));
切换主页
用getWindowHandle()方法可以快速的进行切换回主页：
StringstrMainHandler = driver.getWindowHandle();
driver.switchTo().window(strMainHandler);
关于iframe中 元素定位和xpath，cssSelector定位可参考：
http://blog.csdn.net/dancedan/article/details/7406942
6.Webdriver中操作下拉列表
对下拉框进行操作时首先要定位到这个下拉框，new 一个Selcet对象，然后对它进行操作。
参见：http://jarvi.iteye.com/blog/1450883
7.Webdriver 利用Actions类模拟鼠标和键盘的操作
参考一：http://jarvi.iteye.com/blog/1468690
参考二：http://www.51testing.com/?uid-368273-action-viewspace-itemid-842910
8. Hudson + WebDriver组织自动化测试
参见：http://www.51testing.com/?uid-350678-action-viewspace-itemid-814225

9. Webdirver 利用actions 实现 mouseover方法
Actionsbuilder =new Actions(driver);
Actionsmousehover=builder.moveToElement(driver.findElement(By.xxx("***")));
mousehover.perform();
红色部分根据实际情况修改。
10. webdriver 中 层级定位
参见：http://jarvi.iteye.com/blog/1448025
11. webdriver 执行js脚本
http://jarvi.iteye.com/blog/1447755
12. webdriver 等待页面加载完成
http://jarvi.iteye.com/blog/1453662
13. 获取页面对象的属性值
绿色为对象的属性
pk1=wd.findElement(By.xpath("//input[@id='public_key']")).getAttribute("value");
System.out.println(pk1);
14. Webdriver 通过调用JavascriptExecutor使对象隐藏对象出现，操作对象。
http://blog.sina.com.cn/s/blog_539a70d30101ajsg.html
15.Selenium中webdriver的quit（）和close（）区别
在关闭driver时用Driver.Quit();不要用Driver.Close();