htmlxpathjava

㈠ java和python哪個適合寫爬蟲

當然是Python，一般我們都口語化說Python爬蟲，爬蟲工程師都是用python語言。
Python獨特的優勢是寫爬蟲的關鍵。1)跨平台，對Linux和windows都有不錯的支持;2)科學計算、數值擬合：Numpy、Scipy;3)可視化：2d：Matplotlib, 3d: Mayavi2;4)復雜網路：Networkx、scrapy爬蟲;5)互動式終端、網站的快速開發。
用Python爬取信息的方法有三種：
1、正則表達式。實現步驟分為五步：1)在tomcat伺服器端部署一個html網頁;2)使用URL與網頁建立聯系;3)獲取輸入流，用於讀取網頁中的內容;4)建立正則規則;5)將提取到的數據放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各種html解析器，包括python自帶的標准庫，還有其他的許多第三方庫模塊。其中一個是lxml parser。藉助網頁的結構和屬性等特性來解析網頁的工具，有了它我們不用再去寫一些復雜的正則，只需要簡單的幾條語句就可以完成網頁中某個元素的提取。
3、Lxml。Lxml是Python的一個解析庫，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解決三個問題：1)有一個XML文件，如何解析;2)解析後，如果查找、定位某個標簽;3)定位後如何操作標簽，比如訪問屬性、文本內容等。
當網頁結構簡單並且想要避免額外依賴(不需要安裝庫)，使用正則表達式更為合適。當需要爬取數據量較少時，使用較慢的BeautifulSoup也可以的。當數據量大時，需要追求效益時，Lxml時最好選擇。
爬蟲是一個比較容易上手的技術，也許你看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲，並不是1*n這么簡單，因此很多企業都在高薪招聘Python精英人才。

㈡ 如何用htmlunit向伺服器javascrtipt提交數據和得到運行結果

看了下你的網站，你的目的應該是測試按下搜索按鈕之後顯示的結果網頁裡面的內容是否符合預想吧，其實htmlunit本身相當於模擬了一個瀏覽器，所以你不需要分別執行那幾個javascript，只要用htmlunit的webclient用你的地址裝入網頁（這時候他會自動裝入需要的javascript並執行），然後用你會得到一個htmlpage對象，從裡面找到需要填值的input對象，設置參數，然後找到搜索按鈕，模擬點擊即可，然後webclient會像真正的瀏覽器一樣做submit，並更新他內部的網頁數據，之後你只要在更新過的htmlpage對象中尋找預想結果應該生成的網頁對象並判斷其值是否正確即可。
我沒有用過python版的htmlunit，我用的是java版，但用法應該類似，你也可以參考下面的這個網頁，當然他只做到了submit，之後的對結果的判斷做法是類似的，也可以用你上面寫的通過xpath到結果網頁裡面尋找的方法。
http://blog.csdn.net/xuweilinjijis/article/details/8984290

㈢ java用xpath定位中怎麼傳入變數

在xpath中該如何使用變數，想選擇id是某個值的元素，這個值是個變數。
response.xpath('//div[@id=val]').extract_first()
1. response.xpath('//div[@id=' + val + ']').extract_first()
2. response.xpath('//div[@id={}]'.format(val)).extract_first()
3. response.xpath('//div[@id=$val]/a/text()', val='images').extract_first()

㈣ html中的一個button元素，沒有id，name之類的，怎麼能捕捉到該元素啊用xpath代碼如下

沒有id和name，但是你有class屬性啊，通過class屬性去獲取
使用jquery：
$(".common-btn")

㈤ java html頁面可以使用el表達式嗎

java html頁面是不可以使用el表達式的，因為會引起系統的沖突，只有jsp文件才可以寫el表達式。EL（Expression Language） 是為了使JSP寫起來更加簡單。表達式語言的靈感來自於 ECMAScript 和 XPath 表達式語言，它提供了在 JSP 中簡化表達式的方法，讓Jsp的代碼更加簡化。

㈥ 正則表達式、xpath、BeautifulSoup和JSONPath的區別

1.正則表達式是進行內容匹配，將符合要求的內容全部獲取；xpath()能將字元串轉化為標簽，它會檢測字元串內容是否為標簽，但是不能檢
測出內容是否為真的標簽；Beautifulsoup是Python的一個第三方庫，它的作用和 xpath 作用一樣，都是用來解析html數據的相比之下，
xpath的速度會快一點，因為xpath底層是用c來實現的
2.三者語法不同，正則表達式使用元字元，將所有獲得內容與匹配條件進行匹配，而xpath和bs4將獲取的解析後的源碼進行按條件篩選，篩選
出想要的標簽即根據標簽屬性來找到指定的標簽，之後對標簽進行對應內容獲取。

㈦ xpath能獲取div下的所有tr中的td內容么

1、首先自己編寫了一個網頁。

㈧ java XPath怎麼獲取節點屬性的值

我用的java.
List att = xmlConfig.getList("//permission[@mole="609"]/@idEnable");
for(int i=0; i<att.size(); i++)
{
String value = ((Attribute)att.get(i)).getValue();
}

㈨ java中幾種解析html的工具

HTML分析是一個比較復雜的工作，Java世界主要有幾款比較方便的分析工具：

1.Jsoup
Jsoup是一個集強大和便利於一體的HTML解析工具。它方便的地方是，可以用於支持用jQuery中css selector的方式選取元素，這對於熟悉js的開發者來說基本沒有學習成本。

String content = "blabla";
Document doc = JSoup.parse(content);
Elements links = doc.select("a[href]");

Jsoup還支持白名單過濾機制，對於網站防止XSS攻擊也是很好的。

2.HtmlParser

HtmlParser的功能比較完備，也挺靈活，但談不上方便。這個項目很久沒有維護了，最新版本是2.1。HtmlParser的核心元素是Node，對應一個HTML標簽，支持getChildren()等樹狀遍歷方式。HtmlParser另外一個核心元素是NodeFilter，通過實現NodeFilter介面，可以對頁面元素進行篩選。這里有一篇HtmlParser的使用文章：使用 HttpClient 和 HtmlParser 實現簡易爬蟲。

3.Apache tika

tika是專為抽取而生的工具，還支持PDF、Zip甚至是JavaClass。使用tika分析HTML，需要自己定義一個抽取內容的Handler並繼承org.xml.sax.helpers.DefaultHandler，解析方式就是xml標準的方式。crawler4j中就使用了tika作為解析工具。SAX這種流式的解析方式對於分析大文件很有用，我個人倒是認為對於解析html意義不是很大。

• InputStream inputStream = null;


• HtmlParser htmlParser = new HtmlParser();


• htmlParser.parse(new ByteArrayInputStream(page.getContentData()),


• contentHandler, metadata, new ParseContext());



4.HtmlCleaner與XPath

HtmlCleaner最大的優點是：支持XPath的方式選取元素。XPath是一門在XML中查找信息的語言，也可以用於抽取HTML元素。XPath與CSS Selector大部分功能都是重合的，但是CSS Selector專門針對HTML，寫法更簡潔，而XPath則是通用的標准，可以精確到屬性值。XPath有一定的學習成本，但是對經常需要編寫爬蟲的人來說，這點投入絕對是值得的。

㈩ selenium webdriver java需要學哪些java知識

1. Selenium Webdriver Java 最大化瀏覽器窗口。
System.setProperty("webdriver.firefox.bin","D:/MozillaFirefox/firefox.exe");
WebDriver driver = new FirefoxDriver();
driver.manage().window().maximize();
參考文章：http://xebee.xebia.in/2012/04/06/maximize-browser-window-in-selenium-web-driver/
2. Selenium Webdriver java 瀏覽器中前進，後退，刷新操作。
System.setProperty("webdriver.firefox.bin","D:/MozillaFirefox/firefox.exe");
WebDriver driver = newFirefoxDriver();
driver.manage().window().maximize();
driver.get("http://www.google.com.hk");
driver.navigate().forward();// 前進
driver.navigate().back();// 後退
driver.navigate().refresh();// 刷新
3.WebDriver的幾個實現：
Name ofdriver Available on whichOS? Classto instantiate
HtmlUnit Driver All org.openqa.selenium.htmlunit.HtmlUnitDriver
Firefox Driver All org.openqa.selenium.firefox.FirefoxDriver
Internet Explorer Driver Windows org.openqa.selenium.ie.InternetExplorerDriver
Chrome Driver All org.openqa.selenium.chrome.ChromeDriver
（1）HtmlUnitDriver是純java的驅動器，全部在內存中運行，不會實際打開瀏覽器，但其速度很快。
（2）Firefox Driver：速度慢。
4. TestNG實例：
http://blog.csdn.net/yuxinlong2006/article/details/6765522
http://magustest.com/blog/automationtesting/webdriver-testng/
WebDriver+TestNG+ANT 實現多瀏覽器兼容性測試
http://www.51testing.com/?uid-375957-action-viewspace-itemid-817942
5. Webdriver 針對iframe中的元素定位
Selenium2在使用get()方法打開一個網頁的時候，是不會繼續載入裡面的iframe中的內容的(這一點與Selenium有所區別)。那麼，我們就需要人為的要求Selenium2對iframe中的內容進行載入。
例子一：
driver.switchTo().frame(driver.findElement(By.xpath("//iframe[@class='g-editor-iframe']")));
例子二：
driver.switchTo().frame(driver.findElement(By.id("SpFrame")));
切換主頁
用getWindowHandle()方法可以快速的進行切換回主頁：
StringstrMainHandler = driver.getWindowHandle();
driver.switchTo().window(strMainHandler);
關於iframe中 元素定位和xpath，cssSelector定位可參考：
http://blog.csdn.net/dancedan/article/details/7406942
6.Webdriver中操作下拉列表
對下拉框進行操作時首先要定位到這個下拉框，new 一個Selcet對象，然後對它進行操作。
參見：http://jarvi.iteye.com/blog/1450883
7.Webdriver 利用Actions類模擬滑鼠和鍵盤的操作
參考一：http://jarvi.iteye.com/blog/1468690
參考二：http://www.51testing.com/?uid-368273-action-viewspace-itemid-842910
8. Hudson + WebDriver組織自動化測試
參見：http://www.51testing.com/?uid-350678-action-viewspace-itemid-814225

9. Webdirver 利用actions 實現 mouseover方法
Actionsbuilder =new Actions(driver);
Actionsmousehover=builder.moveToElement(driver.findElement(By.xxx("***")));
mousehover.perform();
紅色部分根據實際情況修改。
10. webdriver 中 層級定位
參見：http://jarvi.iteye.com/blog/1448025
11. webdriver 執行js腳本
http://jarvi.iteye.com/blog/1447755
12. webdriver 等待頁面載入完成
http://jarvi.iteye.com/blog/1453662
13. 獲取頁面對象的屬性值
綠色為對象的屬性
pk1=wd.findElement(By.xpath("//input[@id='public_key']")).getAttribute("value");
System.out.println(pk1);
14. Webdriver 通過調用JavascriptExecutor使對象隱藏對象出現，操作對象。
http://blog.sina.com.cn/s/blog_539a70d30101ajsg.html
15.Selenium中webdriver的quit（）和close（）區別
在關閉driver時用Driver.Quit();不要用Driver.Close();