java多線程爬蟲

Ⅰ java網站頻繁出現被百度爬蟲的兩個線程爬出100%的情況

那個可以去投訴的：
http://www..com/search/spider.htm
的最下面有解釋，投訴網址：
http://tousu..com/webmaster/add/#2

Ⅱ java培訓課程有什麼內容

像這樣的問題，我已經回答了很多次，現在很多新手，特別是剛剛進入學生的學生，不知道該從哪裡入手，我整理了一些java的知識點，一共分為六個階段，273個技能點，第一階段、第二階段、第三階段、第四階段是必須要掌握的，很多機構忽悠人，就只學到第四階段，第五階段和第六階段就是高薪、高職的保障，就說說想高薪必須得把後面兩個階段的給掌握了，老鐵看了點個贊。

第一階段：java基本功修煉

1.認識計算機硬體

2.計算機組成原理

3.計算機軟體知識

4.計算機網路知識

5.常用網路應用操作

6.認識計算機病毒

7.邏輯訓練

8.初識Java

9.變數和數據類型

10.選擇結構

11.循環結構for

12.循環結構do-while

13.循環結構while

14.多重循環及程序調試

15.循環進階

16.一維數組及經典應用

17.二維數組

18.認識類與對象

19.方法及方法重載

20.封裝與繼承

21.方法重寫與多態

22.項目實戰-汽車租賃系統

23.抽象類和介面

24.異常

25.項目實戰-QuickHit

26.Java中的集合類型

27.List集合

28.Set集合

29.HashMap集合

30.Iterator

31.Collections演算法類及常用方法

32.enum

33.包裝類及裝箱拆箱

34.String、StringBuffer類常用方法操作字元串

35.Date、Calendar

36.Math類常用方法

37.IO/NIO

38.位元組輸入流(InputStream、FileInputStream、BufferedInputStream)

39.位元組輸出流(OutputStream、FileOutputStream、BufferedOutputStream)

40.字元輸入流(Reader、InputStreamReader、FileReader BufferedReader)

41.位元組輸出流(Writer、OutputStreamWriter、FileWriter、BufferedWriter)

42.文件復制

43.Serialize、Deserialize

44.職場晉升力：四象限時間管理與精力管理

45.多線程(Thread、Runnable)

46.ThreadLifeCycle

47.線程的調度

48.線程的同步和死鎖

49.ThreadPool

50.職場晉升力：團隊合作

51.Socket(TCP、UDP)

52.XML概念、優勢、規范

53.XML中特殊字元的處理

54.使用DOM讀取、添加、刪除、解析 XML數據

第二階段：javaweb開發

55.搭建和配置MySQL資料庫

56.資料庫增、刪、查、改語句

57.事務

58.視圖

59.資料庫備份與恢復

60.資料庫用戶管理

61.資料庫設計

62.項目實戰-銀行ATM存取款機系統

63.走進 HTML和CSS

64.列表表格及表單美化

65.CSS 高級操作

66.Bootstrap

67.CSS 組件

68.JavaScript面向對象

69.JavaScript判斷、循環

70.JavaScript閉包

71.JavaScript語法

72.Bootstrap綜合案例

73.HTML5、CSS3

74.jQuery基礎

75.jQuery基本操作

76.jQuery事件與特效

77.jQuery Ajax

78.jQuery插件

79.搭建Web 環境初識JSP

80.JSP九大內置對象

81.JSP實現數據傳遞和保存

82.JDBC

83.單例模式、工廠模式

84.MVC、三層模式

85.Commons-fileupload、CKEditor

86.分頁查詢

87.EL 與 JSTL

88.Servlet與Filter

89.Listener與MVC

90.Ajax 與 jQuery

91.jQuery的Ajax交互擴展

92.項目實戰—使用Ajax技術改進新聞發布系統

93.反射

94.Linux系統的安裝

95.在Linux中管理目錄和文件

96.在Linux中管理用戶和許可權

97.在Linux伺服器環境下安裝軟體和部署項目

98.職場晉升力：職場溝通

第三階段： 企業級框架開發

99. MyBatis 環境搭建

100. SQL 映射文件

101. 動態SQL

102. MyBatis 框架原理

103.SpringIOC

104.構造注入、依賴注入、註解

105. Spring 整合MyBatis(SqlSessionTemplate、MapperFactoryBean、事務

處理)

106. Spring 數據源(屬性文件、JNDI)、Bean 作用域

107. Spring 框架的運行原理

108.SpringMVC 體系概念

109.SpringMVC 之數據綁定、數據效驗、

110.SpringMVC 之視圖及視圖解析

111.SpringMVC 之文件上傳、本地化解析

112.SpringMVC 之靜態資源處理、請求攔截器、異常處理

113.Oracle資料庫環境搭建、安裝

114.Oracle資料庫 SQL、分頁、備份、還原

115.Hibernate 概念、依賴

116.HQL查詢語言

117.Hibernate 中配置關聯映射

118.HQL連接查詢與 Hibernate註解

119.Struts2概念、依賴

120.Struts2配置

121.OGNL表達式

122.Struts2攔截器

123.SSH框架整合

124.使用Maven構建項目

125.使用Struts2實現Ajax

126.Jsoup網路爬蟲

127.多線程網路爬蟲

128.反爬及反反爬策略

129.通用爬蟲設計

130.Echart圖表分析

131.IKAnalyzer分詞

132.企業框架項目實戰-代理商管理系統

133.企業框架項目實戰-SL 會員商城

134.企業框架項目實戰-會員管理系統

135.企業框架項目實戰-互聯網招聘信息採集分析平台

第四階段： 前後端分離開發

136.GitHub

137.Git基礎(checkout、pull、commit、push、merge等)

138.Git進階(多分支協作)

139.GitLab

140.IDEA的使用

141.Maven介紹(概念、倉庫、構建、命令)

142.使用Maven構建WEB項目

143.使用Maven構建多模塊項目

144.使用Maven搭建私服倉庫

145.Scrum框架介紹(三個角色、三個工件、四個會議)

146.ScrumTeam組建團隊

147.產品需求和用戶故事

148.每日立會

149.使用敏捷-Scrum方式開發管理實戰

150.前後端分離、分布式集群架構、垂直架構

151.SSM（SpringMVC+Spring+MyBatis）整合實戰

152.Git、Maven私服Nexus

153.第三方接入技術（微信、阿里）

154.MySQL電商實戰

155.Redis（緩存服務）

156.搜索引擎-Solr

157.集成APIDoc工具-Swagger

158.圖片自動化處理：Tengine+LUA+GraphicsMagic

159.手機、郵箱注冊

160.單點登錄 Token

161.OAuth2.0認證

162.Jsoup網路爬蟲(多線程爬蟲/代理 IP爬蟲)

163.ExecutorService線程池

164.IK中文分詞

165.Postman

166.ReactJS

167.webpack

168.職場晉升力：簡歷撰寫

169.程序猿面試寶典之項目面試

170.大型互聯網旅遊電商項目實戰-愛旅行

第五階段： 分布式微服架構開發

171.SpringBoot環境搭建

172.SpringBoot常用技能

173.SpringBoot整合Redis

174.SpringBoot整合Mybatis

175.微服務架構及架構設計

176.消息隊列

ActiveMQRabbitMQ

177.分布式事務

178.分布式鎖 Redis-setnx

179.Zookeeper注冊中心

180.基於 ActiveMQ實現高並發

181.Docker環境搭建

182.Docker鏡像加速

183.Docker容器管理

184.Docker鏡像管理

185.Docker容器文件備份

186.Dockerfile

187.Docker私服倉庫

188.真實互聯網高並發電商項目實戰-雙十一搶購

189.可視化監控 Portainer

190.DockerCompose 容器編排

191.DockerCompose擴容、縮容

192.DockerSwarm集群編排

193.Jenkins安裝、插件配置

194.Jenkins配置普通任務

195.Jenkins配置管道任務

196.Jenkins自動發布服務

197.Spring CloudEureka

198.Spring CloudFeign

199.Spring CloudRibbon

200.Spring CloudZuul

201.Spring CloudConfig

202.Spring CloudHystrix

203.Spring CloudSleuth

204.Spring BootAdmin

205.Eureka注冊原理探秘

206.SpringCloud 大坑解讀

207.Zipkin

208.Zipkin整合RabbitMQ

209.Zipkin整合MySQL

210.ELK日誌收集

211.Kafka

212.Elasticsearch映射管理

213.Elasticsearch查詢/復合查詢

214.Elasticsearch集群/集群規劃

215.Elasticsearch聚合

216.Elasticsearch集群監控

217.Elasticsearch插件

(Head/BigDesk)

218.Mycat讀寫分離

219.Mycat一主多從

220.Mycat多主多從

221.Mycat數據分片

222.Redis

223.Redis-Redlock

224.Elasticsearch環境搭建

225.Elasticsearch客戶端

226.Elasticsearch索引管理

227.Elasticsearch文檔管理

228.Mycat集群

229.Jmeter 並發測試

230.Jmeter 生成測試報告

231.微信登錄

232.微信支付

233.支付寶支付

234.網路地圖

235.Sonar本地檢測

236.Sonar+Jenkins線上檢測

237.CI/CD

238.SpringBoot改造愛旅行項目實戰

239.大型互聯網票務類電商項目實戰-大覓網

240.ES6概念(les、const)

241.ES6對象和數組

242.ES6函數擴展

243.VUE環境搭建

244.VUE.JS指令

245.VUE 交互

246.VUE 實例生命周期

247.VUE 組件

248.VUE項目環境配置及單文件組件

249.VUE 路由

第六階段：cc服務

250. Spring Cloud Gateway

251. Consul

252. Nacos

253. Eureka、Consu、lNacos、Zookeeper 對比分析

254. Prometheus + Grafana

255. ES 分布式存儲原理

256. NoSQL 資料庫解決方案(Redis、MongoDB)

257. OAuth2.0 認證( authorization code 模式)

258. OAuth2.0 認證( implicit 模式)

259. OAuth2.0 認證( resource owner password credentials 模式)

260.OAuth2.0認證( clientcredentials模式)

261.NAS/FastDFS分布式文件存儲

262.python基礎

263.Python爬蟲

264. 大數據及 Hadoop 概述

265. 分布式文件系統 HDFS

266. 分布式計算框架MapRece

267. 分布式列式資料庫 HBase

268. Hadoop 綜合應用

269. 面試大局觀

270. 職業規劃

271. 項目面試

272. 具體業務場景化解決方案

273. 更多技術專題持續增加中

有不清楚的可以私信我

Ⅲ java怎樣去實現多線程分布式的爬蟲

要實現多線程分布式，可以用一個伺服器存放要爬取的所有鏈接，然後由伺服器將這些鏈接分發給各台機器去爬取

Ⅳ 哪個開源多線程爬蟲比較好學 知乎

開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的？這里按照我的經驗隨便扯淡一下：上面說的爬蟲，基本可以分3類：1.分布式爬蟲：Nutch
2.JAVA單機爬蟲：Crawler4j、WebMagic、WebCollector
3. 非JAVA單機爬蟲：scrapy
第一類：分布式爬蟲
爬蟲使用分布式，主要是解決兩個問題：
1）海量URL管理
2）網速
現在比較流行的分布式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲里，最不好的選擇，理由如下：
1）Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分布式爬蟲框架了。
2）Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。
3）Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」（parser）這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息（網頁的meta信息、text文本）。
4）用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題（hadoop的問題、hbase的問題）。
5）很多人說Nutch2有gora，可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了，這里說的持久化數據，是指將URL信息（URL管理所需要的數據）存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說，URL信息存在哪裡無所謂。
6）Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。如果想用hbase配合nutch（大多數人用nutch2就是為了用hbase），只能使用0.90版本左右的hbase，相應的就要將hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比較有誤導作用，Nutch2的教程有兩個，分別是Nutch1.x和Nutch2.x，這個Nutch2.x官網上寫的是可以支持到hbase 0.94。但是實際上，這個Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。
所以，如果你不是要做搜索引擎，盡量不要選擇Nutch作為爬蟲。有些團隊就喜歡跟風，非要選擇Nutch來開發精抽取的爬蟲，其實是沖著Nutch的名氣（Nutch作者是Doug Cutting），當然最後的結果往往是項目延期完成。
如果你是要做搜索引擎，Nutch1.x是一個非常好的選擇。Nutch1.x和solr或者es配合，就可以構成一套非常強大的搜索引擎了。如果非要用Nutch2的話，建議等到Nutch2.3發布再看。目前的Nutch2是一個非常不穩定的版本。
第二類：JAVA單機爬蟲
這里把JAVA爬蟲單獨分為一類，是因為JAVA在網路爬蟲這塊的生態圈是非常完善的。相關的資料也是最全的。這里可能有爭議，我只是隨便扯淡。
其實開源網路爬蟲（框架）的開發非常簡單，難問題和復雜的問題都被以前的人解決了（比如DOM樹解析和定位、字元集檢測、海量URL去重），可以說是毫無技術含量。包括Nutch，其實Nutch的技術難點是開發hadoop，本身代碼非常簡單。網路爬蟲從某種意義來說，類似遍歷本機的文件，查找文件中的信息。沒有任何難度可言。之所以選擇開源爬蟲框架，就是為了省事。比如爬蟲的URL管理、線程池之類的模塊，誰都能做，但是要做穩定也是需要一段時間的調試和修改的。
對於爬蟲的功能來說。用戶比較關心的問題往往是：
1）爬蟲支持多線程么、爬蟲能用代理么、爬蟲會爬取重復數據么、爬蟲能爬取JS生成的信息么？
不支持多線程、不支持代理、不能過濾重復URL的，那都不叫開源爬蟲，那叫循環執行http請求。
能不能爬js生成的信息和爬蟲本身沒有太大關系。爬蟲主要是負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器（htmlunit,selenium）來完成。這些模擬瀏覽器，往往需要耗費很多的時間來處理一個頁面。所以一種策略就是，使用這些爬蟲來遍歷網站，遇到需要解析的頁面，就將網頁的相關信息提交給模擬瀏覽器，來完成JS生成信息的抽取。
2）爬蟲可以爬取ajax信息么？
網頁上有一些非同步載入的數據，爬取這些數據有兩種方法：使用模擬瀏覽器（問題1中描述過了），或者分析ajax的http請求，自己生成ajax請求的url，獲取返回的數據。如果是自己生成ajax請求，使用開源爬蟲的意義在哪裡？其實是要用開源爬蟲的線程池和URL管理功能（比如斷點爬取）。
如果我已經可以生成我所需要的ajax請求（列表），如何用這些爬蟲來對這些請求進行爬取？
爬蟲往往都是設計成廣度遍歷或者深度遍歷的模式，去遍歷靜態或者動態頁面。爬取ajax信息屬於deep web（深網）的范疇，雖然大多數爬蟲都不直接支持。但是也可以通過一些方法來完成。比如WebCollector使用廣度遍歷來遍歷網站。爬蟲的第一輪爬取就是爬取種子集合（seeds）中的所有url。簡單來說，就是將生成的ajax請求作為種子，放入爬蟲。用爬蟲對這些種子，進行深度為1的廣度遍歷（默認就是廣度遍歷）。
3）爬蟲怎麼爬取要登陸的網站？
這些開源爬蟲都支持在爬取時指定cookies，模擬登陸主要是靠cookies。至於cookies怎麼獲取，不是爬蟲管的事情。你可以手動獲取、用http請求模擬登陸或者用模擬瀏覽器自動登陸獲取cookie。
4）爬蟲怎麼抽取網頁的信息？
開源爬蟲一般都會集成網頁抽取工具。主要支持兩種規范：CSS SELECTOR和XPATH。至於哪個好，這里不評價。
5）爬蟲怎麼保存網頁的信息？
有一些爬蟲，自帶一個模塊負責持久化。比如webmagic，有一個模塊叫pipeline。通過簡單地配置，可以將爬蟲抽取到的信息，持久化到文件、資料庫等。還有一些爬蟲，並沒有直接給用戶提供數據持久化的模塊。比如crawler4j和webcollector。讓用戶自己在網頁處理模塊中添加提交資料庫的操作。至於使用pipeline這種模塊好不好，就和操作資料庫使用ORM好不好這個問題類似，取決於你的業務。
6）爬蟲被網站封了怎麼辦？
爬蟲被網站封了，一般用多代理（隨機代理）就可以解決。但是這些開源爬蟲一般沒有直接支持隨機代理的切換。所以用戶往往都需要自己將獲取的代理，放到一個全局數組中，自己寫一個代理隨機獲取（從數組中）的代碼。
7）網頁可以調用爬蟲么？
爬蟲的調用是在Web的服務端調用的，平時怎麼用就怎麼用，這些爬蟲都可以使用。
8）爬蟲速度怎麼樣？
單機開源爬蟲的速度，基本都可以講本機的網速用到極限。爬蟲的速度慢，往往是因為用戶把線程數開少了、網速慢，或者在數據持久化時，和資料庫的交互速度慢。而這些東西，往往都是用戶的機器和二次開發的代碼決定的。這些開源爬蟲的速度，都很可以。
9）明明代碼寫對了，爬不到數據，是不是爬蟲有問題，換個爬蟲能解決么？
如果代碼寫對了，又爬不到數據，換其他爬蟲也是一樣爬不到。遇到這種情況，要麼是網站把你封了，要麼是你爬的數據是javascript生成的。爬不到數據通過換爬蟲是不能解決的。
10）哪個爬蟲可以判斷網站是否爬完、那個爬蟲可以根據主題進行爬取？
爬蟲無法判斷網站是否爬完，只能盡可能覆蓋。
至於根據主題爬取，爬蟲之後把內容爬下來才知道是什麼主題。所以一般都是整個爬下來，然後再去篩選內容。如果嫌爬的太泛，可以通過限制URL正則等方式，來縮小一下范圍。
11）哪個爬蟲的設計模式和構架比較好？
設計模式純屬扯淡。說軟體設計模式好的，都是軟體開發完，然後總結出幾個設計模式。設計模式對軟體開發沒有指導性作用。用設計模式來設計爬蟲，只會使得爬蟲的設計更加臃腫。
至於構架，開源爬蟲目前主要是細節的數據結構的設計，比如爬取線程池、任務隊列，這些大家都能控制好。爬蟲的業務太簡單，談不上什麼構架。
所以對於JAVA開源爬蟲，我覺得，隨便找一個用的順手的就可以。如果業務復雜，拿哪個爬蟲來，都是要經過復雜的二次開發，才可以滿足需求。
第三類：非JAVA單機爬蟲
在非JAVA語言編寫的爬蟲中，有很多優秀的爬蟲。這里單獨提取出來作為一類，並不是針對爬蟲本身的質量進行討論，而是針對larbin、scrapy這類爬蟲，對開發成本的影響。
先說python爬蟲，python可以用30行代碼，完成JAVA 50行代碼乾的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多於編碼階段省下的時間。使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。
對於C++爬蟲來說，學習成本會比較大。而且不能只計算一個人的學習成本，如果軟體需要團隊開發或者交接，那就是很多人的學習成本了。軟體的調試也不是那麼容易。
還有一些ruby、php的爬蟲，這里不多評價。的確有一些非常小型的數據採集任務，用ruby或者php很方便。但是選擇這些語言的開源爬蟲，一方面要調研一下相關的生態圈，還有就是，這些開源爬蟲可能會出一些你搜不到的BUG（用的人少、資料也少）

Ⅳ java中，怎麼把單線程網路爬蟲，改成多線程網路爬蟲~

學過多線程了吧，介面用runnable 繼承用 thread 然後重寫裡面的run方法

Ⅵ 自己動手寫網路爬蟲的作品目錄

電子書|自己動手寫網路爬蟲，免費下載

鏈接: https://pan..com/s/1VuP30TzuJLThBUaghwFXdA

pdf" data_size="27.78M" data_filelogo="https://gss0.bdstatic.com//yun-file-logo/file-logo-6.png" data_number="1" data_sharelink="https://pan..com/s/1VuP30TzuJLThBUaghwFXdA" data_code="muwz">

《自己動手寫網路爬蟲》是2010年10月1日由清華大學出版社出版的圖書，作者是羅剛。本書在介紹基本原理的同時，注重輔以具體代碼實現來幫助讀者加深理解。

Ⅶ 是java爬蟲還是python

當然是python爬蟲嘍！

Ⅷ java爬蟲如何去重

用 requests+Selenium+PhantomJs 多線程爬蟲的時候用的是 mp.manager.dict() 來存儲已經訪問過的網站，如果發現再次訪問就直接跳過
我能想到的就是 Bloom Filter ，按照上面所說用 redis 來去重應該也可以！

Ⅸ java爬蟲採用多線程，資料庫連接多了就報異常

可以通過測試對錯誤原因進行排查，如果連接少量時不出問題，那就是連接量超出了某一數值出現異常，可以查看資料庫的鏈接上限，如果是連接上限原因，可以嘗試上調上限或者降低連接數量