java多线程爬虫

Ⅰ java网站频繁出现被百度爬虫的两个线程爬出100%的情况

那个可以去投诉的：
http://www..com/search/spider.htm
的最下面有解释，投诉网址：
http://tousu..com/webmaster/add/#2

Ⅱ java培训课程有什么内容

像这样的问题，我已经回答了很多次，现在很多新手，特别是刚刚进入学生的学生，不知道该从哪里入手，我整理了一些java的知识点，一共分为六个阶段，273个技能点，第一阶段、第二阶段、第三阶段、第四阶段是必须要掌握的，很多机构忽悠人，就只学到第四阶段，第五阶段和第六阶段就是高薪、高职的保障，就说说想高薪必须得把后面两个阶段的给掌握了，老铁看了点个赞。

第一阶段：java基本功修炼

1.认识计算机硬件

2.计算机组成原理

3.计算机软件知识

4.计算机网络知识

5.常用网络应用操作

6.认识计算机病毒

7.逻辑训练

8.初识Java

9.变量和数据类型

10.选择结构

11.循环结构for

12.循环结构do-while

13.循环结构while

14.多重循环及程序调试

15.循环进阶

16.一维数组及经典应用

17.二维数组

18.认识类与对象

19.方法及方法重载

20.封装与继承

21.方法重写与多态

22.项目实战-汽车租赁系统

23.抽象类和接口

24.异常

25.项目实战-QuickHit

26.Java中的集合类型

27.List集合

28.Set集合

29.HashMap集合

30.Iterator

31.Collections算法类及常用方法

32.enum

33.包装类及装箱拆箱

34.String、StringBuffer类常用方法操作字符串

35.Date、Calendar

36.Math类常用方法

37.IO/NIO

38.字节输入流(InputStream、FileInputStream、BufferedInputStream)

39.字节输出流(OutputStream、FileOutputStream、BufferedOutputStream)

40.字符输入流(Reader、InputStreamReader、FileReader BufferedReader)

41.字节输出流(Writer、OutputStreamWriter、FileWriter、BufferedWriter)

42.文件复制

43.Serialize、Deserialize

44.职场晋升力：四象限时间管理与精力管理

45.多线程(Thread、Runnable)

46.ThreadLifeCycle

47.线程的调度

48.线程的同步和死锁

49.ThreadPool

50.职场晋升力：团队合作

51.Socket(TCP、UDP)

52.XML概念、优势、规范

53.XML中特殊字符的处理

54.使用DOM读取、添加、删除、解析 XML数据

第二阶段：javaweb开发

55.搭建和配置MySQL数据库

56.数据库增、删、查、改语句

57.事务

58.视图

59.数据库备份与恢复

60.数据库用户管理

61.数据库设计

62.项目实战-银行ATM存取款机系统

63.走进 HTML和CSS

64.列表表格及表单美化

65.CSS 高级操作

66.Bootstrap

67.CSS 组件

68.JavaScript面向对象

69.JavaScript判断、循环

70.JavaScript闭包

71.JavaScript语法

72.Bootstrap综合案例

73.HTML5、CSS3

74.jQuery基础

75.jQuery基本操作

76.jQuery事件与特效

77.jQuery Ajax

78.jQuery插件

79.搭建Web 环境初识JSP

80.JSP九大内置对象

81.JSP实现数据传递和保存

82.JDBC

83.单例模式、工厂模式

84.MVC、三层模式

85.Commons-fileupload、CKEditor

86.分页查询

87.EL 与 JSTL

88.Servlet与Filter

89.Listener与MVC

90.Ajax 与 jQuery

91.jQuery的Ajax交互扩展

92.项目实战—使用Ajax技术改进新闻发布系统

93.反射

94.Linux系统的安装

95.在Linux中管理目录和文件

96.在Linux中管理用户和权限

97.在Linux服务器环境下安装软件和部署项目

98.职场晋升力：职场沟通

第三阶段： 企业级框架开发

99. MyBatis 环境搭建

100. SQL 映射文件

101. 动态SQL

102. MyBatis 框架原理

103.SpringIOC

104.构造注入、依赖注入、注解

105. Spring 整合MyBatis(SqlSessionTemplate、MapperFactoryBean、事务

处理)

106. Spring 数据源(属性文件、JNDI)、Bean 作用域

107. Spring 框架的运行原理

108.SpringMVC 体系概念

109.SpringMVC 之数据绑定、数据效验、

110.SpringMVC 之视图及视图解析

111.SpringMVC 之文件上传、本地化解析

112.SpringMVC 之静态资源处理、请求拦截器、异常处理

113.Oracle数据库环境搭建、安装

114.Oracle数据库 SQL、分页、备份、还原

115.Hibernate 概念、依赖

116.HQL查询语言

117.Hibernate 中配置关联映射

118.HQL连接查询与 Hibernate注解

119.Struts2概念、依赖

120.Struts2配置

121.OGNL表达式

122.Struts2拦截器

123.SSH框架整合

124.使用Maven构建项目

125.使用Struts2实现Ajax

126.Jsoup网络爬虫

127.多线程网络爬虫

128.反爬及反反爬策略

129.通用爬虫设计

130.Echart图表分析

131.IKAnalyzer分词

132.企业框架项目实战-代理商管理系统

133.企业框架项目实战-SL 会员商城

134.企业框架项目实战-会员管理系统

135.企业框架项目实战-互联网招聘信息采集分析平台

第四阶段： 前后端分离开发

136.GitHub

137.Git基础(checkout、pull、commit、push、merge等)

138.Git进阶(多分支协作)

139.GitLab

140.IDEA的使用

141.Maven介绍(概念、仓库、构建、命令)

142.使用Maven构建WEB项目

143.使用Maven构建多模块项目

144.使用Maven搭建私服仓库

145.Scrum框架介绍(三个角色、三个工件、四个会议)

146.ScrumTeam组建团队

147.产品需求和用户故事

148.每日立会

149.使用敏捷-Scrum方式开发管理实战

150.前后端分离、分布式集群架构、垂直架构

151.SSM（SpringMVC+Spring+MyBatis）整合实战

152.Git、Maven私服Nexus

153.第三方接入技术（微信、阿里）

154.MySQL电商实战

155.Redis（缓存服务）

156.搜索引擎-Solr

157.集成APIDoc工具-Swagger

158.图片自动化处理：Tengine+LUA+GraphicsMagic

159.手机、邮箱注册

160.单点登录 Token

161.OAuth2.0认证

162.Jsoup网络爬虫(多线程爬虫/代理 IP爬虫)

163.ExecutorService线程池

164.IK中文分词

165.Postman

166.ReactJS

167.webpack

168.职场晋升力：简历撰写

169.程序猿面试宝典之项目面试

170.大型互联网旅游电商项目实战-爱旅行

第五阶段： 分布式微服架构开发

171.SpringBoot环境搭建

172.SpringBoot常用技能

173.SpringBoot整合Redis

174.SpringBoot整合Mybatis

175.微服务架构及架构设计

176.消息队列

ActiveMQRabbitMQ

177.分布式事务

178.分布式锁 Redis-setnx

179.Zookeeper注册中心

180.基于 ActiveMQ实现高并发

181.Docker环境搭建

182.Docker镜像加速

183.Docker容器管理

184.Docker镜像管理

185.Docker容器文件备份

186.Dockerfile

187.Docker私服仓库

188.真实互联网高并发电商项目实战-双十一抢购

189.可视化监控 Portainer

190.DockerCompose 容器编排

191.DockerCompose扩容、缩容

192.DockerSwarm集群编排

193.Jenkins安装、插件配置

194.Jenkins配置普通任务

195.Jenkins配置管道任务

196.Jenkins自动发布服务

197.Spring CloudEureka

198.Spring CloudFeign

199.Spring CloudRibbon

200.Spring CloudZuul

201.Spring CloudConfig

202.Spring CloudHystrix

203.Spring CloudSleuth

204.Spring BootAdmin

205.Eureka注册原理探秘

206.SpringCloud 大坑解读

207.Zipkin

208.Zipkin整合RabbitMQ

209.Zipkin整合MySQL

210.ELK日志收集

211.Kafka

212.Elasticsearch映射管理

213.Elasticsearch查询/复合查询

214.Elasticsearch集群/集群规划

215.Elasticsearch聚合

216.Elasticsearch集群监控

217.Elasticsearch插件

(Head/BigDesk)

218.Mycat读写分离

219.Mycat一主多从

220.Mycat多主多从

221.Mycat数据分片

222.Redis

223.Redis-Redlock

224.Elasticsearch环境搭建

225.Elasticsearch客户端

226.Elasticsearch索引管理

227.Elasticsearch文档管理

228.Mycat集群

229.Jmeter 并发测试

230.Jmeter 生成测试报告

231.微信登录

232.微信支付

233.支付宝支付

234.网络地图

235.Sonar本地检测

236.Sonar+Jenkins线上检测

237.CI/CD

238.SpringBoot改造爱旅行项目实战

239.大型互联网票务类电商项目实战-大觅网

240.ES6概念(les、const)

241.ES6对象和数组

242.ES6函数扩展

243.VUE环境搭建

244.VUE.JS指令

245.VUE 交互

246.VUE 实例生命周期

247.VUE 组件

248.VUE项目环境配置及单文件组件

249.VUE 路由

第六阶段：cc服务

250. Spring Cloud Gateway

251. Consul

252. Nacos

253. Eureka、Consu、lNacos、Zookeeper 对比分析

254. Prometheus + Grafana

255. ES 分布式存储原理

256. NoSQL 数据库解决方案(Redis、MongoDB)

257. OAuth2.0 认证( authorization code 模式)

258. OAuth2.0 认证( implicit 模式)

259. OAuth2.0 认证( resource owner password credentials 模式)

260.OAuth2.0认证( clientcredentials模式)

261.NAS/FastDFS分布式文件存储

262.python基础

263.Python爬虫

264. 大数据及 Hadoop 概述

265. 分布式文件系统 HDFS

266. 分布式计算框架MapRece

267. 分布式列式数据库 HBase

268. Hadoop 综合应用

269. 面试大局观

270. 职业规划

271. 项目面试

272. 具体业务场景化解决方案

273. 更多技术专题持续增加中

有不清楚的可以私信我

Ⅲ java怎样去实现多线程分布式的爬虫

要实现多线程分布式，可以用一个服务器存放要爬取的所有链接，然后由服务器将这些链接分发给各台机器去爬取

Ⅳ 哪个开源多线程爬虫比较好学 知乎

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch
2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector
3. 非JAVA单机爬虫：scrapy
第一类：分布式爬虫
爬虫使用分布式，主要是解决两个问题：
1）海量URL管理
2）网速
现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：
1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。
2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。
3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。
4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。
5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。
6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。
如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。
第二类：JAVA单机爬虫
这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便扯淡。
其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。
对于爬虫的功能来说。用户比较关心的问题往往是：
1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？
不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行http请求。
能不能爬js生成的信息和爬虫本身没有太大关系。爬虫主要是负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器（htmlunit,selenium）来完成。这些模拟浏览器，往往需要耗费很多的时间来处理一个页面。所以一种策略就是，使用这些爬虫来遍历网站，遇到需要解析的页面，就将网页的相关信息提交给模拟浏览器，来完成JS生成信息的抽取。
2）爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deep web（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合（seeds）中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
3）爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
4）爬虫怎么抽取网页的信息？
开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSS SELECTOR和XPATH。至于哪个好，这里不评价。
5）爬虫怎么保存网页的信息？
有一些爬虫，自带一个模块负责持久化。比如webmagic，有一个模块叫pipeline。通过简单地配置，可以将爬虫抽取到的信息，持久化到文件、数据库等。还有一些爬虫，并没有直接给用户提供数据持久化的模块。比如crawler4j和webcollector。让用户自己在网页处理模块中添加提交数据库的操作。至于使用pipeline这种模块好不好，就和操作数据库使用ORM好不好这个问题类似，取决于你的业务。
6）爬虫被网站封了怎么办？
爬虫被网站封了，一般用多代理（随机代理）就可以解决。但是这些开源爬虫一般没有直接支持随机代理的切换。所以用户往往都需要自己将获取的代理，放到一个全局数组中，自己写一个代理随机获取（从数组中）的代码。
7）网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
8）爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
9）明明代码写对了，爬不到数据，是不是爬虫有问题，换个爬虫能解决么？
如果代码写对了，又爬不到数据，换其他爬虫也是一样爬不到。遇到这种情况，要么是网站把你封了，要么是你爬的数据是javascript生成的。爬不到数据通过换爬虫是不能解决的。
10）哪个爬虫可以判断网站是否爬完、那个爬虫可以根据主题进行爬取？
爬虫无法判断网站是否爬完，只能尽可能覆盖。
至于根据主题爬取，爬虫之后把内容爬下来才知道是什么主题。所以一般都是整个爬下来，然后再去筛选内容。如果嫌爬的太泛，可以通过限制URL正则等方式，来缩小一下范围。
11）哪个爬虫的设计模式和构架比较好？
设计模式纯属扯淡。说软件设计模式好的，都是软件开发完，然后总结出几个设计模式。设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。
至于构架，开源爬虫目前主要是细节的数据结构的设计，比如爬取线程池、任务队列，这些大家都能控制好。爬虫的业务太简单，谈不上什么构架。
所以对于JAVA开源爬虫，我觉得，随便找一个用的顺手的就可以。如果业务复杂，拿哪个爬虫来，都是要经过复杂的二次开发，才可以满足需求。
第三类：非JAVA单机爬虫
在非JAVA语言编写的爬虫中，有很多优秀的爬虫。这里单独提取出来作为一类，并不是针对爬虫本身的质量进行讨论，而是针对larbin、scrapy这类爬虫，对开发成本的影响。
先说python爬虫，python可以用30行代码，完成JAVA 50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
对于C++爬虫来说，学习成本会比较大。而且不能只计算一个人的学习成本，如果软件需要团队开发或者交接，那就是很多人的学习成本了。软件的调试也不是那么容易。
还有一些ruby、php的爬虫，这里不多评价。的确有一些非常小型的数据采集任务，用ruby或者php很方便。但是选择这些语言的开源爬虫，一方面要调研一下相关的生态圈，还有就是，这些开源爬虫可能会出一些你搜不到的BUG（用的人少、资料也少）

Ⅳ java中，怎么把单线程网络爬虫，改成多线程网络爬虫~

学过多线程了吧，接口用runnable 继承用 thread 然后重写里面的run方法

Ⅵ 自己动手写网络爬虫的作品目录

电子书|自己动手写网络爬虫，免费下载

链接: https://pan..com/s/1VuP30TzuJLThBUaghwFXdA

pdf" data_size="27.78M" data_filelogo="https://gss0.bdstatic.com//yun-file-logo/file-logo-6.png" data_number="1" data_sharelink="https://pan..com/s/1VuP30TzuJLThBUaghwFXdA" data_code="muwz">

《自己动手写网络爬虫》是2010年10月1日由清华大学出版社出版的图书，作者是罗刚。本书在介绍基本原理的同时，注重辅以具体代码实现来帮助读者加深理解。

Ⅶ 是java爬虫还是python

当然是python爬虫喽！

Ⅷ java爬虫如何去重

用 requests+Selenium+PhantomJs 多线程爬虫的时候用的是 mp.manager.dict() 来存储已经访问过的网站，如果发现再次访问就直接跳过
我能想到的就是 Bloom Filter ，按照上面所说用 redis 来去重应该也可以！

Ⅸ java爬虫采用多线程，数据库连接多了就报异常

可以通过测试对错误原因进行排查，如果连接少量时不出问题，那就是连接量超出了某一数值出现异常，可以查看数据库的链接上限，如果是连接上限原因，可以尝试上调上限或者降低连接数量