es集群数据同步算法

‘壹’ 如何使用一个IP搭建ES集群

1. 安装环境简介

硬件环境：两台四核cpu、4G内存、500G硬盘的虚拟机。

软件环境：64位Ubuntu12.04 LTS；主机名分别为spark1、spark2，IP地址分别为1**.1*.**.***/***。JDK版本为1.7。集群上已经成功部署了Hadoop2.2，详细的部署过程可以参见另一篇文档Yarn的安装与部署。

2. 安装Scala2.9.3

‘贰’ elasticsearch为什么从2.x直接更新到5.x

为了ELK（ElasticSearch, logstash, kibana）技术栈的版本统一，免的给用户带来混乱。

‘叁’ es为什么会多unassigned节点

首先ES是基于Lucene这个非常成熟的索引方案，另加上一些分布式的实现：集群，sharding，replication等。

ES的优势主要可以看以下几个方面：

1. 横向可扩展性：只需要增加一台服务器，做一点儿配置，启动一下ES进程就可以并入集群；

2. 2. 分片机制提供更好的分布性：同一个索引分成多个分片（sharding），这点类似于HDFS的块机制；分而治之的方式来提升处理效率，相信大家都不会陌生；

3. 3. 高可用：提供复制（replica）机制，一个分片可以设置多个复制，使得某台服务器宕机的情况下，集群仍旧可以照常运行，并会把由于服务器宕机丢失的复制恢复到其它可用节点上；这点也类似于HDFS的复制机制（HDFS中默认是3份复制）；

当然，也要知道其不足之处：

1. 各节点的一致性问题：其默认的机制是通过多播机制，同步元数据信息，但是在比较繁忙的集群中，可能会由于网络的阻塞，或者节点处理能力达到饱和导致各节点元数据不一致——也就是所谓的脑裂问题，这样会使集群处于不一致状态。目前并没有一个彻底的解决方案来解决这个问题，但是可以通过将工作节点与元数据节点分开的部署方案来缓解这种情况。

2. 没有细致的权限管理机制，也就是说，没有像MySQL那样的分各种用户，每个用户又有不同的权限。所以在操作上的限制需要自己开发一个系统来完成；

总结：不过从优势与不足的对比看，我看还是瑕不掩瑜，是值得一试的技术。

‘肆’ es加节点会平衡数据吗

es加节点会平衡数据。一个集群cluster由一个或者多个节点组成，具有相同的cluster.name，协同工作，分项数据和负载。当有新的节点加入或者删除了一个节点时，集群回感知到并能够平衡数据。es集群会自动做负载均衡，如果我们现在加一个es节点到集群中来的话，es会按照一定的规则将部分shard分配到新的节点上去。

es主节点作用

主节点的主要职责是负责集群层面的相关操作，管理集群变更，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。主节点也可以作为数据节点，但稳定的主节点对集群的健康是非常重要的，默认情况下任何一个集群中的节点都有可能被选为主节点。

‘伍’ 如何实现elasticsearch与elasticsearch的数据同步

Elasticsearch 2.3.2 从oracle中同步数据 1 数据批量导入-oracle 采用 elasticsearch-jdbc 插件 安装.版本需要ES版本一致 最新 elasticsearch-jdbc 需要 jdk 1.8的支持 1.1 安装 elasticsearch-jdbc 下载elasticsearch-jdbc-2.3.2.0-dist.zip

‘陆’ 并发数据给 ES集群，如何实现数据的负载均衡

目前logstash没有集群这个概览，支持配置多个ES节点
好像是轮训机制。
这样的ES负载，不同的logstash可以配置不同的es节点。

‘柒’ 为什么ElasticSearch应用开发者需要了解cluster state

cluster state是你的重要参考
像其他倒排索引一样, 当你搜索数据时, ES需要知道这些数据的元信息及其存储位置. 当节点接收到查询请求, 首先要做的就是你要查询的对象在哪些分片上, 然后判断这个索引上有哪些字段以及它们的类型.(你不能在一个字符串类型的字段上进行数字范围查询). 而这些信息都记录在cluster state之中.
顾名思义, cluster state是全局性信息, 包含了整个群集中所有分片的元信息(规则, 位置, 大小等信息), 并保持每个每节的信息同步.
在一个包含众多节点的集群中, ES是如何做到信息同步的呢? 原来ES的cluster state信息是由master节点维护的, 当它收到data节点的状态更新变化后, 就把这些信息依次广播到其他节点, 仅此而已.

‘捌’ mysql同步数据到es有什么好的方法没

先假设有主机 A 和 B ( Linux 系统)，主机 A 的 IP 分别是 1.2.3.4 (当然，也可以是动态的)，主机 B 的 IP 是 5.6.7.8 。两个主机都装上了 php+Mysql ，现在操作的是主机 A 上的资料，如果另外一个主机 B 想跟 A 的资料进行同步，应该怎么做呢？ OK，我们现在就动手。 首先，如果要想两个主机间的资料同步，一种方法就是主机 A 往主机 B 送资料，另外一种主法就是主机 B 到主机 A 上拿资料，因为 A 的 IP 是动态的(假设)，所以我们就得从主机 A 往主机 B 送资料。 在主机 B 上创建一个 Mysql 账户。 # GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"; //创建用户 user,可以从任何机器访问到主机 B 上的 test 数据库。 如果这里显示错误，先把 % 改为一个 IP ，然后再利用 phpMyAdmin 把 IP 改为 % ，测试无误后就可以写 php 程序。 <? $link=mysql_pconnect("localhost","user","password"); mysql_pconnect("localhost","user","password"); //连接本机(主机A)的数据库 mysql_select_db("test"); //选择数据库test $re=mysql_query("select * from table order by id desc"); $num=mysql_numrows($re); if (!empty($num)) { ...

‘玖’ 创建好 elasticsearch 索引 怎么把数据同步到索引中

elasticsearch-headelasticsearch集群管理工具完全由html5编写独立网页程序通插件集es

1.打

址栏输入es服务器ip址端口点connect连接集群面连接视图主界面看es集群基本信息（：节点情况索引情况）

主片与副本区别粗细边框

界面右边些按钮：node stats cluster nodes些直接请求es相关状态api返结json图：

索引面infoaction两按钮info查看索引状态mapping定义action索引进行操作：添加别名、刷新、关闭索引删除索引等

browser浏览界面界面同查看索引数据查询指定字段数据

Structured Query查询界面界面某索引进行些复杂查询面例查询proct索引构造boolquerytitle字段查询产品关键词price范围10100记录

Any Request任意请求界面界面说rest客户端通es进行些请求操作或测试api接口面例proct索引副本数设置1更apies官网查询

‘拾’ es文件浏览器里有个网络硬盘，能不能把手机上的东西和网络硬盘里的数据同步，怎么同步

复至就可以了