es集群數據同步演算法

『壹』 如何使用一個IP搭建ES集群

1. 安裝環境簡介

硬體環境：兩台四核cpu、4G內存、500G硬碟的虛擬機。

軟體環境：64位Ubuntu12.04 LTS；主機名分別為spark1、spark2，IP地址分別為1**.1*.**.***/***。JDK版本為1.7。集群上已經成功部署了Hadoop2.2，詳細的部署過程可以參見另一篇文檔Yarn的安裝與部署。

2. 安裝Scala2.9.3

『貳』 elasticsearch為什麼從2.x直接更新到5.x

為了ELK（ElasticSearch, logstash, kibana）技術棧的版本統一，免的給用戶帶來混亂。

『叄』 es為什麼會多unassigned節點

首先ES是基於Lucene這個非常成熟的索引方案，另加上一些分布式的實現：集群，sharding，replication等。

ES的優勢主要可以看以下幾個方面：

1. 橫向可擴展性：只需要增加一台伺服器，做一點兒配置，啟動一下ES進程就可以並入集群；

2. 2. 分片機制提供更好的分布性：同一個索引分成多個分片（sharding），這點類似於HDFS的塊機制；分而治之的方式來提升處理效率，相信大家都不會陌生；

3. 3. 高可用：提供復制（replica）機制，一個分片可以設置多個復制，使得某台伺服器宕機的情況下，集群仍舊可以照常運行，並會把由於伺服器宕機丟失的復制恢復到其它可用節點上；這點也類似於HDFS的復制機制（HDFS中默認是3份復制）；

當然，也要知道其不足之處：

1. 各節點的一致性問題：其默認的機制是通過多播機制，同步元數據信息，但是在比較繁忙的集群中，可能會由於網路的阻塞，或者節點處理能力達到飽和導致各節點元數據不一致——也就是所謂的腦裂問題，這樣會使集群處於不一致狀態。目前並沒有一個徹底的解決方案來解決這個問題，但是可以通過將工作節點與元數據節點分開的部署方案來緩解這種情況。

2. 沒有細致的許可權管理機制，也就是說，沒有像MySQL那樣的分各種用戶，每個用戶又有不同的許可權。所以在操作上的限制需要自己開發一個系統來完成；

總結：不過從優勢與不足的對比看，我看還是瑕不掩瑜，是值得一試的技術。

『肆』 es加節點會平衡數據嗎

es加節點會平衡數據。一個集群cluster由一個或者多個節點組成，具有相同的cluster.name，協同工作，分項數據和負載。當有新的節點加入或者刪除了一個節點時，集群回感知到並能夠平衡數據。es集群會自動做負載均衡，如果我們現在加一個es節點到集群中來的話，es會按照一定的規則將部分shard分配到新的節點上去。

es主節點作用

主節點的主要職責是負責集群層面的相關操作，管理集群變更，如創建或刪除索引，跟蹤哪些節點是群集的一部分，並決定哪些分片分配給相關的節點。主節點也可以作為數據節點，但穩定的主節點對集群的健康是非常重要的，默認情況下任何一個集群中的節點都有可能被選為主節點。

『伍』 如何實現elasticsearch與elasticsearch的數據同步

Elasticsearch 2.3.2 從oracle中同步數據 1 數據批量導入-oracle 採用 elasticsearch-jdbc 插件 安裝.版本需要ES版本一致 最新 elasticsearch-jdbc 需要 jdk 1.8的支持 1.1 安裝 elasticsearch-jdbc 下載elasticsearch-jdbc-2.3.2.0-dist.zip

『陸』 並發數據給 ES集群，如何實現數據的負載均衡

目前logstash沒有集群這個概覽，支持配置多個ES節點
好像是輪訓機制。
這樣的ES負載，不同的logstash可以配置不同的es節點。

『柒』 為什麼ElasticSearch應用開發者需要了解cluster state

cluster state是你的重要參考
像其他倒排索引一樣, 當你搜索數據時, ES需要知道這些數據的元信息及其存儲位置. 當節點接收到查詢請求, 首先要做的就是你要查詢的對象在哪些分片上, 然後判斷這個索引上有哪些欄位以及它們的類型.(你不能在一個字元串類型的欄位上進行數字范圍查詢). 而這些信息都記錄在cluster state之中.
顧名思義, cluster state是全局性信息, 包含了整個群集中所有分片的元信息(規則, 位置, 大小等信息), 並保持每個每節的信息同步.
在一個包含眾多節點的集群中, ES是如何做到信息同步的呢? 原來ES的cluster state信息是由master節點維護的, 當它收到data節點的狀態更新變化後, 就把這些信息依次廣播到其他節點, 僅此而已.

『捌』 mysql同步數據到es有什麼好的方法沒

先假設有主機 A 和 B ( Linux 系統)，主機 A 的 IP 分別是 1.2.3.4 (當然，也可以是動態的)，主機 B 的 IP 是 5.6.7.8 。兩個主機都裝上了 php+Mysql ，現在操作的是主機 A 上的資料，如果另外一個主機 B 想跟 A 的資料進行同步，應該怎麼做呢？ OK，我們現在就動手。 首先，如果要想兩個主機間的資料同步，一種方法就是主機 A 往主機 B 送資料，另外一種主法就是主機 B 到主機 A 上拿資料，因為 A 的 IP 是動態的(假設)，所以我們就得從主機 A 往主機 B 送資料。 在主機 B 上創建一個 Mysql 賬戶。 # GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"; //創建用戶 user,可以從任何機器訪問到主機 B 上的 test 資料庫。 如果這里顯示錯誤，先把 % 改為一個 IP ，然後再利用 phpMyAdmin 把 IP 改為 % ，測試無誤後就可以寫 php 程序。 <? $link=mysql_pconnect("localhost","user","password"); mysql_pconnect("localhost","user","password"); //連接本機(主機A)的資料庫 mysql_select_db("test"); //選擇資料庫test $re=mysql_query("select * from table order by id desc"); $num=mysql_numrows($re); if (!empty($num)) { ...

『玖』 創建好 elasticsearch 索引 怎麼把數據同步到索引中

elasticsearch-headelasticsearch集群管理工具完全由html5編寫獨立網頁程序通插件集es

1.打

址欄輸入es伺服器ip址埠點connect連接集群面連接視圖主界面看es集群基本信息（：節點情況索引情況）

主片與副本區別粗細邊框

界面右邊些按鈕：node stats cluster nodes些直接請求es相關狀態api返結json圖：

索引面infoaction兩按鈕info查看索引狀態mapping定義action索引進行操作：添加別名、刷新、關閉索引刪除索引等

browser瀏覽界面界面同查看索引數據查詢指定欄位數據

Structured Query查詢界面界面某索引進行些復雜查詢面例查詢proct索引構造boolquerytitle欄位查詢產品關鍵詞price范圍10100記錄

Any Request任意請求界面界面說rest客戶端通es進行些請求操作或測試api介面面例proct索引副本數設置1更apies官網查詢

『拾』 es文件瀏覽器里有個網路硬碟，能不能把手機上的東西和網路硬碟里的數據同步，怎麼同步

復至就可以了