logstashjava

⑴ logstash讀取file是做什麼用的

java種的File類的作用和用處如下：1.直接處理文件和文件系統。File類沒有指定信息怎樣從文件讀取或向文件存儲；它描述了文件本身的屬性。File對象用來獲取或處理與磁碟文件相關的信息，例如許可權，時間，日期和目錄路徑。此外，File還瀏覽子目錄層次結構。很多程序中文件是數據的根源和目標。盡管它們在小應用程序中因為安全原因而受到嚴格限制，文件仍是存儲固定和共享信息的主要資源。Java中的目錄當成File對待，它具有附加的屬性——一個可以被list()方法檢測的文件名列表。2.下面的構造函數可以用來生成File對象：File(StringdirectoryPath)File(StringdirectoryPath,Stringfilename)File(FiledirObj,Stringfilename)這里，directoryPath是文件的路徑名，filename是文件名，dirObj一個指定目錄的File對象。下面的例子創建了三個文件：f1，f2，和f3。第一個File對象是由僅有一個目錄路徑參數的構造函數生成的。第二個對象有兩個參數——路徑和文件名。第三個File對象的參數包括指向f1文件的路徑及文件名。f3和f2指向相同的文件。Filef1=newFile("/");Filef2=newFile("/","autoexec.bat");Filef3=newFile(f1,"autoexec.bat");注意：Java能正確處理UNIX和Windows/DOS約定路徑分隔符。如果在Windows版本的Java下用斜線（/），路徑處理依然正確。記住，如果你用Windows/DOS使用反斜線（/）的約定，你需要在字元串內使用它的轉義序列（//）。Java約定是用UNIX和URL風格的斜線來作路徑分隔符。

⑵ logstash 哪個版本最穩定

在配置文件
input {
file {
type => "json"
path => "/home/hadoop/xinwang_XW351464_2110"
}
}
output {
elasticsearch {
cluster => "es_master"
#manage_template => false
embedded => true
index => "huhu"
}
}
版本是logstash-1.3.2，es版本是1.1.1
錯誤提示
java -jar logstash-1.3.2-flatjar.jar agent -f ogstash-syslog.conf
Using milestone 2 input plugin 'file'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see {:level=>:warn}
log4j, [2014-10-31T11:55:01.977] WARN: org.elasticsearch.discovery: [Jocasta] waited for 30s and no initial state was set by the discovery
Unable to check template. Automatic template management disabled. {:error=>"waited for [30s]",
Redhat 5.7 64bit / CentOS 5.x
JDK 1.6.0_45
logstash 1.3.2 (內帶kibana)
elasticsearch 0.90.10
redis 2.8.4
對應下版本

⑶ logstash收集日誌，多台機器，必須要多台機器安裝部署嗎

不是的，logstash有兩種模式，一種是server，另一種是client，client就是把當前主機當做日誌輸入，需要每台都裝，而server模式不需要，它是請求遠程主機輸入日誌，也就是當java程序發現有logstash連接上時，就會把日誌輸進logstash

⑷ logstash 和filebeat 是什麼關系

logstash 和filebeat 是什麼關系

1. logstash和filebeat都是可以作為日誌採集的工具，目前日誌採集的工具有很多種，如fluentd, flume, logstash,betas等等。甚至最後我決定用filebeat作為日誌採集端工具的時候，還有人問我為什麼不用flume,logstash等採集工具。
2. logstash出現時間要比filebeat早許多，隨著時間發展，logstash不僅僅是一個日誌採集工具，它也是可以作為一個日誌搜集工具，有豐富的input|filter|output插件可以使用。常用的ELK日誌採集方案中，大部分的做法就是將所有節點的日誌內容上送到kafka消息隊列，然後使用logstash集群讀取消息隊列內容，根據配置文件進行過濾。上送到elasticsearch。logstash詳細信息可前往https://www.elastic.co/
3. logstash是使用Java編寫，插件是使用jruby編寫，對機器的資源要求會比較高，網上有一篇關於其性能測試的報告。之前自己也做過和filebeat的測試對比。在採集日誌方面，對CPU，內存上都要比前者高很多。LogStash::Inputs::Syslog 性能測試與優化
4. filebeat也是elastic.公司開發的，其官方的說法是為了替代logstash-forward。採用go語言開發。代碼開源。elastic/beats filebeat是beats的一個文件採集工具，目前其官方基於libbeats平台開發的還有Packetbeat， Metricbeat， Winlogbeat。filebeat性能非常好，部署簡單。是一個非常理想的文件採集工具。我自己採集工具也是基於beats源碼進行的二次開發。

⑸ java.lang.NullPointerException: 用logstash怎麼獲取中異常名

java.lang.NullPointerException: 用logstash怎麼獲取中異常名，這是常見的空指針異常，看哈實例化沒有吧，很簡單的，列印下日誌。

⑹ logstash filter的使用方法

Logstash是一個接收，處理，轉發日誌的工具。支持系統日誌，webserver日誌，錯誤日誌，應用日誌，總之包括所有可以拋出來的日誌類型。

在一個典型的使用場景下(ELK)：用Elasticsearch作為後台數據的存儲，kibana用來前端的報表展示。Logstash在其過程中擔任搬運工的角色，它為數據存儲，報表查詢和日誌解析創建了一個功能強大的管道鏈。Logstash提供了多種多樣的 input,filters,codecs和output組件，讓使用者輕松實現強大的功能。
依賴條件：JAVA
Logstash運行僅僅依賴java運行環境(jre)。各位可以在命令行下運行java -version命令 顯示類似如下結果：java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
為了確保成功運行Logstash建議大家使用較近期的jre版本。 可以獲取開源版本的jre在：http://openjdk.java.net 或者你可以在官網下載Oracle jdk版本：http://www.oracle.com/technetwork/java/index.html 一旦jre已經成功在你的系統中安裝完成，我們就可以繼續了

啟動和運行Logstash的兩條命令示例
第一步我們先下載Logstashcurl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
現在你應該有了一個叫logstash-1.4.2.tar.gz的文件了。 我們把它解壓一下tar zxvf logstash-1.4.2.tar.gz
cd logstash-1.4.2
現在我們來運行一下：bin/logstash -e 'input { stdin { } } output { stdout {} }'
我們現在可以在命令行下輸入一些字元，然後我們將看到logstash的輸出內容：hello world
2013-11-21T01:22:14.405+0000 0.0.0.0 hello world
Ok,還挺有意思的吧... 以上例子我們在運行logstash中，定義了一個叫"stdin"的input還有一個"stdout"的output，無論我們輸入什麼字元，Logstash都會按照某種格式來返回我們輸入的字元。這里注意我們在命令行中使用了-e參數，該參數允許Logstash直接通過命令行接受設置。這點尤其快速的幫助我們反復的測試配置是否正確而不用寫配置文件。
讓我們再試個更有意思的例子。首先我們在命令行下使用CTRL-C命令退出之前運行的Logstash。現在我們重新運行Logstash使用下面的命令：bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
我們再輸入一些字元，這次我們輸入"goodnight moon"：goodnight moon
{
"message" => "goodnight moon",
"@timestamp" => "2013-11-20T23:48:05.335Z",
"@version" => "1",
"host" => "my-laptop"}
以上示例通過重新設置了叫"stdout"的output(添加了"codec"參數)，我們就可以改變Logstash的輸出表現。類似的我們可以通過在你的配置文件中添加或者修改inputs、outputs、filters，就可以使隨意的格式化日誌數據成為可能，從而訂制更合理的存儲格式為查詢提供便利。

使用Elasticsearch存儲日誌
現在，你也許會說："它看起來還挺高大上的，不過手工輸入字元，並把字元從控制台回顯出來。實際情況並不實用"。說的好，那麼接下來我們將建立Elasticsearch來存儲輸入到Logstash的日誌數據。如果你還沒有安裝Elasticsearch，你可以下載RPM/DEB包或者手動下載tar包，通過以下命令：curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar zxvf elasticsearch-1.1.1.tar.gz
cd elasticsearch-1.1.1/
./bin/elasticsearch

⑺ 為什麼要用java重寫logstash

現在ELK很流行，能快速搭建一套日誌採集系統。其實自己一開始就不理解為什麼後端日誌採集這一層logstash 是用ruby來編寫的，大家都知道像ruby這樣的動態語言其實比較適合做web網站的快速開發（ror），像日誌採集的後端應用，需要負者日誌的採集和解析，尤其像解析日誌會很耗cpu的，這樣數據量一大很容易碰天花板。自己負者袋鼠雲後端日誌的採集和解析工作，前期用ruby版本的logstash，在4g 4core 的虛擬機上每小時只能處理800w條數據，這樣的性能已經是自己做了很多優化的結果。後來在git上發現了hangout一個ITjob的實習生寫的一個項目也是模仿ruby版本的logstash，用java重寫，但是自己認為這個項目只是個demo，說白了只能自己玩玩，所以就萌生了自己用java重寫logstash的想法。java版本的logstash基本的思路是每個input插件單獨維護一個線程，filter和output公用一個線程，filter和output的線程數用戶都可以自定義，默認跟機器的cpu核數相同，大部分的cpu消耗都在filter這層，所以filter線程數可以自定義，只要你的機器cpu夠多，就能盡可能調大。而且java版本的logstash能保證數據的強一致性，舉個列子從kafka消費數據，寫入elasticsearch，有可能elasticsearch集群掛了，不能寫入了，ruby版本是不能寫入重復幾次還是不行就扔掉了，這樣就導致數據的丟失，但是java版本可以通過開關打開數據強一致性的判斷，如果數據是由於elasticsearch集群掛了導致數據不能寫入的，就會不斷的重試這個數據直到成功，不會在消費隊列裡面新數據，這樣就不會有數據的丟失。現在的java版本的logstash插件還是比較少，不像ruby版本的這么豐富，希望有更多的人參與進來。

⑻ logstash 使用java介面作為輸入嗎

1、logstash本身不是使用java實現的。
2、logstash支持異構，跨語言傳輸可以通過插件或中間件的方式進行，比如可以使用jdbc-xxx.jar鏈接資料庫，通過kafka獲取數據等。