⑴ hadoop 配置完後輸入 jps 命令後什麼反應都沒有。我是利用cygwin進行配置的。
這說明你沒有配置成功。
jsp:是查看當前系統中用java的進程,沒有即沒成功。
⑵ 如何查看hadoop集群是否安裝成功(用jps命令
1、用jps命令
(1)master節點
啟動集群:
cy@master:~$ start-all.sh
starting namenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-namenode-master.out
slave2: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave2.out
slave1: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave1.out
master: starting secondarynamenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-secondarynamenode-master.out
starting jobtracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-jobtracker-master.out
slave1: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave1.out
slave2: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave2.out
用jps命令查看Java進程:
cy@master:~$ jps
6670 NameNode
7141 Jps
7057 JobTracker
(2)slave1節點
用jps命令查看Java進程:
cy@slave1:~$ jps
3218 Jps
2805 DataNode
2995 TaskTracker
(3)slave2節點
用jps命令查看Java進程:
cy@slave2:~$ jps
2913 TaskTracker
2731 DataNode
3147 Jps
如果三台虛擬機用jps命令查詢時如上面顯示的那樣子,就說明hadoop安裝和配置成功了。
2、hadoop集群的測試,用hadoop-examples-1.2.1.jar中自帶的wordcount程序進行測試,該程序的作用是統計單詞的個數。
(1)我們現在桌面上創建一個新的文件test.txt,裡面總共有10行,每行都是hello world
(2)在HDFS系統里創建一個input文件夾,使用命令如下:
hadoop fs -mkdir input
或 hadoop fs -mkdir /user/你的用戶名/input
(3)把創建好的test.txt上傳到HDFS系統的input文件夾下,使用命令如下所示。
hadoop fs -put /home/你的用戶名/桌面/test.txt input
或 hadoop fs -put /home/你的用戶名/桌面/test.txt /user/你的用戶名/input
(4)我們可以查看test.txt是否在HDFS的input文件夾下,如下所示:
hadoop fs -ls input
如果顯示如下就說明上傳成功:
Found 1 items
-rw-r--r-- 3 cy supergroup 120 2015-05-08 20:26 /user/cy/input/test.txt
(5)執行hadoop-examples-1.2.1.jar中自帶的wordcount程序,如下:(提示:在執行下面的命令之前,你要在終端用cd命令進入到/home/cy/Hadoop/hadoop-1.2.1目錄)
hadoop jar hadoop-examples-1.2.1.jar wordcount /user/你的用戶名/input/test.txt /user/你的用戶名/output
如果顯示如下結果就說明運行成功:
15/05/08 20:31:29 INFO input.FileInputFormat: Total input paths to process : 1
15/05/08 20:31:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library
15/05/08 20:31:29 WARN snappy.LoadSnappy: Snappy native library not loaded
15/05/08 20:31:30 INFO mapred.JobClient: Running job: job_201505082010_0001
15/05/08 20:31:31 INFO mapred.JobClient: map 0% rece 0%
15/05/08 20:31:35 INFO mapred.JobClient: map 100% rece 0%
15/05/08 20:31:42 INFO mapred.JobClient: map 100% rece 33%
15/05/08 20:31:43 INFO mapred.JobClient: map 100% rece 100%
15/05/08 20:31:43 INFO mapred.JobClient: Job complete: job_201505082010_0001
15/05/08 20:31:43 INFO mapred.JobClient: Counters: 29
15/05/08 20:31:43 INFO mapred.JobClient: Job Counters
15/05/08 20:31:43 INFO mapred.JobClient: Launched rece tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=3117
15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all reces waiting after reserving slots (ms)=0
15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
15/05/08 20:31:43 INFO mapred.JobClient: Launched map tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: Data-local map tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8014
15/05/08 20:31:43 INFO mapred.JobClient: File Output Format Counters
15/05/08 20:31:43 INFO mapred.JobClient: Bytes Written=18
15/05/08 20:31:43 INFO mapred.JobClient: FileSystemCounters
15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_READ=30
15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_READ=226
15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_WRITTEN=116774
15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=18
15/05/08 20:31:43 INFO mapred.JobClient: File Input Format Counters
15/05/08 20:31:43 INFO mapred.JobClient: Bytes Read=120
15/05/08 20:31:43 INFO mapred.JobClient: Map-Rece Framework
15/05/08 20:31:43 INFO mapred.JobClient: Map output materialized bytes=30
15/05/08 20:31:43 INFO mapred.JobClient: Map input records=10
15/05/08 20:31:43 INFO mapred.JobClient: Rece shuffle bytes=30
15/05/08 20:31:43 INFO mapred.JobClient: Spilled Records=4
15/05/08 20:31:43 INFO mapred.JobClient: Map output bytes=200
15/05/08 20:31:43 INFO mapred.JobClient: CPU time spent (ms)=610
15/05/08 20:31:43 INFO mapred.JobClient: Total committed heap usage (bytes)=176427008
15/05/08 20:31:43 INFO mapred.JobClient: Combine input records=20
15/05/08 20:31:43 INFO mapred.JobClient: SPLIT_RAW_BYTES=106
15/05/08 20:31:43 INFO mapred.JobClient: Rece input records=2
15/05/08 20:31:43 INFO mapred.JobClient: Rece input groups=2
15/05/08 20:31:43 INFO mapred.JobClient: Combine output records=2
15/05/08 20:31:43 INFO mapred.JobClient: Physical memory (bytes) snapshot=182902784
15/05/08 20:31:43 INFO mapred.JobClient: Rece output records=2
15/05/08 20:31:43 INFO mapred.JobClient: Virtual memory (bytes) snapshot=756301824
15/05/08 20:31:43 INFO mapred.JobClient: Map output records=20
(6)我們可以使用下面的命令還查看運行後的結果:
hadoop fs -ls output
hadoop fs -text /user/你的用戶名/output/part-r-00000
如果顯示如下就說明hadoop三個節點安裝和配置成功,測試也成功了,就可以繼續更深入地使用和研究hadoop了
hello 10
world 10
⑶ 下配置的hadoop為什麼不能用jps命令
根據樓主的描述hadoop應該已經啟來了。
jps是java的工具,能夠顯示系統當前運行的java程序及其進程號。
運行jps沒有顯示,應該是沒有配置好系統的path、java_home和classpath。
執行hadoop
fs
-ls等同於hadoop
fs
-ls
.該命令查看的是hdfs的/user/hadoop目錄。而且默認是沒有這個目錄的。需要自己創建。
⑷ HADOOP配置的時候,在master機子上輸入JPS命令後,沒有看到namenode和jobtrack的進程
沒看到,並不代表沒啟動,首先看下你在輸入jps的時候,用戶是否是啟動hadoop的用戶,或者使用ps 或者netstat查看是否有該進程,如果都沒有,這才能確定是namenode啟動失敗了。這時候才應該去看啟動日誌是否有報錯。
⑸ hadoop namenode啟動問題:jps顯示進程 -- main class information unavailable
1、如果集群是第一次啟動,需要格式化NameNode,如下圖所示。
⑹ 我已經成功在windows下配置了hadoop,啟動成功後,利用jps命令,居然發現什麼都沒顯示.
根據樓主的描述hadoop應該已經啟來了。
jps是java的工具,能夠顯示系統當前運行的java程序及其進程號。
運行jps沒有顯示,應該是沒有配置好系統的path、java_home和classpath。
執行hadoop fs -ls等同於hadoop fs -ls .該命令查看的是hdfs的/user/hadoop目錄。而且默認是沒有這個目錄的。需要自己創建。
⑺ 如何在Windows 8上執行「jps」命令
要使用jps,要安裝JDK(1.5及以後版本)
JDK的bin要配置到classpath中
先來段腳手架代碼:
Code:
package schele;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
public class JDKTimerDemo {
public static void main(String[] args) {
Timer timer = new Timer();
timer.schele(new TimerTask() {
@Override public void run() {
System.out.println(Thread.currentThread() + " is running");
}
}, new Date(), 6000);
}
}
⑻ linux命令里的jps是什麼意思
jps 是java提供的一個顯示當前所有java進程pid的命令,適合在linux/unix平台上簡單察看當前java進程的一些簡單情況。
⑼ 啟動hadoop後,執行jps命令發現某些進程啟動不了怎麼辦
摘要 在使用Hadoop開發初期的時候遇到一個問題。 每次重啟系統後發現不能正常運行hadoop。必須執行 bin/hadoop namenode -format 進行格式化才能成功運行hadoop,但是也就意味著以前記錄的name等數據丟失。
⑽ linux系統下用jps命令查看java進程,提示process information unavailable是為什麼
一般kill進程是這樣的:
比如你要殺掉top進程,
ps-ef|greptop查看top進程因為顯示出進程數太多使用grep過濾,
kill-9殺掉top進程,
ps-ef|greptop查看top進程有沒殺掉,如圖已殺掉