hdfs命令大全

⑴ 怎麼用命令行刪除hdfs上的文件

命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，並開啟hadoop)

rm -rf /home/mm/lily2（這是刪除linux文件系統的文件夾）。
刪除目錄
rd /s /q "c:\hello"
rem 加引號可以防止因路徑中有空格而出錯
rem 上面的代碼意為：刪除c:\hello目錄下所有的內容(包括"c:\hello")
刪除文件
del /f /q /s "c:\hello\*.*"
rem 刪除c;\hello文件夾下所有的文件，包括子文件夾的內容，（不包括子文件夾，也不包括c:\hello文件夾）
rem 文件夾=目錄

⑵ hadoop常用shell命令怎麼用

一、常用的hadoop命令
1、hadoop的fs命令
#查看hadoop所有的fs命令

1

hadoop fs

#上傳文件（put與FromLocal都是上傳命令）

1
2

hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk
hadoop fs -FromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk

#下載命令(get與ToLocal都是下載命令)

1
2

hadoop fs -get hdfs://hucc01:9000/jdk jdk1.7
hadoop fs -ToLocal hdfs://hucc01:9000/jdk jdk1.7

#將本地一個或者多個文件追加到hdfs文件中（appendToFile）

1

hadoop fs -appendToFile install.log /words

#查詢hdfs的所有文件（ls）

1

hadoop fs -ls /

#幫助命令（help）

1

hadoop fs -help fs

#查看hdfs文件的內容（cat和text）

1
2

hadoop fs -cat /words
hadoop fs -text /words

#刪除hdfs文件(rm)

1

hadoop fs -rm -r /words

#統計hdfs文件和文件夾的數量（count）

1

hadoop fs -count -r /

#合並hdfs某個文件夾的文件，並且下載到本地（getmerge）

1

hadoop fs -getmerge / merge

#將本地文件剪切到hdfs，相當於對本地文件上傳後再刪除（moveFormLocal）

1

hadoop fs -moveFromLocal words /

#查看當前文件系統的使用狀態（df）

1

hadoop fs -df

二、常用的hdfs命令（這個用的比較多）
用法跟hadoop命令一樣，推薦2.0之後使用hdfs命令

1

hdfs dfs

⑶ HDFS和本地文件系統文件互導

初步了解一下情況，後續根據給出案例

一、從本地文件系統到HDFS

使用hdfs自帶的命令

命令：hdfs dfs -FromLocal inputPath outputPath

inputPath：本地文件目錄的路徑

outputPath：hdfs文件目錄路徑，即存儲路徑

二、從HDFS到本地文件系統

命令：hdfs dfs -ToLocal inputPath outputPath

inputPath：hdfs文件目錄

outputPath：本地文件文件目錄，即本地存儲路徑

因為Hbas和Hive都在存儲在HDFS中，所以可以通過該條命令可以把Hbase和Hive存儲在HDFS中的文件復制出來。但是經過實踐，通過這種方式復制出來的Hbase文件是亂碼。Hive里的文件有時候也會亂碼，這取決於Hive數據的插入方式。

三、文件在HDFS內的移動

1、從Hbase表導出數據到HDFS

命令：hbase org.apache.hadoop.hbase.maprece.Export tableName outputPaht

例子：hbase org.apache.hadoop.hbase.maprece.Export test /user/data

test為需要從Hbase中導出的表，／user/data為hdfs上的路徑，即存儲路徑，如果最後一個參數有前綴file：// 則為本地上的文件存儲系統

2、從HDFS導入到Hbase表中，需要事先建立好表結構

命令：hbase org.apache.hadoop.hbase.maprece.Export tableName inputPaht

例子：hbase org.apache.hadoop.hbase.maprece.Import test1 /temp/part-m-00000

案列：

兩個不同環境數據，數據導入

過程描述：

            導出正式環境數據到hdfs中，然後從hdfs中導出到本地，本地傳到測試環境主機，然後從本地導入到hdfs中，再從hdfs中導入到hbase中。

處理過程：

1、注意事項：1、許可權問題使用hdfs：sudo -u hdfs ；

                      2、存放上傳路徑最好不要在root下

                      3、上傳完成後，查看是否在使用，數據已經插入。

1、sudo -u hdfs hbase org.apache.hadoop.hbase.maprece.Export ** /hbase/**_bak  （導出到hdfs中的**_bak）

2、hdfs dfs -ToLocal /hbase/sw_bak /test  (導出hdfs中文件到本地test，註：提前建好目錄)

3、scp -r test_bak [email protected].**:/root/test  （傳送目錄到測試環境主機目錄下，註：傳到測試環境後，把文件不要放到root的目錄下，換家目錄下）

4、sudo -u hdfs hdfs dfs -FromLocal /chenzeng/text_bak /data （把sw傳到hdfs 中，注意上傳時，文件路徑要對，放在data路徑下比較好）

5、sudo -u hdfs hbase org.apache.hadoop.hbase.maprece.Import test /data/test_bak/part-m-0000 （注意上次文件）

6、在hbase shell 中查看test ：count 'test' 確認是否上傳成功

優化：

truncate 『』

正式環境導入至hdfs中時，

可以直接在另一個環境的執行sudo -u hdfs hbase org.apache.hadoop.hbase.maprece.Import test hdfs://server243:8020/hbase****  可以直接加主機和對應路徑進行put。

⑷ HDFS中根目錄下創建user文件夾的命令為

HDFS中根目錄下創建user文件夾的命令為hadoop dfs-mkdir。在hdfs中創建一個input文件夾：hadoopfs-mkdir/input/1、使用參數-p創建多級目錄：hadoopfs-mkdir-p/input/file1。拷貝input目錄到hdfs系統的時候，不是採用的hadoop用戶，而是用root用戶執行的拷貝命令。

hdfs的特點和目標：

1、硬體故障

硬體故障是常態，而不是異常。整個HDFS系統將由數百或數千個存儲著文件數據片段的伺服器組成。實際上它裡面有非常巨大的組成部分，每一個組成部分都很可能出現故障，這就意味著HDFS里的總是有一些部件是失效的，因此，故障的檢測和自動快速恢復是HDFS一個很核心的設計目標。

2、數據訪問

運行在HDFS之上的應用程序必須流式地訪問它們的數據集，它不是運行在普通文件系統之上的普通程序。HDFS被設計成適合批量處理的，而不是用戶互動式的。重點是在數據吞吐量，而不是數據訪問的反應時間，POSIX的很多硬性需求對於HDFS應用都是非必須的，去掉POSIX一小部分關鍵語義可以獲得更好的數據吞吐率。

3、大數據集

運行在HDFS之上的程序有很大量的數據集。典型的HDFS文件大小是GB到TB的級別。所以，HDFS被調整成支持大文件。它應該提供很高的聚合數據帶寬，一個集群中支持數百個節點，一個集群中還應該支持千萬級別的文件。

以上內容參考：網路-hdfs

⑸ hdfs命令查找文件所在路徑

指令
hadoop fsck /user/hadoop/filename -files -blocks -locations -racks
-files 文件分塊信息，
-blocks 在帶-files參數後才顯示block信息
-locations 在帶-blocks參數後才顯示block塊所在datanode的具體IP位置，

-racks 在帶-files參數後顯示機架位置
注意：此命令只能在namenode里輸入，在datanode里輸入會報錯的

⑹ spark、hive、impala、hdfs的常用命令

對spark、hive、impala、hdfs的常用命令作了如下總結，歡迎大家補充！

1. Spark的使用：

以通過SecureCRT訪問IP地址：10.10.234.198 為例進行說明：

先輸入：ll //查詢集群是否裝有spark

>su - mr

>/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p ""

>show databases; //顯示其中資料庫，例如

>use bigmax; //使用資料庫bigmax

>show tables; //查詢目錄中所有的表

>desc formatted TableName; //顯示表的詳細信息，包括分區、欄位、地址等信息

>desc TableName; //顯示表中的欄位和分區信息

>select count(*) from TableName; //顯示表中數據數量，可以用來判斷表是否為空

>drop table TableName; //刪除表的信息

>drop bigmax //刪除資料庫bigmax

>describe database zxvmax //查詢資料庫zxvmax信息

創建一個表

第一步：

>create external table if not exists lte_Amaze //創建一個叫lte_Amaze的表

( //括弧中每一行為表中的各個欄位的名稱和其所屬的數據類型，並用空格隔開

DateTime String,

MilliSec int,

Network int,

eNodeBID int,

CID int,

IMSI String,

DataType int,

AoA int,

ServerRsrp int,

ServerRsrq int,

TA int,

Cqi0 Tinyint,

Cqi1 Tinyint //注意，最後一個欄位結束後，沒有逗號

)

partitioned by (p_date string, p_hour INT) //以p_date和p_hour作為分區

row format delimited fields terminated by ',' /*/*表中行結構是以逗號作為分隔符，與上邊的表中欄位以逗號結尾相一致*/

stored as textfile; //以文本格式進行保存

第二步：添加分區，指定分區的位置

>alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0';

//添加lte_Amaze表中分區信息，進行賦值。

//並制定分區對應目錄/lte/nds/mr下表lte_nds_cdt_uedetail中對應分區信息

第三步:察看添加的結果

>show partitions lte_Amaze； //顯示表的分區信息

2. hdfs使用：

#su - hdfs //切換到hdfs用戶下 、

#hadoop fs –ls ///查看進程
# cd /hdfs/bin //進入hdfs安裝bin目錄
>hadoop fs -ls /umtsd/cdt/ //查詢/umtsd/cdt/文件目錄
>hadoop fs -mkdir /umtsd/test //在/umtsd目錄下創建test目錄
>hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //將home/data/u1002.csv這個文件put到hdfs文件目錄上。put到hdfs上的數據文件以逗號「,」分隔符文件（csv）,數據不論類型，直接是數據，沒有雙引號和單引號
>hadoop fs -rm /umtsd/test/test.txt //刪除umtsd/test目錄下的test.txt文件
>hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目錄下的test.txt文件內容

3hive操作使用：
#su - mr //切換到mr用戶下
#hive //進入hive查詢操作界面
hive>show tables; //查詢當前創建的所有表
hive>show databases; //查詢當前創建的資料庫
hive>describe table_name; {或者desc table_name}//查看錶的欄位的定義和分區信息，有明確區分（impala下該命令把分區信息以欄位的形式顯示出來，不怎麼好區分）
hive> show partitions table_name; //查看錶對應數據現有的分區信息，impala下沒有該命令
hive> quit;//退出hive操作界面

hive>desc formatted table_name; 查看錶結構，分隔符等信息

hive> alter table ceshi change id id int; 修改表的列數據類型 //將id數據類型修改為int 注意是兩個id

hive> SHOW TABLES '.*s'; 按正條件（正則表達式）顯示表，

[mr@aico ~]$ exit; 退出mr用戶操作界面，到[root@aico]界面

impala操作使用：
#su - mr //切換到mr用戶下
#cd impala/bin //進入impala安裝bin目錄
#/impala/bin> impala-shell.sh -i 10.10.234.166/localhost //進入impala查詢操作界面
[10.10.234.166:21000] >show databases; //查詢當前創建的資料庫
[10.10.234.166:21000] >use database_name; //選擇使用資料庫,默認情況下是使用default資料庫
[10.10.234.166:21000] > show tables; //查詢當前資料庫下創建的所有表
[10.10.234.166:21000] >describe table_name; //查看錶的欄位的定義,包括分區信息，沒有明確區分
[10.10.234.166:21000] > describe formatted table_name; //查看錶對應格式化信息，包括分區，所屬資料庫，創建用戶，創建時間等詳細信息。
[10.10.234.166:21000] >refresh table_name; //刷新一下，保證元數據是最新的
[10.10.234.166:21000] > alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/
MREMITABLE/20130927/rncid=487' //添加分區信息，具體的表和數據的對應關系
[10.10.234.166:21000] > alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487); //刪除現有的分區，數據與表的關聯
[10.10.234.166:21000] >quit; //退出impala操作界面

[mr@aicod bin]$ impala-shell; 得到welcome impala的信息，進入impala 查詢操作界面

[aicod:21000] > 按兩次tab鍵，查看可以用的命令

alter describe help profile shell values

connect drop history quit show version

create exit insert select unset with

desc explain load set use

⑺ 在hadoop中什麼命令的功能是將一個或多個

1、啟動hadoop所有進程
start-all.sh等價於start-dfs.sh + start-yarn.sh

但是一般不推薦使用start-all.sh(因為開源框架中內部命令啟動有很多問題)。

2、單進程啟動。

sbin/start-dfs.sh

---------------

sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //

sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
sbin/yarn-daemon.sh --config $YARN_CONF_DIR start resourcemanager
sbin/yarn-daemons.sh --config $YARN_CONF_DIR start nodemanager

3、常用命令

1、查看指定目錄下內容

hdfs dfs –ls [文件目錄]

hdfs dfs -ls -R / //顯式目錄結構

eg: hdfs dfs –ls /user/wangkai.pt

2、打開某個已存在文件

hdfs dfs –cat [file_path]

eg:hdfs dfs -cat /user/wangkai.pt/data.txt

3、將本地文件存儲至hadoop

hdfs dfs –put [本地地址] [hadoop目錄]

hdfs dfs –put /home/t/file.txt /user/t

4、將本地文件夾存儲至hadoop

hdfs dfs –put [本地目錄] [hadoop目錄]
hdfs dfs –put /home/t/dir_name /user/t

(dir_name是文件夾名)

5、將hadoop上某個文件down至本地已有目錄下

hadoop dfs -get [文件目錄] [本地目錄]

hadoop dfs –get /user/t/ok.txt /home/t

6、刪除hadoop上指定文件

hdfs dfs –rm [文件地址]

hdfs dfs –rm /user/t/ok.txt

7、刪除hadoop上指定文件夾（包含子目錄等）

hdfs dfs –rm [目錄地址]

hdfs dfs –rmr /user/t

8、在hadoop指定目錄內創建新目錄

hdfs dfs –mkdir /user/t

hdfs dfs -mkdir - p /user/centos/hadoop

9、在hadoop指定目錄下新建一個空文件

使用touchz命令：

hdfs dfs -touchz /user/new.txt

10、將hadoop上某個文件重命名

使用mv命令：

hdfs dfs –mv /user/test.txt /user/ok.txt （將test.txt重命名為ok.txt）

11、將hadoop指定目錄下所有內容保存為一個文件，同時down至本地

hdfs dfs –getmerge /user /home/t

12、將正在運行的hadoop作業kill掉

hadoop job –kill [job-id]

13.查看幫助

hdfs dfs -help

4、安全模式

(1)退出安全模式

NameNode在啟動時會自動進入安全模式。安全模式是NameNode的一種狀態，在這個階段，文件系統不允許有任何修改。

系統顯示Name node in safe mode，說明系統正處於安全模式，這時只需要等待十幾秒即可，也可通過下面的命令退出安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

(2) 進入安全模式
在必要情況下，可以通過以下命令把HDFS置於安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

5、節點添加

添加一個新的DataNode節點，先在新加節點上安裝好Hadoop，要和NameNode使用相同的配置（可以直接從NameNode復制），修改HADOOPHOME/conf/master文件，加入NameNode主機名。然後在NameNode節點上修改HADOOPHOME/conf/master文件，加入NameNode主機名。然後在NameNode節點上修改HADOOP_HOME/conf/slaves文件，加入新節點名，再建立新加節點無密碼的SSH連接，運行啟動命令為：/usr/local/hadoop$bin/start-all.sh

6、負載均衡

HDFS的數據在各個DataNode中的分布可能很不均勻，尤其是在DataNode節點出現故障或新增DataNode節點時。新增數據塊時NameNode對DataNode節點的選擇策略也有可能導致數據塊分布不均勻。用戶可以使用命令重新平衡DataNode上的數據塊的分布：/usr/local/hadoop$bin/start-balancer.sh

7、補充

1.對hdfs操作的命令格式是hdfs dfs
1.1 -ls 表示對hdfs下一級目錄的查看
1.2 -lsr 表示對hdfs目錄的遞歸查看
1.3 -mkdir 創建目錄
1.4 -put 從Linux上傳文件到hdfs
1.5 -get 從hdfs下載文件到linux
1.6 -text 查看文件內容
1.7 -rm 表示刪除文件
1.7 -rmr 表示遞歸刪除文件
2.hdfs在對數據存儲進行block劃分時，如果文件大小超過block，那麼按照block大小進行劃分；不如block size的，劃分為一個塊，是實際數據大小。
*****PermissionDenyException 許可權不足**********
hadoop常用命令：
hdfs dfs 查看Hadoop HDFS支持的所有命令
hdfs dfs –ls 列出目錄及文件信息
hdfs dfs –lsr 循環列出目錄、子目錄及文件信息
hdfs dfs –put test.txt /user/sunlightcs 將本地文件系統的test.txt復制到HDFS文件系統的/user/sunlightcs目錄下
hdfs dfs –get /user/sunlightcs/test.txt . 將HDFS中的test.txt復制到本地文件系統中，與-put命令相反
hdfs dfs –cat /user/sunlightcs/test.txt 查看HDFS文件系統里test.txt的內容
hdfs dfs –tail /user/sunlightcs/test.txt 查看最後1KB的內容
hdfs dfs –rm /user/sunlightcs/test.txt 從HDFS文件系統刪除test.txt文件，rm命令也可以刪除空目錄
hdfs dfs –rmr /user/sunlightcs 刪除/user/sunlightcs目錄以及所有子目錄
hdfs dfs –FromLocal test.txt /user/sunlightcs/test.txt 從本地文件系統復制文件到HDFS文件系統，等同於put命令
hdfs dfs –ToLocal /user/sunlightcs/test.txt test.txt 從HDFS文件系統復制文件到本地文件系統，等同於get命令
hdfs dfs –chgrp [-R] /user/sunlightcs 修改HDFS系統中/user/sunlightcs目錄所屬群組，選項-R遞歸執行，跟linux命令一樣
hdfs dfs –chown [-R] /user/sunlightcs 修改HDFS系統中/user/sunlightcs目錄擁有者，選項-R遞歸執行
hdfs dfs –chmod [-R] MODE /user/sunlightcs 修改HDFS系統中/user/sunlightcs目錄許可權，MODE可以為相應許可權的3位數或+/-{rwx}，選項-R遞歸執行
hdfs dfs –count [-q] PATH 查看PATH目錄下，子目錄數、文件數、文件大小、文件名/目錄名
hdfs dfs –cp SRC [SRC …] DST 將文件從SRC復制到DST，如果指定了多個SRC，則DST必須為一個目錄
hdfs dfs – PATH 顯示該目錄中每個文件或目錄的大小
hdfs dfs –s PATH 類似於，PATH為目錄時，會顯示該目錄的總大小
hdfs dfs –expunge 清空回收站，文件被刪除時，它首先會移到臨時目錄.Trash/中，當超過延遲時間之後，文件才會被永久刪除
hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl] 獲取由SRC指定的所有文件，將它們合並為單個文件，並寫入本地文件系統中的LOCALDST，選項addnl將在每個文件的末尾處加上一個換行符
hdfs dfs –touchz PATH 創建長度為0的空文件
hdfs dfs –test –[ezd] PATH 對PATH進行如下類型的檢查： -e PATH是否存在，如果PATH存在，返回0，否則返回1 -z 文件是否為空，如果長度為0，返回0，否則返回1 -d 是否為目錄，如果PATH為目錄，返回0，否則返回1
hdfs dfs –text PATH 顯示文件的內容，當文件為文本文件時，等同於cat，文件為壓縮格式（gzip以及hadoop的二進制序列文件格式）時，會先解壓縮 hdfs dfs –help ls 查看某個[ls]命令的幫助文檔

本文轉自 https://www.cnblogs.com/LHWorldBlog/p/8514994.html

⑻ hadoop面試題之HDFS

1、簡單介紹下hadoop吧？

    廣義上hadoop是指與hadoop相關的大數據生態圈。包含hive、spark、hbase等。

    狹義上hadoop指的是apache的開源框架。有三個核心組件：

----hdfs：分布式文件存儲系統

----yarn：分布式資源管理調度平台

----mr：分布式計算引擎

2、介紹下hdfs?

全稱為Hadoop Distributed File System。有三個核心組件：

namenode：有三個作用，第一是負責保存集群的元數據信息，第二是負責維護整個集群節點的正常運行。

第三是負責處理客戶端的請求。

datanode：負責實際保存數據。實際執行數據塊的讀寫操作。

secondarynamenode：輔助namenode進行元數據的管理。不是namenode的備份。

3、namenode的工作機制？

    namenode在內存中保存著整個內存系統的名稱空間和文件數據塊的地址映射。整個hdfs可存儲的文件數受限於namenode的內存大小。所以hdfs不適合大量小文件的存儲。

---namenode有三種元數據存儲方式來管理元數據：

    》內存元數據：內存中保存了完整的元數據

    》保存在磁碟上的元數據鏡像文件（fsimage）：該文件時hdfs存在磁碟中的元數據檢查點，裡面保存的是最後一次檢查點之前的hdfs文件系統中所有目錄和文件的序列化信息。

    》數據操作日誌文件（edits）：用於銜接內存meta data和持久化元數據鏡像fsimage之間的操作日誌文件。保存了自最後一次檢查點之後所有針對hdfs文件系統的操作。如對文件的增刪改查。

4、如何查看元數據信息？

    因為edits和fsimage文件是經過序列化的，所以不能直接查看。hadoop2.0以上提供了查看兩種文件的工具。

----命令：hdfs oiv 可以將fsimage文件轉換成其他格式，如xml和文本文件。-i 表示輸入fsimage文件。-o 輸出文件路徑，-p 指定輸出文件

                hdfs oev可以查看edits文件。同理需要指定相關參數。

詳情查看： https://www.imooc.com/article/79705

4、datanode的工作機制？

    1）以數據塊的形式存儲hdfs文件

    2）datanode響應客戶端的讀寫請求

    3）周期性的向namenode匯報心跳信息、數據塊信息、緩存數據塊信息

5、secondary namenode工作機制？

    當發生checkpoint機制時會觸發second namenode進行工作。checkpoint：

    新的edists文件不會立即和fsimage文件合並，是在edits文件大小超過（默認）64m，或者時間超過（默認）1小時，會觸發checkpoint操作。當checkpoint時，namenode會新建一個edits.new的文件,此時second namenode將文件fsimage文件和edits文件（http get）到本地，然後載入到內存中進行合並，完成的文件名稱為fsimage.ckpt。最後 second namenode將該文件（http post）到namenode，然後edits.new和fsimage.ckpt文件轉換為fsimage和edits。

6、hdfs的文件副本機制？

    所有的文件都是以塊的形式保存到hdfs中。塊的大小默認為128m。在hdfs-site文件中進行指定。

    動態副本創建策略：默認副本數是3，可以在上傳文件時，顯式設定replication。也可以通過指令修改文件的副本數 hadoop fs -setrep -R 1

7、為實現高可用，hdfs採用了哪些策略？

    副本機制、機架感知、心跳機制、安全模式、校驗和、回收站、元數據保護、快照機制（具體介紹導航- https://www.jianshu.com/writer#/notebooks/44567747/notes/66453316 ）

8、hdfs的存儲過程？

    ①client向hdfs發起寫請求，通過RPC與namenode建立通訊。namenode檢查文件是否存在等信息，返回是否可以存儲。

    ②client將文件切割為一個個block塊，client申請存儲第一塊block。namenode返回可以存儲這個block塊的datanode的地址，假設為ABC。

    ③A到B到C逐級構建pipeline。client向A上傳第一個packet，默認為64k。A收到一個packet後會將packet傳給B，再傳給C。pipeline反方向返回ack信息。最終由第一個節點A將pipelineack發送給client

    ④一個block完成之後，再進行下一個block的存儲過程。

9、hdfs的讀過程？

10、hdfs的垃圾桶機制？

    hdfs的垃圾桶機制默認是關閉的，需要手動開啟。hdfs刪除的文件不會立刻就刪除，而是在設定的時間後進行刪除。

11、hdfs的擴容和縮容

【

12、