重慶編譯分布式存儲硬碟

Ⅰ 集中式存儲和分布式存儲可以共同部署嗎

肯定不能，之間的區別：
1分布式 存儲就是DAS ，就是伺服器裡面放著硬碟，多台伺服器的話就是分布式存儲，數據分散，不易於管理。
2集中存儲就是 NAS,SAN，將伺服器和硬碟分開，數據都存放NAS設備中，NAS設備再級聯磁碟陣列，然後多個伺服器對這個NAS設備進行訪問，操作，集中數據管理，提高利用率，解放伺服器！

Ⅱ 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(2)重慶編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

Ⅲ 什麼是HDFS硬碟分布式存儲

Namenode 是一個中心伺服器，單一節點（簡化系統的設計和實現），負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。
文件操作，NameNode 負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只會詢問它跟哪個DataNode聯系，否則NameNode會成為系統的瓶頸。
副本存放在哪些DataNode上由 NameNode來控制，根據全局情況做出塊放置決定，讀取文件時NameNode盡量讓用戶先讀取最近的副本，降低帶塊消耗和讀取時延
Namenode 全權管理數據塊的復制，它周期性地從集群中的每個Datanode接收心跳信號和塊狀態報告(Blockreport)。接收到心跳信號意味著該Datanode節點工作正常。塊狀態報告包含了一個該Datanode上所有數據塊的列表。

NameNode支持對HDFS中的目錄、文件和塊做類似文件系統的創建、修改、刪除、列表文件和目錄等基本操作。 塊存儲管理，在整個HDFS集群中有且只有唯一一個處於active狀態NameNode節點，該節點負責對這個命名空間（HDFS）進行管理。

1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
存儲文件，文件被分成block存儲在磁碟上，為保證數據安全，文件會有多個副本 namenode和client的指令進行存儲或者檢索block，並且周期性的向namenode節點報告它存了哪些文件的blo
文件切分成塊（默認大小128M），以塊為單位，每個塊有多個副本存儲在不同的機器上，副本數可在文件生成時指定（默認3）
NameNode 是主節點，存儲文件的元數據如文件名，文件目錄結構，文件屬性（生成時間,副本數,文件許可權），以及每個文件的塊列表以及塊所在的DataNode等等
DataNode 在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
可以創建、刪除、移動或重命名文件，當文件創建、寫入和關閉之後不能修改文件內容。

NameNode啟動流程
1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
HDFS的特點

優點：
1）處理超大文件
這里的超大文件通常是指百MB、數百TB大小的文件。目前在實際應用中，HDFS已經能用來存儲管理PB級的數據了。

2）流式的訪問數據
HDFS的設計建立在更多地響應"一次寫入、多次讀取"任務的基礎上。這意味著一個數據集一旦由數據源生成，就會被復制分發到不同的存儲節點中，然後響應各種各樣的數據分析任務請求。在多數情況下，分析任務都會涉及數據集中的大部分數據，也就是說，對HDFS來說，請求讀取整個數據集要比讀取一條記錄更加高效。

3）運行於廉價的商用機器集群上
Hadoop設計對硬體需求比較低，只須運行在低廉的商用硬體集群上，而無需昂貴的高可用性機器上。廉價的商用機也就意味著大型集群中出現節點故障情況的概率非常高。這就要求設計HDFS時要充分考慮數據的可靠性，安全性及高可用性。

缺點：
1）不適合低延遲數據訪問
如果要處理一些用戶要求時間比較短的低延遲應用請求，則HDFS不適合。HDFS是為了處理大型數據集分析任務的，主要是為達到高的數據吞吐量而設計的，這就可能要求以高延遲作為代價。

2）無法高效存儲大量小文件
因為Namenode把文件系統的元數據放置在內存中，所以文件系統所能容納的文件數目是由Namenode的內存大小來決定。一般來說，每一個文件、文件夾和Block需要佔據150位元組左右的空間，所以，如果你有100萬個文件，每一個占據一個Block，你就至少需要300MB內存。當前來說，數百萬的文件還是可行的，當擴展到數十億時，對於當前的硬體水平來說就沒法實現了。還有一個問題就是，因為Map task的數量是由splits來決定的，所以用MR處理大量的小文件時，就會產生過多的Maptask，線程管理開銷將會增加作業時間。舉個例子，處理10000M的文件，若每個split為1M，那就會有10000個Maptasks，會有很大的線程開銷；若每個split為100M，則只有100個Maptasks，每個Maptask將會有更多的事情做，而線程的管理開銷也將減小很多。

1280M 1個文件 10block*150位元組 = 1500 位元組 =1.5KB
1280M 12.8M 100個 100個block*150位元組 = 15000位元組 = 15KB

3）不支持多用戶寫入及任意修改文件
在HDFS的一個文件中只有一個寫入者，而且寫操作只能在文件末尾完成，即只能執行追加操作。目前HDFS還不支持多個用戶對同一文件的寫操作，以及在文件任意位置進行修改。

四、HDFS文件 讀寫流程
4.1 讀文件流程

（1） 打開分布式文件
調用 分布式文件 DistributedFileSystem.open()方法。
（2） 從 NameNode 獲得 DataNode 地址
DistributedFileSystem 使用 RPC 調用 NameNode， NameNode返回存有該副本的 DataNode 地址， DistributedFileSystem 返回一個輸入流 FSDataInputStream對象， 該對象封存了輸入流DFSInputStream。
（3） 連接到DataNode
調用 輸入流 FSDataInputStream 的 read() 方法， 從而輸入流DFSInputStream 連接 DataNodes。
（4） 讀取DataNode
反復調用 read()方法， 從而將數據從 DataNode 傳輸到客戶端。
（5） 讀取另外的DataNode直到完成
到達塊的末端時候， 輸入流 DFSInputStream 關閉與DataNode 連接，尋找下一個 DataNode。
（6） 完成讀取， 關閉連接
即調用輸入流 FSDataInputStream.close() 。

4.2 寫文件流程

（1） 發送創建文件請求： 調用分布式文件系統DistributedFileSystem.create()方法；
（2） NameNode中創建文件記錄： 分布式文件系統DistributedFileSystem 發送 RPC 請求給namenode， namenode 檢查許可權後創建一條記錄， 返回輸出流 FSDataOutputStream， 封裝了輸出流 DFSOutputDtream；
（3） 客戶端寫入數據： 輸出流 DFSOutputDtream 將數據分成一個個的數據包， 並寫入內部隊列。 DataStreamer 根據 DataNode 列表來要求 namenode 分配適合的新塊來存儲數據備份。一組DataNode 構成管線(管線的 DataNode 之間使用 Socket 流式通信)
（4） 使用管線傳輸數據： DataStreamer 將數據包流式傳輸到管線第一個DataNode， 第一個DataNode 再傳到第二個DataNode ,直到完成。
（5） 確認隊列： DataNode 收到數據後發送確認， 管線的DataNode所有的確認組成一個確認隊列。 所有DataNode 都確認， 管線數據包刪除。
（6） 關閉： 客戶端對數據量調用close（） 方法。 將剩餘所有數據寫入DataNode管線， 並聯系NameNode且發送文件寫入完成信息之前等待確認。
（7） NameNode確認
（8） 故障處理： 若過程中發生故障， 則先關閉管線， 把隊列中所有數據包添加回去隊列， 確保數據包不漏。 為另一個正常DataNode的當前數據塊指定一個新的標識， 並將該標識傳送給NameNode, 一遍故障DataNode在恢復後刪除上面的不完整數據塊. 從管線中刪除故障DataNode 並把餘下的數據塊寫入餘下正常的DataNode。 NameNode發現復本兩不足時， 會在另一個節點創建一個新的復本

Ⅳ 什麼是分布式存儲

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(4)重慶編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

Ⅳ 分布式存儲的三種類型

有關分布式存儲的三個基本問題

文件系統vs對象存儲——選型和趨勢

塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

分布式存儲的應用場景相對於其存儲介面，現在流行分為三種:

對象存儲: 也就是通常意義的鍵值存儲，其介面就是簡單的GET、PUT、DEL和其他擴展，如七牛、又拍、Swift、S3

塊存儲: 這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現Linux的Block Device的介面或者QEMU提供的Block Driver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD（RBD是Ceph面向塊存儲的介面）

文件存儲: 通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。

Ⅵ 分布式存儲系統Minio

多主機、多硬碟模式（分布式)

適合存儲大容量非結構化的數據

該模式是Minio服務最常用的架構，通過共享一個access key和secret key,在多台（2-32）伺服器上搭建服務，且數據分散在多塊（大於4塊，無上限）磁碟上，提供了較為強大的數據冗餘機制（Reed-Solomon糾刪碼）。

Ⅶ 選擇軟體定義存儲/分布式存儲還是超融合一體機

其實問這個問題是沒有搞清楚軟體定義存儲、分布式存儲、超融合三者的關系。超融合對存儲性能的要求如下：

• 軟體定義 – 解除硬體綁定，可通過升級拓展更豐富的功能，自動化能力高

• 全分布式架構 – 擴展性好，消除單點故障風險

• 高可靠性 – 智能的故障恢復功能，豐富的數據保護手段

• 高性能 – 支持多種存儲介質，充分挖掘和利用新式硬體的性能

• 高度融合 – 架構簡單並易於管理

軟體定義存儲(SDS)是什麼

SDS 的全稱是 Software Defined Storage ，字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會（Storage Networking Instry Association，SNIA），SNIA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。

SNIA 對軟體定義存儲(SDS) 的定義是：一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能，並可通過服務管理介面定義存儲池的數據服務特徵。另外 SNIA 還提出 軟體定義存儲(SDS) 應該具備以下特性：

• 自動化程度高 – 通過簡化管理，降低存儲基礎架構的運維開銷

• 標准介面 – 支持 API 管理、發布和運維存儲設備和服務

• 虛擬化數據路徑 – 支持多種標准協議，允許應用通過塊存儲，文件存儲或者對象存儲介面寫入數據

• 擴展性 – 存儲架構具備無縫擴展規模的能力，擴展過程不影響可用性以及不會導致性能下降

• 透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷

分布式存儲是什麼

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

超融合是什麼

參考維基網路中的超融合定義：超融合基礎架構（hyper-converged infrastructure）是一個軟體定義的 IT 基礎架構，它可虛擬化常見「硬體定義」系統的所有元素。HCI 包含的最小集合是：虛擬化計算（hypervisor），虛擬存儲（SDS）和虛擬網路。HCI 通常運行在標准商用伺服器之上。

超融合基礎架構（hyper-converged infrastructure）與 融合基礎架構（converged infrastructure）最大的區別在於，在 HCI 裡面，無論是存儲底層抽象還是存儲網路都是在軟體層面實現的（或者通過 hypervisor 層面實現），而不是基於物理硬體實現的。由於所有軟體定義的元素都圍繞 hypervisor 實現，因此在超融合基礎架構上的所有實例可以聯合共享所有受管理的資源.

軟體定義存儲、分布式存儲、超融合的區別與聯系

軟體定義存儲(SDS) 的著重點在於存儲資源虛擬化和軟體定義，首先在形態上，軟體定義存儲(SDS)區別於傳統的「硬體定義」存儲，它不依賴專屬的硬體，可以讓存儲軟體運行在通用伺服器上，可避免硬體綁定以及有效降低硬體采購成本；擁有標准 API 介面和自動化工具，有效降低運維難度。存儲資源虛擬化，支持多種存儲協議，可整合企業存儲資源，提升存儲資源利用率。但從定義上來說，但 軟體定義存儲(SDS) 從部署形式上來看，並不一定是分布式或者是集中式的，也就是說 SDS 不一定是分布式存儲（雖然常見的 軟體定義存儲(SDS) 更多的是分布式的），SDS 存儲內部有可能是單機運行的，不通過網路分散存放數據的，這種形式的軟體定義存儲(SDS) 的擴展性就可能有比較大的局限。

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。與 軟體定義存儲(SDS)相反，分布式存儲不一定是軟體定義的，有可能是綁定硬體的，例如 IBM XIV 存儲，它本質上是一個分布式存儲，但實際是通過專用硬體進行交付的。那麼就依然存在硬體綁定，擁有成本較高的問題。

超融合基礎架構從定義中明確提出包含軟體定義存儲(SDS)，具備硬體解耦的能力，可運行在通用伺服器之上。超融合基礎架構與 Server SAN 提倡的理念類似，計算與存儲融合，通過全分布式的架構，有效提升系統可靠性與可用性，並具備易於擴展的特性。

除此之外，超融合基礎架構有更進一步的擴展，它強調以虛擬化計算（hypervisor）為核心，以軟體定義的方式整合包括虛擬化計算， 軟體定義存儲以及虛擬網路資源。從筆者來看超融合基礎架構未來的可能性更多，可促進計算，存儲，網路，安全，容災等等 IT 服務大融合，降低IT 基礎架構的復雜性，重新塑造」軟體定義的數據中心」。

超融合基礎架構的技術核心


超融合基礎架構可以說綜合了軟體定義存儲(SDS)，分布式存儲，甚至是 Server SAN 的許多優良特性，並且不難看出這些概念中都離不開一個關鍵詞——存儲。很明顯，超融合基礎架構的技術核心是存儲，存儲承載用戶數據，重要性不言而喻，另外超融合的各種高級功能（HA、在線遷移等等）都極度依賴存儲能力，存儲的擴展能力直接限制了超融合產品的擴展規模；存儲的自身的可管理性也制約了平台的靈活性；考慮到超融合形態中，計算與存儲是同一軟體堆棧運行在伺服器中的，它們之間是資源競爭的關系，因此在保障存儲軟體的穩定性和性能前提下，開銷越少越好了。

最後，總結一下超融合基礎架構對存儲的要求，可作為考察超融合中存儲能力的一些參考：

• 軟體定義 – 解除硬體綁定，可通過升級拓展更豐富的功能，自動化能力高

• 全分布式架構 – 擴展性好，消除單點故障風險

• 高可靠性 – 智能的故障恢復功能，豐富的數據保護手段

• 高性能 – 支持多種存儲介質，充分挖掘和利用新式硬體的性能

• 高度融合 – 架構簡單並易於管理

Ⅷ 分布式存儲需要做磁碟陣列嗎雲存儲呢

感覺概念需要澄清一下：
1、與分布式存儲向對應的概念是集中式存儲。這兩個概念用於描述用戶數據存儲狀態。
2、簡單地，可以將磁碟陣列理解為向計算機提供高性能、高可靠性、大容量存儲空間的存儲系統。分布式存儲與集中式存儲均可使用磁碟陣列作為計算機存儲數據的專用設備。
3、雲存儲旨在整合用戶IT設備為用戶提供更強大、更豐富的增值功能的存儲系統，較傳統磁碟陣列而言，雲存儲概念更先進，但目前業界對雲存儲的定義還存在爭議並為形成標准，屬於技術預研領域。目前在雲存儲方面勢頭強勁的主要有：EMC、SUN、Symantec、HuaweiSymantec等專業存儲廠商。

Ⅸ 分布式存儲的數據安全嗎

分布式存儲數據比傳統存儲是安全很多的，杉岩數據存儲產品就採取分布式存儲的方法，將數據分散存儲在多個獨立的設備上，一方面完善了資料庫的性能，提高了數據的讀取效率，這對大數據來說十分重要;另一方面增加了大數據的安全性和可靠性，當有存儲設備故障發生時，只會影響局部數據的存取，而不會使整個資料庫癱瘓;同時分布式存儲也使大數據具有很強的橫向擴展能力，可以任意添加伺服器節點，並且可以繼續提供數據服務。

Ⅹ 集中式存儲和分布式存儲有什麼區別

區別：

1、物理介質分布不同。

集中存儲：物理介質集中布放。

分布存儲：物理介質分布到不同的地理位置。

2、視頻流上傳不同：

集中存儲：視頻流上傳到中心。

分布存儲：視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

3、對機房有要求不同：

集中存儲：對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲：對骨幹網帶寬沒有什麼要求，可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;。小容量設備分布部署，對機房環境要求低。

(10)重慶編譯分布式存儲硬碟擴展閱讀：

集中存儲：

指建立一個龐大的資料庫，把各種信息存入其中，各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統：

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

網路-集中存儲

網路-分布式存儲系統