如何配一台跑深度學習的伺服器

⑴ 22年低成本深度學習伺服器搭建指南

2022年低成本深度學習伺服器搭建指南如下：

1. 核心配置：

   • 顯卡：推薦使用三個插槽的渦輪版3090顯卡，因其性價比高，價格穩定在6000左右。四張顯卡的全新主機成本可控制在56.5萬之間。
   • 主板與CPU：推薦兩套方案，LGA3647的雙路8259CL/8272CL搭配超微X11DPIN，或EPYC2 7642搭配技嘉MZ32AR0等主板。前者在浮點運算上有優勢，後者在PCIe4.0傳輸速度與單核性能上占優。

2. 機箱與架子：

   • 機箱：需選擇能容納四張三槽卡的機箱，如定製的單層6卡架子，尺寸為EATX，價格約350元。
   • 延長線：由於普通機箱難以放下四張三槽卡，需使用延長線。

3. 電源與散熱：

   • 電源：推薦雙電源方案，主電源負責主板、CPU、硬碟盒及一個顯卡，副電源僅負責顯卡。主電源可選酷媽GX1250等優質產品，副電源推薦長城G20等。
   • 散熱：散熱器推薦貓頭鷹品牌，D9適合壓制210W至強處理器，U12適合EPYC2。同時，主板PCH和供電部分也需要額外散熱。

4. 內存與存儲：

   • 內存：Intel方案可選擇12根或8根16G三星內存條，AMD方案則需填充8通道或更多。
   • 存儲：建議使用NVME存儲系統，數據存放在SATA固態硬碟中。主板通常支持通過SFF8087SATA介面擴展多個2T SSD。

5. 系統與日常維護：

   • 系統：日常使用建議安裝Ubuntu系統，並開啟SSH服務。
   • 維護：使用IPMI進行遠程維護。

6. 其他考慮：

   • 顯卡升級：隨著4090顯卡的上市，若預算充足，可考慮使用4090替代3090，以獲得約45%的性能提升。但需注意電源需求會更高。
   • 雙路顯卡配置：在預算充足的情況下，可考慮雙路顯卡配置以提升性能。
   • 新型解決方案：可考慮使用如「開源宇宙GPU伺服器」這樣的新型解決方案，它提供了雙塔機箱和雙電源設計，支持4x4090顯卡，相較於傳統架子有了顯著改進。

通過以上指南，您可以搭建出一台成本低廉但性能強大的深度學習伺服器。

⑵ 做深度學習的伺服器需要哪些配置

主要是看運行什麼軟體和數據量，訓練數值大小，這里要強調一下，數值大小和數據量是不一樣的。

深度學習伺服器的核心部件還是CPU、硬碟、內存、GPU，特別是很多深度學習依靠GPU的大規模數據處理能力，這就要強調CPU的計算能力和數量，同時不同的數據對GPU的顯存要求也不一樣。

當下大部分都在用RTX3090做深度學習，最新RTX4090已經上市，單精度計算能力是RTX3090的2倍，這兩個GPU都是24G顯存；像A100強調雙精度計算能力，顯存有40G和80G兩個版本，而A6000單精度計算能和RTX3090差不多，顯存是48G，可以參考選擇。

當然，最重要的還是口袋裡的銀子，A6000市場價大概是RTX的2倍還要多，A100最近更是要上十萬了，估計也快買不到了，價高缺貨；RTX3090/4090的價位低，性價比高，這也是為什麼大部分人都選擇它們做深度學習了，這是市場的選擇。