如何配一台跑深度学习的服务器

⑴ 22年低成本深度学习服务器搭建指南

2022年低成本深度学习服务器搭建指南如下：

1. 核心配置：

   • 显卡：推荐使用三个插槽的涡轮版3090显卡，因其性价比高，价格稳定在6000左右。四张显卡的全新主机成本可控制在56.5万之间。
   • 主板与CPU：推荐两套方案，LGA3647的双路8259CL/8272CL搭配超微X11DPIN，或EPYC2 7642搭配技嘉MZ32AR0等主板。前者在浮点运算上有优势，后者在PCIe4.0传输速度与单核性能上占优。

2. 机箱与架子：

   • 机箱：需选择能容纳四张三槽卡的机箱，如定制的单层6卡架子，尺寸为EATX，价格约350元。
   • 延长线：由于普通机箱难以放下四张三槽卡，需使用延长线。

3. 电源与散热：

   • 电源：推荐双电源方案，主电源负责主板、CPU、硬盘盒及一个显卡，副电源仅负责显卡。主电源可选酷妈GX1250等优质产品，副电源推荐长城G20等。
   • 散热：散热器推荐猫头鹰品牌，D9适合压制210W至强处理器，U12适合EPYC2。同时，主板PCH和供电部分也需要额外散热。

4. 内存与存储：

   • 内存：Intel方案可选择12根或8根16G三星内存条，AMD方案则需填充8通道或更多。
   • 存储：建议使用NVME存储系统，数据存放在SATA固态硬盘中。主板通常支持通过SFF8087SATA接口扩展多个2T SSD。

5. 系统与日常维护：

   • 系统：日常使用建议安装Ubuntu系统，并开启SSH服务。
   • 维护：使用IPMI进行远程维护。

6. 其他考虑：

   • 显卡升级：随着4090显卡的上市，若预算充足，可考虑使用4090替代3090，以获得约45%的性能提升。但需注意电源需求会更高。
   • 双路显卡配置：在预算充足的情况下，可考虑双路显卡配置以提升性能。
   • 新型解决方案：可考虑使用如“开源宇宙GPU服务器”这样的新型解决方案，它提供了双塔机箱和双电源设计，支持4x4090显卡，相较于传统架子有了显着改进。

通过以上指南，您可以搭建出一台成本低廉但性能强大的深度学习服务器。

⑵ 做深度学习的服务器需要哪些配置

主要是看运行什么软件和数据量，训练数值大小，这里要强调一下，数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习，最新RTX4090已经上市，单精度计算能力是RTX3090的2倍，这两个GPU都是24G显存；像A100强调双精度计算能力，显存有40G和80G两个版本，而A6000单精度计算能和RTX3090差不多，显存是48G，可以参考选择。

当然，最重要的还是口袋里的银子，A6000市场价大概是RTX的2倍还要多，A100最近更是要上十万了，估计也快买不到了，价高缺货；RTX3090/4090的价位低，性价比高，这也是为什么大部分人都选择它们做深度学习了，这是市场的选择。