图灵汇官网

导读

xAI项目与超微合作，成功打造了拥有10万块NVIDIA H100 GPU的Colossus集群，刷新了行业纪录。这项工程不仅在规模上取得了突破，还展示了多项前沿技术的应用。

核心亮点

超微液冷技术助力高效计算

在当前的AI集群中，热量管理已经成为关键瓶颈。xAI选择了超微作为主要硬件供应商，原因之一便是其先进的液冷技术。传统的风冷方式难以应对数万GPU并行工作的高热量需求，而液冷方案则提供了有效的散热路径。每个Supermicro 4U液冷机架包含8个NVIDIA H100 GPU服务器，总计64块GPU。这种密集布局要求每个计算节点都能高效散热。通过定制的液冷块，超微在机架层面上实现了水冷系统的精细控制。这种自上而下的冷却方案不仅散热效率高，还能大幅降低设备的故障率和维护成本。在xAI Colossus的数据中心中，每个机架都配备了独立的冷却液分配单元（CDU），并通过快速断开装置简化了液冷系统的拆装，缩短了维护时间。

高效数据传输与计算性能

NVIDIA H100 GPU是目前最强大的AI计算芯片之一，而xAI Colossus中的每个Supermicro服务器都配备了8个H100 GPU。通过Broadcom PCIe交换机的加持，这些GPU能够实现高效的数据传输和计算性能。超微的主板直接将四个PCIe交换机集成在液冷块上，无需额外的主板模块。这一设计减少了硬件体积和连接复杂性，显著提升了数据传输效率。在多GPU协同工作的情况下，GPU之间的高带宽连接尤为重要，特别是在处理大型语言模型（LLMs）和训练Transformer模型等大数据量的AI任务时。PCIe交换机提供了高速连接的桥梁，将不同GPU的运算资源整合在一起。这种架构实现了GPU资源的最大化利用，使得集群在运行超大规模AI模型时依然保持高效稳定的计算表现。

NVMe全闪存架构提高数据传输效率

在AI集群中，数据传输速率对模型的训练时间和效率至关重要。传统的数据存储方式采用的是磁盘阵列，而xAI Colossus采用了基于NVMe的全闪存架构。这种存储方式在功耗、存取速度和空间效率方面均优于传统磁盘存储。尽管闪存的成本较高，但其显著的数据传输效率降低了集群的训练时间，从而在总拥有成本（TCO）上取得优势。超微在设计NVMe存储节点时，与计算服务器保持一致的外观和架构，这种“模块化”设计降低了管理的复杂度，也便于在数据中心内灵活配置和扩展。这种存储架构能够快速响应海量数据存储和读取需求，为xAI Colossus的集群提供了极具弹性的存储支撑。

以太网技术提供高速网络支持

在如此大规模的集群中，网络架构的选择对整体性能至关重要。xAI Colossus采用了以太网技术，并利用NVIDIA的BlueField-3 SuperNIC与Spectrum-X网络构建了高达400GbE的连接速度。相比传统的1GbE网络，这种400倍的速度提升为GPU节点之间的通信提供了足够的带宽支持，使得训练任务能够在节点间迅速分布和整合。BlueField-3 SuperNIC的使用解决了集群在并行运算时常见的数据瓶颈问题。通过RDMA技术，xAI Colossus能够在不同GPU之间实现高速数据共享，极大提高了AI模型训练的效率。以太网技术的强扩展性确保了Colossus集群可以灵活扩容，同时也适用于未来AI负载的快速增长需求。

未来展望

xAI Colossus数据中心不仅展示了如何在短时间内部署超大规模AI集群，也为未来AI数据中心建设提供了重要参考。这一项目的成功表明，高效的液冷系统、模块化的NVMe存储、以太网网络以及高性能的GPU计算节点构成了现代AI数据中心的核心要素。此外，超微的定制化解决方案有效地将这些前沿技术整合在一起，充分展现了超大规模AI集群的设计理念和部署技巧。未来AI数据中心的发展方向将进一步朝着低功耗、高计算密度和快速部署的方向演进。超微在Colossus项目中积累的技术经验，将在未来AI集群中广泛应用，为各类AI任务提供更强的算力支撑。随着AI应用需求的不断增长，类似xAI Colossus这样的集群将逐步成为主流，推动AI技术的普及与应用。