图灵汇官网

微软于8月30日参与了Hot Chip 2024大会，揭示了Maia 100芯片的技术细节。这款芯片，作为台积电5纳米工艺下的杰作之一，专为Azure平台上的大规模人工智能任务而设计。

Maia 100芯片的具体规格如下：

• 尺寸：芯片面积为820平方毫米。
• 封装：采用COWOS-S多层技术的TSMC N5工艺。
• 内存带宽：HBM2E提供1.8TB/s的带宽，容量达64GB。
• 运算能力：针对6bit、3bit、BF16数据类型的密集型张量操作，分别达到3、1.5、0.8的POPS峰值。
• 缓存：包含500MB的L1和L2缓存。
• 网络带宽：后端网络可达600GB/s，PCIe接口提供32GB/s的带宽。
• 功耗：设计总功率消耗为700瓦，预估运行功率为500瓦。

Maia 100系统采用垂直整合策略，优化成本与效能，结合定制化的服务器板、专属机架与软件堆栈，旨在提升性能。该系统架构集成了：

• 高速张量单元：提供高效训练与推理能力，支持多种数据类型，结构为16xRx16。
• 矢量处理器：采用自定义指令集架构（ISA），支持FP32、BF16等多种数据类型。
• DMA引擎：支持不同大小的张量切片方案。
• 硬件semaphores：用于支持系统的异步编程。
• 高效内存管理：通过大型L1和L2缓存垫，由软件管理，提升数据利用效率与能效。
• 高速互联：采用基于以太网的互联技术及定制化协议，实现超高的计算带宽，支持高达4800 Gbps的all-gather与scatter-reduced带宽，以及1200 Gbps的all-to-all带宽。

在软件开发方面，Maia SDK允许用户迅速将PyTorch和Triton模型移植至Maia平台。此SDK为开发者提供了多个组件，简化了模型部署至Azure OpenAI服务的过程。