图灵汇官网

英伟达近日推出了名为Dynamo的新产品，声称这是“AI工厂的操作系统”。Dynamo实际上是一个分布式推理服务库，旨在解决用户需求token但无法生成足够token的问题，提供了一个开源的解决方案。

在一次展示中，黄仁勋展示了与推理相关的图表，其中X轴表示用户每秒的Token数，Y轴则显示工厂每秒的Token数。借助Dynamo以及Grace Blackwell NVLink72超级芯片的支持，Blackwell的性能相较于Hopper提升了25倍。

此外，在推理模型的应用场景下，Blackwell的表现更是达到了Hopper的40倍。黄仁勋开玩笑说，有了这些新技术，投资建设AI工厂的企业会发现，“买得越多，节省的成本也越多”，言外之意显然是希望相关企业加大投入。