图灵汇官网

导读

在全球范围内，究竟需要多少算力？英伟达是否在追求更大的市场份额？最近，黄仁勋在接受采访时，分享了他对AGI（通用人工智能）、机器学习和AI（人工智能）未来的看法，并评价了马斯克、xAI、OpenAI以及自己的职业生涯。

黄仁勋表示，AGI很快将以某种形式成为个人的“口袋助手”。起初，这个助手会有很大的帮助，但不会是完美的。随着时间的推移，它会变得越来越完善。就像其他技术一样，这也是科技的魅力所在。

英伟达“重新发明了计算”

黄仁勋指出，英伟达“重新发明了计算”，在过去十年里，将计算成本降低了10万倍，远超摩尔定律带来的百倍提升。他认为，加速计算、新的数值精度、新的架构以及快速存储器等创新推动了算力的快速发展，使我们从人类编程转向了机器学习。同时，机器学习的发展也非常迅速，通过重新定义计算的分布方式，英伟达引入了多种形式的并行计算，变得更加擅长发明新的算法和训练方法。这些技术和创新的叠加，带来了巨大的进展。英伟达不仅在预训练模型的扩展上取得了显著成果，还在后训练和推理阶段实现了扩展，使推理过程变得更加复杂，不再被视为难题。

黄仁勋强调，设计更好的芯片虽然重要，但并非唯一的重点。过去的软件都是静态的，提升系统性能的最佳方式是制造更快的芯片。然而，现在进入了机器学习时代，不仅要考虑软件，还要考虑整个数据处理过程。机器学习的关键在于“飞轮效应”，即如何让“飞轮”高效运转。数据整理和训练本身非常复杂，但有了更智能的AI，数据整理和生成变得更加容易。因此，在进行训练前，有大量的数据处理工作。所以，当考虑整个飞轮时，应从整体角度看待，而不仅仅是关注训练。设计一个计算系统和架构，让这个飞轮每一步都尽可能高效，而不仅仅是特定应用场景的训练。

黄仁勋称：“训练只是其中一步，每一步都是艰难的，机器学习没有任何容易的部分。”无论是OpenAI还是DeepMind的Gemini团队，所做的都不是简单的事情。因此，应关注整个过程，加速每一个步骤，尊重阿姆达尔定律。如果某个步骤占用30%的时间，即使加速三倍，整体过程的提升也有限。所以，关键是创建一个可以加速每个步骤的系统，这样才能真正提高循环时间和整个飞轮的效率。他认为，飞轮和学习的加速最终会带来指数级的提升，英伟达的整个过程也都是通过CUDA加速的。

推理的增长将达到亿倍规模

对于英伟达的“护城河”，黄仁勋强调，英伟达的优势在于算法以及上层科学和底层架构的深度融合，他相信公司在推理方面的“护城河”会像在训练方面一样深厚。他认为，训练实际上就是大规模推理，如果在特定架构上完成了良好的训练，那么推理过程也会表现优异。因此，架构的兼容性对于推理任务至关重要。

同时，英伟达目前40%以上的收入来自推理，推理方面即将因推理链的出现而大幅增长，黄仁勋表示是一场智能生产的革命，推理的增长将达到亿倍的规模。“这就像上学是为了将来在社会中有所贡献，训练模型很重要，但最终的目标是推理。”

黄仁勋表示，英伟达的目标是创建一个无处不在的计算平台，“我们每年都在努力创造一台新的计算机，其性能提升两到三倍，成本降低两到三倍，能源效率提高两到三倍。这种进步令人难以置信。因此，我们建议客户逐年分批购买新设备，以维持在成本上的平均水平，这样做的好处是在架构上保持兼容性。同时，每年都要进行大约10次集成操作。这真是个奇迹，但这也让我感到疯狂。”

对于市场，他表示英伟达不想从任何人那里抢夺市场份额，“如果你看我们的PPT，会发现我们从不谈论市场份额。我们内部讨论的都是如何创造下一个事物、下一个可以在飞轮中解决的问题是什么、如何更好地为人们服务、如何将过去可能需要一年的飞轮缩短到一个月……在考虑这些事情的同时，我们确信我们的使命非常独特。”

对OpenAI和马斯克的看法

对于OpenAI，黄仁勋认为是这个时代最具影响力的公司之一，是专注于AI、致力于追求AGI愿景的公司，ChatGPT的问世标志着人工智能的觉醒，“我非常欣赏他们的速度以及推动这一领域发展的独特目标”。

当被问及马斯克和xAI，黄仁勋也不吝夸赞，他表示在19天内搭建完成一个10万张GPU集群，一个采用液体冷却、通电并获得许可的巨大工厂，“据我所知，世界上只有一个人能做到这一点，那就是埃隆”。同时，他也表示，现在已经进入拥有20万至30万块GPU集群的时代。

那么集群是否需要扩展到50万张甚至100万张的规模？黄仁勋的回答是：“如果看扩展能力，进行简单数学计算，再加上每年模型大小和算力的四倍增长，再结合增长的使用需求，你会发现，我们需要上百万块GPU，这是毫无疑问的。但问题是，我们如何从数据中心的角度进行架构设计？这与数据中心的规模密切相关，比如是以千兆瓦还是250兆瓦为单位？我觉得会是二者兼而有之……所有正在进行的模型并行和分布式训练的突破，所有的批处理等，都是因为我们在早期做出了努力，现在我们正在为未来进行早期的工作。”

对于开源闭源的问题，黄仁勋表示这与安全相关，但不完全关乎安全。“没有什么问题是因为闭源模型导致的，这些模型可能是商业模式的引擎，它们是推动创新所必需的，我对此完全支持。重要的是，不应是对立，而是并存。”他赞同开源对于许多行业是必不可少的，使得金融服务、医疗保舰交通运输等领域带来巨大潜力。

对于开源，黄仁勋打了一个比方：“我的想象是，如果你把一个超级聪明的人关在一个有缓冲的房间里一个月，出来的可能并不会是一个更聪明的人。但是，如果有两三个人坐在一起，通过交流、讨论、相互质询，所有人都可能变得更聪明。所以，AI模型之间的交互、争论和强化学习，以及合成数据的生成，这些概念是合理的。”

工作与生活

在采访的最后，黄仁勋也对自己和行业表达了看法。他表示：“我不认为我们工作的全部都是有趣的。我的工作并不总是有趣的，也没指望它永远有趣。你问我这是不是我的期望，我会说这工作是重要的。我不太看重自己，但我非常认真对待工作、责任和在这个时代的贡献……和家庭、朋友、孩子这些一样，它们不总是有趣的，但我们总是深深地热爱它们。”

他认为真正的问题是，他还能保持多长时间的相关性。他表示自己每天都在使用AI，即便知道答案也会用AI再检查下，以发现新的内容。“AI作为导师、助手，作为一起头脑风暴的伙伴，检查我的工作，它彻底颠覆了一切。这对于信息工作者而言是一场革命。我希望能保持这种相关性，继续作出贡献，因为这项工作对我来说非常重要，我想继续追求。我对目前的生活质量感到难以置信，并无法想象错过这样的时刻。”