比A100性能高4.5倍!英伟达H100横扫AI推理基准测试

图灵汇官网

新智元报道

【新智元深度解析】 NVIDIA H100 Tensor Core GPU在最新一轮的MLPerf行业标准AI基准测试中崭露头角,一举打破了所有工作负载推理的全球记录,性能相较于上一代GPU实现了惊人的4.5倍提升。

英伟达芯片的最新突破
不久前,英伟达公布了一项重大成果——旗下H100(代号Hopper)GPU在MLPerf基准测试中展现出了卓越性能。这款GPU在所有六个神经网络的性能标准上均超越了前一代产品A100,其性能提升幅度高达4.5倍,成功创下了推理性能的世界纪录。

推理:AI之旅的关键步骤
推理与机器学习有着本质的区别。机器学习是构建模型并让系统“学习”的过程,而推理则是将学习到的模型应用于一系列数据点上,进而获取结果。通过这次测试,H100 GPU不仅在单服务器和离线场景下展现了出色的吞吐量和速度,也进一步巩固了其作为高级AI模型首选的地位。

英伟达与MLPerf
MLPerf是由图灵奖得主大卫·帕特森联合多家全球AI巨头及学术机构共同创立的行业标准基准系列。它致力于为各类AI工作负载提供模型,涵盖自然语言处理、语音识别、图像分类、医学影像分析和物体检测等领域。通过这一测试体系,英伟达得以在广泛的硬件平台上展示其产品的性能,确保了测试结果的公正性和权威性。

英伟达的领先姿态
此次MLPerf测试的结果对于英伟达而言无疑是一大亮点。预计在年底前,英伟达将正式展示H100 GPU,并将其纳入未来的MLPerf训练流程。H100的优异表现得益于英伟达的Transformer Engine,这一工具利用定制化的NVIDIA Hopper Tensor Core技术,大幅加速了基于流行AI模型构建块——变压器模型的训练过程。

Transformer Engine:加速器的革新
Transformer Engine采用混合FP8和FP16格式,显著提升了Transformer AI计算的效率,为任务提供了数量级的性能提升。这一工具的引入使得开发者能够专注于解决方案的创新,而非陷入繁琐的底层硬件优化工作中。更重要的是,Transformer Engine体现了英伟达的平台方法优势,即通过提供全面的软件生态系统和优化工具,支持开发者快速、高效地实现AI应用。

英伟达平台生态的优势
相比其他竞争对手,英伟达的优势在于其强大的平台生态系统,不仅涵盖了芯片本身,还包括了优化的硬件、软件和开发系统。这一生态系统使得英伟达能够为AI解决方案提供更为全面的支持,确保开发者能够在广泛的硬件平台上实现高性能AI应用。尽管存在某些细分市场上的竞争,如英特尔的Habana Gaudi 2芯片在AI计算能力上的挑战,以及高通在低功耗领域的优势,但英伟达凭借其广泛的产品系列和平台生态,仍稳居人工智能领域的领先地位。

参考资料
- VentureBeat - 英伟达官方博客

本文来源: 互联网 文章作者: 雅卓
    下一篇

导读:11月22日消息,调研机构CounterPoint现在送出的报告显示,在今年第三季度,国内市场上最畅销的机型是iPhone 11,而它之前已经连续两个季度都是该榜单第一名。 报告中显示,iPho