使用 Azure 和 NVIDIA H100 Tensor Core GPU 构建生成式 AI 应用程序

NVIDIA H100 GPU 是此新产品的关键组件，通过一系列架构创新提供超级计算级性能。其中包括第四代张量核心，旨在加速LLM的新变压器引擎，以及最新的NVLink技术，该技术允许GPU以900GB /秒的惊人速度相互通信。

构建生成式 AI 应用程序

进一步增强此新产品性能的是包含 NVIDIA Quantum-2 CX7 InfiniBand。凭借 3，200 Gbps 的跨节点带宽，该技术可确保大规模跨 GPU 的无缝性能，与世界顶级超级计算机的功能相匹配。

ND H100 v5 VM 特别适合为日益复杂的 LLM 和计算机视觉模型训练和运行推理。这些神经网络为要求最苛刻和计算密集型的生成 AI 应用程序提供支持，包括问答、代码生成、音频、视频和图像生成、语音识别等。

在性能方面，ND H100 v5 VM 展示了其进一步优化 AI 应用程序的潜力，与上一代实例相比，用于推理的 BLOOM 2B 模型等 LLM 实现了高达 175 倍的加速。

在 Azure 上集成 NVIDIA H100 张量核心 GPU 为企业提供了增强其 AI 训练和推理工作负载所需的性能、多功能性和规模。这种组合简化了生产 AI 的开发和部署，将 NVIDIA AI Enterprise 软件套件与适用于 MLOps 的 Azure 机器学习集成在一起。这种强大的组合在行业标准的 MLPerf 基准测试中提供了创纪录的 AI 性能，标志着 AI 应用程序开发领域的一个重要里程碑。