在人工智能领域的重大发展中，NVIDIA宣布与统一计算的先驱Anyscale进行战略合作。这种伙伴关系旨在加速大型语言模型（LLM）的开发，这是人工智能领域的一个关键组成部分。此次合作旨在将NVIDIA AI集成到Anyscale的开源Ray平台，Anyscale平台和Anyscale Endpoints中，这是一项旨在将LLM嵌入应用程序的新服务。
英伟达与 Anyscale 合作伙伴关系
将NVIDIA AI集成到Anyscale的平台中有望提高生成AI开发的速度和效率。它还将增强生产AI的安全性，这是当前数据泄露和网络威胁猖獗的数字时代的一个关键方面。开发人员可以灵活地使用 Ray 部署开源 NVIDIA 软件，或者在 Anyscale 平台上选择 NVIDIA AI Enterprise 软件，具体取决于他们的特定需求和要求。
此次合作的主要特点之一是支持NVIDIA的TensorRT-LLM，这是一款开源软件，适用于Anyscale产品。TensorRT-LLM 旨在跨多个 GPU 并行运行模型，在 NVIDIA H8 Tensor Core GPU 上提供高达 100 倍的性能提升。预计这种性能提升将显着提高LLM的效率，使其更加有效和可靠。
更快地构建大型语言模型 （LLM）
NVIDIA Triton Inference Server 軟體
此外，NVIDIA Triton 推理服务器软件将使 Ray 开发人员在部署来自各种深度学习和机器学习框架的 AI 模型时提高效率。这将为开发人员提供更简化和高效的模型部署流程，减少所需的时间和资源。
NVIDIA NeMo框架是此次合作的另一个关键组成部分，它将允许Ray用户使用业务数据微调和定制LLM。这种定制功能将使企业能够根据其特定需求定制其AI模型，从而提高其有效性和相关性。
Anyscale 的平台提供完全托管的企业级统一计算，用于构建、部署和管理可扩展的 AI 和 Python 应用程序。此次合作将允许开发人员通过 NVIDIA AI Workbench 在其工作站上构建模型，并将其扩展到混合或多云加速计算。这种可扩展性在当今的数字环境中至关重要，企业需要快速有效地调整和扩展其运营。
NVIDIA AI与Anyscale的集成目前正在开发中，预计将于今年年底推出。对此集成感兴趣的开发人员可以注册更新和 NVIDIA AI Enterprise 的 90 天免费评估。NVIDIA和Anyscale之间的合作是AI行业向前迈出的重要一步，有望带来更快，更高效，更安全的AI开发。
