标签：TensorRT

工具软件

Nvidia 发布 TensorRT 8，将 BERT 推理时间缩短至毫秒

TensorRT是 Nvidia 的深度学习 SDK，它使应用程序在推理过程中的执行速度比纯 CPU 平台快 40 倍。借助 CUDA 的并行编程模型，TensorRT 允许您优化神经网络模型，以高精度校准较低的精度，并为研究和商业用例部署模型。英伟达推出第 8 代 TensorRT。被称为 TensorRT 8 的 SDK 的最新版本带来了一系列更新……