标签：预训练语言模型

微软Microsoft

微软和英伟达宣布迄今为止训练的最大、最强大的语言模型

微软和英伟达今天宣布推出由 DeepSpeed 和威震天驱动的威震天图灵自然语言生成模型 (MT-NLG)，这是迄今为止训练的最大、最强大的单片转换器语言模型。该模型包含 5300 亿个参数，是现有最大模型 GPT-3 的参数数量的 3 倍。训练如此大的模型涉及各种挑战。NVIDIA 和微软在所有 AI 轴上都致力于许多创新和突破。微软和英伟达今天宣布推……