微软和NVIDIA共同推出迄今为止训练的最大的语言

　　微软和NVIDIA共同推出迄今为止训练的最大的语言模型品玩10月12日讯，微软和英伟达此日发布了由DeepSpeed和Megatron驱动的Megatron-Turing自然发言天生模子（MT-NLG），这是迄今为止练习的最大和最健壮的解码发言模子。这个模子包罗5300亿个参数，与现有最大的模子GPT-3比拟，参数数目是其3倍。

　　练习如此的大型模子涉及种种挑拨，沿着悉数的人工智能轴线举行了很众革新和冲破。比方，通过合作无懈，英伟达和微软将最进步的GPU加快练习根蒂措施与尖端的分散式进修软件栈房相调解，告终了史无前例的练习效果。

　　微软与NVIDIA创办了高质地的自然发言练习语料库，个中包括数千亿个象征，并合伙开拓了练习配方，以降低优化效果和安定性。