海盛娱乐

美股异动:发布史上最大NLG模型 微软(MSFT.US)盘前股价涨超1%创新高

摘要:2月11日(周一)美股盘前,截至北京时间21:38,微软(MSFT.US)盘前涨1.14%,报190.85美元,创造股价历史新高。今天,微软研...

原标题:美股异动 | 发布史上最大NLG模型 微软(MSFT.US)盘前股价涨超1%创新高

K图 MSFT_0

  2月11日(周一)美股盘前,截至北京时间21:38,微软(MSFT.US)盘前涨1.14%,报190.85美元,创造股价历史新高。

  今天,微软研究院重磅发布了有史以来最大的基于Transformer架构的语言生成模型Turing-NLG。此模型的参数高达170亿,是英伟达(NVDA.US)的Megatron(也就是现在第二大Transformer模型)的两倍,是OpenAI的GPT-2的十倍。

  基于Transformer的架构,意味着该模型可以生成词来完成开放式文本任务。除了填充不完整语句外,它还可以对输入文档的问题和摘要生成答案。

  而微软之所以能够开发出 Turing-NLG 这一重磅级的语言生成模型,实际上离不开其差不多同一时间开源的深度学习库——DeepSpeed。

  微软表示,DeepSpeed能够让他们降低模型并行度(从16降低到4),将每个节点的批处理大小增加4倍,并将训练时间减少到原来的1/3。不仅如此,DeepSpeed 使用更少的GPU就可以提高大型模型的训练效率。

(责任编辑:admin)