MT-NLG

Nvidia / Microsoft，5300 亿个参数，按应用程序访问 API

MT-NLG（Megatron-Turing 自然语言生成）于 2021 年 10 月宣布，使用基于 transformer 的 Megatron 架构为一系列任务生成连贯且上下文相关的文本，包括完成预测、阅读理解、常识推理、自然语言推理，词义消歧。

官网

https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/