EleutherAI GPT Series Models

EleutherAI模型概览

发布时间	2021年3月21日
最新版本	GPT-NeoX-20B
更新时间	2022年2月2日
参数量级	200亿
所属公司	EleutherAI
模型类型	大语言模型（LLM）
模型官网	https://www.eleuther.ai/releases

EleutherAI系列模型发展

GPT-Neo

2021年3月21正式发布，GPT-Neo有两个版本，分别是GPT-Neo 1.3B和GPT-Neo 2.7B，参数分别为13亿和27亿。GPT-Neo使用了Pile数据集进行训练。

GPT-J

2021年6月4日正式发布，GPT-J 6B 是使用 Ben Wang 的 Mesh Transformer JAX 训练的变压器模型。一个训练于Pile数据集上的、具有60亿参数的开源英语自回归语言模型。在发布时，它是世界上最大的公开可用的类似GPT-3风格的语言模型。

GPT-NeoX

2022年2月2日，GPT-NeoX-20B正式发布，是一个包含200亿参数的大型语言模型（LLM），可以生成类似人类的文本。它是基于GPT架构的变换器模型，是GPT-Neo和GPT-J的升级版，也是GPT-3的竞争者。它使用了Pile数据集进行训练，可以在多种自然语言处理（NLP）任务上表现出色，甚至在代码生成方面超过了1750亿参数的GPT-3（Davinci）。