EleutherAI模型概览
发布时间 | 2021年3月21日 |
最新版本 | GPT-NeoX-20B |
更新时间 | 2022年2月2日 |
参数量级 | 200亿 |
所属公司 | EleutherAI |
模型类型 | 大语言模型(LLM) |
模型官网 | https://www.eleuther.ai/releases |
EleutherAI系列模型发展
GPT-Neo
2021年3月21正式发布,GPT-Neo有两个版本,分别是GPT-Neo 1.3B和GPT-Neo 2.7B,参数分别为13亿和27亿。GPT-Neo使用了Pile数据集进行训练。
GPT-J
2021年6月4日正式发布,GPT-J 6B 是使用 Ben Wang 的 Mesh Transformer JAX 训练的变压器模型。一个训练于Pile数据集上的、具有60亿参数的开源英语自回归语言模型。在发布时,它是世界上最大的公开可用的类似GPT-3风格的语言模型。
GPT-NeoX
2022年2月2日,GPT-NeoX-20B正式发布,是一个包含200亿参数的大型语言模型(LLM),可以生成类似人类的文本。它是基于GPT架构的变换器模型,是GPT-Neo和GPT-J的升级版,也是GPT-3的竞争者。它使用了Pile数据集进行训练,可以在多种自然语言处理(NLP)任务上表现出色,甚至在代码生成方面超过了1750亿参数的GPT-3(Davinci)。
EleutherAI模型官网
EleutherAI官网:https://www.eleuther.ai/
GPT-Neo地址:https://github.com/EleutherAI/gpt-neo
GPT-J地址:EleutherAI/gpt-j-6b · Hugging Face
GPT-NeoX地址:EleutherAI/gpt-neox-20b · Hugging Face
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容