Bloom大语言模型

Bloom模型概览

发布时间	2022年7月22日
参数量级	1760亿
所属公司	BigScience
行业类型	生成式大语言模型
开源地址	https://huggingface.co/bigscience/bloom

Bloom大模型简介

Bloom大模型是BigScience开发的大语言模型(LLM)，能够根据用户用自然语言表达的指令。主要包含三种不通的模型：Bloom，BloomZ，Mt0。

Bloom基于Transformer技术训练，它有1760亿个参数，能够以46种自然语言和13种编程语言生成文本。Bloom使用了一个包含各种领域和语言的数据集，构建了一个多模态的语言模型，可以处理文本、图像、音频和视频等不同形式的输入和输出。Bloom可以帮助进行内容生成、摘要、翻译、对话、图像描述等多种任务。Bloom是一个开源的、透明的、可访问的模型，它由1000多名来自70多个国家和250多个机构的AI研究人员共同开发。

BloomZ是一个基于Bloom模型在xP3数据集上进行多任务微调的版本，它有7.1亿个参数。xP3数据集是一个包含了多种跨语言任务的数据集，例如翻译、摘要、对话、情感分析等12。BloomZ可以更好地适应用户用英语表达的指令，并且能够跨语言泛化到未见过的任务和语言。

Mt0是一个基于Google的mT5模型在xP3数据集上进行多任务微调的版本，它有13亿个参数。mT5模型是一个多语言的模型，它有不同参数规模的版本，从300M到13B。Mt0可以更好地适应用户用英语表达的指令，并且能够跨语言泛化到未见过的任务和语言。