智源悟道大模型

悟道大模型概览

发布时间	2021年3月20日
更新时间	2023年6月10日
最新版本	悟道3.0
参数量级	7B、33B
开源协议	开源：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
所属公司	北京智源实验室
官网	https://baai.ac.cn/

悟道大模型简介

智源悟道大模型是北京智源人工智能研究院（简称智源）发布的一系列大模型，涵盖了语言、视觉和多模态领域。它们的特点是全面开源、支持中英双语、具有涌现性和通用性，能够完成各种复杂的任务和生成任务。

悟道大模型发展

悟道1.0

2021年3月20日，智源研究院发布了中国首个超大规模智能模型“悟道1.0”，训练出中文、多模态、认知、蛋白质预测等系列模型。

悟道2.0

2021年6月，“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据，以及Pile数据集的1.2TB英文文本数据。

悟道3.0

2023年6月10 日，在“2023 北京智源大会”上，北京智源人工智能研究院发布悟道 3.0 大模型系列，包含悟道・天鹰（Aquila）语言大模型系列、“天秤（FlagEval）”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。

悟道大模型3.0主要产品

悟道·天鹰（Aquila）语言大模型系

悟道·天鹰（Aquila）语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。悟道·天鹰（Aquila）语言大模型在中英文高质量语料基础上从 0 开始训练，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。系列模型包括 Aquila基础模型（7B、33B），AquilaChat对话模型（7B、33B）以及 AquilaCode-7B “文本-代码”生成模型。

Aquila基础模型（7B、33B）在技术上继承了 GPT-3、LLaMA 等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer，升级了 BMTrain 并行训练方法，实现了比 Magtron+DeepSpeed ZeRO-2 将近８倍的训练效率。
AquilaChat 对话模型（7B、33B）支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。例如，调用智源开源的 AltDiffusion 多语言文图生成模型，实现了流畅的文图生成能力。配合智源 InstructFace 多步可控文生图模型，轻松实现对人脸图像的多步可控编辑。
AquilaCode-7B “文本-代码”生成模型，基于 Aquila-7B 强大的基础模型能力，以小数据集、小参数量，实现高性能，是目前支持中英双语的、性能最好的开源代码模型，经过了高质量过滤、使用有合规开源许可的训练代码数据进行训练。

天秤（FlagEval）大模型评测体系及开放平台

天秤（FlagEval）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用AI方法实现对主观评测的辅助，大幅提升评测的效率和客观性。目前已推出语言大模型评测、多国语言文图大模型评测及文图生成评测等工具，并对各种语言基础模型、跨模态基础模型实现评测。后续将全面覆盖基础模型、预训练算法、微调算法等三大评测对象，包括自然语言处理（NLP）、计算机视觉（CV）、语音（Audio）及多模态（Multimodal）等四大评测场景和丰富的下游任务。