百度文心大模型

文心大模型

发布时间	2019年3月
更新时间	2023年6月
最新版本	文心大模型3.5
参数量级	千亿级别
所属公司	百度
官网	https://wenxin.baidu.com/

文心大模型简介

文心大模型是百度发布的产业级知识增强大模型，是千行百业AI开发的首选基座大模型。它包含基础通用大模型及面向重点领域和重点任务的大模型，同时有丰富的工具与平台支撑高效便捷的应用开发，学习效率高，可解释性好，大幅降低AI开发与应用门槛。

文心大模型覆盖场景

• 文心·NLP大模型：面向语言理解、语言生成等NLP场景，具备超强语言理解能力以及对话生成、文学创作等能力。创新性地将大数据预训练与多源丰富知识相结合,通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化。
• 文心·CV大模型：基于领先的视觉技术，利用海量的图像、视频等数据，为企业和开发者提供强大的视觉基础模型，以及一整套视觉任务定制与应用能力。
• 文心·跨模态大模型：基于知识增强的跨模态语义理解关键技术，可实现跨模态检索、图文生成、图片文档的信息抽取等应用的快速搭建，落实产业智能化转型的AI助力。
• 文心·生物计算大模型：融合自监督和多任务学习，并将生物领域研究对象的特性融入模型。构建面向化合物分子、蛋白分子的生物计算领域预训练模型，赋能生物医药行业。
• 文心·行业大模型：文心大模型与各行业企业联手，在通用大模型的基础上学习行业特色数据与知识，建设行业AI基础设施。

文心大模型发展

2019年3月，百度发布了文心ERNIE 1.0，这是一个基于Transformer架构的预训练语言模型，引入了知识图谱和实体识别等知识增强的方法，提升了语义理解和生成能力。

2019年7月，百度发布了文心ERNIE 2.0，这是一个基于文心ERNIE 1.0的改进版本，增加了连续语言表示、情感分析、机器阅读理解等多种任务类型，扩展了知识增强的范围和效果。

2020年4月，百度发布了文心ERNIE-M，这是一个基于统一模型建模的跨语言预训练语言模型，支持96种语言的语义理解和生成，在多个跨语言任务上刷新世界最好结果。

2020年7月，百度发布了文心ERNIE-ViL和文心ERNIE-ViLG，这是一系列基于知识增强算法的跨模态预训练语言模型，能够处理图像和文本的联合表示和生成，支持图像描述、图像检索、视觉问答等多个任务。

2021年7月，百度发布了文心ERNIE 3.0，这是一个基于知识增强算法的混合降噪专家建模的预训练语言模型，参数规模达到1000亿，支持中英文双语理解和生成，在50多个中文NLP任务上刷新世界最好结果，在SuperGLUE上超越人类水平。

2021年12月，百度与鹏城实验室联合发布了鹏城 – 百度 · 文心（ERNIE 3.0 Titan），这是全球首个知识增强千亿大模型，也是目前为止全球最大的中文单体模型。参数规模达到2600亿，在60多项任务中取得最好效果，在30多项小样本和零样本任务中取得世界领先的成绩。

2022年11月，百度发布了文心大模型的最新升级，包括新增 11 个大模型，大模型总量增至 36 个，构建起业界规模最大的产业大模型体系。

2023年3月16日，百度正式官宣全新的生成式 AI 对话应用——文心一 言，是文心 NLP 模型应用下的产品。

2023年6月，文心大模型正式升级至3.5版本，文心大模型3.5版本在效果、功能和性能方面都得到了全面提升。

文心大模型官网

官网：https://wenxin.baidu.com/