Xuanyuan-70B

Xuanyuan大模型概览

所属公司	度小满
发布时间	2023年9月22日
模型类型	金融大模型
参数量级	70亿
官网	https://github.com/Duxiaoman-DI/XuanYuan

XuanYuan大模型简介

Xuanyuan-70B是百度基于文心知识增强大模型而推出的产业级知识增强大模型。总结来看，“轩辕70B”拥有以下特点：首个拥有70B参数量级，并且上下文长度能达到8k以上的开源大模型。在预训练阶段融入了大量的专业金融语料，以实现在维持中英文通用能力的同时，显著提升金融专业性能。模型训练采取了一系列的加速优化策略。在100台8卡A800(80G)的GPU集群中，“轩辕70B”在8192的上下文长度下能够达到340tokens/s/gpu的速度，TFLOPS达190，训练效率达到领先水平。

XuanYuan大模型发展历程

9月22日，度小满宣布“轩辕70B”金融大模型开源，所有用户均可自由下载和试用，并公布了“轩辕70B”在C-Eval、CMMLU两大权威大语言模型评测基准的成绩。数据显示， 在C-Eval榜单上，XuanYuan-70B的总成绩达到71.9分；在CMMLU榜单中，以71.05分的高分位居榜首，在两大权威榜单上的所有开源模型中排名第一，也是国内首个同时在两大权威榜单排名第一的金融大模型。、

XuanYuan大模型官网

https://github.com/Duxiaoman-DI/XuanYuan