”姜子牙“开源通用大模型

姜子牙大模型

英文名	Ziya
发布时间	2023-05-17
最新版本	Ziya-BLIP2-14B-Visual-v1
更新时间	2023-06-05
参数量级	130亿
所属公司	IDEA研究所
开放平台	https://huggingface.co/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1
模型分类	多模态大模型

姜子牙大模型简介

姜子牙大模型是由IDEA研究院开发的一系列开源通用人工智能模型，基于LLaMa（Large Language Model with Attention）的架构，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。

姜子牙通用大模型v1（Ziya-LLaMA-13B-v1）：拥有130亿参数，从LLaMa-13B开始重新构建中文词表，进行千亿token量级的已知的最大规模继续预训练，使模型具备原生中文能力。该模型在多个中文自然语言处理任务上表现优异，例如在7个零样本CLUE数据集和5个零样本FewCLUE数据集上明显优于其他开源中文LLM2。
姜子牙通用大模型v1.1（Ziya-LLaMA-13B-v1.1）：在v1的基础上进行了进一步的优化，通过调整微调数据的比例和采用更优的强化学习策略，本版本在问答准确性、数学能力以及安全性等方面得到了提升。
Ziya-LLaMA-13B-Pretrain-v1：Ziya-LLaMA-13B-Pretrain-v1 是基于LLaMa的130亿参数大规模预训练模型，针对中文分词优化，并完成了中英文 110B tokens 的增量预训练，进一步提升了中文生成和理解能力。目前姜子牙通用大模型 Ziya-LLaMA-13B-v1 在本模型上，进一步完成了多任务有监督微调和人类反馈学习阶段的训练过程，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。
Ziya-Visual多模态大模型（Ziya-BLIP2-14B-Visual-v1）：Ziya-Visual多模态大模型基于姜子牙通用大模型V1训练，具有视觉问答和对话能力。今年3月份OpenAI发布具有识图能力的多模态大模型GPT-4，遗憾的是，时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限，Ziya-Visual参考了Mini-GPT4、LLaVA等优秀的开源实现，补齐了Ziya的识图能力，使中文用户群体可以体验到结合视觉和语言两大模态的大模型的卓越能力。

姜子牙大模型是IDEA研究院封神榜项目的一部分，封神榜是一个旨在为中文领域模型的开源做出贡献的项目，已经开源了100个不同类型和规模的中文预训练模型。