书生大模型

InternLM 概览

发布时间	2021年11月17日
更新时间	2023年7月7日
最新版本	书生3.0
参数量级	高性能版本：104B 轻量级版本：7B
英文名	Intern
开源协议	轻量级版本开源：https://github.com/InternLM
所属公司	上海人工智能实验室，商汤科技联合香港中文大学，复旦大学及上海交通大学
官网	https://intern-ai.org.cn/home

书生大模型简介

书生大模型是上海人工智能实验室与商汤科技、香港中文大学、复旦大学、上海交通大学及清华大学联合推出的人工智能大模型，目前包括书生·多模态、书生·浦语和书生·天际等三大基础模型，以及面向大模型研发与应用的全链条开源体系。

书生大模型在130多个评测中性能达世界领先水平。其中，书生·多模态整合了语言、图像、视频等多种模态技术，实现通过自然语言定义视觉任务，并具有多模态交互和跨模态生成能力；升级后的书生·浦语支持8K语境长度的千亿参数级语言大模型；书生·天际是城市级NeRF实景三维大模型，具备千亿参数，已实现对100平方公里城市实景进行4K高精度建模以及编辑。

书生·浦语

书生·浦语 (InternLM)是在过万亿 token 数据上训练的多语千亿参数基座模型，为国内首个正式发布的支持8K语境长度的千亿参数级语言大模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。

书生·多模态-大模型

书生·多模态通过80亿多模态样本训练，参数量200亿。突破了光标指令交互、利用语言定义任意任务和轻量级自适应融合等多项关键技术，实现了开放世界理解、多模态交互和跨模态生成三大能力，支持350万种语义标签。

书生·天际

书生·天际(LandMark)是首个基于 NeRF 的城市级实景三维大模型，极高的训练和渲染效率，具备千亿参数，已实现对100 平方公里，4K 高清训练，实时渲染，自由编辑。

书生发展历程

2021年11月17日，上海人工智能实验室联合商汤科技、香港中文大学、上海交通大学共同发布新一代通用视觉技术体系“书生”（INTERN），旨在系统化解决当下人工智能视觉领域中存在的任务通用、场景泛化和数据效率等一系列瓶颈问题。

2022年9月1日，在2022世界人工智能大会（WAIC）上，上海人工智能实验室重磅发布了更为通用的人工智能模型“书生2.0”。全新升级后的“书生”，不但“看图更准”，还学会了“理解视频”和“做翻译”，在40多个视觉任务取得了世界领先性能。

2023年3月14日，商汤科技发布了书生（INTERN）2.5大模型，拥有30亿参数，是世界上开源模型中ImageNet准确度最高、规模最大的模型。

2023年4月，商汤科技发布了书生（INTERN）3.0大模型，拥有1000亿参数，是一个多模态多任务通用的人工智能大模型。该模型支持中英文等多种语言，具备领先的多轮对话和超长文本的理解能力，支持问答、理解与生成等中文语言能力，可实现多轮对话、逻辑推理、语言纠错、内容创作、情感分析等。

2023年6月，书生·浦语正式发布，一款千亿级参数的语言模型，”书生·浦语”拥有惊人的1040亿参数，其训练数据集包含了1.6万亿个token，覆盖了多语种的高质量数据。

2023年7月7日，“书生通用大模型体系”正式发布，包括“书生·多模态”“书生·浦语”和“书生·天际”等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。

书生大模型官网

官网：https://intern-ai.org.cn/home

书生·浦语官网：https://internlm.intern-ai.org.cn/

书生·天际官网：https://intern-ai.org.cn/home

开源开放体系：https://github.com/InternLM