书生・浦语 20B 开源 AI 大模型发布

AIBetas消息，9月21日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语200亿参数模型版本 InternLM-20B ，InternLM-20B 在超过 2.3T Tokens 包含高质量英文、中文和代码的数据上进行预训练，其中 Chat 版本还经过了 SFT 和 RLHF 训练，使其能够更好、更安全地满足用户的需求。

InternLM 20B 在模型结构上选择了深结构，层数设定为60层，超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下，提高层数有利于提高模型的综合能力。此外，相较于InternLM-7B，InternLM-20B使用的预训练数据经过了更高质量的清洗，并补充了高知识密度和用于强化理解与推理能力的训练数据。因此，它在理解能力、推理能力、数学能力、编程能力等考验语言模型技术水平的方面都得到了显著提升。总体而言，InternLM-20B具有以下的特点：

• 优异的综合性能
• 很强的工具调用功能
• 支持16k语境长度（通过推理时外推）
• 更好的价值对齐

在OpenCompass提出的5个能力维度上，InternLM-20B都取得了很好的效果（粗体为13B-33B这个量级范围内，各项最佳成绩）

总体而言，InternLM-20B 在综合能力上全面领先于13B量级的开源模型，同时在推理评测集上能够接近甚至超越 Llama-65B 的性能。该模型依照 Apache-2.0 协议开源。模型权重对学术研究完全开放，也可申请免费的商业使用授权

书生・浦语 20B 开源地址

书生·浦语-20B：https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b/summary

书生·浦语-对话-20B:https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat/summary