代码大模型 CodeShell

CodeShell概览

所属公司	北京大学知识计算实验室&四川天府银行AI团队
发布时间	2023年10月19日
模型类型	代码大模型
参数量级	70亿

CodeShell简介

CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。CodeShell具有70亿参数，在五千亿Tokens进行了训练，上下文窗口长度为8192。在权威的代码评估Benchmark（HumanEval与MBPP）上，CodeShell取得同等规模最好的性能。

本次开源的模型如下：

• CodeShell Base：CodelShell底座模型，具有强大的代码基础能力。
• CodeShell Chat：CodelShell对话模型，在代码问答、代码补全等下游任务重性能优异。
• CodeShell Chat 4bit：CodelShell对话模型4bit量化版本，在保证模型性能的前提下内存消耗更小，速度更快。
• CodeShell CPP：CodelShell对话模型CPP版本，支持开发者在没有GPU的个人电脑中使用。注意，CPP版本同样支持量化操作，用户可以在最小内存为8G的个人电脑中运行CodeShell。

CodeShell功能特点

• 强大的性能：CodelShell在HumanEval和MBPP上达到了7B代码基座大模型的最优性能
• 完整的体系：除了代码大模型，同时开源IDE（VS Code与JetBrains）插件，形成开源的全栈技术体系
• 轻量化部署：支持本地C++部署，提供轻量快速的本地化软件开发助手解决方案
• 全面的评测：提供支持完整项目上下文、覆盖代码生成、代码缺陷检测与修复、测试用例生成等常见软件开发活动的多任务评测体系（即将开源）
• 高效的训练：基于高效的数据治理体系，CodeShell在完全冷启动情况下，只训练了五千亿Token即获得了优异的性能

开发者也可以通过VS Code与JetBrains插件与CodeShell-7B-Chat交互，可以在VSCode插件仓库与IntelliJ插件仓库下载：CodeShell VSCode Extension，CodeShell IntelliJ IDEA Extension。

codeshell-vscode项目是基于CodeShell大模型开发的支持Visual Studio Code的智能编码助手插件，支持python、java、c++/c、javascript、go等多种编程语言，为开发者提供代码补全、代码解释、代码优化、注释生成、对话问答等功能，旨在通过智能化的方式帮助开发者提高编程效率。

CodeShell官网

https://github.com/WisdomShell/codeshell