星云研发大模型——中兴通讯

星云研发大模型概览

所属公司	中兴通讯
发布时间	2023年10月13日
模型类型	研发大模型

星云研发大模型简介

星云研发大模型是中兴通讯发布的研发大模型，“星云研发大模型”支持白名单机制有效控制使用范围，以及代码特征值识别有效识别敏感代码片段、敏感词识别机制可实时监测并拦截敏感内容，还有后台审计机制可完整回溯安全事件等。

经第三方HumanEval评估，“星云研发大模型”位于编码类模型第一梯队，编码语言种类多样性能力和中文编码能力达到业内领先水平。

星云研发大模型发展历程

AIBetas消息，2023 年 10 月 11 日-13 日，在中国移动全球合作伙伴大会举办期间，中兴通讯“星云研发大模型”亮相，旨在辅助开发人员进行需求分析、产品设计、编程、测试、版本部署等。

2023年4月，“星云研发大模型”使用启动，截至目前，日活人数达1.2万人, 代码采纳率达40%~45%，编码提效30%, 整体研发提效10%。

星云研发大模型介绍

中兴通讯将大量高质量的领域数据、Know-How知识积累、中兴通讯多年沉淀的数十万篇通信领域技术文档和1000亿token的无线/核心网/云代码语料等注入大模型，进行增量预训练，使用并行训练框架。其次，使用高质量精调数据进行模型精调，满足辅助编程场景应用，提升研发效率。

中兴通讯自研部署方案，使用动态batch策略、PagedAttention技术，结合无损模型量化，吞吐量大幅提升，单GPU（A800）达到1500tokens/s，仅使用4张GPU卡（A800）可满足超千人使用需求。对比业界常规的部署方案，（NVIDIA FasterTransformer和Huggingface Transformer），单GPU吞吐量分别提升10+倍和20+倍；结合int4量化技术，在模型精度不下降情况下，模型大小和显存使用量均下降一半，能有效降低部署成本。