上海人工智能实验室“书生・浦语灵笔”大模型正式开源

AIBetas消息，10月10日，上海人工智能实验室（上海AI实验室）近日推出了首个图文混合创作大模型——书生·浦语灵笔 (InternLM-XComposer，简称“浦语灵笔”)。浦语灵笔基于书生·浦语大语言模型（InternLM），具有卓越的多模态理解能力，为图文混合文章创作提供了“一键生成”功能。该模型可以接受视觉和语言模态输入，并展现出优秀的图文对话和图文并茂文章生成能力。

根据公布的消息，浦语灵笔已开源其中的智能创作和对话版 (InternLM-XComposer-7B) 及多任务预训练版 (InternLM-XComposer-VL-7B)​。在官方的GitHub页面上，浦语灵笔被描述为基于InternLM的视觉-语言大模型 (VLLM)，能够无缝集成图像，生成连贯和富有上下文的文章​​。此模型系列具有7B参数，其论文已于2023年9月26日至29日间在arxiv.org公布​。

浦语灵笔的核心在于其图文文章创作的“三步走”算法流程。首先，理解用户指令并创作符合主题要求的长文章。其次，智能分析文章，自动规划插图的理想位置，并生成所需图像的内容要求。最后，利用多模态大模型的图像理解能力从图库中筛选出最完美的图片，完成文章的自动配图。

评测显示，浦语灵笔在多模态大模型评测中表现出色，特别是在图像内容理解方面，准确率非常高。它在多项中英文多模态评测中，如MME Benchmark、MMBench、Seed-Bench和CCBench等，均体现了卓越的性能。

浦语灵笔不仅为图文创作提供了新的可能，同时也为大模型的落地应用开辟了新的道路。它的推出无疑将进一步推动多模态大模型技术的发展和应用，为用户和开发者提供了更为丰富和多样化的图文创作工具。