上海人工智能实验室近日宣布，其研发的书生·浦语灵笔（InternLM-XComposer）多模态大模型升级至2.5版本（IXC-2.5）。该版本在长上下文理解、视觉语言理解和应用扩展方面取得重大突破，显著提升了文本图像理解和创作能力，并在多个基准测试中超越现有开源模型，部分指标甚至与GPT-4V和Gemini Pro不相上下。IXC-2.5展现出强大的性能和广泛的应用潜力，为多模态大模型发展树立了新的标杆。
最近，书生·浦语灵笔（InternLM-XComposer）多模态大模型升级2.5版本，这款由上海人工智能实验室领衔研发的模型，以其卓越的长上下文输入和输出能力，为文本图像理解和创作应用带来了革命性的突破。
IXC-2.5能够在长达96K的长上下文中游刃有余，这得益于其训练时使用的24K交错图像-文本数据。这种长上下文能力，让IXC-2.5在需要广泛输入和输出上下文的任务中表现出色。
与前一版本相比，IXC-2.5在视觉语言理解方面进行了三项重大升级:
超高分辨率理解:IXC-2.5通过内生的560×560ViT视觉编码器，支持任意纵横比的高分辨率图像。
细粒度视频理解:将视频视为由数十到数百帧组成的超高分辨率复合图像，通过密集采样和更高分辨率捕捉细节。
多轮多图对话:支持自由形式的多轮多图对话，与人类进行自然互动。
除了理解能力的提升，IXC-2.5还扩展了两项引人注目的应用，使用额外的LoRA参数进行文本图像创作:
制作网页:根据文本图像指令，IXC-2.5能够编写HTML、CSS和JavaScript源代码，创建网页。
撰写高质量图文文章:利用特别设计的Chain-of-Thought（CoT）和Direct Preference Optimization(DPO)技术，显著提升写作内容的质量。
IXC-2.5在28个基准测试中进行了评估，它在16个基准测试中超越了现有的开源最先进模型。此外，它在16个关键任务中与GPT-4V和Gemini Pro的表现相近或有所超越。这一成绩充分证明了IXC-2.5的强大性能和广泛的应用潜力。
论文地址:https://arxiv.org/pdf/2407.03320
项目地址:https://github.com/InternLM/InternLM-XComposer
总而言之，IXC-2.5版本的发布标志着多模态大模型技术取得了显著进展，其强大的性能和丰富的应用场景预示着未来人工智能技术发展的光明前景。 期待后续更多更强大的功能更新！