阿里巴巴宣布开源其第二代视觉语言模型Qwen2-VL，并提供API接口和开源代码，方便开发者使用。该模型在图像和视频理解方面取得了显著进展，支持多种语言，并具备强大的视觉智能体能力，能够自主操作手机和机器人。Qwen2-VL提供2B、7B和72B三个尺寸的模型，满足不同应用场景的需求，其中72B模型在大多数指标上表现最佳，而2B模型则适合移动端应用。
9月2日，通义千问宣布开源其第二代视觉语言模型Qwen2-VL，并在阿里云百炼平台上推出2B、7B两个尺寸及其量化版本模型的API，供用户直接调用。
Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片，在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。此外，该模型还能理解20分钟以上的长视频，支持基于视频的问答、对话和内容创作等应用。Qwen2-VL还具备强大的视觉智能体能力，能够自主操作手机和机器人，进行复杂推理和决策。
该模型能够理解图像视频中的多语言文本，包括中文、英文、大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。通义千问团队从六个方面评估了模型的能力，包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力。
Qwen2-VL-72B作为旗舰模型，在大部分指标上都达到了最优。Qwen2-VL-7B以其经济型参数规模实现了极具竞争力的性能表现，而Qwen2-VL-2B则支持移动端的丰富应用，具备完整的图像视频多语言理解能力。
在模型架构方面，Qwen2-VL延续了ViT加Qwen2的串联结构，三个尺寸的模型都采用了600M规模大小的ViT，支持图像和视频统一输入。为了提升模型对视觉信息的感知和视频理解能力，团队在架构上进行了升级，包括实现对原生动态分辨率的全面支持和使用多模态旋转位置嵌入（M-ROPE）方法。
阿里云百炼平台提供了Qwen2-VL-72B的API，用户可以直接调用。同时，Qwen2-VL-2B和Qwen2-VL-7B的开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中，开发者可以通过这些平台下载和使用模型。
阿里云百炼平台:
https://help.aliyun.com/zh/model-studio/developer-reference/qwen-vl-api
GitHub:
https://github.com/QwenLM/Qwen2-VL
HuggingFace:
https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d
魔搭ModelScope:
https://modelscope.cn/organization/qwen?tab=model
模型体验:
https://huggingface.co/spaces/Qwen/Qwen2-VL
总之，Qwen2-VL模型的开源，为开发者提供了强大的工具，推动了视觉语言模型技术的发展，也为各种应用场景带来了更多可能性。 开发者可以通过提供的链接获取模型和代码，开始构建自己的应用。