Ovis：多模态大语言模型的结构嵌入对齐

Ovis (Open VISion) 是一种新颖的多模式大语言模型 (MLLM) 架构，旨在在结构上对齐视觉和文本嵌入。全面的介绍可以参考Ovis论文。

发布

[11/26] Ovis1.6-Gemma2-27B 发布！
[11/04] 宣布Ovis1.6的量化版本：Ovis1.6-Gemma2-9B-GPTQ-Int4和Ovis1.6-Llama3.2-3B-GPTQ-Int4！
[10/22] 发布Ovis1.6-Llama3.2-3B（模型、演示）！
[09/19] 发布Ovis1.6-Gemma2-9B（模型、演示）！这个最新版本进一步增强了高分辨率图像处理，在更大、更多样化、更高质量的数据集上进行训练，并通过指令调整后的 DPO 训练完善了训练过程。
[07/24] 推出 Ovis1.5，改进了高分辨率图像处理并优化了训练数据以增强性能。
[06/14] 推出Ovis模型的首个版本Ovis1.0。

内容

安装
模型
表现
微调
推理
量化
引文
团队
执照

安装

Ovis 已使用 Python 3.10、Torch 2.4.0、Transformers 4.46.2 和 DeepSpeed 0.15.4 进行了测试。有关包依赖项的完整列表，请参阅requirements.txt文件。在进行微调或推理之前，请按如下方式安装 Ovis。

git clone [email protected]:AIDC-AI/Ovis.git
conda create -n ovis python=3.10 -y
conda activate ovis
cd Ovis
pip install -r requirements.txt
pip install -e .

模型

Ovis 可以用流行的法学硕士来实例化。我们提供以下 Ovis MLLM：

绵羊 MLLM	维特	法学硕士	型号重量	演示
Ovis1.6-Gemma2-27B	西格利普-400M	Gemma2-27B-它	抱脸	-
Ovis1.6-Gemma2-9B	西格利普-400M	Gemma2-9B-It	抱脸	空间
Ovis1.6-Llama3.2-3B	西格利普-400M	Llama-3.2-3B-指令	抱脸	空间

表现

Ovis1.6-Gemma2-27B拥有29B个参数，在OpenCompass基准测试中取得了优异的性能，跻身顶级开源MLLM之列。

性能-Ovis1_6-Gemma2-27B

Ovis1.6-Gemma2-9B仅具有10B参数，在30B参数范围内领先于开源 MLLM 中的 OpenCompass 基准。

性能-Ovis1_6-Gemma2-9B

Ovis1.6-Llama3.2-3B在4B参数下在开源MLLM中领先OpenCompass基准，甚至超过了Llama-3.2-11B-Vision-Instruct。

性能-Ovis1_6-Llama3_2-3B

微调

ms-swift 支持微调 Ovis1.6-Gemma2-9B。

推理

我们在ovis/serve/runner.py中提供了一个推理包装器，它可以用作：

 from PIL import Image
from ovis . serve . runner import RunnerArguments , OvisRunner
image = Image . open ( 'IMAGE_PATH' )
text = 'PROMPT'
runner_args = RunnerArguments ( model_path = 'MODEL_PATH' )
runner = OvisRunner ( runner_args )
generation = runner . run ([ image , text ])

基于 Gradio，Ovis 还可以通过 Web 用户界面访问：

python ovis/serve/server.py --model_path MODEL_PATH --port PORT

量化

我们使用 AutoGPTQ 量化 Ovis1.6。有关运行和创建您自己的量化版本的详细信息，请参阅相应的 Huggingface 模型卡：Ovis1.6-Gemma2-9B-GPTQ-Int4 和 Ovis1.6-Llama3.2-3B-GPTQ-Int4。量化的 Ovis1.6 保持了与其非量化对应物相当的性能，同时需要更少的 GPU 内存：

基准性能：
GPU 内存使用量（max_partition=9）：

引文

如果您发现 Ovis 有用，请引用该论文

 @article{lu2024ovis,
  title={Ovis: Structural Embedding Alignment for Multimodal Large Language Model}, 
  author={Shiyin Lu and Yang Li and Qing-Guo Chen and Zhao Xu and Weihua Luo and Kaifu Zhang and Han-Jia Ye},
  year={2024},
  journal={arXiv:2405.20797}
}