Descarga de HallusionBench - Descarga del código fuente HallusionBench

HallusionBench

Otro código fuente

1.0.0

Descargar

HalllusionBench: un conjunto de diagnóstico avanzado para alucinaciones de lenguaje entrelazado e ilusión visual en modelos de visión y lenguaje amplios [CVPR 2024]

¿Ves lo que piensas? ¿O piensas lo que ves? Un punto de referencia de razonamiento en contexto de imagen desafiante para GPT-4V(ision), LLaVA-1.5 y otros modelos multimodales

Tianrui Guan*, Fuxiao Liu*, Xiyang Wu, Ruiqi Xian, Zongxia Li, Xiaoyu Liu, Xijun Wang, Lichang Chen, Furong Huang, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou

Actualizaciones

[20/09] Nuestro artículo "AutoHallusion: Generación automática de puntos de referencia de alucinaciones para modelos de visión y lenguaje" es aceptado en EMNLP 2024 . Nuestro código y datos están disponibles en github aquí.
[13/03] Nuestro artículo "MMC: Avanzando en la comprensión de gráficos multimodales con ajuste de instrucciones LLM" se acepta en NAACL 2024 .
[26/02] Nuestro HalllusionBench es aceptado por CVPR 2024 .
[15/01] Nuestro trabajo "Mitigación de las alucinaciones en modelos multimodales grandes mediante un ajuste robusto de instrucciones" es aceptado por ICLR 2024 .
[28/11] El artículo completo está subido y se puede acceder a él aquí. El conjunto de datos se amplía y se actualiza la tabla de clasificación.
[13/11] Se actualiza el resultado de la evaluación en LLaVA-1.5. ¡Más resultados de modelos por venir!
[27/10] ¡Se publica la tabla de clasificación y el código de evaluación! ¡Bienvenido a actualizar tu modelo en nuestra tabla de clasificación!
[24/10] El informe inicial con análisis de casos e información está disponible aquí.

¡Invitamos a todos a contribuir con los casos de falla de los modelos multimodales grandes (GPT-4V) a nuestra comunidad!

Los modelos de lenguaje grande (LLM), después de alinearse con los modelos de visión e integrarse en los modelos de visión-lenguaje (VLM), pueden aportar una mejora impresionante en las tareas de razonamiento de imágenes. Esto lo demostraron los recientemente lanzados GPT-4V(ison), LLaVA-1.5, etc. Sin embargo, el lenguaje fuerte anterior en estos SOTA LVLM puede ser un arma de doble filo: pueden ignorar el contexto de la imagen y confiar únicamente en ( incluso contradictorio) lenguaje previo al razonamiento. Por el contrario, los módulos de visión en los VLM son más débiles que los LLM y pueden dar lugar a representaciones visuales engañosas, que luego los LLM traducen en errores de confianza. Para estudiar estos dos tipos de errores de VLM, es decir, alucinaciones del lenguaje e ilusión visual, seleccionamos HalllusionBench, un punto de referencia de razonamiento de contexto de imagen que aún representa un desafío incluso para GPT-4V y LLaVA-1.5. Proporcionamos un análisis detallado de ejemplos en HalllusionBench, que arroja ideas novedosas sobre la ilusión o alucinación de los VLM y cómo mejorarlas en el futuro.

Si encuentra útil nuestro artículo, cítelo:

 @misc { wu2024autohallusion ,
      title = { AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models } , 
      author = { Xiyang Wu and Tianrui Guan and Dianqi Li and Shuaiyi Huang and Xiaoyu Liu and Xijun Wang and Ruiqi Xian and Abhinav Shrivastava and Furong Huang and Jordan Lee Boyd-Graber and Tianyi Zhou and Dinesh Manocha } ,
      year = { 2024 } ,
      eprint = { 2406.10900 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV } ,
      url = { https://arxiv.org/abs/2406.10900 } , 
}
@InProceedings { Guan_2024_CVPR ,
    author    = { Guan, Tianrui and Liu, Fuxiao and Wu, Xiyang and Xian, Ruiqi and Li, Zongxia and Liu, Xiaoyu and Wang, Xijun and Chen, Lichang and Huang, Furong and Yacoob, Yaser and Manocha, Dinesh and Zhou, Tianyi } ,
    title     = { HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models } ,
    booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
    month     = { June } ,
    year      = { 2024 } ,
    pages     = { 14375-14385 }
}
@misc { liu2023mitigating ,
      title = { Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning } , 
      author = { Fuxiao Liu and Kevin Lin and Linjie Li and Jianfeng Wang and Yaser Yacoob and Lijuan Wang } ,
      year = { 2023 } ,
      eprint = { 2306.14565 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}
@misc { liu2023mmc ,
      title = { MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning } , 
      author = { Fuxiao Liu and Xiaoyang Wang and Wenlin Yao and Jianshu Chen and Kaiqiang Song and Sangwoo Cho and Yaser Yacoob and Dong Yu } ,
      year = { 2023 } ,
      eprint = { 2311.10774 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

Descarga del conjunto de datos

Para simplificar la evaluación, solo proporcionamos la pregunta en forma de preguntas de sí o no.

Actualizado el	Preguntas y anotaciones	Figuras	Recuento de preguntas	Conteo de figuras
27 de octubre de 2023	HalllusionBench.json	halllusion_bench.zip	254	69

Evaluación

Clona el repositorio.

 git clone https://github.com/tianyi-lab/HallusionBench.git
cd ./HallusionBench

Descarga las imágenes halllusion_bench.zip y descomprime la carpeta en el mismo directorio.
Las preguntas y las ubicaciones de las imágenes se guardan en ./HallusionBench.json . La muestra de datos es la siguiente:

 {'category': 'VD', 'subcategory': 'illusion', 'visual_input': '1', 'set_id': '0', 'figure_id': '0', 'sample_note': 'circle', 'question_id': '0', 'question': 'Is the right orange circle the same size as the left orange circle?', 'gt_answer_details': 'The right orange circle is the same size as the left orange circle.', 'gt_answer': '1', 'filename': './hallusion_bench/VD/illusion/0_0.png'}

La clave visual_input significa si la pregunta necesita información visual como imágenes. Si visual_input=1 , significa que la pregunta necesita información visual. Si visual_input=0 , significa que la pregunta no necesita información visual. Es la pregunta de sólo texto.

Ejecute su modelo en ./HallusionBench.json y guarde el archivo de salida como ./HallusionBench_result.json . Debe agregar la salida de su modelo en la clave 'model_prediction' . Proporcionamos un resultado de muestra aquí.
Finalmente, ejecute el siguiente código para su evaluación:

 python evaluation.py

Puede utilizar su propia clave API para la evaluación de GPT4 editando el código aquí.

Tabla de clasificación

Definición

Preguntas Dependientes Visuales (VD) : preguntas que no tienen respuesta afirmativa sin el contexto visual.
- Fácil : Imágenes originales que se obtienen de Internet.
- Difícil : Imágenes editadas a partir de las imágenes originales.
Preguntas del suplemento visual (VS) : preguntas que se pueden responder sin información visual; el componente visual simplemente proporciona información complementaria.
- Fácil : sin entrada visual. Una respuesta incierta sin alucinación también se considera respuesta correcta.
- Difícil : Con información visual. La respuesta debe seguir la figura proporcionada y el contexto visual.

Métrico

Precisión por Figura (Prueba de Consistencia) : Precisión basada en cada figura. Para asegurarnos de que el modo realmente comprenda la imagen, hacemos variantes de preguntas basadas en el mismo conocimiento sobre la misma figura y lo consideramos correcto si el modelo puede responder todas las preguntas correctamente. Por ejemplo, el modelo no debería dar respuestas inconsistentes a las preguntas "¿Es A más grande que B?" y "¿B es más pequeño que A?".
Precisión por pregunta : Precisión de todas las preguntas, incluidas las preguntas fáciles y difíciles.
Precisión por par de preguntas : hacemos las mismas preguntas en imágenes similares (o con y sin imágenes). Consideramos el mismo texto de pregunta en diferentes contextos visuales como un par de preguntas (normalmente vienen con una pregunta fácil y su correspondiente pregunta difícil ). Esta métrica calcula la precisión de todos los pares de preguntas.

Modelo	Cuenta de par de preguntas	Figura Acc	Fácil acceso a preguntas	Acceder a preguntas difíciles	Acceder a preguntas	json
GPT4V Versión del 25 de septiembre de 2023 (Evaluación humana)	31.42	44.22	79,56	38.37	67,58	VD, VS
GPT4V Versión del 25 de septiembre de 2023 (Evaluación GPT)	28,79	39,88	75,60	37,67	65,28	VD, VS
claudio 3 (Evaluación GPT)	21,76	28,61	55.16	41,40	56,86	VD, VS
LLaVA-1.5 (Evaluación humana)	9.45	25.43	50,77	29.07	47.12	VD, VS
LLaVA-1.5 (Evaluación GPT)	10.55	24,86	49,67	29,77	46,94	VD, VS
Géminis Pro Visión Versión de diciembre de 2023 (Evaluación GPT)	7,69	8.67	35.60	30.23	36,85	VD, VS
GUA_VL (Evaluación GPT)	16.70	23.12	53,63	39,77	51,82	VD, VS
BLIP2-T5 (Evaluación GPT)	15.16	20.52	45,49	43,49	48.09	VD, VS
Qwen-VL (Evaluación GPT)	5.93	6.65	31.43	24,88	39.15	VD, VS
Flamenco abierto (Evaluación GPT)	6.37	11.27	39,56	27.21	38.44	VD, VS
MiniGPT5 (Evaluación GPT)	10.55	9,83	36.04	28.37	40.30	VD, VS
MiniGPT4 (Evaluación GPT)	8,79	10.12	31,87	27,67	35,78	VD, VS
InstruirBLIP (Evaluación GPT)	9.45	10.11	35.60	45.12	45.26	VD, VS
BLIP2 (Evaluación GPT)	5.05	12.43	33,85	40.70	40.48	VD, VS
mPLUG_Owl-v2 (Evaluación GPT)	13,85	19,94	44,84	39.07	47.30	VD, VS
mPLUG_Owl-v1 (Evaluación GPT)	9.45	10.40	39.34	29,77	43,93	VD, VS
LRV_Instrucción (Evaluación GPT)	8,79	13.01	39,78	27.44	42,78	VD, VS
ViLT (Evaluación GPT)	8.3516	11.2717	37.8022	45.3488	44.4641	VD, VS
GiT (Evaluación GPT)	5.27	6.36	26,81	31,86	34.37	VD, VS

Reproduzca los resultados de GPT4V en la tabla de clasificación

Guardamos la salida de GPT4V con nuestra anotación. Coloque HallusionBench.tsv en el directorio raíz de este repositorio, o establezca input_file_name en gpt4v_benchmark.py en la ubicación del archivo HalllusionBench.tsv.
(Opcional) Si no tiene acceso a la API de GPT, no necesita ejecutarla ya que hemos guardado los resultados de la evaluación. Se pueden descargar para Visual Dependent y Visual Supplement. Coloque los archivos json en el directorio raíz de este repositorio o configure save_json_path_vd y save_json_path_vd en gpt4v_benchmark.py en sus respectivas ubicaciones.
Ejecute python gpt4v_benchmark.py .