Главная страница>Связанные с программированием>AI Исходный код
Скачать

UniIR

Домашняя страница | ? Набор данных (тест M-BEIR) | ? Контрольно-пропускные пункты (модели UniIR ) | arXiv | GitHub

Этот репозиторий содержит кодовую базу для документа ECCV-2024 « UniIR : обучение и сравнительный анализ универсальных мультимодальных средств извлечения информации».

?Новости

  • [2024-04-13] : Мы выделяем еще одно ценное и параллельное исследование по обучению многозадачных мультимодальных ретриверов, следующих инструкциям, с помощью позднего взаимодействия: PreFLMR: масштабирование мелкозернистых мультимодальных ретриверов с поздним взаимодействием, которое было Это сделали исследователи из Кембриджского университета. Они также представили тест M2KR, который можно использовать для обучения и оценки мультимодальных универсальных средств извлечения информации. Мы можем объединить тесты M2KR и M-BEIR вместе, чтобы способствовать развитию этой области.
  • [2024-03-18]: Освободить большие контрольные точки UniIR (CLIP_SF) и UniIR (BLIP_FF) ? Контрольно-пропускные пункты
  • [2023-12-21]: Наш? Тест M-BEIR теперь доступен для использования.

Введение

Мы предлагаем структуру UniIR (универсальный мультимодальный поиск информации), чтобы научиться одному ретриверу выполнять (возможно) любую задачу поиска. В отличие от традиционных систем IR, UniIR необходимо следовать инструкциям, чтобы принять гетерогенный запрос и извлечь его из гетерогенного пула кандидатов с миллионами кандидатов в различных модальностях.

<класс диапазона= UniIR Teaser" style="width: 80%; максимальная ширина: 100%;">

Содержание

  1. М-БЕЙР
  2. Обучение
  3. Оценка
  4. Модельный зоопарк
  5. Цитаты и контакты

М-БЕЙР

Для обучения и оценки универсальных моделей мультимодального поиска мы создаем крупномасштабный тест поиска под названием M-BEIR (Мультимодальный тест для инструктированного поиска).

M-BEIR Загрузка

Мы предоставляем набор данных M-BEIR в формате ? Набор данных . Следуйте инструкциям на странице HF , чтобы загрузить набор данных и подготовить данные для обучения и оценки. Вам необходимо настроить GiT LFS и напрямую клонировать репозиторий: 

 git clone https://huggingface.co/datasets/TIGER-Lab/M-BEIR

Модели UniIR

Мы предоставляем базу кода для обучения и оценки моделей UniIR CLIP-ScoreFusion, CLIP-FeatureFusion, BLIP-ScoreFusion и BLIP-FeatureFusion.

Среда

Подготовьте кодовую базу проекта UniIR и среды Conda, используя следующие команды:

UniIR cd src/models/ conda env create -f UniIR _env.yml">
git clone https://github.com/TIGER-AI-Lab/UniIR
cd UniIR

cd src/models/
conda env create -f UniIR _env.yml

Обучение

Чтобы обучить модели UniIR на основе предварительно обученных контрольных точек CLIP и BLIP, следуйте инструкциям ниже. Сценарии автоматически загрузят предварительно обученные контрольные точки CLIP и BLIP.

1. Загрузите тест M-BEIR.

Загрузите тест M-BEIR, следуя инструкциям в разделе M-BEIR .

2. Скрипты

Чтобы обучить UniIR CLIP_SF Large с конфигурацией по умолчанию: 

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/train/inbatch/

Измените inbatch.yaml для настройки гиперпараметров и run_inbatch.sh для вашей собственной среды и путей.

Примечание:

  1. Измените UniIR _DIR в файле run_inbatch.sh указав каталог, в котором вы хотите хранить контрольные точки.
  2. Измените MBEIR_DATA_DIR в run_inbatch.sh на каталог, в котором вы храните тест M-BEIR.
  3. Измените SRC_DIR в run_inbatch.sh на каталог, в котором вы храните кодовую базу проекта UniIR (этот репозиторий).
  4. По умолчанию модели UniIR обучаются на M-BEIR с пакетными негативами, а жесткие негативы, предоставленные исходными наборами данных, не используются.
  5. Мы использовали wandb для регистрации процесса обучения. Убедитесь, что установлена ​​среда .env с WANDB_API_KEY , WANDB_PROJECT и WANDB_ENTITY .

Затем вы можете запустить следующую команду для обучения большой модели UniIR CLIP_SF. 

bash run_inbatch.sh

Чтобы обучить UniIR BLIP_FF Large с конфигурацией по умолчанию: 

 cd src/models/ UniIR _blip/blip_featurefusion/configs_scripts/large/train/inbatch/

Измените inbatch.yaml для настройки гиперпараметров и run_inbatch.sh для вашей собственной среды и путей. 

bash run_inbatch.sh

Аналогичным образом вы можете обучать модели UniIR CLIP_FF и BLIP_SF, изменяя соответствующие скрипты.

Оценка

Мы предоставляем конвейер оценки моделей UniIR на тесте M-BEIR.

1. Окружающая среда

Пожалуйста, создайте среду для библиотеки FAISS: 

 # From the root directory of the project
cd src/common/
conda env create -f faiss_env.yml

2. Загрузите тест M-BEIR.

Загрузите тест M-BEIR, следуя инструкциям в разделе M-BEIR .

3. Загрузите контрольные точки UniIR

Вы можете обучить модели UniIR с нуля или загрузить предварительно обученные контрольные точки UniIR , следуя инструкциям в разделе «Зоопарк моделей» .

4. Скрипты

Чтобы оценить UniIR CLIP_SF Large с конфигурацией по умолчанию: 

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/eval/inbatch/

Измените embed.yaml , index.yaml , retrieval.yaml и run_eval_pipeline_inbatch.sh в соответствии с вашей собственной средой, путями и настройками оценки.

Примечание:

  1. Если вы загружаете нашу предварительно обученную модель UniIR , измените UniIR _DIR в run_eval_pipeline_inbatch.sh на каталог, в котором вы хотите хранить большие файлы, включая контрольные точки, внедрения, индексирование и результаты извлечения. Затем вы можете поместить файл clip_sf_large.pth по следующему пути: 
     $ UniIR _DIR /checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth
    Это путь по умолчанию, указанный в model.ckpt_config в файле embed.yaml .
  2. Измените MBEIR_DATA_DIR в файле run_eval_pipeline_inbatch.sh на каталог, в котором вы храните тест M-BEIR.
  3. Измените SRC_DIR в run_eval_pipeline_inbatch.sh на каталог, в котором вы храните кодовую базу проекта UniIR (этот репозиторий).

Конфигурация по умолчанию будет оценивать модель UniIR CLIP_SF Large как по тестам M-BEIR (5,6 млн гетерогенных кандидатов), так и по M-BEIR_local (однородный пул кандидатов). UNION в файлах yaml относится к M-BEIR (5,6 млн гетерогенных кандидатов). Вы можете следить за комментариями в файлах yaml и изменять конфигурации, чтобы оценивать модель только в тесте M-BEIR_local. 

bash run_eval_pipeline_inbatch.sh

embed , index , logger и retrieval_results будут сохранены в каталоге $ UniIR _DIR .

Чтобы оценить UniIR BLIP_FF Large с конфигурацией по умолчанию: 

 cd src/models/unii_blip/blip_featurefusion/configs_scripts/large/eval/inbatch/

Аналогично, если вы загрузите нашу предварительно обученную модель UniIR , вы можете поместить файл blip_ff_large.pth по следующему пути: 

 $ UniIR _DIR /checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth

Конфигурация по умолчанию будет оценивать модель UniIR BLIP_FF Large как по тестам M-BEIR, так и по M-BEIR_local. 

bash run_eval_pipeline_inbatch.sh

Оценка UniRAG

Оценка UniRAG очень похожа на оценку по умолчанию со следующими отличиями:

  • Он хранит файлы jsonl, содержащие запросы и их полученные кандидаты, в разделе retrieval_results . Это полезно, когда полученные результаты будут использоваться в последующих приложениях, таких как RAG.
  • Если для retrieve_image_text_pairs в файле retrieval.yaml установлено значение True , для каждого кандидата будет выбран дополнительный кандидат с модальностью только text или image . При такой настройке кандидат и его дополнение всегда будут иметь модальность image, text . Дополняющие кандидаты выбираются с использованием исходных кандидатов в качестве запросов (например, текст запроса -> изображение кандидата -> дополняющий текст кандидата ).
  • Чтобы запустить оценки в режиме UniRAG, следуйте приведенным выше инструкциям, заменив InBatch и inbatch на UniRAG и unirag соответственно.

Вы можете обучать и оценивать модели UniIR CLIP_FF и BLIP_SF, изменяя соответствующие скрипты.

Модельный зоопарк

Мы предоставляем контрольные точки модели UniIR в формате ? Контрольно-пропускные пункты . Вы можете напрямую использовать контрольные точки для задач поиска или точно настроить модели для собственных задач поиска.

Доступные контрольные точки

Название модели Версия Размер модели Ссылка на модель
UniIR (CLIP-SF) Большой 5,13 ГБ Ссылка для скачивания
UniIR (БЛИП-ФФ) Большой 7,49 ГБ Ссылка для скачивания

Вы можете скачать их по 

 git clone https://huggingface.co/TIGER-Lab/UniIR

Цитирование и контакты

БибТекс:

UniIR, title={ UniIR : Training and benchmarking universal multimodal information retrievers}, author={Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu}, journal={arXiv preprint arXiv:2311.17136}, year={2023} }">
 @article { wei2023 UniIR ,
  title = { UniIR : Training and benchmarking universal multimodal information retrievers } ,
  author = { Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu } ,
  journal = { arXiv preprint arXiv:2311.17136 } ,
  year = { 2023 }
}
Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все