Image Feature Extraction Using GenAI

Изображение-Функция-Извлечение-Использование-GenAI

В этом проекте реализован усовершенствованный конвейер генеративного искусственного интеллекта для извлечения и оценки функций изображений. Он сочетает в себе мощь Florence-2, современной модели языка видения, с доработанной версией Mistral-v3, передовой модели большого языка.

Ключевые особенности

• Использует Florence-2 для создания подробных описаний изображений.
• Использует специально настроенную модель Mistral-v3 для извлечения признаков и оценки.
• Выводит результаты в формате JSON для легкой интеграции с другими приложениями.

Изображение Описание Генерация

• Модель: Флоренция-2
• Входные данные: необработанные данные изображения.
• Результат: Исчерпывающее текстовое описание изображения.

Извлечение функций и рейтинг

• Модель: Доработанный Мистраль-v3
• Сырьё: Текстовое описание из Флоренции-2.
• Выходные данные: объект JSON, содержащий извлеченные функции и их оценки.

Использование

Чтобы запустить этот проект, выполните следующие действия:

1. Загрузите набор данных
2. Запустите скрипт очистки изображений:

 python scrapeImages.py

Это позволит извлечь изображения из Airbnb на основе набора данных.

3. Откройте и запустите блокнот Jupyter GenAI_Approach.ipynb . Следуйте инструкциям в блокноте, чтобы обработать изображения и извлечь функции.

Важное примечание. Убедитесь, что вы используете те же имена файлов и каталогов, которые указаны в сценариях, или измените пути в коде, чтобы они соответствовали вашей структуре каталогов.