STELLAR: метрики оценки

Код для нашей статьи: Stellar: систематическая оценка человекоориентированных персонализированных методов преобразования текста в изображение.

Авторы: Панос Ахлиоптас, Александрос Бенетатос, Иорданис Фостиропулос, Димитрис Скуртис

Кодовую базу поддерживает Иорданис Фостиропулос. По любым вопросам обращайтесь.

Лицензия

Прежде чем загружать или использовать любую часть кода из этого репозитория, просмотрите и примите условия, изложенные в «Условиях лицензии» и «Условиях сторонней лицензии», включенных в этот репозиторий. Продолжение загрузки и использования любой части кода в этом репозитории подтверждает ваше согласие с этими условиями.

Введение

metrics_explanation Примечание. Показанные «Входное изображение» и «Дополнительное изображение» находятся в наборе данных CELEBMaksHQ.

Эта работа основана на нашей технической рукописи Stellar: систематическая оценка человекоориентированных персонализированных методов преобразования текста в изображение. Мы предложили 5 показателей для оценки человекоориентированных моделей персонализации «Текст-2-Изображение». Репозиторий обеспечивает реализацию 8 дополнительных базовых показателей для методов «Текст-2-изображение» и «Изображение-2-изображение».

Метрики оценки

Есть несколько показателей, взятых из литературы. Обозначим теми, которые введены нашей работой.

Мы предоставляем собственную реализацию существующих метрик и отсылаем пользователей к их документам для получения технических подробностей их работы.

Имя	Тип оценки	Кодовое имя	Ссылка
Эст.	Изображение2Изображение	`aesth`	Связь
$CLIP_I$	Изображение2Изображение	`clip`	Связь
ДримСим	Изображение2Изображение	`dreamsim`	Связь

$CLIP_T$	Текст2Изображение	`clip`	Связь
HPSv1	Текст2Изображение	`hps`	Связь
HPSv2	Текст2Изображение	`hps`	Связь
ИзображениеНаграда	Текст2Изображение	`im_reward`	Связь
PickScore	Текст2Изображение	`pick`	Связь

АПС	Персонализированный текст2изображение	`aps`	Связь
ГоА	Объектно-ориентированный	`goa`	Связь
IPS	Персонализированный текст2изображение	`ips`	Связь
~~РФС~~ *	Ориентированный на отношения	`rfs`	Связь
СИС	Персонализированный текст2изображение	`sis`	Связь

RFS в настоящее время ожидает присоединения к текущему филиалу.

Использование

pip install git+https://github.com/stellar-gen-ai/stellar-metrics.git

1. Вычислите метрики для каждого изображения.

Мы хотим вычислить метрику для каждого отдельного изображения. Таким образом, это может помочь диагностировать случаи сбоя метода.

$ python -m stellar_metrics --metric code_name --stellar-path ./stellar-dataset --syn-path ./model-output --save-dir ./save-dir

Необязательно вы можете указать --device , --batch-size и --clip-version для магистральной сети.

ПРИМЕЧАНИЕ. Между выходными данными модели и набором звездных данных должно быть взаимно однозначное соответствие. stellar-dataset используется для расчета некоторых показателей, таких как сохранение идентичности, когда требуется исходное изображение. Неправильная конфигурация между syn-path и stellar-path может привести к неверным результатам.

Ложный пример

Рассчитать IPS

$ python -m stellar_metrics --metric ips --stellar-path ./tests/assets/mock_stellar_dataset --syn-path ./tests/assets/stellar_net --save-dir ./save-dir

РАСЧЕТ КЛИП

$ python -m stellar_metrics --metric clip --stellar-path ./tests/assets/mock_stellar_dataset --syn-path ./tests/assets/stellar_net --save-dir ./save-dir

2. Таблица анализа продукции

$ python -m stellar_metrics.analysis --save-dir ./save-dir

Стартовый пример

Оценка качеств, ориентированных на идентичность

Сохранение личности

Оцените сходство лица между входной личностью и сгенерированными изображениями довольно грубым, но специализированным способом. Наша метрика использует детектор лиц для выделения лица личности как на входных, так и на сгенерированных изображениях. Затем он использует специализированную модель обнаружения лиц для извлечения встроенных изображений лица из обнаруженных областей.

Сохранение атрибутов

Оцените, насколько хорошо сгенерированные изображения сохраняют конкретные детализированные атрибуты рассматриваемой личности, такие как возраст, пол и другие неизменные черты лица (например, высокие скулы). Используя аннотации на изображениях Stellar, мы можем оценить эти бинарные характеристики лица.

Стабильность оценки идентичности

Служит мерой определения степени чувствительности модели к разным изображениям одного и того же человека; дальнейшее продвижение моделей, в которых личность субъекта всегда хорошо фиксируется независимо от нерелевантных изменений входного изображения (например, условий освещения, позы субъекта).

Для достижения этой цели SIS требует доступа к множеству изображений человека (условие, предусмотренное в наборе данных Stellar); и это наша единственная оценочная метрика с такими более строгими требованиями.

Объектно-ориентированная оценка контекста

Мы вводим специализированные и интерпретируемые показатели для оценки двух ключевых аспектов соответствия изображения и подсказки; достоверность представления объекта и достоверность изображаемых отношений.

Оценка верности отношений

Оцените успешность представления желаемых взаимодействий с объектами на сгенерированном изображении. Учитывая сложность даже специализированных моделей генерации графов сцен (SGG) для понимания визуальных отношений, эта метрика дает ценную локализованную информацию о способности персонализированной модели точно отображать заданные отношения.

Расширять

Дополнительная информация