image ranker

Рейтинг изображений

Основные функции

• Алгоритм TrueSkill ELO. Усовершенствованный алгоритм, который учитывает неопределенность в рейтингах и обновляет рейтинги по всему миру после каждого сравнения, поскольку если $А > Б$ и $B > канадские доллары тогда мы можем сделать вывод, что $А > канадские доллары . Это позволяет достичь точных результатов намного быстрее, чем обычный алгоритм ELO.
• Различные продвинутые ускорения ранжирования.
  • Последовательное устранение. Возможность ранжирования $Н$ изображения в $mathcal{O}(N)$ -время, а не $mathcal{O}(N times (N-1)/2)$ путем исключения из рейтинга изображений, получивших отрицательные отзывы.
  • Умная перетасовка. Перетасовывает все изображения таким образом, чтобы как можно быстрее минимизировать неопределенность ранжирования.
  • Автоперетасовка. Автоматически применяет интеллектуальное перемешивание каждые три сравнения.
• Веб-интерфейс для простоты использования.
• Выбирайте изображения из локального каталога без необходимости загружать или перемещать их.
• Экспортируйте и сохраняйте данные рейтинга в формате CSV. Возобновить в любое время.

Установка и использование

1. Клонируем репозиторий:

    git clone https://github.com/QuentinWach/image-ranker.git
   cd image-ranker
   

2. Создайте виртуальную среду (необязательно, но рекомендуется):

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Установите необходимые зависимости:

    pip install flask trueskill
   

4. Запустите приложение Flask: python app.py
5. Откройте веб-браузер и перейдите по адресу http://localhost:5000 .

---

❓ Как это работает

TrueSkill ЭЛО

Каждое изображение представлено двумя значениями:

• μ (мю): предполагаемый уровень «навыка».
• σ (сигма): Неопределенность этой оценки.

Новые элементы начинаются со стандартного значения µ (часто 25, но здесь 0) и высокого σ (часто 8,33). Когда сравниваются два элемента, их значения μ и σ используются для расчета ожидаемого результата. Фактический результат сравнивается с этим ожиданием. μ победителя увеличивается, а проигравшего уменьшается. σ обоих пунктов обычно уменьшается (что означает повышенную уверенность). Масштаб изменений зависит от:

• Насколько неожиданным оказался результат (судя по текущим рейтингам).
• Текущая неопределенность (σ) каждого элемента.

Он использует распределение Гаусса для моделирования уровней навыков и использует графики факторов и передачу сообщений для эффективного обновления. Элементы обычно ранжируются по их значению μ – 3σ (консервативная оценка).

Важно отметить, что алгоритм обновляет все ранее ранжированные элементы одновременно при каждом сравнении, а не обновляет только новые изображения. Это означает, что алгоритм может учитывать всю информацию, доступную в результате сравнений, а не только парные сравнения.

Таким образом, в целом эта система позволяет эффективно ранжировать неполные сравнительные данные, что делает ее хорошо подходящей для больших наборов элементов, где исчерпывающие парные сравнения непрактичны!

Последовательное устранение

У вас есть возможность включить последовательное исключение для ранжирования. $Н$ изображения в $mathcal{O}(N)$ -время, а не $mathcal{O}(N times (N-1)/2)$ путем исключения из рейтинга изображений, получивших отрицательные отзывы. Это отличный вариант, когда у вас большое количество изображений и вам нужно быстро их ранжировать. Это также хороший первый шаг, чтобы получить приблизительный обзор рейтинга изображений, а затем отключить эту функцию, чтобы получить более точный рейтинг по мере продолжения.

Умное и автоматическое перемешивание

Вы можете вручную перетасовать пары изображений в любое время, нажав кнопку «Перемешать», или автоматически перетасовать каждые три сравнения. Это полезно, если вы хотите как можно быстрее минимизировать неопределенность рейтинга. Изображения, которые ранжировались всего несколько раз и имеют высокую неопределенность σ, будут иметь приоритет. Таким образом, вы не тратите больше времени на ранжирование изображений, в которых вы уже уверены, но можете быстрее получить более точную оценку изображений с очень похожими оценками.

---

О

Image Ranker является частью общих усилий, направленных на то, чтобы каждый мог создавать свои собственные модели фундамента, адаптированные к его конкретным потребностям.

Базовые модели после обучения — вот что делает их действительно полезными. Например, большие языковые модели могут даже не общаться с вами без постобучения. То же самое справедливо и для изображений. Для этого широко распространен метод RLHF, который использует модель вознаграждения для вознаграждения или наказания за результаты модели генеративного фонда на основе предпочтений пользователя. Чтобы создать эту модель вознаграждения, нам нужно знать предпочтения пользователя, для которого требуется набор данных, в данном случае изображений. Поэтому, будь то внесение радикальных изменений в уже существующую модель, такую ​​​​как Stable Diffusion или Flux, или обучение собственной модели, важно иметь возможность каким-то образом ранжировать изображения, чтобы знать, какие изображения лучше. Вот здесь и появляется это приложение.

Содействие

Если у вас есть какие-либо вопросы, откройте проблему на GitHub! И не стесняйтесь создавать форки этого проекта, предлагать или вносить новые функции. Файл OPEN_TODO.md содержит список функций, которые планируется реализовать. Помощь очень ценится! Тем не менее, самый простой способ поддержать проект — предоставить этому репозиторию статус !

Спасибо!