image ranker

Clasificador de imágenes

Características principales

• Algoritmo TrueSkill ELO. Un algoritmo avanzado que tiene en cuenta la incertidumbre en las calificaciones y actualiza las clasificaciones globalmente después de cada comparación ya que si $A > B$ y $B> C$ entonces podemos inferir que $A > C$ . Esto logra resultados precisos mucho más rápido que un algoritmo ELO típico.
• Varias aceleraciones de clasificación avanzadas.
  • Eliminación secuencial. Opción de clasificar $N$ imágenes en $mathcal{O}(N)$ -tiempo en lugar de $mathcal{O}(N veces (N-1)/2)$ eliminando del ranking las imágenes que hayan sido rechazadas.
  • Mezcla inteligente. Mezcla todas las imágenes de forma que se minimice la incertidumbre de la clasificación lo más rápido posible.
  • Mezcla automática. Aplica una reproducción aleatoria inteligente cada tres comparaciones de forma automática.
• GUI web para un uso sencillo.
• Seleccione imágenes de un directorio local sin necesidad de cargarlas ni moverlas.
• Exporte y guarde datos de clasificación como CSV. Reanudar en cualquier momento.

Instalación y uso

1. Clonar el repositorio:

    git clone https://github.com/QuentinWach/image-ranker.git
   cd image-ranker
   

2. Cree un entorno virtual (opcional pero recomendado):

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Instale las dependencias requeridas:

    pip install flask trueskill
   

4. Ejecute la aplicación Flask: python app.py
5. Abra un navegador web y navegue hasta http://localhost:5000 .

---

❓ Cómo funciona

ELO de habilidad verdadera

Cada imagen está representada por dos valores:

• μ (mu): El nivel de "habilidad" estimado.
• σ (sigma): La incertidumbre en esa estimación.

Los elementos nuevos comienzan con un μ predeterminado (a menudo 25, pero aquí 0) y un σ alto (a menudo 8,33). Cuando se comparan dos elementos, sus valores μ y σ se utilizan para calcular el resultado esperado. El resultado real se compara con esta expectativa. La μ del ganador aumenta, la del perdedor disminuye. La σ de ambos elementos generalmente disminuye (lo que representa una mayor certeza). La magnitud de los cambios depende de:

• Qué sorprendente fue el resultado (según las calificaciones actuales).
• La incertidumbre actual (σ) de cada elemento.

Utiliza distribuciones gaussianas para modelar niveles de habilidad y emplea gráficos de factores y transmisión de mensajes para actualizaciones eficientes. Los elementos normalmente se clasifican por su μ - 3σ (una estimación conservadora).

Es importante destacar que el algoritmo actualiza todos los elementos clasificados previamente simultáneamente con cada comparación, en lugar de actualizar solo las imágenes nuevas. Esto significa que el algoritmo puede tener en cuenta toda la información disponible a partir de las comparaciones, en lugar de sólo las comparaciones por pares.

Por lo tanto, en general, este sistema permite una clasificación eficiente con datos de comparación incompletos, lo que lo hace muy adecuado para conjuntos grandes de elementos donde las comparaciones exhaustivas por pares no son prácticas.

Eliminación secuencial

Tienes la opción de habilitar la eliminación secuencial para clasificar $N$ imágenes en $mathcal{O}(N)$ -tiempo en lugar de $mathcal{O}(N veces (N-1)/2)$ eliminando del ranking las imágenes que hayan sido rechazadas. Esta es una excelente opción cuando tienes una gran cantidad de imágenes y necesitas clasificarlas rápidamente. También es un buen primer paso obtener una descripción general aproximada de la clasificación de las imágenes y luego desactivar esta función para obtener una clasificación más precisa a medida que continúa.

Inteligente y aleatorio automáticamente

Puede mezclar manualmente pares de imágenes en cualquier momento haciendo clic en el botón de reproducción aleatoria o hacerlo automáticamente cada tres comparaciones. Esto es útil si desea minimizar la incertidumbre de la clasificación lo más rápido posible. Se priorizarán las imágenes que solo hayan sido clasificadas unas pocas veces y tengan una alta incertidumbre σ. De esta manera, no perderá más tiempo clasificando imágenes de las que ya está seguro, pero podrá obtener una clasificación más precisa de imágenes con puntuaciones muy similares con mayor rapidez.

---

Acerca de

Image Ranker es parte del esfuerzo general para permitir que cualquier persona cree sus propios modelos de base personalizados según sus necesidades específicas.

Los modelos básicos posteriores a la capacitación son lo que los hace realmente útiles. Por ejemplo, es posible que los modelos de lenguaje grandes ni siquiera charlen con usted sin una capacitación posterior. Lo mismo ocurre con las imágenes. Para hacerlo, una técnica común es RLHF, que utiliza un modelo de recompensa para recompensar o castigar el resultado del modelo de base generativa en función de las preferencias del usuario. Para crear este modelo de recompensa, necesitamos conocer las preferencias del usuario, lo que requiere un conjunto de datos, aquí imágenes. Entonces, ya sea para realizar algunos cambios radicales en un modelo ya existente como Stable Diffusion o Flux, o para entrenar su propio modelo, es importante poder clasificar las imágenes de alguna manera para saber qué imágenes son mejores. Aquí es donde entra esta aplicación.

Contribuyendo

Si tiene alguna pregunta, abra un problema en GitHub. Y siéntete libre de bifurcar este proyecto, sugerir o contribuir con nuevas funciones. El archivo OPEN_TODO.md contiene una lista de funciones que se planea implementar. ¡Se agradece mucho la ayuda! Dicho esto, la forma más sencilla de respaldar el proyecto es darle a este repositorio un !

¡Gracias!