图像排序器

替代文本

核心特点

TrueSkill ELO 算法。一种先进的算法，考虑了评级的不确定性，并在每次比较后更新全局排名，因为如果 $A>乙元和 $B>加元那么我们可以推断 $A>加元。这比典型的 ELO 算法更快地获得准确的结果。
各种高级排名加速。
- 依次消除。排名选项 $N$中的图像 $mathcal{O}(N)$ -时间而不是 $mathcal{O}(N 乘 (N-1)/2)$通过从排名中删除已被否决的图像。
- 智能随机播放。以尽可能快地最小化排名的不确定性的方式对所有图像进行洗牌。
- 自动随机播放。每三个比较自动应用一次智能随机播放。
Web GUI 易于使用。
从本地目录中选择图像，无需上传或移动它们。
将排名数据导出并保存为 CSV。随时恢复。

安装与使用

克隆存储库：

 git clone https://github.com/QuentinWach/image-ranker.git
cd image-ranker

创建虚拟环境（可选但推荐）：

 python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

安装所需的依赖项：
```
 pip install flask trueskill
```
运行 Flask 应用程序： python app.py 。
打开 Web 浏览器并导航到http://localhost:5000 。

❓ 它是如何运作的

TrueSkill ELO

每个图像由两个值表示：

μ (mu)：估计的“技能”水平。
σ (sigma)：估计的不确定性。

新项目以默认 μ（通常为 25，但此处为 0）和高 σ（通常为 8.33）开始。当比较两个项目时，它们的 μ 和 σ 值用于计算预期结果。实际结果与此预期进行比较。赢家的 μ 增加，输家的 μ 减少。两个项目的 σ 通常都会减少（表示确定性增加）。变化的幅度取决于：

结果是多么令人惊讶（基于当前的收视率）。
每个项目的当前不确定性 (σ)。

它使用高斯分布来建模技能水平，并采用因子图和消息传递来实现高效更新。项目通常按 μ - 3σ（保守估计）进行排名。

重要的是，该算法在每次比较时同时更新所有先前排名的项目，而不是仅更新新图像。这意味着该算法可以考虑比较中可用的所有信息，而不仅仅是成对比较。

因此，总的来说，该系统允许使用不完整的比较数据进行有效排名，使其非常适合无法进行详尽的成对比较的大型项目！

顺序消除法

您可以选择启用顺序消除来排名 $N$中的图像 $mathcal{O}(N)$ -时间而不是 $mathcal{O}(N 乘 (N-1)/2)$通过从排名中删除已被否决的图像。当您有大量图像并需要快速对它们进行排名时，这是一个不错的选择。这也是一个很好的第一步，可以粗略地了解图像的排名，然后禁用此功能，以便在继续时获得更精确的排名。

智能和自动随机播放

您可以随时通过单击“随机播放”按钮手动随机播放图像对，或者每三个比较自动随机播放一次。如果您想尽快最小化排名的不确定性，这非常有用。仅排名几次且具有较高不确定性 σ 的图像将被优先考虑。这样，您就不必花费更多时间对您已经确定的图像进行排名，而是可以更快地获得分数非常相似的图像的更准确排名。

关于

Image Ranker是让任何人都能够根据自己的特定需求定制创建自己的基础模型的整体努力的一部分。

训练后的基础模型使它们真正有用。例如，如果没有经过后期训练，大型语言模型甚至可能不会与你聊天。对于图像也是如此。为此，一种常见的技术是 RLHF，它使用奖励模型根据用户偏好来奖励或惩罚生成基础模型的输出。为了创建这个奖励模型，我们需要知道用户的偏好，这需要一个数据集，这里是图像。因此，无论是对现有模型（如稳定扩散或通量）进行一些根本性的改变，还是训练自己的模型，重要的是能够以某种方式对图像进行排名，以了解哪些图像更好。这就是这个应用程序的用武之地。