leaderboard

标题	表情符号	python_版本	应用程序文件	开发工具包	sdk_版本	固定的	标签
ML.ENERGY 排行榜	⚡	3.9	应用程序.py	渐变	3.39.0	真的	活力 排行榜

ML.ENERGY 排行榜

LLM 和 Diffusion 模型等 GenAI 模型消耗多少能量？

本自述文件重点介绍如何自行运行基准测试。实际排行榜在这里：https://ml.energy/leaderboard。

存储库组织

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

斗兽场

我们对 Hugging Face TGI 进行了检测，以便它测量并返回 GPU 能耗。然后，我们的控制器服务器从 Gradio 应用程序接收用户提示，随机选择两个模型，并将模型响应与能耗一起流回。

运行基准测试

我们开源了整个基准测试，并附有说明： ./benchmark

引文

请参阅我们的 BibTeX 文件： citation.bib 。