leaderboard

標題	表情符號	python_版本	應用程式檔案	開發工具包	sdk_版本	固定的	標籤
ML.ENERGY 排行榜	⚡	3.9	應用程式.py	漸變	3.39.0	真的	活力 排行榜

ML.ENERGY 排行榜

LLM 和 Diffusion 模型等 GenAI 模型消耗多少能量？

本自述文件重點在於如何自行執行基準測試。實際排行榜在這裡：https://ml.energy/leaderboard。

儲存庫組織

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

鬥獸場

我們對 Hugging Face TGI 進行了檢測，以便它可以測量並返回 GPU 能耗。然後，我們的控制器伺服器從 Gradio 應用程式接收使用者提示，隨機選擇兩個模型，並將模型回應與能耗一起流回。

運行基準測試

我們開源了整個基準測試，並附有說明： ./benchmark

引文

請參閱我們的 BibTeX 檔案： citation.bib 。