leaderboard

タイトル	絵文字	Python_バージョン	アプリファイル	SDK	SDK_バージョン	固定された	タグ
ML.ENERGY リーダーボード	⚡	3.9	app.py	グラディオ	3.39.0	真実	エネルギー リーダーボード

ML.ENERGY リーダーボード

LLM や拡散モデルなどの GenAI モデルはどのくらいのエネルギーを消費しますか?

この README は、自分でベンチマークを実行する方法の説明に重点を置いています。実際のリーダーボードはここにあります: https://ml.energy/leaderboard。

リポジトリの構成

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

コロッセオ

Hugging Face TGI を装備して、GPU のエネルギー消費量を測定して返すようにしました。次に、コントローラー サーバーは Gradio アプリからユーザー プロンプトを受信し、2 つのモデルをランダムに選択し、モデルの応答をエネルギー消費とともにストリーミングして返します。

ベンチマークの実行

ベンチマーク全体をオープンソース化し、手順をここに示します: ./benchmark

引用

BibTeX ファイルcitation.bibを参照してください。