leaderboard

Titel	Emoji	python_version	app_file	SDK	sdk_version	angepinnt	Tags
ML.ENERGY-Rangliste	⚡	3.9	app.py	Grado	3.39.0	WAHR	Energie Bestenliste

ML.ENERGY-Rangliste

Wie viel Energie verbrauchen GenAI-Modelle wie LLMs und Diffusionsmodelle?

Der Schwerpunkt dieser README-Datei liegt auf der Erläuterung, wie Sie den Benchmark selbst durchführen können. Die aktuelle Rangliste finden Sie hier: https://ml.energy/leaderboard.

Repository-Organisation

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

Kolosseum

Wir haben Hugging Face TGI so instrumentiert, dass es den GPU-Energieverbrauch misst und zurückgibt. Anschließend empfängt unser Controller-Server Benutzeraufforderungen von der Gradio-App, wählt zufällig zwei Modelle aus und überträgt die Modellantworten zusammen mit dem Energieverbrauch zurück.

Ausführen des Benchmarks

Wir haben den gesamten Benchmark mit Anweisungen hier als Open Source bereitgestellt: ./benchmark

Zitat

Bitte beachten Sie unsere BibTeX-Datei: citation.bib .