leaderboard

titre	émoticône	version_python	fichier_app	SDK	version_sdk	épinglé	balises
Classement ML.ENERGY	⚡	3.9	app.py	radio	3.39.0	vrai	énergie classement

Classement ML.ENERGY

Quelle quantité d’énergie les modèles GenAI comme les LLM et les modèles de diffusion consomment-ils ?

Ce README explique comment exécuter le benchmark vous-même. Le classement actuel est ici : https://ml.energy/leaderboard.

Organisation du référentiel

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

Colisée

Nous avons instrumenté Hugging Face TGI pour qu'il mesure et restitue la consommation d'énergie du GPU. Ensuite, notre serveur de contrôleur reçoit les invites utilisateur de l'application Gradio, sélectionne deux modèles de manière aléatoire et renvoie les réponses du modèle avec la consommation d'énergie.

Exécution du benchmark

Nous avons open-source l'intégralité du benchmark avec des instructions ici : ./benchmark

Citation

Veuillez vous référer à notre fichier BibTeX : citation.bib .