leaderboard

заголовок	смайлик	python_version	файл_приложения	SDK	sdk_version	закрепленный	теги
Таблица лидеров ML.ENERGY	⚡	3,9	app.py	градиент	3.39.0	истинный	энергия таблица лидеров

Таблица лидеров ML.ENERGY

Сколько энергии потребляют модели GenAI, такие как модели LLM и Diffusion?

Этот README посвящен объяснению того, как запустить тест самостоятельно. Фактическая таблица лидеров находится здесь: https://ml.energy/leaderboard.

Организация репозитория

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

Колизей

Мы оснастили Hugging Face TGI таким образом, чтобы он измерял и возвращал данные о потреблении энергии графическим процессором. Затем наш сервер контроллера получает запросы пользователя от приложения Gradio, случайным образом выбирает две модели и передает обратно ответы модели с указанием энергопотребления.

Запуск эталонного теста

Мы открыли исходный код всего теста с инструкциями здесь: ./benchmark

Цитирование

Пожалуйста, обратитесь к нашему файлу BibTeX: citation.bib .