leaderboard

título	emoticons	versão_python	arquivo_aplicativo	SDK	versão_sdk	fixado	tags
Tabela de classificação ML.ENERGY	⚡	3.9	aplicativo.py	rádio	3.39.0	verdadeiro	energia tabela de classificação

Tabela de classificação ML.ENERGY

Quanta energia os modelos GenAI, como LLMs e modelos de difusão, consomem?

Este README se concentra em explicar como executar o benchmark você mesmo. A tabela de classificação real está aqui: https://ml.energy/leaderboard.

Organização do Repositório

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

Coliseu

Instrumentamos o Hugging Face TGI para que ele meça e retorne o consumo de energia da GPU. Em seguida, nosso servidor controlador recebe solicitações do usuário do aplicativo Gradio, seleciona dois modelos aleatoriamente e transmite as respostas do modelo de volta com o consumo de energia.

Executando o benchmark

Abrimos o código-fonte de todo o benchmark com instruções aqui: ./benchmark

Citação

Consulte nosso arquivo BibTeX: citation.bib .