leaderboard

título	emojis	versión_python	archivo_aplicación	SDK	sdk_version	fijado	etiquetas
Tabla de clasificación de ML.ENERGY	⚡	3.9	aplicación.py	grado	3.39.0	verdadero	energía tabla de clasificación

Tabla de clasificación de ML.ENERGY

¿Cuánta energía consumen los modelos GenAI como los LLM y los modelos de difusión?

Este README se centra en explicar cómo ejecutar el punto de referencia usted mismo. La tabla de clasificación real está aquí: https://ml.energy/leaderboard.

Organización del repositorio

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

Coliseo

Instrumentamos Hugging Face TGI para que mida y devuelva el consumo de energía de la GPU. Luego, nuestro servidor de controlador recibe indicaciones del usuario desde la aplicación Gradio, selecciona dos modelos al azar y transmite las respuestas del modelo con el consumo de energía.

Ejecutando el punto de referencia

Abrimos el punto de referencia completo con instrucciones aquí: ./benchmark

Citación

Consulte nuestro archivo BibTeX: citation.bib .