leaderboard

제목	이모티콘	python_version	앱_파일	SDK	SDK_버전	고정된	태그
ML.ENERGY 리더보드	⚡	3.9	app.py	그라디오	3.39.0	진실	에너지 리더보드

ML.ENERGY 리더보드

LLM 및 확산 모델과 같은 GenAI 모델은 얼마나 많은 에너지를 소비합니까?

이 README는 벤치마크를 직접 실행하는 방법을 설명하는 데 중점을 둡니다. 실제 리더보드는 https://ml.energy/leaderboard에 있습니다.

저장소 조직

 leaderboard/
├── benchmark/      # Benchmark scripts & instructions
├── data/           # Benchmark results
├── deployment/     # Colosseum deployment files
├── spitfight/      # Python package for the Colosseum
├── app.py          # Leaderboard Gradio app definition
└── index.html      # Embeds the leaderboard HuggingFace Space

콜롯세움

GPU 에너지 소비를 측정하고 반환하도록 Hugging Face TGI를 계측했습니다. 그런 다음 컨트롤러 서버는 Gradio 앱에서 사용자 프롬프트를 수신하고 무작위로 두 모델을 선택한 다음 에너지 소비와 함께 모델 응답을 다시 스트리밍합니다.

벤치마크 실행

우리는 여기에 지침을 포함하여 전체 벤치마크를 오픈 소스로 공개했습니다: ./benchmark

소환

BibTeX 파일인 citation.bib 를 참조하세요.