sarathi serve

Sarathi-Servir

Sarathi-Serve es un marco de servicio LLM de alto rendimiento y baja latencia. Consulte nuestro documento OSDI'24 para obtener más detalles.

Configuración

Configurar CUDA

Sarathi-Serve se probó con CUDA 12.3 en GPU H100 y A100.

Repositorio de clones

git clone [email protected]:microsoft/sarathi-serve.git

Crear ambiente mamba

Configura mamba si aún no lo tienes,

wget https://github.com/conda-forge/miniforge/releases/latest/download/Mambaforge-Linux-x86_64.sh
bash Mambaforge-Linux-x86_64.sh # follow the instructions from there

Cree un entorno Python 3.10,

mamba create -p ./env python=3.10  

Instalar Sarathi-Servir

pip install -e . --extra-index-url https://flashinfer.ai/whl/cu121/torch2.3/

Reproducción de resultados

Consulte los archivos Léame en las carpetas individuales correspondientes a cada figura en osdi-experiments .

Citación

Si utiliza nuestro trabajo, considere citar nuestro artículo:

 @article{agrawal2024taming,
  title={Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve},
  author={Agrawal, Amey and Kedia, Nitin and Panwar, Ashish and Mohan, Jayashree and Kwatra, Nipun and Gulavani, Bhargav S and Tumanov, Alexey and Ramjee, Ramachandran},
  journal={Proceedings of 18th USENIX Symposium on Operating Systems Design and Implementation, 2024, Santa Clara},
  year={2024}
}

Reconocimiento

Este repositorio comenzó originalmente como una bifurcación del proyecto vLLM. Sarathi-Serve es un prototipo de investigación y no tiene una paridad completa de funciones con vLLM de código abierto. Solo conservamos las características más críticas y adoptamos el código base para iteraciones de investigación más rápidas.