rtp llm
v0.2.0
영어 중국어
다음과 같은 다양한 LLM 시나리오에 적용됩니다.
cd rtp-llm/docker
# IMAGE_NAME =
# if cuda11: registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:deploy_image_cuda11
# if cuda12: registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:deploy_image_cuda12
sh ./create_container.sh < CONTAINER_NAME > < IMAGE_NAME >
sh CONTAINER_NAME/sshme.sh
cd ../
# start http service
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server
# request to server
curl -XPOST http://localhost:8088 -d ' {"prompt": "hello, what is your name", "generate_config": {"max_new_tokens": 1000}} ' # Install rtp-llm
cd rtp-llm
# For cuda12 environment, please use requirements_torch_gpu_cuda12.txt
pip3 install -r ./open_source/deps/requirements_torch_gpu.txt
# Use the corresponding whl from the release version, here's an example for the cuda11 version 0.1.0, for the cuda12 whl package please check the release page.
pip3 install maga_transformer-0.1.9+cuda118-cp310-cp310-manylinux1_x86_64.whl
# start http service
cd ../
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server
# request to server
curl -XPOST http://localhost:8088 -d ' {"prompt": "hello, what is your name", "generate_config": {"max_new_tokens": 1000}} 'libcufft.so
오류 로그 : OSError: libcufft.so.11: cannot open shared object file: No such file or directory
해결방법 : cuda와 rtp-llm 버전이 일치하는지 확인해주세요.
libth_transformer.so
오류 로그 : OSError: /rtp-llm/maga_transformer/libs/libth_transformer.so: cannot open shared object file: No such file or directory
해결 방법 : whl 또는 docker를 통해 설치된 경우(bazel 빌드가 아님을 의미) 현재 디렉터리가 rtp-llm이 아닌지 확인하세요. 그렇지 않으면 Python이 설치된 whl 대신 상대 경로 패키지를 사용합니다.
Bazel 빌드 시간 초과
오류 로그 : ERROR: no such package '@pip_gpu_cuda12_torch//': rules_python_external failed: (Timed out)
해결 :
컬 오류 오류 로그 : thread '<unnamed>' panicked at 'index out of bounds: the len is 1 but the index is 1', /root/.cargo/registry/src/github.com-1ecc6299db9ec823/regex-1.8.1/src/dfa.rs:1415:45
해결 방법 : tiktoken을 0.7.0으로 업그레이드하세요.
우리 프로젝트는 주로 FasterTransformer를 기반으로 하며, 이를 기반으로 TensorRT-LLM의 일부 커널 구현을 통합했습니다. FasterTransformer와 TensorRT-LLM은 안정적인 성능을 보장해 주었습니다. Flash-Attention2와 cutlass는 지속적인 성능 최적화 프로세스에도 많은 도움을 주었습니다. 우리의 지속적인 일괄 처리 및 증분 디코딩은 vllm 구현을 기반으로 합니다. 샘플링은 Medusa의 구현을 통합하는 추측 샘플링과 llava 및 qwen-vl의 구현을 통합하는 다중 모드 부분을 사용하여 변환기를 사용합니다. 영감과 도움을 주신 이들 프로젝트에 감사드립니다.
