rtp llm
v0.2.0
英語 中国語
次のような多数の LLM シナリオに適用されます。
cd rtp-llm/docker
# IMAGE_NAME =
# if cuda11: registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:deploy_image_cuda11
# if cuda12: registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:deploy_image_cuda12
sh ./create_container.sh < CONTAINER_NAME > < IMAGE_NAME >
sh CONTAINER_NAME/sshme.sh
cd ../
# start http service
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server
# request to server
curl -XPOST http://localhost:8088 -d ' {"prompt": "hello, what is your name", "generate_config": {"max_new_tokens": 1000}} ' # Install rtp-llm
cd rtp-llm
# For cuda12 environment, please use requirements_torch_gpu_cuda12.txt
pip3 install -r ./open_source/deps/requirements_torch_gpu.txt
# Use the corresponding whl from the release version, here's an example for the cuda11 version 0.1.0, for the cuda12 whl package please check the release page.
pip3 install maga_transformer-0.1.9+cuda118-cp310-cp310-manylinux1_x86_64.whl
# start http service
cd ../
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server
# request to server
curl -XPOST http://localhost:8088 -d ' {"prompt": "hello, what is your name", "generate_config": {"max_new_tokens": 1000}} 'リブカフト.so
エラー ログ: OSError: libcufft.so.11: cannot open shared object file: No such file or directory
解決策: cuda と rtp-llm のバージョンが一致しているかどうかを確認してください。
libth_transformer.so
エラー ログ: OSError: /rtp-llm/maga_transformer/libs/libth_transformer.so: cannot open shared object file: No such file or directory
解決策: whl または docker (Bazel ビルドではないことを意味します) 経由でインストールされている場合は、現在のディレクトリが rtp-llm ではないことを確認してください。そうしないと、Python はインストールされた whl の代わりに相対パス パッケージを使用します。
Bazel ビルドのタイムアウト
エラー ログ: ERROR: no such package '@pip_gpu_cuda12_torch//': rules_python_external failed: (Timed out)
解決：
Curl エラーエラー ログ: thread '<unnamed>' panicked at 'index out of bounds: the len is 1 but the index is 1', /root/.cargo/registry/src/github.com-1ecc6299db9ec823/regex-1.8.1/src/dfa.rs:1415:45
解決策: tiktoken を 0.7.0 にアップグレードします。
私たちのプロジェクトは主に FasterTransformer に基づいており、これに基づいて TensorRT-LLM のカーネル実装をいくつか統合しました。 FasterTransformer と TensorRT-LLM により、信頼できるパフォーマンスが保証されます。 Flash-Attendance2 と Cutlass も、継続的なパフォーマンス最適化プロセスに多くの助けを提供してくれました。継続的なバッチ処理とインクリメント デコードは vllm の実装を利用しています。サンプリングはトランスフォーマーを利用し、投機的サンプリングは Medusa の実装を統合し、マルチモーダル部分は llava と qwen-vl の実装を統合します。これらのプロジェクトのインスピレーションと支援に感謝いたします。
