sglangダウンロード - sglangソースコードのダウンロード

ダウンロード

ニュース

[2024/10] 第 1 回 SGLang オンラインミートアップ (スライド)。
[2024/09] SGLang v0.3 リリース: 7 倍高速な DeepSeek MLA、1.5 倍高速な torch.compile、マルチイメージ/ビデオ LLaVA-OneVision (ブログ)。
[2024/07] SGLang ランタイムによる Llama3 の高速化 (対 TensorRT-LLM、vLLM) (ブログ)。

もっと

SGLang は、大規模な言語モデルとビジョン言語モデルに高速に対応するフレームワークです。バックエンドランタイムとフロントエンド言語を共同設計することで、モデルとの対話がより高速になり、より制御しやすくなります。主な機能には次のようなものがあります。

高速バックエンドランタイム: プレフィックスキャッシュ、ジャンプフォワード制約付きデコード、連続バッチ処理、トークンアテンション (ページアテンション)、テンソル並列処理、FlashInfer カーネル、チャンクプレフィル、量子化 (INT4/FP8/AWQ/GPTQ) に対して、Radixtention による効率的なサービスを提供します。
柔軟なフロントエンド言語: 連鎖生成呼び出し、高度なプロンプト、制御フロー、マルチモーダル入力、並列処理、外部対話など、LLM アプリケーションをプログラミングするための直感的なインターフェイスを提供します。
広範なモデルのサポート: 幅広い生成モデル (Llama、Gemma、Mistral、QWen、DeepSeek、LLaVA など)、埋め込みモデル (e5-mistral、gte)、報酬モデル (Skywork) をサポートし、新しいモデルを統合するための簡単な拡張性を備えています。モデル。
活発なコミュニティ: SGLang はオープンソースであり、業界で採用されている活発なコミュニティによって支えられています。