الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

| مدونة | التوثيق | انضم إلى سلاك | انضم إلى اجتماع التنمية نصف الأسبوعي | الشرائح |

أخبار

  • [2024/10] أول لقاء عبر الإنترنت لـ SGLang (الشرائح).
  • [2024/09] إصدار SGLang v0.3: 7x DeepSeek MLA أسرع، 1.5x أسرع torch.compile، Multi-Image/Video LLaVA-OneVision (مدونة).
  • [2024/07] عرض Llama3 أسرع مع SGLang Runtime (مقابل TensorRT-LLM، vLLM) (مدونة).
أكثر
  • [2024/02] يتيح SGLang فك تشفير JSON أسرع بثلاث مرات باستخدام آلة الحالة المحدودة المضغوطة (مدونة).
  • [2024/04] يتم استخدام SGLang بواسطة إصدار (مدونة ) LLaVA-NeXT الرسمي (فيديو ).
  • [2024/01] يوفر SGLang استدلالًا أسرع بما يصل إلى 5x مع RadixAttention (مدونة).
  • [2024/01] تعمل SGLang على تشغيل الإصدار التجريبي الرسمي لإصدار LLaVA v1.6 (الاستخدام).

عن

SGLang هو إطار عمل سريع الخدمة لنماذج اللغات الكبيرة ونماذج لغة الرؤية. فهو يجعل تفاعلك مع النماذج أسرع وأكثر قابلية للتحكم من خلال التصميم المشترك لوقت تشغيل الواجهة الخلفية ولغة الواجهة الأمامية. تشمل الميزات الأساسية ما يلي:

  • وقت تشغيل سريع للواجهة الخلفية : يوفر خدمة فعالة مع RadixAttention للتخزين المؤقت للبادئة، وفك التشفير المقيد للقفز للأمام، والتجميع المستمر، والاهتمام بالرمز المميز (الانتباه إلى الصفحات)، وتوازي الموتر، ونواة FlashInfer، والتعبئة المسبقة المقسمة، والتكميم (INT4/FP8/AWQ/GPTQ).
  • لغة الواجهة الأمامية المرنة : توفر واجهة بديهية لبرمجة تطبيقات LLM، بما في ذلك مكالمات التوليد المتسلسلة، والمطالبة المتقدمة، وتدفق التحكم، والمدخلات متعددة الوسائط، والتوازي، والتفاعلات الخارجية.
  • دعم واسع النطاق للنماذج : يدعم مجموعة واسعة من النماذج التوليدية (Llama وGemma وMistral وQWen وDeepSeek وLLaVA وما إلى ذلك)، ونماذج التضمين (e5-mistral وgte) ونماذج المكافآت (Skywork)، مع إمكانية التوسعة السهلة لدمج الجديد نماذج.
  • المجتمع النشط : SGLang مفتوح المصدر ومدعوم بمجتمع نشط يعتمد الصناعة.

ابدء

تثبيت SGLang: راجع https://sgl-project.github.io/start/install.html

إرسال الطلبات: راجع https://sgl-project.github.io/start/send_request.html

الواجهة الخلفية: وقت تشغيل SGLang (SRT)

راجع https://sgl-project.github.io/backend/backend.html

الواجهة الأمامية: لغة الجيل المنظمة (SGLang)

راجع https://sgl-project.github.io/frontend/frontend.html

المعيار والأداء

تعرف على المزيد في مدونات الإصدار الخاصة بنا: مدونة v0.2، مدونة v0.3

خريطة الطريق

خارطة طريق التنمية (الربع الرابع من عام 2024)

الاقتباس والتقدير

من فضلك استشهد بمقالتنا، SGLang: التنفيذ الفعال لبرامج نماذج اللغة المنظمة، إذا وجدت المشروع مفيدًا. لقد تعلمنا أيضًا من التصميم والتعليمات البرمجية المُعاد استخدامها من المشاريع التالية: Guidance وvLLM وLightLLM وFlashInfer وOutlines وLMQL.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل