api for open llm

API لـ Open LLMS

الصورة تأتي من الورقة: [مسح لنماذج اللغة الكبيرة] (https://arxiv.org/pdf/2303.18223.pdf)

؟ أخبار

• 【2024.06.13】 دعم MiniCPM-Llama3-V-2_5 ، قم بتعديل متغير البيئة MODEL_NAME=minicpm-v PROMPT_NAME=minicpm-v DTYPE=bfloat16

• [2024.06.12] دعم نموذج GLM-4V ، قم بتعديل متغير البيئة MODEL_NAME=glm-4v PROMPT_NAME=glm-4v DTYPE=bfloat16 ، انظر GLM4V للحصول على أمثلة اختبار.

• 【2024.06.08】 تم دعم نموذج QWEN2 ، وتعديل متغير البيئة MODEL_NAME=qwen2 PROMPT_NAME=qwen2

• 【2024.06.05】 دعم نموذج GLM4 وتعديل البيئة متغير MODEL_NAME=chatglm4 PROMPT_NAME=chatglm4

• 【2024.04.18】 نموذج دعم Code Qwen ، SQL Q&A Demo

• 【2024.04.16】 دعم نموذج إعادة ترتيب Rerank ، طريقة الاستخدام

• 【 QWEN1.5 】 البيئة متغير MODEL_NAME=qwen2 PROMPT_NAME=qwen2

لمزيد من الأخبار والتاريخ ، يرجى الذهاب إلى هنا

---

المحتوى الرئيسي لهذا المشروع

ينفذ هذا المشروع واجهة خلفية موحدة لتفكير نماذج كبيرة مفتوحة المصدر ، والتي تتوافق مع استجابة OpenAI ولها الخصائص التالية:

• استدعاء نماذج مفتوحة المصدر المختلفة في شكل OpenAI ChatGPT API

• ️ يدعم استجابة التدفق لتحقيق تأثير الطابعة

• قم بتنفيذ نموذج تضمين النص لتوفير الدعم لصالح Q&A معرفة المستندات

• ️ يدعم وظائف مختلفة من langchain ، وهي أداة تطوير نموذج لغوية واسعة النطاق

• ؟ هل تحتاج فقط إلى تعديل متغيرات البيئة لاستخدام نموذج المصدر المفتوح كنموذج بديل ل chatgpt

• يدعم تحميل نماذج lora المدربة ذاتيا

• ⚡ دعم تسريع الاستدلال VLLM ومعالجة الطلبات المتزامنة

إرشادات المحتوى

الفصل	يصف
؟؟ ‍support نموذج	نماذج مفتوحة المصدر مدعومة بهذا المشروع ومعلومات موجزة
؟ ابدأ الطريقة	أوامر تكوين البيئة وأوامر بدء التشغيل لنماذج بدء التشغيل
طريقة بدء التشغيل ⚡vllm	أوامر تكوين البيئة وأوامر بدء التشغيل لبدء النماذج باستخدام vLLM
طريقة الاتصال	كيفية الاتصال بعد بدء النموذج
❓faq	ردود على بعض الأسئلة الشائعة

نموذج دعم؟

نموذج اللغة

نموذج	حجم المعلمة النموذج
بايتشوان	7B/13B
ChatGlm	6 ب
ديبسيك	7b/16b/67b/236b
Internlm	7B/20B
لاما	7b/13b/33b/65b
لاما 2	7B/13B/70B
لاما 3	8b/70b
Qwen	1.8b/7b/14b/72b
Qwen1.5	0.5b/1.8b/4b/7b/14b/32b/72b/110b
Qwen2	0.5b/1.5b/7b/57b/72b
يي (1/1.5)	6b/9b/34b

للحصول على التفاصيل ، يرجى الرجوع إلى طريقة بدء تشغيل VLLM وطريقة بدء تشغيل Transformers.

نموذج التضمين

نموذج	البعد	رابط الوزن
bge-large-zh	1024	bge-large-zh
M3e-large	1024	moka-ai/m3e-large
Text2vec-large-chinese	1024	Text2vec-large-chinese
bce-embedding-base_v1 (موصى به)	768	bce-embedding-base_v1

؟

متغيرات البيئة

• OPENAI_API_KEY : فقط املأ سلسلة هنا

• OPENAI_API_BASE : عنوان واجهة بدء التشغيل الخلفي ، مثل: http: //192.168.0.xx: 80/v1

واجهة الدردشة

 cd streamlit-demo
pip install -r requirements.txt
streamlit run streamlit_app.py

Openai v1.1.0

اكتمال الدردشة

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)

# Chat completion API
chat_completion = client . chat . completions . create (
    messages = [
        {
            "role" : "user" ,
            "content" : "你好" ,
        }
    ],
    model = "gpt-3.5-turbo" ,
)
print ( chat_completion )
# 你好！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。


# stream = client.chat.completions.create(
#     messages=[
#         {
#             "role": "user",
#             "content": "感冒了怎么办",
#         }
#     ],
#     model="gpt-3.5-turbo",
#     stream=True,
# )
# for part in stream:
#     print(part.choices[0].delta.content or "", end="", flush=True)

الانتهاء

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)


# Chat completion API
completion = client . completions . create (
    model = "gpt-3.5-turbo" ,
    prompt = "你好" ,
)
print ( completion )
# 你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

التضمين

 from openai import OpenAI

client = OpenAI (
    api_key = "EMPTY" ,
    base_url = "http://192.168.20.59:7891/v1/" ,
)


# compute the embedding of the text
embedding = client . embeddings . create (
    input = "你好" ,
    model = "text-embedding-ada-002"
)
print ( embedding )

مشاريع يمكن الوصول إليها

من خلال تعديل متغير بيئة OPENAI_API_BASE ، يمكن توصيل معظم تطبيقات chatgpt والمشاريع الأمامية بسلاسة!

• Chatgpt-next-Web: نقرة واحدة لنشر واجهة مستخدم Web atgpt مصممة بشكل جيد على Vercel

docker run -d -p 3000:3000 
   -e OPENAI_API_KEY= " sk-xxxx " 
   -e BASE_URL= " http://192.168.0.xx:80 " 
   yidadaa/chatgpt-next-web

• التصفح: منصة LLMOPS سهلة الاستخدام مصممة لتمكين المزيد من الأشخاص من إنشاء تطبيقات مستدام

 # 在docker-compose.yml中的api和worker服务中添加以下环境变量
OPENAI_API_BASE: http://192.168.0.xx:80/v1
DISABLE_PROVIDER_CONFIG_VALIDATION: ' true ' 

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Apache 2.0 ، راجع ملف الترخيص لمزيد من المعلومات.

؟ مراجع

• ChatGlm: نموذج لغة حوار مفتوح ثنائي اللغة

• Bloom: نموذج لغة متعددة اللغات الوصول إلى 176B المعلمة

• لاما: نماذج لغة أساس مفتوحة وفعالة

• ترميز نص فعال وفعال لـ llama الصينية والألبكة

• فينيكس: إضفاء الطابع الديمقراطي على اللغات عبر اللغات

• MOSS: نموذج لغة محادثة مكون من مكونات إضافية مفتوحة

• Fastchat: منصة مفتوحة للتدريب والخدمة وتقييم chatbots القائمة على نموذج اللغة الكبيرة

• Langchain: بناء التطبيقات مع LLMs من خلال التكلفة

• Chuanhuchatgpt

تاريخ النجوم