vercel llm api

Python Vercel LLM API

هذا عبارة عن غلاف API هندسي عكسي لملعب Vercel AI ، والذي يسمح بالوصول المجاني إلى العديد من LLMs ، بما في ذلك Openai's ChatGpt ، Coher's Command Lightly ، بالإضافة إلى بعض الطرز المفتوحة المصدر.

جدول المحتويات:

• سمات
• القيود
• تثبيت
• الوثائق
  • باستخدام العميل
    • تنزيل النماذج المتاحة
    • توليد النص
    • توليد رسائل الدردشة
  • متفرقات
    • تغيير مستوى التسجيل
• حقوق الطبع والنشر
  • إشعار حقوق الطبع والنشر

جدول المحتويات المتولدة مع Markdown-TOC.

سمات:

• قم بتنزيل النماذج المتاحة
• توليد النص
• إنشاء رسائل الدردشة
• تعيين معلمات مخصصة
• دفق الردود

القيود:

• وكيل المستخدم متشددين
• لا دعم المصادقة
• لا يمكن استخدام نماذج "Pro" أو "Hobby"

تثبيت:

يمكنك تثبيت هذه المكتبة عن طريق تشغيل الأمر التالي:

 pip3 install vercel-llm-api

الوثائق:

يمكن العثور على أمثلة في دليل /examples . لتشغيل هذه الأمثلة ، ما عليك سوى تنفيذ ملفات Python المضمنة من المحطة الخاصة بك.

 python3 examples/generate.py

باستخدام العميل:

لاستخدام هذه المكتبة ، ما عليك سوى استيراد vercel_ai وإنشاء مثيل vercel_ai.Client . يمكنك تحديد وكيل باستخدام وسيطة الكلمة الرئيسية proxy .

مثال طبيعي:

 import vercel_ai
client = vercel_ai . Client ()

مثال على ذلك:

 import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" )

لاحظ أن الأمثلة التالية تفترض أن client هو اسم مثيل vercel_ai.Client الخاص بك.

تنزيل النماذج المتاحة:

يقوم العميل بتنزيل النماذج المتاحة عند التهيئة ، ويخزنها في client.models .

 >> > print ( json . dumps ( client . models , indent = 2 ))

{
  "anthropic:claude-instant-v1" : { 
    "id" : "anthropic:claude-instant-v1" , #the model's id
    "provider" : "anthropic" ,             #the model's provider
    "providerHumanName" : "Anthropic" ,    #the provider's display name
    "makerHumanName" : "Anthropic" ,       #the maker of the model
    "minBillingTier" : "hobby" ,           #the minimum billing tier needed to use the model
    "parameters" : {                      #a dict of optional parameters that can be passed to the generate function
      "temperature" : {                   #the name of the parameter
        "value" : 1 ,                      #the default value for the parameter
        "range" : [ 0 , 1 ]                  #a range of possible values for the parameter
      },
      ...
    }
    ...
  }
}

لاحظ أنه نظرًا لعدم وجود مصادقة حتى الآن ، إذا كان هناك نموذج له خاصية "minBillingTier" ، فلا يمكن استخدامه.

تتوفر قائمة بمعرفات النموذج أيضًا في client.model_ids .

 >> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
  "anthropic:claude-instant-v1" , #locked to hobby tier; unusable
  "anthropic:claude-v1" ,         #locked to hobby tier; unusable
  "replicate:replicate/alpaca-7b" ,
  "replicate:stability-ai/stablelm-tuned-alpha-7b" ,
  "huggingface:bigscience/bloom" ,
  "huggingface:bigscience/bloomz" ,
  "huggingface:google/flan-t5-xxl" ,
  "huggingface:google/flan-ul2" ,
  "huggingface:EleutherAI/gpt-neox-20b" ,
  "huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
  "huggingface:bigcode/santacoder" ,
  "cohere:command-medium-nightly" ,
  "cohere:command-xlarge-nightly" ,
  "openai:gpt-4" ,                #locked to pro tier; unusable
  "openai:code-cushman-001" ,
  "openai:code-davinci-002" ,
  "openai:gpt-3.5-turbo" ,
  "openai:text-ada-001" ,
  "openai:text-babbage-001" ,
  "openai:text-curie-001" ,
  "openai:text-davinci-002" ,
  "openai:text-davinci-003"
]

يمكن الاطلاع على قول المعلمات الافتراضية لكل نموذج على client.model_params .

 >> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
  "anthropic:claude-instant-v1" : {
    "temperature" : 1 ,
    "maximumLength" : 200 ,
    "topP" : 1 ,
    "topK" : 1 ,
    "presencePenalty" : 1 ,
    "frequencyPenalty" : 1 ,
    "stopSequences" : [
      " n n Human:"
    ]
  },
  ...
}

توليد النص:

لإنشاء بعض النص ، استخدم وظيفة client.generate ، التي تقبل الوسائط التالية:

• model - معرف النموذج الذي تريد استخدامه.
• prompt - موجه الخاص بك.
• params = {} - قول معلمات اختيارية. انظر القسم السابق لمعرفة كيفية العثور على هذه.

الوظيفة هي مولد يرجع النص الذي تم إنشاؤه حديثًا كسلسلة.

مثال متدفق:

 for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  print ( chunk , end = "" , flush = True )

مثال غير موجود:

 result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  result += chunk
print ( result )

توليد رسائل الدردشة:

لإنشاء رسائل الدردشة ، استخدم وظيفة client.chat ، التي تقبل الوسائط التالية:

• model - معرف النموذج الذي تريد استخدامه.
• messages - قائمة بالرسائل. إن تنسيق هذا مطابق لكيفية استخدام واجهة برمجة تطبيقات Openai الرسمية.
• params = {} - قول معلمات اختيارية. راجع قسم "تنزيل النماذج المتوفرة" لكيفية العثور على هذه.

الوظيفة هي مولد يرجع النص الذي تم إنشاؤه حديثًا كسلسلة.

 messages = [
  { "role" : "system" , "content" : "You are a helpful assistant." },
  { "role" : "user" , "content" : "Who won the world series in 2020?" },
  { "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
  { "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
  print ( chunk , end = "" , flush = True )
print ()

متفرقات:

تغيير مستوى التسجيل:

إذا كنت ترغب في عرض رسائل التصحيح ، فما عليك سوى الاتصال بـ vercel_ai.logger.setLevel .

 import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )

حقوق الطبع والنشر:

تم ترخيص هذا البرنامج بموجب GNU GPL V3. لقد كتبت جميع الكود من قبلي ، ADING2210.

إشعار حقوق الطبع والنشر:

 ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program.  If not, see <https://www.gnu.org/licenses/>.