الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

AI MicroCore: أساس بسيط لتطبيقات الذكاء الاصطناعي

MicroCore عبارة عن مجموعة من محولات لغة بايثون لنماذج اللغات الكبيرة وواجهات برمجة تطبيقات البحث الدلالي التي تسمح بالتواصل مع هذه الخدمات بطريقة ملائمة، مما يجعلها قابلة للتبديل بسهولة ومنطق أعمال منفصل عن تفاصيل التنفيذ.

فهو يحدد واجهات للميزات المستخدمة عادةً في تطبيقات الذكاء الاصطناعي، مما يسمح لك بإبقاء تطبيقك بسيطًا قدر الإمكان وتجربة نماذج وخدمات مختلفة دون الحاجة إلى تغيير رمز التطبيق الخاص بك.

يمكنك أيضًا التبديل بين نماذج إكمال النص وإكمال الدردشة فقط باستخدام التكوين.

المثال الأساسي للاستخدام هو كما يلي: 

 from microcore import llm

while user_msg := input ( 'Enter message: ' ):
    print ( 'AI: ' + llm ( user_msg ))

؟ روابط

  • مرجع واجهة برمجة التطبيقات
  • حزمة باي بي
  • مستودع جيثب

تثبيت

التثبيت كحزمة PyPi: 

 pip install ai-microcore

وبدلاً من ذلك، يمكنك فقط نسخ مجلد microcore إلى جذر مصادر مشروعك. 

git clone [email protected]:Nayjest/ai-microcore.git && mv ai-microcore/microcore ./ && rm -rf ai-microcore

؟ متطلبات

بايثون 3.10 / 3.11 / 3.12

يتم دعم كل من إصدارات حزمة v0.28+ وv1.X OpenAI.

تكوين

الحد الأدنى من التكوين

يعد وجود OPENAI_API_KEY في متغيرات بيئة نظام التشغيل كافيًا للاستخدام الأساسي.

ستعمل ميزات البحث عن التشابه خارج الصندوق إذا قمت بتثبيت حزمة chromadb pip.

طرق التكوين

هناك عدد قليل من الخيارات المتاحة لتكوين microcore:

  • استخدم microcore.configure(**params)
    يجب أن تكون جميع خيارات التكوين متاحة في تلميحات أدوات الإكمال التلقائي لـ IDE
  • قم بإنشاء ملف .env في جذر المشروع الخاص بك؛ أمثلة: basic.env، وMistral Large.env، وAnthropic Claude 3 Opus.env، وGemini على Vertex AI.env، وGemini على AI Studio.env
  • استخدم ملف تكوين مخصص: mc.configure(DOT_ENV_FILE='dev-config.ini')
  • تحديد متغيرات بيئة نظام التشغيل

للحصول على القائمة الكاملة لخيارات التكوين المتاحة، يمكنك أيضًا التحقق من microcore/config.py .

تثبيت الحزم الخاصة بالبائع

بالنسبة للنماذج التي لا تعمل عبر OpenAI API، قد تحتاج إلى تثبيت حزم إضافية:

الأنثروبي كلود 3 

pip install anthropic

جوجل الجوزاء عبر AI Studio 

pip install google-generativeai

جوجل الجوزاء عبر Vertex AI 

pip install vertexai

بالإضافة إلى العمل من خلال Vertex AI، تحتاج إلى تثبيت Google Cloud CLI وتكوين التفويض.

نماذج اللغة المحلية عبر Hugging Face Transformers

سوف تحتاج إلى تثبيت المحولات ومكتبة التعلم العميق التي تختارها (PyTorch، TensorFlow، Flax، إلخ).

شاهد تركيب المحولات.

أولوية مصادر التكوين

  1. خيارات التكوين التي تم تمريرها كوسائط إلى microcore.configure() لها الأولوية القصوى.
  2. أولوية خيارات ملف التكوين ( .env افتراضيًا أو قيمة DOT_ENV_FILE ) أعلى من متغيرات بيئة نظام التشغيل.
    يؤدي تعيين USE_DOT_ENV إلى false إلى تعطيل قراءة ملفات التكوين.
  3. تتمتع متغيرات بيئة نظام التشغيل بالأولوية الأدنى.

؟ الوظائف الأساسية

llm(موجه: شارع، **kwargs) → شارع

ينفذ طلبًا إلى نموذج لغة كبير (LLM).

متغير غير متزامن: allm(prompt: str, **kwargs) 

 from microcore import *

# Will print all requests and responses to console
use_logging ()

# Basic usage
ai_response = llm ( 'What is your model name?' )

# You also may pass a list of strings as prompt
# - For chat completion models elements are treated as separate messages
# - For completion LLMs elements are treated as text lines
llm ([ '1+2' , '=' ])
llm ( '1+2=' , model = 'gpt-4' )

# To specify a message role, you can use dictionary or classes
llm ( dict ( role = 'system' , content = '1+2=' ))
# equivalent
llm ( SysMsg ( '1+2=' ))

# The returned value is a string
assert '7' == llm ([
 SysMsg ( 'You are a calculator' ),
 UserMsg ( '1+2=' ),
 AssistantMsg ( '3' ),
 UserMsg ( '3+4=' )]
). strip ()

# But it contains all fields of the LLM response in additional attributes
for i in llm ( '1+2=?' , n = 3 , temperature = 2 ). choices :
    print ( 'RESPONSE:' , i . message . content )

# To use response streaming you may specify the callback function:
llm ( 'Hi there' , callback = lambda x : print ( x , end = '' ))

# Or multiple callbacks:
output = []
llm ( 'Hi there' , callbacks = [
    lambda x : print ( x , end = '' ),
    lambda x : output . append ( x ),
])

tpl(file_path, **params) → str

يعرض قالب موجه مع المعلمات.

يتم استخدام قوالب Jinja2 كاملة المواصفات بشكل افتراضي.

خيارات التكوين ذات الصلة: 

 from microcore import configure
configure (
    # 'tpl' folder in current working directory by default
    PROMPT_TEMPLATES_PATH = 'my_templates_folder'
)

text.search(collection: str، query: str | list، n_results: int = 5، حيث: dict = لا شيء، **kwargs) → list[str]

بحث التشابه

text.find_one(self, Collection: str, query: str | list) → str | لا أحد

البحث عن النص الأكثر مماثلة

text.get_all(self, المجموعة: str) -> القائمة[str]

عودة مجموعة من النصوص

text.save(المجموعة: str، النص: str، البيانات الوصفية: dict = لا شيء))

تخزين النص والبيانات الوصفية ذات الصلة في قاعدة بيانات التضمين

text.save_many(collection: str, items: list[tuple[str, dict] | str])

قم بتخزين نصوص متعددة وبيانات التعريف ذات الصلة في قاعدة بيانات التضمين

text.clear(المجموعة: str):

مجموعة واضحة

دعم موفري واجهة برمجة التطبيقات (API) والنماذج

يدعم LLM Microcore جميع النماذج وموفري واجهة برمجة التطبيقات (API) الذين لديهم OpenAI API.

قائمة موفري واجهة برمجة التطبيقات (API) والنماذج التي تم اختبارها باستخدام LLM Microcore:

مزود واجهة برمجة التطبيقات نماذج
OpenAI جميع موديلات GPT-4 وGTP-3.5-Turbo
جميع نماذج إكمال النص (davinci، gpt-3.5-turbo-instruct، إلخ)
مايكروسوفت أزور جميع موديلات OpenAI، ميسترال الكبيرة
أنثروبي نماذج كلود 3
ميسترالAI جميع موديلات ميسترال
استوديو جوجل للذكاء الاصطناعي نماذج جوجل الجوزاء
جوجل فيرتكس الذكاء الاصطناعي الجوزاء برو ونماذج أخرى
الأشعة تحت الحمراء العميقة ديبينفرا/إيروبوروس-70ب
جوندوربين/ايروبوروس-l2-70b-gpt4-1.4.1
meta-llama/Llama-2-70b-chat-hf
والنماذج الأخرى التي تحتوي على OpenAI API
بأي مقياس meta-llama/Llama-2-70b-chat-hf
meta-llama/Llama-2-13b-chat-hf
meta-llama/Llama-7b-chat-hf
جروك LLaMA2 70 ب
ميكسترال 8x7b
جيما 7 ب
ألعاب نارية أكثر من 50 نموذج لغة مفتوح المصدر

واجهات برمجة التطبيقات لنموذج اللغة المحلية المدعومة:

  • HuggingFace Transformers (انظر أمثلة التكوين هنا).
  • نماذج محلية مخصصة من خلال توفير وظيفة خاصة للدردشة/إكمال النص، والاستدلال على المزامنة/غير المتزامن.

️أمثلة

أداة مراجعة الكود

يقوم بمراجعة التعليمات البرمجية بواسطة LLM للتغييرات في ملفات git .patch بأي لغة برمجة.

تحليل الصور (جوجل كولاب)

تحديد عدد البتلات ولون الزهرة من الصورة (gpt-4-turbo)

Banchmark LLMs في مشاكل الرياضيات (Kaggle Notebook)

دقة معيارية لأكثر من 20 نموذجًا من أحدث النماذج في حل مسائل الرياضيات الأولمبية. الاستدلال على نماذج اللغة المحلية عبر محولات HuggingFace، الاستدلال الموازي.

أمثلة أخرى

تعمل بايثون كأدوات للذكاء الاصطناعي

@TODO

؟ وحدات الذكاء الاصطناعي

هذه ميزة تجريبية

يعدل نظام استيراد Python لتوفير الإعداد التلقائي لبيئة MicroCore استنادًا إلى البيانات التعريفية في مستندات الوحدة النمطية.

الاستخدام: 

 import microcore . ai_modules

سمات:

  • يقوم تلقائيًا بتسجيل مجلدات القوالب الخاصة بوحدات الذكاء الاصطناعي في بيئة Jinja2

المساهمة

يرجى الاطلاع على المساهمة للحصول على التفاصيل.

رخصة

مرخص بموجب ترخيص MIT © 2023 Vitalii Stepanenko

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل