LLM VM
1.0.0
خادم AGI مفتوح المصدر لـ LLMs مفتوح المصدر
هل هذه هي جهود Anarchy لبناء ذكاء اصطناعي مفتوح ومعمم؟ من خلال LLM-VM: طريقة لمنح LLM الخاص بك قوى خارقة؟ والسرعة الفائقة؟
يمكنك العثور على تعليمات مفصلة لتجربتها مباشرة هنا: anarchy.ai
هذا المشروع في مرحلة تجريبية. توقع التحسين والتطوير المستمر.
Anarchy LLM-VM عبارة عن واجهة خلفية محسّنة للغاية ومدروسة لتشغيل LLMs مع جميع الميزات الحديثة التي نتوقعها من الاكتمال: استخدام الأداة، والذاكرة ذات الحالة المستمرة، وزيادة البيانات الحية، وضبط البيانات والمهام، ونمذجة المخرجات، ملعب ويب، ونقاط نهاية واجهة برمجة التطبيقات (API)، وتقطير الطالب والمعلم، وتوليف البيانات، وموازنة التحميل والتنسيق، وتقليد نافذة السياق الكبيرة.
رسميًا، هو جهاز افتراضي/مترجم للغة البشرية، يقوم بالتنسيق بين البيانات والنماذج (CPU) والمطالبات (الكود) والأدوات (IO).
من خلال القيام بكل هذه الأشياء في مكان واحد وبطريقة مدروسة، يمكن لـ LLM-VM تحسين المكالمات المجمعة بشكل صحيح والتي قد تكون باهظة الثمن مع نقاط النهاية الموزعة. علاوة على ذلك، فهي تسعى جاهدة لتحقيق اللاأدرية النموذجية والهندسة المعمارية، مما يؤدي إلى تحسين النموذج المختار للهندسة المعمارية الحالية بشكل صحيح.
تماشيًا مع مهمة Anarchy، تسعى LLM-VM جاهدة لدعم النماذج مفتوحة المصدر. من خلال استخدام النماذج مفتوحة المصدر وتشغيلها محليًا، يمكنك تحقيق العديد من الفوائد:
تسريع تطوير AGI الخاص بك: مع AnarchyAI، كل ما تحتاجه هو واجهة واحدة للتفاعل مع أحدث LLMs المتاحة.
خفض تكاليفك؟: تشغيل النماذج محليًا يمكن أن يقلل من تكاليف التطوير والاختبار المدفوعة أولاً بأول.
المرونة ?♀️: تسمح لك الفوضى بالتبديل السريع بين النماذج الشائعة حتى تتمكن من تحديد الأداة المناسبة لمشروعك.
ردود فعل المجتمع؟: انضم إلى مجتمعنا النشط من المطورين والمهندسين المتحمسين للغاية الذين يعملون بشغف لإضفاء الطابع الديمقراطي على AGI
WYSIWYG؟: المصدر المفتوح يعني أنه لا يوجد شيء مخفي؛ نحن نسعى جاهدين لتحقيق الشفافية والكفاءة حتى تتمكن من التركيز على البناء.
الوكلاء الضمنيون؟: يمكن إعداد Anarchy LLM-VM لاستخدام أدوات خارجية من خلال وكلائنا مثل REBEL فقط من خلال توفير أوصاف الأدوات!
تحسين الاستدلال؟: تم تحسين Anarchy LLM-VM بدءًا من مستوى الوكيل وصولاً إلى التجميع على بنيات LLM المعروفة للحصول على أقصى استفادة من أموالك. من خلال أحدث عمليات التجميع، والاستدلال المتفرق، والتكميم، والتقطير، والمواقع المشتركة متعددة المستويات، نهدف إلى توفير أسرع إطار عمل متاح.
التحسين التلقائي للمهام؟: سيقوم Anarchy LLM-VM بتحليل حالات الاستخدام الخاصة بك للمهام المتكررة حيث يمكنه تنشيط عملية التقطير بين الطالب والمعلم لتدريب نموذج صغير فائق الكفاءة من نموذج أكبر وأكثر عمومية دون فقدان الدقة. ويمكنه علاوة على ذلك الاستفادة من تقنيات تجميع البيانات لتحسين النتائج.
مكتبة قابلة للاستدعاء: نحن نقدم مكتبة يمكن استخدامها من أي قاعدة تعليمات برمجية لـ Python مباشرة.
نقاط نهاية HTTP ️: نحن نقدم خادم HTTP مستقل للتعامل مع طلبات الإكمال.
زيادة البيانات المباشرة: (ROADMAP) ستكون قادرًا على توفير مجموعة بيانات محدثة مباشرة وسيقوم Anarchy LLM-VM بضبط النماذج الخاصة بك أو العمل مع قاعدة بيانات متجهة لتوفير معلومات محدثة مع الاستشهادات
ملعب الويب؟: (ROADMAP) ستتمكن من تشغيل Anarchy LLM-VM واختبار مخرجاته من المتصفح.
موازنة التحميل والتنسيق ⚖️: (ROADMAP) إذا كان لديك العديد من LLMs أو مقدمي الخدمة الذين ترغب في الاستفادة منهم، فستكون قادرًا على تسليمهم إلى Anarchy LLM-VM لمعرفة تلقائيًا أي منهم يجب العمل معه ومتى يتم تحسينه. الجهوزية أو التكاليف الخاصة بك
قالب الإخراج؟: (ROADMAP) يمكنك التأكد من أن LLM يقوم فقط بإخراج البيانات بتنسيقات محددة وملء المتغيرات من قالب إما باستخدام التعبيرات العادية أو LMQL أو لغة قالب OpenAI
الذاكرة ذات الحالة الدائمة: (ROADMAP) يمكن لـ Anarchy LLM-VM أن يتذكر سجل محادثة المستخدم ويتفاعل وفقًا لذلك
بايثون>=3.10 مدعوم. الإصدارات الأقدم من Python تعتمد على أفضل الجهود.
استخدم bash > python3 --version للتحقق من الإصدار الذي تستخدمه.
لترقية لغة بايثون الخاصة بك، قم إما بإنشاء بيئة بايثون جديدة باستخدام bash > conda create -n myenv python=3.10 أو انتقل إلى https://www.python.org/downloads/ لتنزيل أحدث إصدار.
If you plan on running the setup steps below, a proper Python version will be installed for you
النماذج المختلفة لها متطلبات نظام مختلفة. من المرجح أن تكون ذاكرة الوصول العشوائي (RAM) هي العوامل المقيدة لمعظم الأنظمة، ولكن العديد من الوظائف ستعمل حتى مع 16 جيجابايت من ذاكرة الوصول العشوائي (RAM).
ومع ذلك، ابحث دائمًا عن المعلومات المتعلقة بالنماذج التي تستخدمها، فكلها لها أحجام ومتطلبات مختلفة في الذاكرة وموارد الحساب.
أسرع طريقة للبدء هي تشغيل pip install llm-vm في بيئة Python الخاصة بك.
هناك طريقة أخرى لتثبيت LLM-VM وهي استنساخ هذا المستودع وتثبيته باستخدام نقطة كما يلي:
> git clone https://github.com/anarchy-ai/LLM-VM.git
> cd LLM-VM
> ./setup.sh يعمل برنامج bash script setup.sh أعلاه فقط مع نظامي التشغيل MacOS وLinux.
بدلا من ذلك يمكنك القيام بذلك:
> git clone https://github.com/anarchy-ai/LLM-VM.git
> cd LLM-VM
> python -m venv < name >
> source < name > /bin/activate
> python -m pip install -e . " [dev] "إذا كنت تستخدم نظام التشغيل Windows. يمكنك اتباع إحدى الطريقتين التاليتين:
قبل القيام بأي من الخطوات التالية، عليك أولاً فتح Powershell كمسؤول وتشغيل الأمر أدناه
> Set-ExecutionPolicy RemoteSigned
> Press Y and enter
> exitالآن يمكنك اتباع إحدى الطريقتين التاليتين:
> git clone https://github.com/anarchy-ai/LLM-VM.git
> cd LLM-VM
> .windows_setup.ps1أو
> winget install Python.Python.3.11
> python --version
> git clone https://github.com/anarchy-ai/LLM-VM.git
> cd LLM-VM
> python -m venv anarchyai
> anarchyaiScriptsactivate
> python -m pip install -e .ملحوظة :
إذا كنت تستخدم أحد نماذج OpenAI، فستحتاج إلى تعيين متغير البيئة LLM_VM_OPENAI_API_KEY باستخدام مفتاح API الخاص بك.
يتيح لك LLM-VM الخاص بنا العمل مباشرة مع LLMs المشهورين محليًا في 3 أسطر فقط. بمجرد تثبيته (كما هو مذكور أعلاه)، ما عليك سوى تحميل النموذج الخاص بك والبدء في الإنشاء!
# import our client
from llm_vm . client import Client
# Select which LLM you want to use, here we have OpenAI
client = Client ( big_model = 'chat_gpt' )
# Put in your prompt and go!
response = client . complete ( prompt = 'What is Anarchy?' , context = '' , openai_key = 'ENTER_YOUR_API_KEY' )
print ( response )
# Anarchy is a political ideology that advocates for the absence of government... # import our client
from llm_vm . client import Client
# Select the LlaMA 2 model
client = Client ( big_model = 'llama2' )
# Put in your prompt and go!
response = client . complete ( prompt = 'What is Anarchy?' , context = '' )
print ( response )
# Anarchy is a political philosophy that advocates no government...اختر من النماذج التالية
Supported_Models = [ 'chat_gpt' , 'gpt' , 'neo' , 'llama2' , 'bloom' , 'opt' , 'pythia' ]تهدف أحجام نماذج LLM-VM الافتراضية للنماذج المحلية إلى جعل تجربة LLM في متناول الجميع، ولكن إذا كانت لديك الذاكرة المطلوبة، فإن نماذج المعلمات الأكبر حجمًا ستعمل بشكل أفضل بكثير!
على سبيل المثال، إذا كنت تريد استخدام طراز neo كبير وصغير لمعلمك وطالبك، وكان لديك ذاكرة وصول عشوائي كافية:
# import our client
from llm_vm . client import Client
# Select the LlaMA model
client = Client ( big_model = 'neo' , big_model_config = { 'model_uri' : 'EleutherAI/gpt-neox-20b' },
small_model = 'neo' , small_model_config = { 'model_uri' : 'EleutherAI/gpt-neox-125m' })
# Put in your prompt and go!
response = client . complete ( prompt = 'What is Anarchy?' , context = '' )
print ( response )
# Anarchy is a political philosophy that advocates no government...فيما يلي بعض تفاصيل النموذج الافتراضي:
| اسم | Model_Uri | المعلمات النموذجية | حجم ملف نقطة التفتيش |
|---|---|---|---|
| الجدد | EleutherAI/gpt-neo-1.3B | 1.3 ب | 5.31 جيجابايت |
| يزدهر | bigscience/bloom-560m | 1.7 ب | 1.12 جيجابايت |
| الأراضي الفلسطينية المحتلة | facebook/opt-350m | 350 م | 622 ميجا بايت |
بالنسبة لبعض الخيارات الأخرى لاستخدام الذاكرة وعدد المعلمات في كل مجموعة نماذج، راجع الجداول model_uri_tables.
هناك وكيلان: FLAT وREBEL.
قم بتشغيل الوكلاء بشكل منفصل عن طريق الانتقال إلى src/llm_vm/agents/<AGENT_FOLDER> وتشغيل الملف الذي يحمل عنوان agent.py .
وبدلاً من ذلك، لتشغيل واجهة بسيطة واختيار وكيل لتشغيله من واجهة سطر الأوامر (CLI)، قم بتشغيل الملف src/llm_vm/agents/agent_interface.py واتبع تعليمات موجه الأوامر.
نحن نرحب بالمساهمين! للبدء هو الانضمام إلى مجتمع الخلاف النشط لدينا. بخلاف ذلك، إليك بعض الطرق للمساهمة والحصول على الأموال:
نحن نقدم خيرات لإغلاق تذاكر محددة! انظر إلى ملصقات التذاكر لمعرفة مقدار المكافأة. للبدء، انضم إلى الخلاف واقرأ الدليل
ماثيو ميرمان - الرئيس التنفيذي
فيكتور أوديدي - Undoomer
أبهيجيا سوداني - باحث متدرب
كارتر شونوالد - مساهم لا يعرف الخوف
كايل وايلد - مساهم لا يعرف الخوف
أروشي بانيرجي - مساهم لا يعرف الخوف
أندرو نيلسون - مساهم لا يعرف الخوف
رخصة معهد ماساتشوستس للتكنولوجيا
