llm

ماجستير

أداة مساعدة لسطر الأوامر (CLI) ومكتبة Python للتفاعل مع نماذج اللغات الكبيرة، عبر واجهات برمجة التطبيقات البعيدة والنماذج التي يمكن تثبيتها وتشغيلها على جهازك الخاص.

قم بتشغيل المطالبات من سطر الأوامر، وقم بتخزين النتائج في SQLite، وقم بإنشاء التضمينات والمزيد.

راجع دليل المكونات الإضافية لـ LLM لمعرفة المكونات الإضافية التي توفر الوصول إلى النماذج البعيدة والمحلية.

التوثيق الكامل: llm.datasette.io

خلفية عن هذا المشروع:

• llm وttok وstrip-tags — أدوات CLI للعمل مع ChatGPT وLLMs الأخرى
• تدعم أداة LLM CLI الآن نماذج اللغة المستضافة ذاتيًا عبر المكونات الإضافية
• الوصول إلى Llama 2 من سطر الأوامر باستخدام البرنامج المساعد llm-replicate
• قم بتشغيل Llama 2 على جهاز Mac الخاص بك باستخدام LLM وHomebrew
• اللحاق بالعالم الغريب من LLMs
• يوفر LLM الآن أدوات للعمل مع التضمينات
• أنشئ محرك بحث للصور باستخدام llm-clip، وقم بالدردشة مع العارضات باستخدام llm chat
• العديد من الخيارات لتشغيل نماذج ميسترال في جهازك باستخدام LLM

تثبيت

قم بتثبيت هذه الأداة باستخدام pip :

pip install llm

أو باستخدام البيرة المنزلية:

brew install llm

تعليمات التثبيت التفصيلية.

ابدء

إذا كان لديك مفتاح OpenAI API، فيمكنك البدء باستخدام نماذج OpenAI على الفور.

كبديل لـ OpenAI، يمكنك تثبيت المكونات الإضافية للوصول إلى النماذج من قبل مقدمي الخدمة الآخرين، بما في ذلك النماذج التي يمكن تثبيتها وتشغيلها على جهازك الخاص.

احفظ مفتاح OpenAI API الخاص بك على النحو التالي:

llm keys set openai

سيطالبك هذا بالمفتاح الخاص بك كما يلي:

 Enter key: <paste here>

الآن بعد أن قمت بحفظ المفتاح، يمكنك تشغيل مطالبة مثل هذا:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

اقرأ تعليمات الاستخدام للمزيد.

تثبيت نموذج يعمل على جهازك الخاص

يمكن لمكونات LLM الإضافية إضافة دعم للنماذج البديلة، بما في ذلك النماذج التي تعمل على جهازك الخاص.

لتنزيل وتشغيل Mistral 7B Instruct محليًا، يمكنك تثبيت البرنامج الإضافي llm-gpt4all:

llm install llm-gpt4all

ثم قم بتشغيل هذا الأمر لمعرفة النماذج التي يوفرها:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

سيتم تنزيل كل ملف نموذجي بمجرد استخدامه لأول مرة. جرب ميسترال مثل هذا:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

يمكنك أيضًا بدء جلسة محادثة مع العارضة باستخدام أمر llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

باستخدام موجه النظام

يمكنك استخدام الخيار -s/--system لتعيين موجه النظام، وتوفير إرشادات لمعالجة المدخلات الأخرى للأداة.

لوصف كيفية عمل التعليمات البرمجية الموجودة في ملف، جرب ما يلي:

cat mycode.py | llm -s " Explain this code " 

يساعد

للمساعدة، قم بتشغيل:

 llm --help

يمكنك أيضًا استخدام:

 python -m llm --help