ميكرولاما

أصغر LLM API ممكن. أنشئ واجهة أسئلة وأجوبة للمحتوى الخاص بك في بضع دقائق. يستخدم تضمينات OpenAI وgpt-3.5 وFaiss عبر Langchain.

الاستخدام

قم بدمج المستندات المصدر في ملف JSON واحد يسمى source.json . يجب أن يبدو مثل هذا:

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

راجع example.source.json للحصول على مثال.

تثبيت MicroLlama في بيئة افتراضية:

pip install microllama

احصل على مفتاح OpenAI API وأضفه إلى البيئة، على سبيل المثال، export OPENAI_API_KEY=sk-etc . لاحظ أن الفهرسة والاستعلام يتطلبان أرصدة OpenAI، وهي ليست مجانية.
قم بتشغيل الخادم الخاص بك باستخدام microllama . إذا لم يكن هناك فهرس بحث متجه، فسيتم إنشاؤه من source.json الخاص بك، وتخزينه.
الاستعلام عن المستندات الخاصة بك في /api/ask?سؤالك.
يتضمن Microllama واجهة أمامية اختيارية للويب، والتي يتم إنشاؤها باستخدام microllama make-front-end . يقوم هذا الأمر بإنشاء ملف index.html واحد يمكنك تحريره. يتم تقديمه في /.

إعدادات

يتم تكوين Microllama من خلال متغيرات البيئة، مع الإعدادات الافتراضية التالية:

OPENAI_API_KEY : مطلوب
FAISS_INDEX_PATH : "faiss_index"
SOURCE_JSON : "source.json"
MAX_RELATED_DOCUMENTS : "5"
EXTRA_CONTEXT : "الإجابة بما لا يزيد عن ثلاث جمل. إذا لم تكن الإجابة مضمنة في السياق، فقل "عذرًا، هذه ليست إجابة لهذا في مصادري.""
UVICORN_HOST : "0.0.0.0"
UVICORN_PORT : "8080"

نشر API الخاص بك

قم بإنشاء ملف Dockerfile باستخدام microllama make-dockerfile . ثم:

على Fly.io

قم بالتسجيل للحصول على حساب Fly.io وتثبيت flyctl. ثم:

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

على جوجل كلاود رن

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

بالنسبة إلى Cloud Run والأنظمة الأساسية الأخرى التي لا تحتوي على خادم، يجب عليك إنشاء فهرس FAISS في وقت إنشاء الحاوية، لتقليل وقت بدء التشغيل. راجع السطرين اللذين تم التعليق عليهما في Dockerfile .

يمكنك أيضًا إنشاء هذه الأوامر باستخدام microllama deploy .