llamafile rag example

الحد الأدنى من RAG المحلي باستخدام llamafile

واجهة سطر الأوامر التفاعلية الأساسية للغاية لفهرسة المستندات والاستعلام عنها باستخدام ملفات llamafiles للتضمين وإنشاء النص. يعتمد الفهرس على متجر FAISS للمتجهات. نموذج التضمين الافتراضي هو mxbai-embed-large-v1 (رابط llamafile) ونموذج إنشاء النص هو Mistral-7b-instruct-v0.2 (رابط llamafile). (يمكن تغييرها عن طريق تحرير setup.sh .)

يثبت:

cp .env.example .env
./setup.sh

سيقوم هذا البرنامج النصي بتنزيل ملفات llamafiles من HuggingFace وقد يستغرق عدة دقائق حسب اتصالك بالإنترنت.

ملاحظة: يتطلب البرنامج النصي للإعداد pyenv

البدء السريع ببيانات اللعبة

لبدء التطبيق، قم بتشغيل:

./app.sh

عند تشغيل التطبيق سوف:

1. ابدأ تشغيل خادمي llamafile على منفذين منفصلين، أحدهما لنموذج التضمين (المنفذ 8080) والآخر لنموذج إنشاء النص (المنفذ 8081). قد يستغرق هذا حوالي 40 ثانية.
2. إذا كانت هذه هي المرة الأولى التي تقوم فيها بتشغيل التطبيق، فسوف يقوم تلقائيًا بإدخال محتويات الملفات الموجودة في دليل toy_data/ إلى متجر المتجهات ("الفهرس"). محتويات دليل toy_data/ :

 1.txt: Alice likes red squares.
2.txt: Bob likes blue circles.
3.txt: Chris likes blue triangles.
4.txt: David does not like green triangles.
5.txt: Mary does not like circles.

3. بعد الانتهاء من ذلك، سيتم تشغيل واجهة سطر الأوامر (CLI) التفاعلية التي تسمح لك بطرح أسئلة نموذجية حول البيانات الموجودة في الفهرس. يجب أن تبدو واجهة سطر الأوامر (CLI) كما يلي:

Enter query (ctrl-d to quit): [What does Alice like ? ] >

إذا قمت للتو بالضغط على Enter هنا، فسيكون الاستعلام افتراضيًا "ماذا تحب أليس؟". يجب أن يبدو إخراج التطبيق كما يلي:

 === Query ===
What does Alice like?

=== Search Results ===
0.7104 - " alice likes red squares ."
0.5229 - " bob likes blue circles ."
0.4088 - " chris likes blue triangles ."

=== Prompt ===
"You are an expert Q&A system. Answer the user's query using the provided context information.
Context information:
 alice likes red squares .
 bob likes blue circles .
 chris likes blue triangles .
Query: What does Alice like?"
(prompt_ntokens: 55)


=== Answer ===
"
Answer: Alice likes red squares."

--------------------------------------------------------------------------------

إليك بعض الاستفسارات الأخرى التي يمكنك تجربتها:

• من يكره الأشكال ثلاثية الجوانب؟
• من يحب الأشكال التي تشبه لون السماء؟
• من يحب المستطيلات؟

هذا إلى حد كبير.

تكوين التطبيق

يمكنك تغيير معظم إعدادات التطبيق عبر ملف .env . يجب أن يبدو الملف الافتراضي كما يلي:

 EMBEDDING_MODEL_PORT=8080
GENERATION_MODEL_PORT=8081
INDEX_LOCAL_DATA_DIRS=local_data,toy_data
INDEX_TEXT_CHUNK_LEN=128
INDEX_SAVE_DIR=./index-toy

راجع settings.py للتعرف على جميع الخيارات المتاحة.

باستخدام نماذج مختلفة

بشكل افتراضي، يستخدم التطبيق:

• التضمينات:
• توليد النص:

إضافة البيانات الخاصة بك

افتراضيًا، يتم تكوين التطبيق لفهرسة محتويات الدلائل المدرجة في INDEX_LOCAL_DATA_DIRS ، وهي local_data و toy_data . حاليًا، ندعم فهرسة ملفات .txt فقط.

أولاً، في .env الخاص بك، قم بتغيير INDEX_SAVE_DIR إلى المكان الذي تريد حفظ الفهرس الخاص بك فيه. لن يغير التطبيق أو يستبدل فهرسًا موجودًا، لذا قم بتغيير الدليل في .env أو احذف الفهرس الموجود في ./index-toy .

هناك طريقتان لإضافة البيانات:

1. أضف ملفات .txt إلى دليل local_data/ . يمكنك إزالة toy_data/ من قائمة INDEX_LOCAL_DATA_DIRS في ملف .env الخاص بنا. يمكنك أيضًا إضافة دليل آخر إلى قائمة INDEX_LOCAL_DATA_DIRS .
2. قم بإضافة صفحات الويب إلى الفهرس عن طريق تحديد عنوان URL واحد أو أكثر لمتغير INDEX_URLS في ملف .env الخاص بك، على سبيل المثال INDEX_URLS=url1,url2,... .