الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

بانكب LLM (تطوير)

ملخص

مساعد GenAI يعتمد على Langchain + Streamlit + Azure Cosmos DB لـ MongoDB (vCore) + Docker.

المؤلفون:

  • المعالجة المسبقة للبيانات، LLM، إنشاء قاعدة بيانات ناقل DEV (Chroma)، المسترد، تطبيق الويب Streamlit: Binhuan Sun، [email protected]
  • تغيير قاعدة بيانات ناقل DEV (Chroma) إلى مثيل قاعدة بيانات ناقل PROD (Azure Cosmos DB لـ MongoDB (vCore)) وضبط اختيار التضمينات وفقًا لقيود Cosmos DB، وإنشاء فهرس PROD DB، وإرساء السفن، وتكامل التطبيق المبسط مع قوالب إطار عمل جانغو، صيانة جيثب ريبو: باشكوفا ليوبوف، [email protected]

تكوين الخادم

تم الاختبار على Linux Ubuntu 20.04 (قد يحتاج إلى تعديلات للأنظمة الأخرى).

الحد الأدنى لمتطلبات الأجهزة فقط لنشر تطبيق AI Assistant وإنشاء قاعدة بيانات Vector (باستثناء تطبيق PanKB DB وETL وAI Assistant):

  • 8 جيجابايت من ذاكرة الوصول العشوائي
  • مساحة القرص 8 جيجابايت
  • 4 مراكز لوحدة المعالجة المركزية (على سبيل المثال، لتطوير PyCharm Remote IDE)

متطلبات النظام:

  • عامل ميناء وعامل ميناء يؤلف
  • بوابة

اعتبارات وقيود هامة

يمكن أن تستغرق عملية تعداد قاعدة البيانات ما يصل إلى 90-150 دقيقة. يعتمد ذلك على خادم DEV وتكوينات المجموعة المقسمة لقاعدة بيانات Cosmos. حجم تخزين MongoDB للمجموعة المأهولة هو ~ 1.0 جيجا بايت، بما في ذلك. الفهارس.

يرجى ملاحظة القيود والاعتبارات التالية:

  • إذا استخدمنا Azure Cosmos DB لمثيل MongoDB كقاعدة بيانات متجهة، فيمكننا فقط تجربة عمليات التضمين ذات الأبعاد <= 2000 لأنه بالنسبة لـ Azure Cosmos DB لـ MongoDB، فإن الحد الأقصى لعدد الأبعاد المدعومة هو 2000. ربما يكون الأمر كذلك للأفضل، والكبير تعد عمليات التضمين أكثر تكلفة ولا توفر دائمًا زيادة كبيرة في الأداء. أمثلة: https://platform.openai.com/docs/guides/embeddings
  • يتعين علينا إنشاء مؤشر التشابه. يجب أن تكون أبعاد هذا الفهرس هي نفس أبعاد التضمينات.
  • تدعم طبقة Azure M30 (Azure Cosmos DB for MongoDB) نوع فهرس Vector-IVF فقط. لإنشاء فهرس Vector-hnsw ، يتعين علينا الترقية إلى الطبقة M40 (يكلف ضعف M30 إذا لم نحدد خيار "التوفر العالي" على Azure Portal).
  • يتعين علينا إنشاء فهرس HNSW قبل إدخال البيانات (على الرغم من أنه يزيد بشكل كبير من إجمالي وقت إدخال البيانات). إذا فعلنا ذلك بعد ذلك، فلن نتمكن من تجنب أخطاء نوع المهلة. قد تكون الأسباب هي خيارات تكوين المجموعة التي لا يمكننا تغييرها من جانبنا إذا استخدمنا IaaS.
  • يتوفر هنا التفسير الأكثر شمولاً لخوارزمية فهرسة HNSW ومعلماتها (مثل efConstruction وM): https://www.pinecone.io/learn/series/faiss/hnsw/. قد لا تكون المعلمات الحالية لدينا هي الأمثل، لأنه تم اختيارها وفقًا للإعدادات الافتراضية لـ ChromaDB، والتي كانت في البداية بمثابة قاعدة بيانات متجهة للتطوير.

تنفيذ البرامج النصية

قم بإنشاء ملف .env بالتنسيق التالي: 

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

ليس من الضروري تنفيذ البرنامج النصي لقاعدة البيانات في حاوية عامل إرساء. ويمكن القيام بذلك بالأوامر التالية: 

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

أمر إنشاء صورة عامل الإرساء وإعادة إنشاء حاوية عامل الإرساء باستخدام تطبيق Streamlit بداخلها: 

 docker compose up -d --build --force-recreate

ليس من الضروري تنفيذ تطبيق الإرساء المبسط في tmux . سيكون دائمًا جاهزًا للعمل حتى بعد إعادة تشغيل الجهاز الافتراضي (يتم تحقيقه باستخدام خيار restart: always في ملف إنشاء عامل الإرساء).

يمكن التحقق من حالة حاوية عامل الإرساء باستخدام الأمر التالي: 

 docker ps

يجب أن ينتج الأمر تقريبًا. المخرجات التالية من بين أمور أخرى في حالة النشر الناجح: 

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل