building qa app with aws bedrock kendra s3 and streamlit

مقدمة

يحتوي هذا المستودع على مثال عملي حول كيفية إنشاء تطبيق أسئلة وأجوبة قادر على الإجابة على الأسئلة المتعلقة بمستنداتك الخاصة باستخدام خدمات GenAI AWS.

في السابق، قمت بإنشاء تطبيق أسئلة وأجوبة باستخدام Azure OpenAI GPT-4 وPinecone (يمكنك العثور عليه هنا) .
في هذا المستودع، سأقوم بإنشاء نفس التطبيق تمامًا ولكن باستخدام خدمات AWS فقط (+ Streamlit لواجهة المستخدم).

لنكون أكثر دقة، يحتوي التطبيق على البنية التالية:

ويستخدم التقنيات التالية:

• AWS الأساس
• أوس كندرا
• أوس S3
• ستريمليت

محتوى

يحتوي هذا المستودع على التطبيق التالي:

• تطبيق Streamlit ، الذي يسمح لنا بالاستعلام عن البيانات المخزنة في AWS Kendra باستخدام أحد نماذج AWS Bedrock LLM المتوفرة.

كيف يعمل تطبيق سؤال وجواب

• يتم تخزين المستندات الخاصة في دلو s3.

• تم تكوين مؤشر Kendra لاستخدام موصل s3. يقوم الفهرس بفحص مجموعة s3 كل N دقيقة بحثًا عن محتوى جديد. إذا تم العثور على محتوى جديد في المجموعة، فسيتم تحليله تلقائيًا وتخزينه في قاعدة بيانات Kendra.

• عندما يقوم المستخدم بتشغيل استعلام من خلال تطبيق Streamlit ، يتبع التطبيق الخطوات التالية:

  • استرجع المعلومات ذات الصلة بالاستعلام المحدد من Kendra.
  • يجمع موجه.
  • يُرسل المطالبة إلى أحد برامج Bedrock LLM المتاحة ويتلقى الإجابة التي تعود.

دفاتر جوبيتر

• إذا كنت تفضل بدلاً من استخدام تطبيق Streamlit تنفيذ التعليمات خطوة بخطوة لإعداد نمط RAG، فلديك دفتر ملاحظات Jupyter ( /notebooks/rag-with-langchain.ipynb ) الذي سيسمح لك بالقيام بذلك بدقة.

• يستخدم تطبيق Streamlit مكتبة LangChain بكثافة لتنفيذ نمط RAG. إذا كنت تفضل عدم استخدام أي مكتبات تابعة لجهات خارجية وإعداد نمط RAG باستخدام مكتبة boto3 فقط، فلديك دفتر ملاحظات Jupyter ثانٍ ( /notebooks/rag-with-only-boto3.ipynb ) الذي سيسمح لك بالقيام بذلك .

البنية التحتية لشركة AWS

في المجلد /infra ، ستجد سلسلة من ملفات Terraform التي ستقوم بإنشاء كل خدمات AWS المطلوبة لتشغيل التطبيق بشكل سليم.

ستقوم ملفات Terraform هذه بإنشاء الموارد التالية:

• دلو s3 لإيواء مستنداتنا الخاصة.
• فهرس كندرا مع موصل s3.
• دور IAM مع الأذونات المطلوبة لتفعيل كل شيء.

المتطلبات الأساسية

هناك بعض المتطلبات الأساسية التي يجب أن تكون على دراية بها قبل محاولة تشغيل التطبيق.

AWS Bedrock LLMs من جهات خارجية

• افتراضيًا، في Bedrock، سيكون لديك حق الوصول فقط إلى Amazon Titan LLM. للاستفادة من أي من برامج LLM التابعة لجهات خارجية (نماذج Anthropic وAI21 Labs LLM)، يجب عليك التسجيل للوصول بشكل منفصل.

في قسم "الوصول إلى النموذج"، لديك نظرة عامة على شهادات LLM التي يمكنك الوصول إليها وتلك التي لا يمكنك الوصول إليها.

لاستخدام هذا التطبيق بشكل كامل، يجب أن يكون لديك حق الوصول إلى كل برامج LLM التابعة لجهة خارجية في AWS Bedrock .

بيانات اعتماد boto3

• داخل التطبيق، تم إعداد boto3 لاسترداد بيانات اعتماد AWS من ملف التعريف default لملف تكوين AWS على جهازك المحلي.
  لا تتردد في ضبط هذا التكوين لمواءمته مع تفضيلاتك، سواء كان ذلك يتضمن استخدام متغيرات البيئة، أو تمرير بيانات الاعتماد كمعلمات، أو استخدام طرق أخرى مناسبة.

للحصول على نظرة عامة على الأساليب المتعددة لتكوين بيانات اعتماد boto3 ، انتقل إلى الرابط التالي:

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

كيفية تشغيل التطبيق

قبل محاولة تشغيل التطبيق، اقرأ قسم AWS Infrastructure والمتطلبات الأساسية .

قم بتشغيل التطبيق محليًا

قم بتعيين متغيرات البيئة المطلوبة

يحتوي المستودع على ملف .env يحتوي على متغيرات البيئة التي يتطلبها التطبيق للتشغيل بنجاح:

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

تغيير القيم وفقا لذلك.

استعادة التبعيات

pip install -r requirements.txt

قم بتشغيل التطبيق

عند تثبيت Streamlit ، يتم تثبيت أداة سطر الأوامر (CLI) أيضًا. الغرض من هذه الأداة هو تشغيل تطبيقات Streamlit .
لتنفيذ التطبيق، فقط قم بتشغيل الأمر التالي:

streamlit run app.py

قم بتشغيل التطبيق باستخدام Docker

يحتوي هذا المستودع على Dockerfile إذا كنت تفضل تنفيذ التطبيق على حاوية.

بناء الصورة

docker build -t aws-rag-app .

تشغيله

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

الإخراج

سجل التغيير

02/10/2023

• تم تحديث app.py لجعله متوافقًا مع أحدث تغييرات Bedrock.
• تم تحديث دفاتر ملاحظات Jupyter لجعلها متوافقة مع أحدث تغييرات Bedrock.
• تمت إزالة ملفات عجلة boto3 و botocore3 . أصبح boto3 المتوافق مع Bedrock متاحًا للجمهور أخيرًا.