خرقة تصحيحية مبسطة

أنشئ مساعد RAG التصحيحي المبسط باستخدام Amazon Bedrock

ملخص

Amazon Bedrock هي خدمة مُدارة بالكامل تجعل النماذج الأساسية عالية الأداء (FMs) من الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي وAmazon متاحة لاستخدامك من خلال واجهة برمجة تطبيقات موحدة. يمكنك الاختيار من بين مجموعة واسعة من نماذج الأساس للعثور على النموذج الأكثر ملاءمة لحالة الاستخدام الخاصة بك. توفر Amazon Bedrock أيضًا مجموعة واسعة من الإمكانات لإنشاء تطبيقات الذكاء الاصطناعي المنتجة مع الأمان والخصوصية والذكاء الاصطناعي المسؤول. باستخدام Amazon Bedrock، يمكنك بسهولة تجربة وتقييم أفضل النماذج الأساسية لحالات الاستخدام الخاصة بك، وتخصيصها بشكل خاص باستخدام بياناتك باستخدام تقنيات مثل الضبط الدقيق والجيل المعزز للاسترجاع (RAG)، وإنشاء وكلاء ينفذون المهام باستخدام أنظمة مؤسستك ومصادر البيانات.

تُظهِر نماذج اللغات الكبيرة (LLMs) حتمًا الهلوسة نظرًا لأن دقة النصوص التي تم إنشاؤها لا يمكن تأمينها فقط من خلال المعرفة البارامترية التي تحتويها. على الرغم من أن الجيل المعزز للاسترجاع (RAG) يعد مكملاً عمليًا لـ LLMs، إلا أنه يعتمد بشكل كبير على أهمية المستندات المستردة، مما يثير مخاوف بشأن كيفية تصرف النموذج إذا حدث خطأ في الاسترجاع.

تم اقتراح تقنيات RAG المتقدمة مثل تصحيح RAG لتحسين قوة التوليد. في CRAG، تم تصميم أداة تقييم الاسترجاع خفيفة الوزن لتقييم الجودة الشاملة للمستندات المستردة للاستعلام، وإرجاع درجة الثقة بناءً على الإجراءات المختلفة لاسترجاع المعرفة التي يمكن تشغيلها. نظرًا لأن الاسترجاع من النصوص الثابتة والمحدودة لا يمكنه سوى إرجاع مستندات دون المستوى الأمثل، يتم استخدام عمليات البحث على الويب واسعة النطاق كامتداد لزيادة نتائج الاسترجاع. CRAG عبارة عن ميزة التوصيل والتشغيل ويمكن دمجها بسلاسة مع العديد من الأساليب المستندة إلى RAG.

يحتوي هذا المستودع على تعليمات برمجية سترشدك خلال عملية إنشاء مساعد مبسط يعتمد على CRAG. سنغطي سيناريوهين لمرحلة الاسترجاع:

1. (السيناريو 1) يوجد مستند يتطابق بشكل وثيق مع الاستعلام المحدد في قاعدة المعارف.
2. (السيناريو 2) لا يوجد مستند يتطابق بشكل وثيق مع الاستعلام المحدد في قاعدة المعارف. ونتيجة لذلك، سيتم إجراء بحث على الويب لاسترداد المستند (المستندات) المطابقة.

للبدء

1. اختر حساب AWS لاستخدامه وتأكد من إنشاء جميع الموارد في هذا الحساب.
2. حدد منطقة AWS التي تحتوي على Amazon Bedrock مع Anthropic Claude 3 وTitan Embeddings G1 - نماذج نصية.
3. في تلك المنطقة، انسخ الملف التالي إلى حاوية Amazon S3 جديدة أو موجودة من اختيارك. تأكد من إمكانية قراءة هذه المجموعة بواسطة AWS CloudFormation.
   • wikipedia_search_bedrock_agent.zip
4. قم بإنشاء ملف طبقة Lambda المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip باستخدام الإجراء التالي وتحميله إلى نفس حاوية Amazon S3 كما في الخطوة 3.
   • على نظام التشغيل Windows 10 أو أعلى:
     1. تأكد من تثبيت Python 3.12 وpip وتعيينهما في متغير PATH الخاص بالمستخدم.
     2. قم بتنزيل 7-zip وتثبيته في C:/Program Files/7-Zip/ .
     3. افتح موجه أوامر Windows.
     4. قم بإنشاء دليل جديد والقرص cd فيه.
     5. قم بتشغيل lambda_layer_file_create.bat من داخل هذا الدليل.
     6. سيؤدي هذا إلى إنشاء ملف طبقة Lambda المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • على لينكس:
     1. تأكد من تثبيت Python 3.12 وpip وتعيينهما في متغير PATH الخاص بالمستخدم.
     2. افتح موجه أوامر لينكس.
     3. قم بإنشاء دليل جديد والقرص cd فيه.
     4. قم بتشغيل lambda_layer_file_create.sh من داخل هذا الدليل.
     5. سيؤدي هذا إلى إنشاء ملف طبقة Lambda المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. خذ قالب AWS CloudFormation المقدم Simplified-corrective-rag-cfn.yaml وقم بتحديث المعلمة التالية،
   • DeploymentArtifactsS3BucketName - قم بتعيين هذا على اسم حاوية Amazon S3 من الخطوة 3.
6. قم بإنشاء حزمة AWS CloudFormation باستخدام القالب المحدث.
7. افتح دفتر Jupyter المسمى Simplified-corrective-rag.ipynb من خلال الانتقال إلى وحدة تحكم مثيلات دفتر ملاحظات Amazon SageMaker والنقر على رابط Open Jupyter في المثيل المسمى Simplified-crag-instance .

هيكل المستودع

• مجلد أصول يحتوي على قالب AWS CloudFormation والعناصر التابعة.
• رمز Python لوظيفة AWS Lambda الذي سيتم استدعاؤه بواسطة Bedrock Agent لإجراء بحث الويب. يتم ضغط هذا أيضًا في هذا الملف باعتباره قطعة أثرية تابعة.
• مجلد دفاتر الملاحظات الذي يحتوي على كافة العناصر المتعلقة بمفكرة Jupyter التي ستعمل عليها.

حماية

انظر المساهمة لمزيد من المعلومات.

رخصة

هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.