serverless rag ynetnews bedrock demo
1.0.0
تعد الإجابة على الأسئلة (QA) مهمة مهمة تتضمن استخلاص الإجابات على الاستفسارات الواقعية المطروحة باللغة الطبيعية. عادةً، يقوم نظام ضمان الجودة بمعالجة استعلام مقابل قاعدة معرفية تحتوي على بيانات منظمة أو غير منظمة ويقوم بإنشاء استجابة بمعلومات دقيقة. يعد ضمان الدقة العالية أمرًا أساسيًا لتطوير نظام مفيد وموثوق وجدير بالثقة للإجابة على الأسئلة، خاصة بالنسبة لحالات الاستخدام في المؤسسات.
تستخدم نماذج الذكاء الاصطناعي التوليدية مثل Amazon Titan وAnthropic Claude وAI21 Jurassic 2 التوزيعات الاحتمالية لإنشاء إجابات على الأسئلة. يتم تدريب هذه النماذج على كميات هائلة من البيانات النصية، مما يسمح لها بالتنبؤ بما يأتي بعد ذلك في تسلسل أو الكلمة التي قد تتبع كلمة معينة. ومع ذلك، فإن هذه النماذج غير قادرة على تقديم إجابات دقيقة أو حتمية لكل سؤال بسبب وجود درجة معينة من عدم اليقين في البيانات دائمًا.
تحتاج المؤسسات إلى الاستعلام عن البيانات الخاصة بالمجال والبيانات الخاصة واستخدام المعلومات للإجابة على الأسئلة، والبيانات بشكل عام التي لم يتم التدريب على النموذج عليها.
في هذا الريبو سوف نستكشف نمط ضمان الجودة التالي:
نحن نستخدم تقنية "الجيل المعزز للاسترجاع" التي تعمل على تحسين الطريقة الأولى حيث نقوم بتسلسل أسئلتنا بأكبر قدر ممكن من السياق ذي الصلة، والذي من المحتمل أن يحتوي على الإجابات أو المعلومات التي نبحث عنها. التحدي هنا هو أن هناك حدًا لمقدار المعلومات السياقية التي يمكن استخدامها يتم تحديده من خلال الحد المميز للنموذج. 
يمكن التغلب على ذلك باستخدام تقنية الاسترجاع المعزز (RAG)
تجمع RAG بين استخدام التضمينات لفهرسة مجموعة المستندات لبناء قاعدة معرفية واستخدام LLM لاستخراج المعلومات من مجموعة فرعية من المستندات الموجودة في قاعدة المعرفة.
كخطوة تحضيرية لـ RAG، يتم تقسيم المستندات التي تشكل قاعدة المعرفة إلى أجزاء ذات حجم ثابت (تطابق الحد الأقصى لحجم الإدخال لنموذج التضمين المحدد)، ثم يتم تمريرها إلى النموذج للحصول على متجه التضمين. يتم تخزين التضمين مع الجزء الأصلي من المستند وبيانات التعريف الإضافية في قاعدة بيانات متجهة. تم تحسين قاعدة بيانات المتجهات لإجراء بحث التشابه بين المتجهات بكفاءة.
العملاء الذين لديهم مخازن بيانات قد تكون خاصة أو تتغير بشكل متكرر. يحل نهج RAG مشكلتين، حيث يمكن للعملاء الذين يواجهون التحديات التالية الاستفادة من هذا المختبر.
بعد هذه الوحدة، يجب أن يكون لديك فهم جيد لما يلي:
سنرشدك في هذه الوحدة إلى كيفية تنفيذ نمط ضمان الجودة باستخدام Bedrock. بالإضافة إلى ذلك، قمنا بإعداد التضمينات ليتم تحميلها في قاعدة بيانات المتجهات لك.
لاحظ أنه يمكنك استخدام Titan Embeddings للحصول على التضمينات الخاصة بسؤال المستخدم، ثم استخدام تلك التضمينات لاسترداد المستندات الأكثر صلة من قاعدة بيانات المتجهات، وإنشاء مطالبة لتسلسل أعلى 3 مستندات واستدعاء نموذج LLM عبر Bedrock.
