المصدر: أخبار معهد ماساتشوستس للتكنولوجيا
على الرغم من أن قدرات نماذج اللغات الكبيرة مثيرة للإعجاب، إلا أنها لا تزال بعيدة عن الكمال. يمكن لنماذج الذكاء الاصطناعي هذه في بعض الأحيان أن "تهلوس" وتولد معلومات غير صحيحة أو لا أساس لها من الصحة ردًا على الاستفسارات.
وبسبب هذه المشكلة الوهمية، غالبًا ما تحتاج الاستجابات النموذجية إلى التحقق من صحتها من قبل مراجعين بشريين، خاصة في البيئات عالية المخاطر مثل الرعاية الصحية أو التمويل. ومع ذلك، غالبًا ما تتطلب عملية التحقق من الصحة من الأشخاص قراءة المستندات الطويلة التي يشير إليها النموذج، وهي مهمة شاقة وعرضة للخطأ قد تمنع بعض المستخدمين من استخدام نماذج الذكاء الاصطناعي التوليدية.
ولمساعدة المتحققين البشريين، أنشأ باحثون من معهد ماساتشوستس للتكنولوجيا نظامًا سهل الاستخدام يمكّن الأشخاص من التحقق بسرعة أكبر من استجابات النماذج اللغوية الكبيرة. تسمح الأداة، التي تسمى SymGen، لـ LLM بإنشاء استجابات بمراجع تشير مباشرة إلى مواقع محددة في المستند المصدر، مثل خلية في قاعدة بيانات.
يمكن للمستخدمين المرور فوق الأجزاء المميزة من الاستجابات النصية لرؤية البيانات التي استخدمها النموذج لإنشاء كلمات أو عبارات محددة. وفي الوقت نفسه، تُظهر الأجزاء غير المميزة عبارات تتطلب اهتمامًا إضافيًا للفحص والتحقق.
"نحن نمنح الأشخاص القدرة على التركيز بشكل انتقائي على أجزاء النص التي يحتاجون إلى إيلاء المزيد من الاهتمام لها. وفي النهاية، يعمل SymGen على تحسين ثقة الأشخاص في استجابة النموذج لأنه يمكنهم بسهولة التحقق مرة أخرى للتأكد من موثوقية المعلومات." وعلوم الكمبيوتر، قالت طالبة الدراسات العليا شانون شين، المؤلف الأول المشارك لورقة SymGen.
من خلال بحث المستخدم، وجد شين ومعاونوه أن وقت التحقق باستخدام SymGen انخفض بنحو 20% مقارنة بالعملية اليدوية. من خلال جعل عملية التحقق من صحة مخرجات النموذج أسرع وأبسط، تساعد SymGen في تحديد الأخطاء في LLMs المستخدمة في مجموعة متنوعة من تطبيقات العالم الحقيقي، بدءًا من إنشاء السجلات السريرية وحتى تلخيص تقارير السوق المالية.
من بين المؤلفين المشاركين لشين في الورقة أيضًا المؤلف الأول المشارك لوكاس توروبا هينيجن، وهو طالب دراسات عليا في EECS، وأنيرودا "آني" نورسيمها، رئيس مبادرة البيانات الجيدة، والمؤلف الرئيسي ديفيد سونتاغ، أستاذ في EECS وعضو في معهد ماساتشوستس للتكنولوجيا جميل كلينيك لعلوم الكمبيوتر مع رئيس مجموعة التعلم الآلي السريري في مختبر الذكاء الاصطناعي (CSAIL)؛ والأستاذ المساعد يون كيم، عضو CSAIL؛ تم تقديم البحث مؤخرًا في مؤتمر نمذجة اللغة.
مرجع الرمز
للمساعدة في التحقق، تم تصميم العديد من برامج LLM لإنشاء مراجع للمستندات الخارجية وتوفير استجابات قائمة على اللغة لفحص المستخدم. ومع ذلك، قال شين إن أنظمة التحقق هذه غالبًا ما تكون فكرة لاحقة ولا تأخذ في الاعتبار الجهد المطلوب من الأشخاص للتدقيق في أعداد كبيرة من الاستشهادات.
"الغرض من الذكاء الاصطناعي التوليدي هو تقليل الوقت الذي يستغرقه المستخدمون لإكمال المهمة. إذا كنت بحاجة إلى قضاء ساعات في قراءة هذه المستندات للتحقق مما إذا كانت ادعاءات النموذج معقولة، فإن المحتوى الذي تم إنشاؤه سيكون أقل فائدة في تطبيقات العالم الحقيقي. " قال شين.
تناول الباحثون هذا السؤال من وجهة نظر الشخص الذي سيقوم بأعمال التحقق من الصحة.
يقوم مستخدمو SymGen أولاً بتزويد LLM بالبيانات التي يمكن استخدامها كمرجع، مثل جدول يحتوي على إحصائيات لعبة كرة السلة. ثم يقوم الباحثون بخطوة وسيطة دون مطالبة النموذج على الفور بإكمال مهمة، مثل إنشاء ملخص مطابقة من هذه البيانات. إنها تحث النموذج على توليد استجابات في شكل رمزي.
باستخدام هذه المطالبة، عندما يرغب النموذج في الإشارة إلى كلمة في الاستجابة، يجب عليه كتابة الخلية المحددة في جدول البيانات التي تحتوي على تلك المعلومات. على سبيل المثال، إذا كان النموذج يريد الإشارة إلى العبارة "Portland Trail Blazers" في الرد، فسوف يستبدل هذا النص بأسماء الخلايا في جدول البيانات التي تحتوي على تلك الكلمات.
يقول توروبا هينيغن: "لأن لدينا هذه الخطوة الوسيطة حيث يتم تقديم النص بتنسيق رمزي، يمكننا تحقيق مرجع دقيق للغاية. يمكننا الإشارة بوضوح إلى أي جزء من البيانات يتوافق مع كل جزء من النص في المخرجات".
يستخدم SymGen بعد ذلك الأدوات المستندة إلى القواعد لتحليل كل مرجع، ونسخ النص المقابل من جدول البيانات إلى استجابة النموذج.
وأضاف شين: "بهذه الطريقة، نعلم أنه تم نسخه حرفيًا، حتى نتمكن من التأكد من عدم وجود خطأ في أجزاء النص التي تتوافق مع متغيرات البيانات الفعلية".
تبسيط عملية التحقق
النموذج قادر على توليد استجابات رمزية بسبب طريقة تدريبه. تقبل نماذج اللغات الكبيرة كميات كبيرة من البيانات من الإنترنت، ويتم تسجيل بعضها في "تنسيق نائب" مع رموز تحل محل القيم الفعلية.
يستخدم SymGen بنية مشابهة عندما يطلب من النموذج إنشاء استجابات رمزية.
وأضاف شين: "لقد صممنا المطالبات بطريقة محددة لإطلاق العنان لقدرات LLM".
في دراسات المستخدم، ذكر معظم المشاركين أن SymGen جعل من السهل التحقق من النص الذي تم إنشاؤه بواسطة LLM. لقد تحققوا من استجابات النماذج بشكل أسرع بنحو 20% من استخدام الطرق القياسية.
ومع ذلك، فإن فعالية SymGen محدودة بجودة البيانات المصدر. قد تشير شهادة LLM إلى متغيرات خاطئة، وقد لا يكون المدقق البشري على علم بذلك.
بالإضافة إلى ذلك، يجب على المستخدمين توفير بيانات المصدر بتنسيق منظم (مثل جدول) لإدخالها في SymGen. حاليًا، يعمل النظام فقط مع البيانات الجدولية.
للمضي قدمًا، يعمل الباحثون على تعزيز قدرات SymGen للتعامل مع النصوص العشوائية ونماذج البيانات الأخرى. ومن خلال هذه الإمكانية، يمكن أن يساعد في التحقق من صحة أجزاء معينة من ملخصات المستندات القانونية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. ويخططون أيضًا لاختبار SymGen مع الأطباء لدراسة كيفية تحديد الأخطاء في الملخصات السريرية التي يتم إنشاؤها بواسطة الذكاء الاصطناعي.
تم تمويل هذا العمل جزئيًا من قبل LiBERTy Mutual ومبادرة الاكتشاف الذكي لمعهد ماساتشوستس للتكنولوجيا.