لقد جلب التطور السريع لنماذج اللغة الكبيرة (LLM) راحة غير مسبوقة ، لكنه يواجه أيضًا التحدي الرئيسي المتمثل في "الوهم". يشير ما يسمى بـ "الوهم" إلى محتوى إنشاء LLM الذي يبدو حقيقيًا ولكنه في الواقع خطأ أو غير متسق مع الحقائق. ستجري هذه المقالة مناقشات متعمقة حول أحدث النتائج البحثية للباحثين في جامعة هارفارد حول ظاهرة LLM "الوهم" ، وتحليل أسبابها ونتطلع إلى اتجاهات التطوير المستقبلية. تكشف الأبحاث أن جذر "الوهم" الخاص بـ LLM يكمن في آلية التنبؤ القائمة على الاحتمال الإحصائي ، بدلاً من الفهم الدلالي الحقيقي. هذا يجعل LLM عرضة للمعلومات الخاطئة عند التعامل مع موضوعات غامضة أو مثيرة للجدل.
إن ظهور نماذج اللغة الكبيرة (LLM) ، وخاصة تعميم التطبيقات مثل ChatGPT ، قد غير تمامًا طريقة تفاعلات الحاسوب البشري. هذه النماذج مثيرة للإعجاب لتوليد نص متماسك وشامل. ومع ذلك ، على الرغم من قدراتها القوية ، فإن LLM معرضة لـ "الوهم" ، أي إنشاء محتوى يبدو حقيقيًا ولكنه في الواقع خيالي أو لا معنى له أو غير متسق مع الموجه.
أجرى الباحثون في جامعة هارفارد أبحاثًا متعمقة حول ظاهرة LLM "الوهم" ووجدوا أن سببها الجذري يكمن في كيفية عمل LLM. تقوم LLM بإنشاء نموذج احتمال عن طريق التعلم الآلي على بيانات نصية ضخمة ويتوقع الكلمة التالية بناءً على احتمال حدوث تواجد الكلمات. بمعنى آخر ، لا يفهم LLM حقًا معنى اللغة ، ولكنه يجعل التنبؤات بناءً على الاحتمال الإحصائي.
قارن الباحثون LLM بـ "التعهيد الجماعي" ويعتقدون أن LLM تقوم بالفعل بإخراج "إجماع الشبكة". تمامًا مثل منصات مثل Wikipedia أو Reddit ، تستخلص LLM معلومات من كميات كبيرة من البيانات النصية وإنشاء الإجابات الأكثر شيوعًا. نظرًا لأن معظم اللغات تستخدم لوصف العالم ، عادة ما تكون الإجابات التي تم إنشاؤها بواسطة LLM دقيقة.
ومع ذلك ، يحدث "الوهم" عندما يواجه LLM موضوعًا غامضًا أو مثيرًا للجدل أو غير موجود في الإجماع. لاختبار هذه الفرضية ، صمم الباحثون سلسلة من التجارب التي اختبرت أداء LLMs المختلفة عند التعامل مع مواضيع مختلفة. تظهر النتائج التجريبية أن LLM تعمل بشكل جيد عند التعامل مع الموضوعات الشائعة ، ولكنها تنخفض بشكل كبير في الدقة عند التعامل مع مواضيع غامضة أو مثيرة للجدل.
توضح هذه الدراسة أن LLM ، على الرغم من أنها قوية كأداة ، هي دقتها تعتمد على جودة وكمية بيانات التدريب. عند استخدام LLM ، خاصة عند التعامل مع الموضوعات الغامضة أو المثيرة للجدل ، يجب أن يؤخذ إنتاجه بحذر. توفر هذه الدراسة أيضًا توجيهًا للتطوير المستقبلي لـ LLM ، أي الحاجة إلى تحسين قدرة LLM على التعامل مع الموضوعات الغامضة والمثيرة للجدل وتحسين تفسير نتائج الإخراج.
عنوان الورق: https://dl.acm.org/doi/pdf/10.1145/3688007
يوفر أبحاث جامعة هارفارد برؤى قيمة لفهم LLM وتحسينها ، ويذكرنا أيضًا بتوخي الحذر ، خاصة عند استهداف مواضيع غامضة أو مثيرة للجدل ، ونحن بحاجة إلى تحديد دقة نتائج الإنتاج بعناية ، ونأمل أن تتغلب LLM على ذلك في المستقبل.