كشفت دراسة جديدة من جامعة نيويورك عن الضعف المثير للقلق في نماذج اللغة واسعة النطاق (LLMs) في التدريب على البيانات. تظهر الأبحاث أن كمية صغيرة جدًا من المعلومات الخاطئة، حتى لو كانت تمثل 0.001٪ فقط من بيانات التدريب، يمكن أن تؤثر بشكل خطير على دقة وموثوقية LLM، مما يؤدي إلى إنتاج أخطاء كبيرة. هذه النتيجة مهمة بشكل خاص في المجال الطبي، حيث يمكن للمعلومات الطبية الخاطئة أن تعرض سلامة المرضى للخطر بشكل مباشر. ونُشر البحث في مجلة Nature Medicine، مما أثار مخاوف واسعة النطاق بشأن سلامة وموثوقية الذكاء الاصطناعي في التطبيقات الطبية.
مؤخرًا، نشر فريق بحث من جامعة نيويورك دراسة تكشف مدى ضعف نماذج اللغة واسعة النطاق (LLM) في التدريب على البيانات. ووجدوا أنه حتى كمية صغيرة من المعلومات الخاطئة، والتي تمثل 0.001% فقط من بيانات التدريب، يمكن أن تسبب أخطاء كبيرة في النموذج بأكمله. هذه النتيجة تثير قلقًا خاصًا في المجال الطبي، حيث يمكن أن تؤثر المعلومات الخاطئة بشكل مباشر على سلامة المرضى.
وأشار الباحثون في ورقة بحثية نشرت في مجلة "Nature Medicine" إلى أنه على الرغم من أن أداء LLM جيد، إلا أنه إذا تم حقن معلومات خاطئة في بيانات التدريب الخاصة بها، فإن هذه النماذج قد لا تزال تؤدي أداءً أسوأ من النماذج غير المدربة في بعض معايير التقييم مفتوحة المصدر جيد تمامًا. وهذا يعني أنه في ظل الاختبارات المنتظمة، قد لا نتمكن من اكتشاف المخاطر المحتملة في هذه النماذج.
ولاختبار ذلك، أجرى فريق البحث تجارب على مجموعة بيانات تدريبية تسمى "The Pile"، حيث أضافوا عمدًا 150 ألف مقالة طبية مزيفة تم إنشاؤها بواسطة الذكاء الاصطناعي. وفي غضون 24 ساعة فقط، قاموا بإنشاء المحتوى، وأظهرت الدراسة أن استبدال 0.001% من المحتوى في مجموعة البيانات، حتى لو كان مليون علامة تدريب صغيرة، أدى إلى زيادة بنسبة 4.8% في المحتوى الضار. العملية غير مكلفة للغاية، حيث تكلف 5 دولارات فقط.
لا يتطلب هجوم تسميم البيانات هذا اتصالاً مباشرًا بأوزان النموذج، بل يمكن للمهاجم إضعاف فعالية LLM ببساطة عن طريق نشر معلومات ضارة على الشبكة. ويؤكد فريق البحث أن هذه النتيجة تسلط الضوء على مخاطر كبيرة عند استخدام أدوات الذكاء الاصطناعي في المجال الطبي. وفي الوقت نفسه، ذكروا أيضًا أن هناك حالات ذات صلة توضح أن بعض منصات الذكاء الاصطناعي الطبية، مثل MyChart، غالبًا ما تولد معلومات خاطئة عند الرد تلقائيًا على أسئلة المرضى، مما يسبب مشاكل للمرضى.
لذلك، يدعو الباحثون مطوري الذكاء الاصطناعي ومقدمي الخدمات الطبية إلى التعرف بوضوح على هذه الثغرة الأمنية عند تطوير ماجستير في القانون الطبي. ويوصون بعدم استخدام LLM في المهام الحرجة مثل التشخيص أو العلاج حتى يتم ضمان السلامة في المستقبل.
تسليط الضوء على:
تظهر الأبحاث أن 0.001٪ فقط من المعلومات الخاطئة يمكن أن تجعل نموذج اللغة واسع النطاق (LLM) غير فعال.
في المجال الطبي، يمكن أن يؤثر انتشار المعلومات الكاذبة بشكل خطير على سلامة المرضى.
ويحث الباحثون على عدم استخدام LLM في المهام الطبية الهامة مثل التشخيص أو العلاج حتى يتم ضمان السلامة.
تحذرنا نتائج هذه الدراسة من أنه قبل تطبيق نماذج لغوية واسعة النطاق على المجالات الحيوية مثل الرعاية الطبية، يجب علينا تعزيز البحث حول أمن البيانات وموثوقية النماذج لضمان سلامتها وفعاليتها وتجنب المخاطر المحتملة.