في السنوات الأخيرة، تطورت منصات توليد الصور بالذكاء الاصطناعي بسرعة، ولكنها تواجه أيضًا تحديات في أمان المحتوى. Midjourney، وهي منصة شهيرة لتوليد الصور تعمل بالذكاء الاصطناعي، اجتذبت مؤخرًا اهتمامًا واسع النطاق بسبب ثغرات نظام تصفية NSFW وضعف تصفية الصور العارية في الإصدارات الجديدة. تسلط هذه الحادثة الضوء على أوجه القصور في منصات الذكاء الاصطناعي فيما يتعلق بإدارة المحتوى وأمانه، فضلاً عن التأثير على تجربة المستخدم. ستقوم هذه المقالة بتحليل هذه الحادثة التي وقعت على منصة Midjourney واستكشاف مخاطرها المحتملة وتأثيرها على التطوير المستقبلي لمنصة الذكاء الاصطناعي.
تم الكشف عن قيام منصة الرسومات AI Midjourney بإنشاء محتوى غير لائق عن طريق الخطأ وانتهكت لوائحها الخاصة. وجدت الأبحاث نقاط ضعف في نظام تصفية NSFW، وقد ساهم إصدار جديد في تسهيل عملية تصفية الصور العارية، مما أثار المخاوف. قد تؤدي التناقضات في النظام الأساسي إلى تلقي المستخدمين محتوى مسيء عن غير قصد.
تذكرنا حادثة ميدجورني بأن منصات الذكاء الاصطناعي تحتاج إلى تعزيز آليات مراجعة المحتوى وتحسين أنظمة التصفية لتجنب إنشاء ونشر محتوى غير لائق. وفي الوقت نفسه، ينبغي للمنصات تعزيز تعليم المستخدم وتحسين وعي المستخدمين بمخاطر المحتوى الناتج عن الذكاء الاصطناعي. وبهذه الطريقة فقط يمكننا ضمان التطوير الصحي والآمن لتكنولوجيا الذكاء الاصطناعي وتزويد المستخدمين بتجربة أكثر أمانًا وراحة.