يعزز المصدر المفتوح لنماذج اللغات الكبيرة (LLM) تطوير تكنولوجيا الذكاء الاصطناعي، ولكنه يجلب أيضًا تحديات في حماية الملكية الفكرية. إن ظهور نماذج "الصدفة" يجعل تحديد مصدر النموذج مشكلة ملحة تحتاج إلى حل. ستناقش هذه المقالة أوجه القصور في طرق التعرف على بصمات الأصابع النموذجية الحالية، وستقدم طريقة جديدة وأكثر قوة لتحديد بصمات الأصابع - REEF، وكيف يمكنها حل مشكلة "القصف" بشكل فعال وحماية الملكية الفكرية لـ LLM.
في عصر الذكاء الاصطناعي، تشبه نماذج اللغات الكبيرة (LLM) أسرار فنون الدفاع عن النفس، وتستهلك عملية تدريبها قوة حاسوبية وبيانات هائلة، تمامًا مثل معلم فنون الدفاع عن النفس الذي مارسه في عزلة لسنوات عديدة. إن إصدار النموذج مفتوح المصدر يشبه المعلم الذي يكشف أسراره للعامة، لكنه سيأتي مع بعض التراخيص (مثل ترخيص مجتمع Apache2.0 وLLaMA2) لحماية ملكيته الفكرية (IP).
لكن العالم غدار، وحوادث "القصف" تحدث دائما. يزعم بعض المطورين أنهم قاموا بتدريب حاملي شهادات ماجستير جديدة، لكنهم في الواقع عبارة عن أغلفة أو ضبط دقيق على نماذج أساسية أخرى (مثل Llama-2 وMiniCPM-V). هذا يشبه تعلم فنون الدفاع عن النفس للآخرين سرًا ولكنك تدعي أنها إبداعك الأصلي. ولمنع حدوث ذلك، يحتاج أصحاب النماذج والجهات الخارجية إلى طريقة لتحديد النماذج "المقصورة".
هناك نوعان رئيسيان من طرق التعرف على بصمات الأصابع النموذجية الموجودة:
بصمة الحقن: وهي مثل وضع علامة سرية على الكتاب السري، مثل طريقة العلامة المائية. تضيف هذه الطريقة بشكل مصطنع بعض "المشغلات" أثناء تدريب النموذج أو عملية الضبط الدقيق، مما يسمح للنموذج بإنشاء محتوى محدد في ظل ظروف محددة، وبالتالي تحديد مصدر النموذج. ومع ذلك، فإن هذا النهج سيزيد من تكاليف التدريب، ويؤثر على أداء النموذج، بل وربما تتم إزالته. علاوة على ذلك، لا يمكن تطبيق هذه الطريقة على النماذج المنشورة بالفعل.
البصمة الجوهرية: يشبه هذا الحكم على مصدر الغش بناءً على محتواه وأسلوبه. تستخدم هذه الطريقة خصائص النموذج نفسه لتحديد الهوية، بما في ذلك أوزان النموذج وتمثيلات الميزات. ومن بينها، تقوم طريقة بصمة الوزن على أساس الوزن بتحديد الهوية عن طريق حساب تشابه أوزان النماذج. ومع ذلك، فإن هذه الطريقة عرضة لتغيرات الوزن، مثل تبديل الوزن، والتقليم، والضبط الدقيق. تقوم الطريقة المعتمدة على التحليل الدلالي بالتعرف من خلال النص الناتج عن نموذج التحليل الإحصائي. ومع ذلك، فإن كلتا الطريقتين تعانيان من عدم كفاية المتانة.
لذا، هل هناك طريقة يمكنها تحديد النماذج "الصدفية" بشكل فعال دون التأثير على أداء النموذج ومقاومة التعديلات "الفاخرة" المختلفة؟
اقترح باحثون من مختبر شنغهاي للذكاء الاصطناعي ومؤسسات أخرى طريقة نموذجية جديدة للتعرف على بصمات الأصابع - REEF.
مبدأ عمل REEF هو:
REEF هي طريقة للتعرف على بصمات الأصابع تعتمد على تمثيل الميزات. لا يعتمد على تمثيل أي طبقة محددة، ولكنه يستخدم إمكانات نمذجة التمثيل القوية لـ LLM لاستخراج الميزات من طبقات مختلفة للتعرف عليها.
إنه يقارن تشابه محاذاة النواة المركزية (CKA) لتمثيلات الميزات لنموذجين في نفس العينة. CKA هو مؤشر تشابه يعتمد على معيار استقلال هيلبرت شميدت (HSIC)، والذي يمكنه قياس الاستقلال بين مجموعتين من المتغيرات العشوائية.
إذا كان التشابه كبيرا، فهذا يعني أنه من المرجح أن يكون النموذج المشتبه فيه مشتقا من نموذج الضحية؛
ما هي مزايا ريف؟
لا يتطلب التدريب: وهذا يعني أنه لا يؤثر على أداء النموذج ولا يضيف تكاليف تدريب إضافية.
متانة قوية: إنها قوية لمختلف التطورات اللاحقة مثل تشذيب النماذج والضبط الدقيق والدمج والترتيب وتحويلات القياس. حتى لو خضع النموذج المشتبه به لضبط دقيق واسع النطاق (ما يصل إلى 700 مليار رمز من البيانات)، فلا يزال بإمكان REEF تحديد ما إذا كان مصدره من نموذج الضحية بشكل فعال.
الضمان النظري: أثبت الباحثون نظريًا أن CKA لا يتغير في ترتيب الأعمدة وتحولات القياس.
تظهر النتائج التجريبية أن أداء REEF جيدًا في تحديد نماذج "الصدفة"، متفوقًا على الأساليب الحالية القائمة على الأوزان والتحليل الدلالي.
يوفر ظهور REEF أداة جديدة لحماية الملكية الفكرية لـ LLM ويساعد في مكافحة السلوكيات غير الأخلاقية أو غير القانونية مثل الاستخدام غير المصرح به أو نسخ النماذج.
عنوان الورقة: https://arxiv.org/pdf/2410.14273
بشكل عام، توفر طريقة REEF حلاً فعالاً وقويًا وفعالاً لمشكلة حماية الملكية الفكرية لنموذج LLM مفتوح المصدر، وتساهم في بناء بيئة بيئية أكثر صحة للذكاء الاصطناعي.