โอเพ่นซอร์สของโมเดลภาษาขนาดใหญ่ (LLM) ส่งเสริมการพัฒนาเทคโนโลยี AI แต่ยังนำมาซึ่งความท้าทายในการคุ้มครองทรัพย์สินทางปัญญาด้วย การเกิดขึ้นของแบบจำลอง "เชลล์" ทำให้การระบุแหล่งที่มาของแบบจำลองเป็นปัญหาเร่งด่วนที่ต้องแก้ไข บทความนี้จะกล่าวถึงข้อบกพร่องของวิธีการระบุลายนิ้วมือแบบจำลองที่มีอยู่ และแนะนำวิธีการระบุลายนิ้วมือแบบจำลองใหม่ที่แข็งแกร่งยิ่งขึ้น - REEF ว่าจะแก้ปัญหา "การปอกเปลือก" ได้อย่างมีประสิทธิภาพและปกป้องทรัพย์สินทางปัญญาของ LLM ได้อย่างไร
ในยุค AI โมเดลภาษาขนาดใหญ่ (LLM) เปรียบเสมือนความลับของศิลปะการต่อสู้ กระบวนการฝึกฝนของพวกเขาใช้พลังการประมวลผลและข้อมูลมหาศาล เช่นเดียวกับปรมาจารย์ศิลปะการต่อสู้ที่ฝึกฝนอย่างสันโดษมาหลายปี การเปิดตัวโมเดลโอเพ่นซอร์สนั้นเหมือนกับปรมาจารย์ที่เปิดเผยความลับของเขาต่อสาธารณะ แต่จะมาพร้อมกับใบอนุญาตบางอย่าง (เช่น ใบอนุญาตชุมชน Apache2.0 และ LLaMA2) เพื่อปกป้องทรัพย์สินทางปัญญา (IP) ของเขา
อย่างไรก็ตาม โลกนี้เต็มไปด้วยความทรยศ และเหตุการณ์ "ปลอกกระสุน" ก็เกิดขึ้นอยู่เสมอ นักพัฒนาบางรายอ้างว่าได้ฝึกอบรม LLM ใหม่แล้ว แต่จริงๆ แล้ว LLM เป็น Wrapper หรือการปรับแต่งอย่างละเอียดในโมเดลพื้นฐานอื่นๆ (เช่น Llama-2 และ MiniCPM-V) นี่เหมือนกับการเรียนรู้ศิลปะการต่อสู้ของคนอื่นอย่างลับๆ แต่อ้างว่าเป็นผลงานต้นฉบับของคุณเอง เพื่อป้องกันไม่ให้สิ่งนี้เกิดขึ้น เจ้าของโมเดลและบุคคลที่สามจำเป็นต้องมีวิธีในการระบุโมเดล "shelled"
วิธีการระบุลายนิ้วมือรุ่นที่มีอยู่มีสองประเภทหลัก:
การฉีดลายนิ้วมือ: เหมือนกับการแอบทำเครื่องหมายหนังสือลับเช่นวิธีการใส่ลายน้ำ วิธีการนี้จะเพิ่ม "ทริกเกอร์" บางอย่างปลอมระหว่างการฝึกโมเดลหรือกระบวนการปรับแต่ง ซึ่งช่วยให้โมเดลสร้างเนื้อหาเฉพาะภายใต้เงื่อนไขเฉพาะได้ ดังนั้นจึงระบุแหล่งที่มาของโมเดลได้ อย่างไรก็ตาม วิธีการนี้จะเพิ่มค่าใช้จ่ายในการฝึกอบรม ส่งผลต่อประสิทธิภาพของโมเดล และอาจถึงขั้นถูกลบออกด้วยซ้ำ นอกจากนี้ วิธีการนี้ไม่สามารถใช้กับโมเดลที่เผยแพร่ไปแล้วได้
ลายนิ้วมือภายใน: เหมือนกับการตัดสินแหล่งที่มาของการโกงโดยพิจารณาจากเนื้อหาและสไตล์ของมัน วิธีการนี้ใช้คุณสมบัติของตัวแบบเพื่อระบุตัวตน รวมถึงน้ำหนักของตัวแบบและการแสดงคุณลักษณะ วิธีลายนิ้วมือตามน้ำหนักจะระบุตัวตนโดยการคำนวณความคล้ายคลึงกันของน้ำหนักแบบจำลอง อย่างไรก็ตาม วิธีการนี้อาจไวต่อการเปลี่ยนแปลงของน้ำหนัก เช่น การเรียงสับเปลี่ยนน้ำหนัก การตัดแต่งกิ่ง และการปรับแต่งแบบละเอียด วิธีการที่ใช้การวิเคราะห์เชิงความหมายจะทำการจดจำผ่านข้อความที่สร้างโดยแบบจำลองการวิเคราะห์ทางสถิติ อย่างไรก็ตาม ทั้งสองวิธีประสบปัญหาจากความคงทนไม่เพียงพอ
มีวิธีใดบ้างที่สามารถระบุโมเดล "เชลล์" ได้อย่างมีประสิทธิภาพโดยไม่กระทบต่อประสิทธิภาพของโมเดลและต่อต้านการดัดแปลง "แฟนซี" ต่างๆ
นักวิจัยจากห้องปฏิบัติการปัญญาประดิษฐ์เซี่ยงไฮ้และสถาบันอื่นๆ ได้เสนอวิธีการระบุลายนิ้วมือรุ่นใหม่ - REEF
หลักการทำงานของ REEF คือ:
REEF เป็นวิธีระบุลายนิ้วมือตามการแสดงคุณสมบัติ ไม่ได้ขึ้นอยู่กับการแสดงเลเยอร์เฉพาะใดๆ แต่ใช้ความสามารถในการสร้างแบบจำลองการแสดงภาพอันทรงพลังของ LLM เพื่อดึงคุณลักษณะจากเลเยอร์ต่างๆ เพื่อการจดจำ
โดยจะเปรียบเทียบความคล้ายคลึงกันของการจัดตำแหน่งเคอร์เนลกึ่งกลาง (CKA) ของการแสดงคุณลักษณะของสองรุ่นในตัวอย่างเดียวกัน CKA เป็นดัชนีความคล้ายคลึงกันตาม Hilbert-Schmidt Independence Criterion (HSIC) ซึ่งสามารถวัดความเป็นอิสระระหว่างตัวแปรสุ่มสองชุดได้
หากมีความคล้ายคลึงกันสูง แสดงว่าแบบจำลองต้องสงสัยน่าจะมาจากแบบจำลองของเหยื่อ มิฉะนั้น ก็ไม่น่าเป็นไปได้
ข้อดีของ REEF คืออะไร?
ไม่ต้องมีการฝึกอบรม: ซึ่งหมายความว่าจะไม่ส่งผลกระทบต่อประสิทธิภาพของโมเดล และไม่ได้เพิ่มค่าใช้จ่ายในการฝึกอบรมเพิ่มเติม
ความแข็งแกร่งที่แข็งแกร่ง: ทนทานต่อการพัฒนาต่างๆ ในภายหลัง เช่น การตัดแต่งโมเดล การปรับแต่งอย่างละเอียด การรวม การจัดเรียง และการแปลงขนาด แม้ว่าโมเดลต้องสงสัยจะต้องผ่านการปรับแต่งอย่างละเอียด (มากถึง 700 พันล้านโทเค็นของข้อมูล) REEF ยังสามารถระบุได้อย่างมีประสิทธิภาพว่าโมเดลนั้นมาจากโมเดลของเหยื่อหรือไม่
การรับประกันตามทฤษฎี: นักวิจัยได้พิสูจน์ในทางทฤษฎีแล้วว่า CKA ไม่แปรผันกับการจัดเรียงคอลัมน์และการแปลงขนาด
ผลการทดลองแสดงให้เห็นว่า REEF ทำงานได้ดีในการระบุแบบจำลอง "เปลือก" ซึ่งมีประสิทธิภาพเหนือกว่าวิธีการที่มีอยู่โดยพิจารณาจากน้ำหนักและการวิเคราะห์เชิงความหมาย
การเกิดขึ้นของ REEF ถือเป็นเครื่องมือใหม่ในการปกป้องทรัพย์สินทางปัญญาของ LLM และช่วยต่อสู้กับพฤติกรรมที่ผิดจรรยาบรรณหรือผิดกฎหมาย เช่น การใช้หรือการคัดลอกแบบจำลองโดยไม่ได้รับอนุญาต
ที่อยู่กระดาษ: https://arxiv.org/pdf/2410.14273
โดยรวมแล้ว วิธี REEF มอบโซลูชันที่มีประสิทธิภาพ แข็งแกร่ง และมีประสิทธิภาพสำหรับปัญหาการคุ้มครองทรัพย์สินทางปัญญาของโมเดลโอเพ่นซอร์ส LLM และมีส่วนช่วยสร้างสภาพแวดล้อมทางนิเวศน์ AI ที่ดีขึ้น