บรรณาธิการของ Downcodes ได้เรียนรู้ว่าการศึกษาล่าสุดสำรวจความสามารถที่เป็นไปได้ของโมเดล AI ในกระบวนการเรียนรู้อย่างลึกซึ้ง และวิธีการเรียนรู้ของมันก็เกินกว่าความเข้าใจเดิมของผู้คนด้วยซ้ำ ด้วยการวิเคราะห์พลวัตการเรียนรู้ของโมเดล AI ใน "พื้นที่แนวคิด" นักวิจัยได้เปิดเผยกลไกใหม่สำหรับการทำความเข้าใจและสร้างภาพ AI งานวิจัยนี้ไม่เพียงแต่ให้มุมมองใหม่สำหรับความเข้าใจของเราเกี่ยวกับการเรียนรู้ AI แต่ยังให้แนวคิดที่มีคุณค่าในการปรับปรุงประสิทธิภาพของแบบจำลอง AI เรามาดูรายละเอียดการวิจัยที่ก้าวล้ำนี้กันดีกว่า
หมายเหตุแหล่งที่มาของรูปภาพ: รูปภาพนี้สร้างขึ้นโดย AI และผู้ให้บริการอนุญาตรูปภาพ Midjourney
“พื้นที่แนวคิด” คือระบบพิกัดเชิงนามธรรมที่สามารถแสดงคุณลักษณะของแต่ละแนวคิดที่เป็นอิสระในข้อมูลการฝึกอบรม เช่น รูปร่าง สี หรือขนาดของวัตถุ นักวิจัยกล่าวว่าการอธิบายพลวัตการเรียนรู้ในพื้นที่นี้สามารถเผยให้เห็นได้ว่าความเร็วของการเรียนรู้แนวคิดและลำดับการเรียนรู้ได้รับผลกระทบจากคุณลักษณะของข้อมูล ซึ่งเรียกว่า "สัญญาณแนวคิด" สัญญาณแนวคิดนี้สะท้อนถึงความอ่อนไหวของกระบวนการสร้างข้อมูลต่อการเปลี่ยนแปลงค่าแนวคิด ตัวอย่างเช่น แบบจำลองเรียนรู้สีได้เร็วขึ้นเมื่อชุดข้อมูลเห็นความแตกต่างระหว่างสีแดงและสีน้ำเงินอย่างชัดเจน
ในระหว่างกระบวนการวิจัย ทีมวิจัยตั้งข้อสังเกตว่าพลวัตการเรียนรู้ของแบบจำลองจะเกิดการเปลี่ยนแปลงทิศทางอย่างกะทันหัน จาก "หน่วยความจำแนวคิด" ไปสู่ "ลักษณะทั่วไป" เพื่อยืนยันปรากฏการณ์นี้ พวกเขาได้ฝึกแบบจำลองที่มี "วงกลมสีแดงขนาดใหญ่", "วงกลมสีน้ำเงินขนาดใหญ่" และ "วงกลมสีแดงเล็ก" เป็นข้อมูลนำเข้า แบบจำลองไม่สามารถสร้างชุดค่าผสม "วงกลมสีน้ำเงินเล็ก" ที่ไม่ปรากฏในการฝึกผ่านข้อความแจ้งแบบธรรมดา อย่างไรก็ตาม การใช้เทคนิค "การแทรกแซงที่เป็นไปได้" (เช่น การจัดการกับการเปิดใช้งานที่เกี่ยวข้องกับสีและขนาดในแบบจำลอง) และเทคนิค "การชี้นำมากเกินไป" (เช่น การปรับปรุงข้อกำหนดสีผ่านค่า RGB) นักวิจัยประสบความสำเร็จในการสร้าง "วงกลมสีน้ำเงินเล็กๆ" " นี่แสดงให้เห็นว่าแม้ว่าโมเดลจะสามารถเข้าใจการผสมผสานระหว่าง "สีน้ำเงิน" และ "เล็ก" ได้ แต่ก็ไม่สามารถเชี่ยวชาญความสามารถนี้ผ่านข้อความแจ้งง่ายๆ
นักวิจัยยังได้ขยายวิธีการนี้ไปยังชุดข้อมูลในโลกแห่งความเป็นจริง เช่น CelebA ซึ่งมีคุณลักษณะของภาพใบหน้าหลายรูปแบบ เช่น เพศ และรอยยิ้ม ผลการวิจัยพบว่าแบบจำลองมีความสามารถในการซ่อนเมื่อสร้างภาพผู้หญิงยิ้ม แต่จะอ่อนแอเมื่อใช้สัญญาณพื้นฐาน นอกจากนี้ การทดลองเบื้องต้นยังพบว่าเมื่อใช้ Stable Diffusion1.4 การแจ้งมากเกินไปสามารถสร้างภาพที่ผิดปกติได้ เช่น บัตรเครดิตรูปสามเหลี่ยม
ดังนั้น ทีมวิจัยจึงเสนอสมมติฐานทั่วไปเกี่ยวกับความสามารถที่ซ่อนอยู่ กล่าวคือ แบบจำลองกำเนิดมีความสามารถแฝงที่เกิดขึ้นอย่างกะทันหันและสม่ำเสมอระหว่างการฝึก แม้ว่าแบบจำลองอาจไม่แสดงความสามารถเหล่านี้เมื่อต้องเผชิญกับสัญญาณธรรมดาก็ตาม
งานวิจัยนี้ให้มุมมองใหม่ให้เราเข้าใจกลไกการเรียนรู้ของโมเดล AI และยังให้ทิศทางใหม่สำหรับการปรับปรุงและการประยุกต์ใช้โมเดล AI ในอนาคต บรรณาธิการของ Downcodes เชื่อว่าด้วยการวิจัยเชิงลึกอย่างต่อเนื่องเกี่ยวกับกลไกการเรียนรู้ของ AI เราจะสามารถควบคุมศักยภาพของ AI ได้ดียิ่งขึ้น และส่งเสริมการพัฒนาเทคโนโลยีปัญญาประดิษฐ์ต่อไป รอคอยผลการวิจัยที่คล้ายกันเพิ่มเติมในอนาคต!