การเพิ่มขึ้นของโมเดลภาษาขนาดใหญ่ (LLM) โดยเฉพาะอย่างยิ่งการใช้งานแอปพลิเคชันอย่างแพร่หลาย เช่น ChatGPT ได้เปลี่ยนแปลงรูปแบบปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ไปอย่างสิ้นเชิง LLM แสดงให้เห็นถึงความสามารถที่น่าประทับใจในการสร้างข้อความที่สอดคล้องและครอบคลุม อย่างไรก็ตาม บรรณาธิการของ Downcodes พบว่า LLM ก็มีปัญหาเรื่อง "ภาพหลอน" เช่นกัน กล่าวคือ สร้างเนื้อหาที่ดูสมจริงแต่เป็นเรื่องสมมติ ไร้ความหมาย หรือไม่สอดคล้องกับข้อความแจ้ง นักวิจัยจากมหาวิทยาลัยฮาร์วาร์ดได้ทำการวิจัยเชิงลึกเกี่ยวกับเรื่องนี้ โดยพยายามเปิดเผยสาเหตุและวิธีแก้ปัญหาของ "ภาพลวงตา" LLM
การเกิดขึ้นของโมเดลภาษาขนาดใหญ่ (LLM) โดยเฉพาะอย่างยิ่งความนิยมของแอปพลิเคชัน เช่น ChatGPT ได้เปลี่ยนแปลงวิธีการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์ไปอย่างสิ้นเชิง ความสามารถของโมเดลในการสร้างข้อความที่สอดคล้องกันและครอบคลุมนั้นน่าประทับใจ อย่างไรก็ตาม แม้จะมีความสามารถอันทรงพลัง แต่ LLM ก็มีแนวโน้มที่จะ "ภาพหลอน" ซึ่งก็คือการสร้างเนื้อหาที่ดูเป็นจริงแต่จริงๆ แล้วเป็นเรื่องสมมติ ไร้ความหมาย หรือไม่สอดคล้องกับข้อความแจ้ง
นักวิจัยจากมหาวิทยาลัยฮาร์วาร์ดได้ทำการศึกษาเชิงลึกเกี่ยวกับปรากฏการณ์ "ภาพหลอน" ของ LLM และพบว่ารากฐานของมันอยู่ที่หลักการทำงานของ LLM LLM สร้างแบบจำลองความน่าจะเป็นโดยการเรียนรู้ของเครื่องกับข้อมูลข้อความขนาดใหญ่ และคาดการณ์คำถัดไปโดยพิจารณาจากความน่าจะเป็นที่คำจะเกิดขึ้นร่วมกัน กล่าวอีกนัยหนึ่ง LLM ไม่เข้าใจความหมายของภาษาจริงๆ แต่คาดการณ์ตามความน่าจะเป็นทางสถิติ
นักวิจัยเปรียบเทียบ LLM กับ "การระดมทุนจากมวลชน" และเชื่อว่า LLM กำลังแสดง "ฉันทามติของเครือข่าย" จริงๆ เช่นเดียวกับแพลตฟอร์มอย่าง Wikipedia หรือ Reddit LLM จะดึงข้อมูลจากข้อมูลข้อความจำนวนมากและสร้างคำตอบที่พบบ่อยที่สุด เนื่องจากภาษาส่วนใหญ่ใช้เพื่ออธิบายโลก คำตอบที่สร้างโดย LLM มักจะแม่นยำ
อย่างไรก็ตาม "ภาพลวงตา" สามารถเกิดขึ้นได้เมื่อ LLM พบกับหัวข้อที่คลุมเครือ มีข้อขัดแย้ง หรือขาดความเห็นพ้องต้องกัน เพื่อทดสอบสมมติฐานนี้ นักวิจัยได้ออกแบบชุดการทดลองเพื่อทดสอบประสิทธิภาพของ LLM ที่แตกต่างกันเมื่อต้องรับมือกับหัวข้อที่ต่างกัน ผลการทดลองแสดงให้เห็นว่า LLM ทำงานได้ดีเมื่อต้องรับมือกับหัวข้อทั่วไป แต่ความแม่นยำจะลดลงอย่างมากเมื่อต้องจัดการกับหัวข้อที่คลุมเครือหรือเป็นที่ถกเถียง
การศึกษานี้แสดงให้เห็นว่าแม้ว่า LLM จะเป็นเครื่องมือที่ทรงพลัง แต่ความถูกต้องแม่นยำนั้นขึ้นอยู่กับคุณภาพและปริมาณของข้อมูลการฝึกอบรม เมื่อใช้ LLM โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับหัวข้อที่คลุมเครือหรือมีข้อขัดแย้ง ผลลัพธ์จะต้องได้รับการปฏิบัติด้วยความระมัดระวัง งานวิจัยนี้ยังให้แนวทางสำหรับการพัฒนา LLM ในอนาคต ซึ่งเป็นความจำเป็นในการปรับปรุงความสามารถของ LLM ในการจัดการกับหัวข้อที่คลุมเครือและมีข้อขัดแย้ง และปรับปรุงความสามารถในการตีความผลลัพธ์ที่ได้
ที่อยู่กระดาษ: https://dl.acm.org/doi/pdf/10.1145/3688007
การศึกษาของ Harvard ให้ข้อมูลเชิงลึกที่มีคุณค่าในการทำความเข้าใจและปรับปรุง LLM นอกจากนี้ยังเตือนเราว่าเราจำเป็นต้องใช้ LLM ด้วยความระมัดระวัง โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับหัวข้อที่ซับซ้อนหรือมีข้อขัดแย้ง และเราควรประเมินผลผลลัพธ์อย่างมีวิจารณญาณ ทิศทางการพัฒนาในอนาคตของ LLM ควรมุ่งเน้นไปที่การปรับปรุงความสามารถในการจัดการข้อมูลที่คลุมเครือและปรับปรุงความสามารถในการตีความ บรรณาธิการของ Downcodes หวังว่างานวิจัยนี้สามารถส่งเสริมการพัฒนาเทคโนโลยี LLM ในทิศทางที่น่าเชื่อถือและน่าเชื่อถือมากขึ้น