การพัฒนาอย่างรวดเร็วของแบบจำลองภาษาขนาดใหญ่ (LLM) ได้นำความสะดวกสบายที่ไม่เคยเกิดขึ้นมาก่อน แต่ก็เผชิญกับความท้าทายที่สำคัญของ "ภาพลวงตา" สิ่งที่เรียกว่า "ภาพลวงตา" หมายถึงการสร้างเนื้อหา LLM ที่ดูเหมือนจริง แต่จริง ๆ แล้วเป็นเท็จหรือไม่สอดคล้องกับข้อเท็จจริง บทความนี้จะดำเนินการอภิปรายเชิงลึกเกี่ยวกับผลการวิจัยล่าสุดของนักวิจัยฮาร์วาร์ดเกี่ยวกับปรากฏการณ์ "ภาพลวงตา" LLM วิเคราะห์สาเหตุและหวังว่าจะมีทิศทางการพัฒนาในอนาคต การวิจัยพบว่ารากของ "ภาพลวงตา" ของ LLM อยู่ในกลไกการทำนายของมันขึ้นอยู่กับความน่าจะเป็นทางสถิติมากกว่าความเข้าใจที่แท้จริง สิ่งนี้ทำให้ LLM มีแนวโน้มที่จะเข้าใจผิดเมื่อจัดการกับหัวข้อที่คลุมเครือหรือโต้เถียง
การเกิดขึ้นของแบบจำลองภาษาขนาดใหญ่ (LLM) โดยเฉพาะอย่างยิ่งความนิยมของแอพพลิเคชั่นเช่น ChatGPT ได้เปลี่ยนวิธีการปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์อย่างสมบูรณ์ โมเดลเหล่านี้น่าประทับใจในการสร้างข้อความที่สอดคล้องกันและครอบคลุม อย่างไรก็ตามแม้จะมีความสามารถที่ทรงพลัง LLM ก็มีแนวโน้มที่จะ "ภาพลวงตา" นั่นคือการสร้างเนื้อหาที่ดูเหมือนจริง แต่จริง ๆ แล้วสมมติจริงไม่มีความหมายหรือไม่สอดคล้องกับพรอมต์
นักวิจัยที่มหาวิทยาลัยฮาร์วาร์ดดำเนินการวิจัยเชิงลึกเกี่ยวกับปรากฏการณ์ "ภาพลวงตา" ของ LLM และพบว่าสาเหตุของมันอยู่ในการทำงานของ LLM LLM สร้างแบบจำลองความน่าจะเป็นโดยการเรียนรู้ของเครื่องเกี่ยวกับข้อมูลข้อความขนาดใหญ่และทำนายคำถัดไปตามความน่าจะเป็นของการเกิดร่วม กล่าวอีกนัยหนึ่ง LLM ไม่เข้าใจความหมายของภาษาจริงๆ แต่ทำการคาดการณ์ตามความน่าจะเป็นทางสถิติ
นักวิจัยเปรียบเทียบ LLM กับ "crowdsourcing" และเชื่อว่า LLM กำลังส่งออก "ฉันทามติเครือข่าย" เช่นเดียวกับแพลตฟอร์มเช่น Wikipedia หรือ Reddit LLM จะดึงข้อมูลจากข้อมูลข้อความจำนวนมากและสร้างคำตอบที่พบบ่อยที่สุด เนื่องจากภาษาส่วนใหญ่ใช้เพื่ออธิบายโลกคำตอบที่สร้างโดย LLM มักจะถูกต้อง
อย่างไรก็ตาม "ภาพลวงตา" เกิดขึ้นเมื่อ LLM พบกับหัวข้อที่คลุมเครือขัดแย้งหรือขาดหัวข้อฉันทามติ เพื่อทดสอบสมมติฐานนี้นักวิจัยได้ออกแบบชุดการทดลองที่ทดสอบประสิทธิภาพของ LLM ที่แตกต่างกันเมื่อจัดการกับหัวข้อต่าง ๆ ผลการทดลองแสดงให้เห็นว่า LLM ทำงานได้ดีเมื่อจัดการกับหัวข้อทั่วไป แต่ลดความแม่นยำอย่างมีนัยสำคัญเมื่อจัดการกับหัวข้อที่คลุมเครือหรือโต้เถียง
การศึกษาครั้งนี้แสดงให้เห็นว่า LLM ในขณะที่มีประสิทธิภาพเป็นเครื่องมือคือความแม่นยำขึ้นอยู่กับคุณภาพและปริมาณของข้อมูลการฝึกอบรม เมื่อใช้ LLM โดยเฉพาะอย่างยิ่งเมื่อต้องรับมือกับหัวข้อที่คลุมเครือหรือโต้เถียงเอาท์พุทจะต้องใช้ความระมัดระวัง การศึกษาครั้งนี้ยังให้ทิศทางสำหรับการพัฒนาในอนาคตของ LLM คือความจำเป็นในการปรับปรุงความสามารถของ LLM ในการจัดการกับหัวข้อที่คลุมเครือและโต้เถียงและปรับปรุงความสามารถในการตีความผลลัพธ์ของผลลัพธ์
ที่อยู่กระดาษ: https://dl.acm.org/doi/pdf/10.1145/3688007
การวิจัยของมหาวิทยาลัยฮาร์วาร์ดให้ข้อมูลเชิงลึกที่มีคุณค่าสำหรับการทำความเข้าใจและปรับปรุง LLM และยังเตือนให้เราใช้ LLM ด้วยความระมัดระวังโดยเฉพาะอย่างยิ่งเมื่อกำหนดเป้าหมายหัวข้อที่คลุมเครือหรือมีการโต้เถียงและเราจำเป็นต้องระบุความถูกต้องของผลลัพธ์ที่ส่งออกอย่างรอบคอบ ในอนาคต