ที่มา: ข่าวเอ็มไอที
แม้ว่าความสามารถของโมเดลภาษาขนาดใหญ่จะน่าประทับใจ แต่ก็ยังห่างไกลจากความสมบูรณ์แบบ โมเดล AI เหล่านี้บางครั้งอาจ "เห็นภาพหลอน" และสร้างข้อมูลที่ไม่ถูกต้องหรือไม่มีมูลเพื่อตอบสนองต่อข้อสงสัย
เนื่องจากปัญหาที่ลวงตานี้ คำตอบของแบบจำลองจึงมักต้องได้รับการตรวจสอบโดยผู้ตรวจสอบที่เป็นมนุษย์ โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่มีความเสี่ยงสูง เช่น การดูแลสุขภาพหรือการเงิน อย่างไรก็ตาม กระบวนการตรวจสอบมักกำหนดให้ผู้ใช้ต้องอ่านเอกสารขนาดยาวที่อ้างอิงโดยโมเดล ซึ่งเป็นงานที่น่าเบื่อและเกิดข้อผิดพลาดได้ง่าย ซึ่งอาจขัดขวางผู้ใช้บางรายจากการใช้โมเดล AI เชิงสร้างสรรค์
เพื่อช่วยเหลือผู้ตรวจสอบที่เป็นมนุษย์ นักวิจัยของ MIT ได้สร้างระบบที่ใช้งานง่ายซึ่งช่วยให้ผู้คนสามารถตรวจสอบการตอบสนองของแบบจำลองภาษาขนาดใหญ่ได้รวดเร็วยิ่งขึ้น เครื่องมือที่เรียกว่า SymGen ช่วยให้ LLM สร้างการตอบสนองด้วยการอ้างอิงที่ชี้โดยตรงไปยังตำแหน่งเฉพาะในเอกสารต้นฉบับ เช่น เซลล์ในฐานข้อมูล
ผู้ใช้สามารถเลื่อนเมาส์ไปเหนือส่วนที่ไฮไลต์ของข้อความตอบกลับเพื่อดูข้อมูลที่โมเดลใช้ในการสร้างคำหรือวลีเฉพาะ ในขณะเดียวกัน ส่วนที่ไม่ได้ไฮไลต์จะแสดงวลีที่ต้องได้รับการตรวจสอบและยืนยันเพิ่มเติม
"เราให้ความสามารถแก่ผู้คนในการเลือกเน้นไปที่ส่วนต่างๆ ของข้อความที่พวกเขาต้องการให้ความสนใจมากขึ้น ในที่สุด SymGen ก็ช่วยเพิ่มความมั่นใจของผู้คนต่อการตอบสนองของแบบจำลอง เพราะพวกเขาสามารถตรวจสอบอีกครั้งได้อย่างง่ายดายเพื่อให้แน่ใจว่าข้อมูลมีความน่าเชื่อถือ" & วิทยาการคอมพิวเตอร์ กล่าวว่า Shannon Shen นักศึกษาระดับบัณฑิตศึกษา ผู้ร่วมเขียนรายงาน SymGen คนแรก
จากการวิจัยผู้ใช้ Shen และผู้ร่วมงานของเขาพบว่าเวลาในการตรวจสอบโดยใช้ SymGen ลดลงประมาณ 20% เมื่อเทียบกับกระบวนการที่ต้องดำเนินการด้วยตนเอง ด้วยการทำให้กระบวนการตรวจสอบความถูกต้องของโมเดลเอาต์พุตเร็วขึ้นและง่ายขึ้น SymGen ช่วยระบุข้อผิดพลาดใน LLM ที่ใช้ในแอปพลิเคชันในโลกแห่งความเป็นจริงที่หลากหลาย ตั้งแต่การสร้างบันทึกทางคลินิกไปจนถึงการสรุปรายงานตลาดการเงิน
ผู้เขียนร่วมของ Shen ยังรวมถึงผู้เขียนร่วมคนแรก Lucas Torroba Hennigen นักศึกษาระดับบัณฑิตศึกษาของ EECS Aniruddha “Ani” Nrusimha; Bernhard Gapp ประธานของ Good Data Initiative และผู้เขียนอาวุโส David Sontag ศาสตราจารย์ EECS และสมาชิกของ MIT Jameel Clinic สาขาวิชาวิทยาการคอมพิวเตอร์ โดยมีหัวหน้ากลุ่ม Clinical Machine Learning ของ Artificial Intelligence Laboratory (CSAIL) และผู้ช่วยศาสตราจารย์ yoon Kim สมาชิกของ CSAIL งานวิจัยนี้เพิ่งถูกนำเสนอในการประชุมการสร้างแบบจำลองภาษา
การอ้างอิงสัญลักษณ์
เพื่อช่วยในการตรวจสอบ LLM จำนวนมากได้รับการออกแบบเพื่อสร้างการอ้างอิงถึงเอกสารภายนอกและให้การตอบสนองตามภาษาสำหรับการตรวจสอบผู้ใช้ อย่างไรก็ตาม ระบบการตรวจสอบเหล่านี้มักจะเป็นเพียงความคิดในภายหลัง และไม่คำนึงถึงความพยายามที่ผู้คนต้องใช้ในการกรองข้อมูลอ้างอิงจำนวนมาก Shen กล่าว
“จุดประสงค์ของ generative AI คือการลดเวลาที่ผู้ใช้ต้องทำงานให้เสร็จสิ้น หากคุณต้องใช้เวลาหลายชั่วโมงในการอ่านเอกสารเหล่านี้เพื่อตรวจสอบว่าการกล่าวอ้างของโมเดลนั้นสมเหตุสมผลหรือไม่ เนื้อหาที่สร้างขึ้นจะมีประโยชน์น้อยลงในการใช้งานจริง “เซินกล่าว
นักวิจัยเข้าหาคำถามนี้จากมุมมองของบุคคลที่จะทำงานตรวจสอบความถูกต้อง
ขั้นแรกผู้ใช้ SymGen จะให้ข้อมูล LLM ที่สามารถใช้เป็นข้อมูลอ้างอิงได้ เช่น ตารางที่มีสถิติเกมบาสเก็ตบอล จากนั้นผู้วิจัยดำเนินการขั้นตอนกลางโดยไม่ต้องขอให้แบบจำลองทำงานให้เสร็จสิ้นทันที เช่น สร้างสรุปการจับคู่จากข้อมูลนี้ พวกเขาแจ้งให้โมเดลสร้างการตอบสนองในรูปแบบสัญลักษณ์
ด้วยข้อความแจ้งนี้ เมื่อใดก็ตามที่แบบจำลองต้องการอ้างอิงคำในการตอบกลับ จะต้องเขียนเซลล์เฉพาะในตารางข้อมูลที่มีข้อมูลนั้น ตัวอย่างเช่น หากโมเดลต้องการอ้างอิงวลี "Portland Trail Blazers" ในการตอบกลับ โมเดลจะแทนที่ข้อความนั้นด้วยชื่อเซลล์ในตารางข้อมูลที่มีคำเหล่านั้น
"เนื่องจากเรามีขั้นตอนกลางในการนำเสนอข้อความในรูปแบบสัญลักษณ์ เราจึงสามารถอ้างอิงได้อย่างละเอียดมาก เราสามารถระบุได้อย่างชัดเจนว่าข้อความแต่ละส่วนในเอาต์พุตสอดคล้องกับส่วนใดของข้อมูล" Torroba Hennigen กล่าว
จากนั้น SymGen จะใช้เครื่องมือที่อิงกฎเพื่อแยกวิเคราะห์การอ้างอิงแต่ละรายการ โดยคัดลอกข้อความที่เกี่ยวข้องจากตารางข้อมูลไปยังการตอบสนองของโมเดล
“ด้วยวิธีนี้ เรารู้ว่าเป็นการคัดลอกแบบคำต่อคำ ดังนั้นเราจึงมั่นใจได้ว่าไม่มีข้อผิดพลาดในส่วนของข้อความที่สอดคล้องกับตัวแปรข้อมูลจริง” Shen กล่าวเสริม
ลดความซับซ้อนในการตรวจสอบ
โมเดลสามารถสร้างการตอบสนองเชิงสัญลักษณ์ได้เนื่องจากวิธีการฝึกฝน โมเดลภาษาขนาดใหญ่ยอมรับข้อมูลจำนวนมากจากอินเทอร์เน็ต ซึ่งบางส่วนจะถูกบันทึกในรูปแบบ "ตัวยึดตำแหน่ง" โดยมีรหัสแทนที่ค่าจริง
SymGen ใช้โครงสร้างที่คล้ายกันเมื่อแจ้งให้โมเดลสร้างการตอบสนองเชิงสัญลักษณ์
“เราออกแบบข้อความแจ้งในลักษณะเฉพาะเพื่อปลดปล่อยขีดความสามารถของ LLM” Shen กล่าวเสริม
ในการศึกษาผู้ใช้ ผู้เข้าร่วมส่วนใหญ่ระบุว่า SymGen ทำให้การตรวจสอบข้อความที่สร้างโดย LLM ง่ายขึ้น พวกเขาตรวจสอบการตอบสนองของโมเดลได้เร็วกว่าการใช้วิธีมาตรฐานประมาณ 20%
อย่างไรก็ตาม ประสิทธิภาพของ SymGen ถูกจำกัดด้วยคุณภาพของแหล่งข้อมูล LLM อาจอ้างอิงตัวแปรที่ไม่ถูกต้อง และผู้ตรวจสอบที่เป็นมนุษย์อาจไม่ทราบถึงเรื่องนี้
นอกจากนี้ ผู้ใช้ต้องจัดเตรียมข้อมูลต้นทางในรูปแบบที่มีโครงสร้าง (เช่น ตาราง) เพื่อป้อนข้อมูลลงใน SymGen ปัจจุบันระบบใช้งานได้กับข้อมูลแบบตารางเท่านั้น
ในอนาคตข้างหน้า นักวิจัยกำลังเพิ่มขีดความสามารถของ SymGen ในการจัดการข้อความที่กำหนดเองและรูปแบบข้อมูลอื่นๆ ด้วยความสามารถนี้ สามารถช่วยตรวจสอบความถูกต้องบางส่วนของสรุปเอกสารทางกฎหมายที่สร้างโดย AI ได้ พวกเขายังวางแผนที่จะทดสอบ SymGen กับแพทย์เพื่อศึกษาว่าระบบระบุข้อผิดพลาดในการสรุปทางคลินิกที่สร้างโดย AI ได้อย่างไร
งานนี้ได้รับทุนบางส่วนจาก LiBERTy Mutual และ MIT Intelligent Discovery Initiative