บรรณาธิการของ Downcodes ได้เรียนรู้ว่านักวิชาการชาวจีนจาก Georgia Institute of Technology และ NVIDIA ได้เสนอเฟรมเวิร์กการปรับแต่งที่เป็นนวัตกรรมที่เรียกว่า RankRAG ซึ่งช่วยให้กระบวนการที่ซับซ้อนของการสร้างการเพิ่มประสิทธิภาพการดึงข้อมูล (RAG) ง่ายขึ้นอย่างมาก RankRAG ปรับแต่งโมเดลภาษาขนาดใหญ่ (LLM) เดี่ยวอย่างละเอียดเพื่อดำเนินงานการดึงข้อมูล การจัดอันดับ และการสร้างไปพร้อมๆ กัน ซึ่งจะช่วยปรับปรุงประสิทธิภาพและประสิทธิผลอย่างมาก และบรรลุผลการทดลองที่เหนือกว่าโมเดลโอเพ่นซอร์สที่มีอยู่ เทคโนโลยีที่ก้าวล้ำนี้นำมาซึ่งความเป็นไปได้ใหม่ๆ สำหรับการประยุกต์ใช้ AI ในสาขาต่างๆ
เมื่อเร็วๆ นี้ นักวิชาการชาวจีนสองคนจาก Georgia Institute of Technology และ NVIDIA เสนอเฟรมเวิร์กการปรับแต่งใหม่ที่เรียกว่า RankRAG เฟรมเวิร์กนี้ช่วยลดความซับซ้อนของไปป์ไลน์ RAG ดั้งเดิมที่ซับซ้อนอย่างมาก และใช้วิธีการปรับแต่งอย่างละเอียดเพื่อให้ LLM เดียวกันสามารถดึงข้อมูล จัดอันดับ และสร้างได้เสร็จสมบูรณ์ งาน ซึ่งส่งผลให้ประสิทธิภาพดีขึ้นอย่างมาก
RAG (Retrieval-Augmented Generation) เป็นเทคโนโลยีที่ใช้กันทั่วไปในการปรับใช้ LLM และเหมาะอย่างยิ่งสำหรับงานสร้างข้อความที่ต้องใช้ความรู้ข้อเท็จจริงจำนวนมาก โดยทั่วไป กระบวนการของ RAG คือ: โมเดลหนาแน่นที่ใช้การเข้ารหัสข้อความจะดึงส่วนข้อความ top-k จากฐานข้อมูลภายนอก จากนั้น LLM จะอ่านและสร้างข้อความเหล่านั้น กระบวนการนี้มีการใช้กันอย่างแพร่หลาย แต่ก็มีข้อจำกัด เช่น การเลือกค่า k หากค่า k มากเกินไป แม้แต่ LLM ที่รองรับบริบทที่ยาวก็จะประสบปัญหาในการประมวลผลอย่างรวดเร็ว หากค่า k ต่ำเกินไป จำเป็นต้องมีกลไกการเรียกคืนสูง และผู้ดึงข้อมูลและโมเดลการจัดอันดับที่มีอยู่ก็มีข้อบกพร่องของตัวเอง
จากปัญหาข้างต้น เฟรมเวิร์ก RankRAG นำเสนอแนวคิดใหม่: ขยายขีดความสามารถของ LLM ผ่านการปรับแต่งอย่างละเอียด และปล่อยให้ LLM ทำการดึงข้อมูลและจัดอันดับด้วยตัวเอง ผลการทดลองแสดงให้เห็นว่าวิธีการนี้ไม่เพียงแต่ปรับปรุงประสิทธิภาพของข้อมูลเท่านั้น แต่ยังปรับปรุงประสิทธิภาพของโมเดลอย่างมีนัยสำคัญอีกด้วย โดยเฉพาะอย่างยิ่งในเกณฑ์มาตรฐานทั่วไปหลายรายการและเกณฑ์มาตรฐานที่เน้นความรู้ด้านชีวการแพทย์ โมเดล Llama38B/70B ที่ปรับแต่งโดย RankRAG เหนือกว่ารุ่น ChatQA-1.58B และ ChatQA-1.570B ตามลำดับ
กุญแจสำคัญของ RankRAG คือการโต้ตอบและการแก้ไขในระดับสูง ผู้ใช้ไม่เพียงสามารถดูเนื้อหาที่สร้างโดย AI ในแบบเรียลไทม์ แต่ยังแก้ไขและทำซ้ำได้โดยตรงบนอินเทอร์เฟซ กลไกการตอบสนองทันทีนี้ช่วยปรับปรุงประสิทธิภาพการทำงานอย่างมาก และทำให้ AI เป็นผู้ช่วยเหลือที่ทรงพลังอย่างแท้จริงในกระบวนการสร้างสรรค์ สิ่งที่น่าตื่นเต้นยิ่งกว่านั้นคือการอัปเดตนี้ทำให้ Artifact เหล่านี้ไม่ได้จำกัดอยู่เพียงแพลตฟอร์ม Claude อีกต่อไป และผู้ใช้สามารถแชร์ได้อย่างง่ายดายทุกที่
นวัตกรรมของเฟรมเวิร์กการปรับแต่ง RankRAG นี้ยังรวมถึงการปรับแต่งคำสั่งอย่างละเอียดสองขั้นตอนด้วย ขั้นตอนแรกคือการปรับแต่งแบบละเอียดภายใต้การดูแล (SFT) ซึ่งจะผสมชุดข้อมูลหลายชุดเพื่อปรับปรุงความสามารถในการปฏิบัติตามคำสั่งของ LLM ชุดข้อมูลการปรับแต่งขั้นที่สองอย่างละเอียดประกอบด้วยข้อมูล QA ที่หลากหลาย ข้อมูล QA ที่ปรับปรุงการดึงข้อมูล และข้อมูลการจัดอันดับตามบริบทเพื่อปรับปรุงความสามารถในการดึงข้อมูลและการจัดอันดับของ LLM ให้ดียิ่งขึ้น
ในการทดลอง RankRAG มีประสิทธิภาพเหนือกว่ารุ่น SOTA แบบโอเพ่นซอร์สในปัจจุบัน ChatQA-1.5 อย่างต่อเนื่องบนชุดข้อมูลโดเมนทั่วไปเก้าชุด โดยเฉพาะอย่างยิ่งในงาน QA ที่ท้าทาย เช่น QA แบบหางยาวและ QA แบบหลายฮอป RankRAG ปรับปรุงประสิทธิภาพมากกว่า ChatQA-1.5 มากกว่า 10%
โดยรวมแล้ว RankRAG ไม่เพียงแต่ทำงานได้ดีในงานการดึงข้อมูลและการสร้างเท่านั้น แต่ยังแสดงให้เห็นถึงความสามารถในการปรับตัวที่แข็งแกร่งกับ Mirage เกณฑ์มาตรฐาน RAG ทางชีวการแพทย์อีกด้วย แม้ว่าจะไม่มีการปรับแต่งอย่างละเอียด RankRAG ก็มีประสิทธิภาพเหนือกว่าโมเดลโอเพ่นซอร์สหลายตัวในสาขาเฉพาะทางในงานตอบคำถามทางการแพทย์
ด้วยการแนะนำและการปรับปรุงอย่างต่อเนื่องของกรอบงาน RankRAG เรามีเหตุผลที่เชื่อได้ว่าอนาคตของการสร้างสรรค์ร่วมกันระหว่าง AI และมนุษย์จะสดใสยิ่งขึ้น ทั้งนักพัฒนาอิสระและนักวิจัยสามารถใช้กรอบการทำงานที่เป็นนวัตกรรมนี้เพื่อสร้างแรงบันดาลใจแนวคิดและความเป็นไปได้ที่มากขึ้น และส่งเสริมการพัฒนาเทคโนโลยีและแอปพลิเคชัน
ที่อยู่กระดาษ: https://arxiv.org/abs/2407.02485
การเกิดขึ้นของเฟรมเวิร์ก RankRAG ถือเป็นการก้าวกระโดดอีกครั้งสำหรับโมเดลภาษาขนาดใหญ่ในด้านการดึงข้อมูลและการสร้างข้อความ การออกแบบที่มีประสิทธิภาพ เรียบง่าย และประสิทธิภาพที่ยอดเยี่ยมจะมอบทิศทางใหม่และแรงจูงใจในการพัฒนาเทคโนโลยี AI ในอนาคตอย่างไม่ต้องสงสัย เรารอคอยที่ RankRAG จะแสดงศักยภาพที่แข็งแกร่งในสาขาอื่นๆ มากขึ้น!