Awesome Papers Autonomous Agent

Awesome-Papers-Autonomous-Agent

นี่คือชุดเอกสารล่าสุดที่เน้นไปที่ตัวแทนอัตโนมัติ นี่คือวิธีที่ Wikipedia ให้คำจำกัดความของ Agent:

ในปัญญาประดิษฐ์ เจ้าหน้าที่อัจฉริยะคือตัวแทนที่ทำหน้าที่ในลักษณะที่ชาญฉลาด รับรู้สภาพแวดล้อม ดำเนินการด้วยตนเองเพื่อให้บรรลุเป้าหมาย และอาจปรับปรุงประสิทธิภาพด้วยการเรียนรู้หรือการได้รับความรู้ สารอัจฉริยะอาจเรียบง่ายหรือซับซ้อน: ระบบควบคุมอื่นๆ ของเทอร์โมสแตทถือเป็นตัวอย่างของสารอัจฉริยะ เช่นเดียวกับมนุษย์ เช่นเดียวกับระบบอื่นๆ ที่ตรงตามคำจำกัดความ เช่น บริษัท รัฐ หรือชีวนิเวศ

ดังนั้นกุญแจสำคัญของตัวแทนคือการสามารถ บรรลุเป้าหมาย ได้รับความรู้ และ ปรับปรุงอย่างต่อเนื่อง ตัวแทนดั้งเดิมในการวิจัย RL จะไม่ได้รับการพิจารณาในคอลเลกชันนี้ แม้ว่าตัวแทนที่ใช้ LLM จะดึงดูดสายตาผู้คนในการวิจัยเมื่อเร็วๆ นี้ แต่ตัวแทนที่ใช้ RL ก็ดำรงตำแหน่งพิเศษเช่นกัน โดยเฉพาะอย่างยิ่ง Repo นี้สนใจตัวแทนสองประเภท: ตัวแทนที่ใช้ RL และตัวแทนที่ใช้ LLM

โปรดทราบว่ารายการกระดาษนี้อยู่ ภายใต้การบำรุงรักษาที่ใช้งานอยู่ ฟรีเพื่อเปิดปัญหาหากคุณพบเอกสารที่ไม่ได้รับซึ่งตรงกับหัวข้อ

---

อัปเดตประวัติ

• 31/01/2024: เพิ่มรายการพิเศษสำหรับแบบสำรวจเกี่ยวกับตัวแทนอัตโนมัติ
• 12/08/2023: เพิ่มเอกสารที่ ICML'23 และ ICLR'23 ยอมรับ
• 11/2023/08: เพิ่มเอกสารที่ NeurIPS'23 ยอมรับ เพิ่มลิงค์ที่เกี่ยวข้อง (หน้าโครงการหรือ GitHub) ให้กับเอกสารที่ได้รับการยอมรับเหล่านี้ ?
• 25/10/2023: จำแนกเอกสารทั้งหมดตามหัวข้อการวิจัย ตรวจสอบ ToC เพื่อดูมาตรฐานการจำแนกประเภท ?
• 10/10/2023: เผยแพร่คอลเลกชันเวอร์ชันแรก รวมถึงเอกสารที่ส่งไปยัง ICLR 2024

สารบัญ

• แบบสำรวจ
• ตัวแทนที่ใช้ RL
  • คำแนะนำตาม
  • สร้างตัวแทนตามโมเดลโลก
  • ภาษาเป็นความรู้
  • LLM เป็นเครื่องมือ
  • ลักษณะทั่วไปข้ามงาน
  • การเรียนรู้อย่างต่อเนื่อง
  • รวม RL และ LLM
  • นโยบายที่ใช้หม้อแปลงไฟฟ้า
  • วิถีสู่ภาษา
  • การทำนายวิถี
  • คนอื่น
• ตัวแทนที่ใช้ LLM
  • ต่อเนื่องหลายรูปแบบ
  • ฝึกอบรม LLM สำหรับลักษณะทั่วไปและการปรับตัว
  • การออกแบบเฉพาะงาน
  • หลายตัวแทน (เช่น สังคม ความร่วมมือ)
  • การวิเคราะห์เชิงทดลอง
  • เกณฑ์มาตรฐานและชุดข้อมูล
  • การใช้งาน
  • การออกแบบอัลกอริทึม
  • รวมกับ RL
  • คนอื่น

---

แบบสำรวจ

• แบบสำรวจตัวแทนอิสระที่ใช้โมเดลภาษาขนาดใหญ่
• การเพิ่มขึ้นและศักยภาพของตัวแทนที่ใช้โมเดลภาษาขนาดใหญ่: การสำรวจ

ตัวแทนที่ใช้ RL

คำแนะนำตาม

• [NeurIPS'23] การเรียนรู้เสริมด้วยภาษาธรรมชาติพร้อมการพัฒนาและการแปลภาษาในงานจากภายในสู่ภายนอก
• [NeurIPS'23] แนะนำตัวแทนของคุณด้วย Adaptive Multimodal Rewards [โครงการ]
• การสอนเชิงองค์ประกอบตามแบบจำลองภาษาและการเรียนรู้แบบเสริมกำลัง
• RT-1: หม้อแปลงหุ่นยนต์สำหรับการควบคุมในโลกแห่งความเป็นจริง [บล็อก]
• RT-2: โมเดลการมองเห็น-ภาษา-การกระทำถ่ายโอนความรู้ทางเว็บไปยังการควบคุมด้วยหุ่นยนต์ [บล็อก]
• Open X-Embodiment: ชุดข้อมูลการเรียนรู้ด้วยหุ่นยนต์และโมเดล RT-X [บล็อก]
• [NeurIPS'23] แนะนำตัวแทนของคุณด้วย Adaptive Multimodal Rewards [โครงการ]
• LEO: ตัวแทนทั่วไปที่เป็นตัวเป็นตนในโลก 3 มิติ [โครงการ]

สร้างตัวแทนตามโมเดลโลก

• [ICLR'23 Oral] หม้อแปลงไฟฟ้าเป็นแบบจำลองโลกที่มีประสิทธิภาพตัวอย่าง [รหัส]
• เรียนรู้การสร้างแบบจำลองโลกด้วยภาษา
• MAMBA: แนวทางแบบจำลองโลกที่มีประสิทธิภาพสำหรับการเรียนรู้แบบเสริมเมตาดาต้า

ภาษาเป็นความรู้

• การเรียนรู้ด้วยการอนุมานภาษาและเคล็ดลับสำหรับการเรียนรู้แบบเสริมกำลังอย่างต่อเนื่อง
• การแจ้งตัวแทนการเรียนรู้แบบเสริมกำลังโดยการใช้ภาษาธรรมชาติต่อกระบวนการตัดสินใจของมาร์คอฟ
• การปรับรางวัลภาษาสำหรับการเรียนรู้แบบเสริมกำลังล่วงหน้า

LLM เป็นเครื่องมือ

• [NeurIPS'23] การปรับนโยบายที่มีประสิทธิภาพพร้อมชุดคำสั่งที่ตรงกันข้ามสำหรับตัวแทนที่เป็นตัวเป็นตน
• [ICLR'23] รางวัลการออกแบบด้วยโมเดลภาษา [รหัส]
• [ICML'23] RLang: ภาษาประกาศสำหรับการอธิบายความรู้ของโลกบางส่วนเพื่อเสริมกำลังตัวแทนการเรียนรู้ [โปสเตอร์]
• [ICML'23] Do Embodied Agents Dream of Pixelated Sheep: การตัดสินใจแบบเป็นตัวเป็นตนโดยใช้การสร้างแบบจำลองโลกที่แนะนำโดยภาษา [โครงการ] [รหัส]
• [ICML'23] การสร้างโมเดลภาษาขนาดใหญ่ในสภาพแวดล้อมแบบโต้ตอบด้วยการเรียนรู้แบบเสริมกำลังแบบออนไลน์
• การใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่เพื่อการประสานงานที่มีประสิทธิภาพสูงสุดในการเรียนรู้การเสริมแรงแบบหลายตัวแทนด้วยข้อความ
• Text2Reward: การสร้างรางวัลหนาแน่นด้วยแบบจำลองภาษาเพื่อการเรียนรู้แบบเสริมกำลัง
• ภาษาสำหรับรางวัลสำหรับการสังเคราะห์ทักษะหุ่นยนต์
• Eureka: การออกแบบรางวัลระดับมนุษย์ผ่านการเข้ารหัสแบบจำลองภาษาขนาดใหญ่
• STARLING: การฝึกอบรมตัวแทนการเรียนรู้แบบเสริมข้อความแบบมีการดูแลตนเองพร้อมแบบจำลองภาษาขนาดใหญ่

ลักษณะทั่วไปข้ามงาน

• ตัวแทนทั่วไป
• AMAGO: การเรียนรู้การเสริมกำลังในบริบทที่ปรับขนาดได้สำหรับตัวแทนการปรับตัว

การเรียนรู้อย่างต่อเนื่อง

• ADAPTER-RL: การปรับตัวของตัวแทนโดยใช้การเรียนรู้แบบเสริมกำลัง
• การเรียนรู้อย่างต่อเนื่องแบบออนไลน์สำหรับการสอนเชิงโต้ตอบตามตัวแทน
• [NeurIPS'23] คำจำกัดความของการเรียนรู้แบบเสริมกำลังอย่างต่อเนื่อง

รวม RL และ LLM

• [NeurIPS'23] โมเดลภาษาขนาดใหญ่เป็นตัวแทนการเรียนรู้แบบเสริมกึ่งพาราเมตริก
• RoboGPT : ตัวแทนอัจฉริยะในการตัดสินใจในระยะยาวสำหรับงานการสอนรายวัน
• ตัวแทนภาษาสามารถเข้าถึงประสิทธิภาพของ RL ได้หรือไม่ การศึกษาเชิงประจักษ์เกี่ยวกับโรงยิม OpenAI
• RLAdapter: การเชื่อมโยงโมเดลภาษาขนาดใหญ่เพื่อเสริมการเรียนรู้ในโลกเปิด

นโยบายที่ใช้หม้อแปลงไฟฟ้า

• [NeurIPS'23] หลักสูตรข้ามตอนสำหรับตัวแทนหม้อแปลงไฟฟ้า [โครงการ]

วิถีสู่ภาษา

• [NeurIPS'23] State2Explanation: คำอธิบายตามแนวคิดเพื่อประโยชน์ในการเรียนรู้ของตัวแทนและความเข้าใจของผู้ใช้
• [NeurIPS'23] Semantic HELM: หน่วยความจำที่มนุษย์อ่านได้สำหรับการเรียนรู้แบบเสริมกำลัง
• [ICML'23] การกลั่นแบบจำลองภาษาการมองเห็นระดับอินเทอร์เน็ตให้เป็นตัวแทนที่เป็นตัวเป็นตน
• การทำความเข้าใจตัวแทนของคุณ: การใช้ประโยชน์จากโมเดลภาษาขนาดใหญ่สำหรับการอธิบายพฤติกรรม

การทำนายวิถี

• การทำนายวิถีโคจรหลายตัวแทนด้วยหม้อแปลงกระจายแบบปรับขนาดได้

คนอื่น

• การเสริมสร้างประสบการณ์ของมนุษย์ในการทำงานร่วมกันระหว่างมนุษย์และตัวแทน: แนวทางการสร้างแบบจำลองที่เน้นมนุษย์เป็นศูนย์กลางโดยอาศัยผลประโยชน์เชิงบวกของมนุษย์
• การแข่งขันที่ชนะตัวแทนการเรียนรู้การเสริมกำลังเชิงลึกใน microRTS
• การจัดตำแหน่งตัวแทนเช่นโมเดลภาษาขนาดใหญ่

---

ตัวแทนที่ใช้ LLM

ต่อเนื่องหลายรูปแบบ

• [ICML'23] PaLM-E: โมเดลภาษาต่อเนื่องหลายรูปแบบที่เป็นตัวเป็นตน
• Steve-Eye: จัดเตรียมเอเจนต์แบบ LLM ที่ใช้ LLM พร้อมการรับรู้ภาพในโลกเปิด
• การนำทางเว็บหลายรูปแบบพร้อมโมเดลพื้นฐานที่ปรับแต่งคำสั่งอย่างละเอียด
• คุณมองแค่หน้าจอเท่านั้น: ตัวแทนห่วงโซ่แห่งการดำเนินการหลายรูปแบบ
• การเรียนรู้การเขียนโปรแกรมภาษาวิสัยทัศน์แบบรวมจากการเรียนการสอน การสำรวจ และผลตอบรับด้านสิ่งแวดล้อม
• ตัวแทนทั่วไปที่เป็นตัวเป็นตนในโลก 3 มิติ
• JARVIS-1: เอเจนต์มัลติทาสก์แบบเปิดโลกพร้อมโมเดลภาษามัลติโมดัลเสริมหน่วยความจำ

ฝึกอบรม LLM สำหรับลักษณะทั่วไปและการปรับตัว

• FireAct: สู่การปรับแต่งตัวแทนภาษา
• การปรับตัวแทน LLM ผ่านการสื่อสาร
• AgentTuning: การเปิดใช้งานความสามารถของตัวแทนทั่วไปสำหรับ LLM
• Retroformer: ตัวแทนภาษาขนาดใหญ่แบบย้อนหลังพร้อมการเพิ่มประสิทธิภาพการไล่ระดับนโยบาย

การออกแบบเฉพาะงาน

• [NeurIPS'23] อธิบาย อธิบาย วางแผน และเลือก: การวางแผนเชิงโต้ตอบด้วย LLM ช่วยให้ตัวแทนทำงานหลายอย่างในโลกเปิดได้
• [NeurIPS'23] SwiftSage: Generative Agent ที่มีการคิดเร็วและช้าสำหรับงานเชิงโต้ตอบที่ซับซ้อน [Github]
• ทบทวนความขัดแย้งในการตรวจสอบของผู้ซื้อในตลาดข้อมูลด้วยตัวแทนด้านภาษา
• แนวทางตัวแทนภาษาเพื่อการพิสูจน์ทฤษฎีบทอย่างเป็นทางการ
• ตัวแทนสั่งให้โมเดลภาษาขนาดใหญ่เป็นผู้ให้เหตุผลแบบ Zero-Shot ทั่วไป
• Ghost in the Minecraft: ตัวแทนแบบลำดับชั้นสำหรับ Minecraft ผ่านโมเดลภาษาขนาดใหญ่พร้อมความรู้และหน่วยความจำแบบข้อความ
• PaperQA: ตัวแทนการสร้างแบบดึงข้อมูลเสริมเพื่อการวิจัยทางวิทยาศาสตร์
• เอเจนต์ภาษาสำหรับการตรวจจับแบบแผนโดยนัยในโมเดลข้อความเป็นรูปภาพตามขนาด
• ผู้ต้องสงสัย: การเล่นเกมข้อมูลที่ไม่สมบูรณ์ด้วยทฤษฎีการรับรู้จิตใจ GPT-4

หลายตัวแทน (เช่น สังคม ความร่วมมือ)

• CoMM: ตัวแทนหลายฝ่ายที่ร่วมมือกัน พร้อมเหตุผลหลายทางพร้อมท์สำหรับการแก้ปัญหาที่ซับซ้อน
• การสร้างตัวแทนแบบมีส่วนร่วมแบบแยกส่วนด้วยโมเดลภาษาขนาดใหญ่
• OKR-Agent: ระบบตัวแทนที่ขับเคลื่อนด้วยวัตถุและผลลัพธ์หลักพร้อมการทำงานร่วมกันด้วยตนเองแบบลำดับชั้นและการประเมินตนเอง
• MetaGPT: การเขียนโปรแกรม Meta สำหรับกรอบการทำงานร่วมกันหลายตัวแทน
• AutoAgents: กรอบงานสำหรับการสร้างตัวแทนอัตโนมัติ
• เครือข่าย LLM-Agent แบบไดนามิก: กรอบการทำงานร่วมกันของ LLM-agent พร้อมการเพิ่มประสิทธิภาพทีมตัวแทน
• AgentVerse: อำนวยความสะดวกในการทำงานร่วมกันหลายตัวแทนและการสำรวจพฤติกรรมฉุกเฉิน
• การสำรวจกลไกการทำงานร่วมกันสำหรับตัวแทน LLM: มุมมองจิตวิทยาสังคม
• REX: การสำรวจอย่างรวดเร็วและ eXploitation สำหรับตัวแทน AI
• การเกิดขึ้นของบรรทัดฐานทางสังคมในสังคมตัวแทนตามแบบจำลองภาษาขนาดใหญ่

การวิเคราะห์เชิงทดลอง

• การระบุความเสี่ยงของตัวแทน LM ด้วย LM-Emulated Sandbox
• การประเมินความสามารถในการประสานงานหลายตัวแทนในแบบจำลองภาษาขนาดใหญ่
• โมเดลภาษาขนาดใหญ่เป็นตัวแทนการเล่นเกม
• การเปรียบเทียบโมเดลภาษาขนาดใหญ่ในฐานะตัวแทนการวิจัย AI
• การสร้างแบบจำลองสิ่งแวดล้อมแบบปรับเปลี่ยนได้สำหรับตัวแทนภาษาที่เน้นงาน
• CLIN: ตัวแทนภาษาการเรียนรู้อย่างต่อเนื่องสำหรับการปรับงานและการวางนัยทั่วไปอย่างรวดเร็ว

เกณฑ์มาตรฐานและชุดข้อมูล

• [ACL'24] AppWorld: โลกที่ควบคุมได้ของแอพและผู้คนสำหรับการเปรียบเทียบตัวแทนการเข้ารหัสเชิงโต้ตอบ [เว็บไซต์] [บล็อก]
• [ICLR'23] ความคลุมเครือของงานในมนุษย์และแบบจำลองภาษา [รหัส]
• SmartPlay: เกณฑ์มาตรฐานสำหรับ LLM ในฐานะตัวแทนอัจฉริยะ
• AgentBench: การประเมิน LLM ในฐานะตัวแทน
• ใส่เงินของคุณในที่ที่ปากของคุณ: การประเมินการวางแผนเชิงกลยุทธ์และการดำเนินการของตัวแทน LLM ในเวทีการประมูล
• โซโทเปีย: การประเมินแบบโต้ตอบสำหรับความฉลาดทางสังคมในตัวแทนภาษา
• SocioDojo: การสร้างเอเจนต์การวิเคราะห์ตลอดชีวิตด้วยอนุกรมเวลาและข้อความในโลกแห่งความเป็นจริง
• WebArena: สภาพแวดล้อมเว็บที่สมจริงสำหรับการสร้างตัวแทนอัตโนมัติ
• LLM-Delibation: การประเมิน LLM ด้วยเกมการเจรจาต่อรองแบบหลายตัวแทนแบบโต้ตอบ
• การประเมินแบบจำลองภาษาขนาดใหญ่ในการประเมินคำสั่งต่อไปนี้
• CivRealm: โอดิสซีการเรียนรู้และการใช้เหตุผลสำหรับตัวแทนในการตัดสินใจ

การใช้งาน

• Lyfe Agents: ตัวแทนกำเนิดสำหรับการโต้ตอบทางสังคมแบบเรียลไทม์ราคาประหยัด
• AutoGen: การเปิดใช้งานแอปพลิเคชัน LLM รุ่นถัดไปผ่านการสนทนาแบบหลายตัวแทน

การออกแบบอัลกอริทึม

• [ICLR'23 Oral] ReAct: การประสานการใช้เหตุผลและการแสดงในรูปแบบภาษา [รหัส]
• [NeurIPS'23] AdaPlanner: การวางแผนแบบปรับเปลี่ยนจากการตอบรับด้วยโมเดลภาษา [github]
• ผู้สำรวจ: การปรับปรุงตัวแทน LLM ด้วยการถามตัวเองและการจัดอันดับวิถี
• การระบุพฤติกรรมระดับสูงอย่างเป็นทางการของตัวแทนที่ใช้ LLM
• การใช้เหตุผลสะสมด้วยแบบจำลองภาษาขนาดใหญ่

รวมกับ RL

• [NeurIPS'23] การสะท้อนกลับ: ตัวแทนภาษาพร้อมการเรียนรู้การเสริมกำลังด้วยวาจา [รหัส]
• การสอน LLM เพื่อสอนตนเองด้วยคำแนะนำที่ดีขึ้นผ่านการเรียนรู้แบบเสริมกำลัง
• ตัวแทนภาษาพร้อมการเรียนรู้แบบเสริมกำลังเพื่อการเล่นเชิงกลยุทธ์ในเกมมนุษย์หมาป่า

คนอื่น

• [NeurIPS'24] การเรียนรู้ด้วยกราฟสามารถปรับปรุงการวางแผนในตัวแทนที่ใช้ LLM ได้หรือไม่ [รหัส] [บล็อกจีน] [บล็อกภาษาอังกฤษ]
• AgentSquare: การค้นหาตัวแทน LLM อัตโนมัติในพื้นที่การออกแบบโมดูลาร์[หน้าโครงการ] [Github]
• LUMOS: มุ่งสู่ตัวแทนภาษาที่เป็นหนึ่งเดียว โมดูลาร์ และโอเพ่นซอร์ส
• ลีเมอร์: การประสานภาษาธรรมชาติและรหัสสำหรับตัวแทนภาษา
• การค้นหาแผนผังตัวแทนภาษารวมการแสดงเหตุผลและการวางแผนไว้ในโมเดลภาษา