Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Survei AGI yang luar biasa
Makalah yang harus dibaca tentang Kecerdasan Umum Buatan

Gambar Abstrak

? Berita

  • [2024-10] ? Makalah kami diterima oleh TMLR 2024.
  • [2024-05] ? Kami menyelenggarakan Lokakarya AGI di ICLR 2024 dan telah merilis makalah posisi kami, "Seberapa Jauh Kita Dari AGI?".

Proyek kami adalah inisiatif terbuka dan berkelanjutan yang akan berkembang seiring dengan kemajuan AGI. Kami dengan hangat menyambut masukan dan menarik permintaan dari komunitas dan berencana untuk memperbarui makalah kami setiap tahun. Kontributor di situs proyek akan diberi ucapan terima kasih dalam revisi mendatang.

Kutipan BibTex jika menurut Anda pekerjaan/sumber daya kami berguna: 

 @article { feng2024far ,
  title = { How Far Are We From AGI } ,
  author = { Feng, Tao and Jin, Chuanyang and Liu, Jingyu and Zhu, Kunlun and Tu, Haoqin and Cheng, Zirui and Lin, Guanyu and You, Jiaxuan } ,
  journal = { arXiv preprint arXiv:2405.10313 } ,
  year = { 2024 }
}

Isi

  • Isi
    • 1. Pendahuluan
    • 2. Internal AGI: Mengungkap Pikiran AGI
      • 2.1 Persepsi AI
      • 2.2 Penalaran AI
      • 2.3 Memori AI
      • 2.4 Metakognisi AI
    • 3. Antarmuka AGI: Menghubungkan Dunia dengan AGI
      • 3.1 Antarmuka AI ke Dunia Digital
      • 3.2 Antarmuka AI ke Dunia Fisik
      • 3.3 Antarmuka AI ke Intelijen
        • 3.3.1 Antarmuka AI ke Agen AI
        • 3.3.2 Antarmuka AI ke Manusia
    • 4. Sistem AGI: Penerapan Mekanisme AGI
      • 4.2 Arsitektur Model yang Dapat Diskalakan
      • 4.3 Pelatihan Skala Besar
      • 4.4 Teknik Inferensi
      • 4.5 Biaya dan Efisiensi
      • 4.6 Platform Komputasi
    • 5. AGI Alignment: Memastikan AGI Memenuhi Berbagai Kebutuhan
      • 5.1 Harapan Penyelarasan AGI
      • 5.2 Teknik Penyelarasan Saat Ini
      • 5.3 Bagaimana melakukan pendekatan AGI Alignment
    • 6. Peta Jalan AGI: Mendekati AGI secara Bertanggung Jawab
      • 6.1 Tingkat AI: Memetakan Evolusi Kecerdasan Buatan
      • 6.2 Evaluasi AGI
        • 6.2.1 Harapan terhadap Evaluasi AGI
        • 6.2.2 Evaluasi Saat Ini dan Keterbatasannya
      • 6.5 Pertimbangan Lebih Lanjut selama Pengembangan AGI
    • 7. Studi Kasus
      • 7.1 AI untuk Penemuan dan Penelitian Sains
      • 7.2 Kecerdasan Visual Generatif
      • 7.3 Model Dunia
      • 7.4 LLM Terdesentralisasi
      • 7.5 AI untuk Pengkodean
      • 7.6 AI untuk Robotika dalam Aplikasi Dunia Nyata
      • 7.7 Kolaborasi Manusia-AI

intro

-> Desain kerangka makalah kami. <-

1. Pendahuluan

-> Proporsi Aktivitas Manusia yang Dilampaui oleh AI. <-

2. Internal AGI: Mengungkap Pikiran AGI

2.1 Persepsi AI

  1. Flamingo: Model Bahasa Visual untuk Pembelajaran Sedikit . Jean-Baptiste Alayrac dkk. NeurIPS 2022. [kertas]
  2. BLIP-2: Pra-pelatihan Gambar-Bahasa Bootstrapping dengan Frozen Image Encoder dan Model Bahasa Besar . Junnan Li dkk. ICML 2023. [makalah]
  3. SPHINX: Pencampuran Gabungan Bobot, Tugas, dan Penyematan Visual untuk Model Bahasa Besar Multi-modal . Ziyi Lin dkk. EMNLP 2023. [makalah]
  4. Penyetelan Instruksi Visual . Haotian Liu dkk. NeurIPS 2023. [kertas]
  5. GPT4Tools: Mengajar Model Bahasa Besar untuk Menggunakan Alat melalui Instruksi Mandiri . Rui Yang dkk. NeurIPS 2023. [kertas]
  6. Otter: Model Multi-Modal dengan Penyetelan Instruksi Dalam Konteks . Bo Li dkk. arXiv 2023. [kertas]
  7. VideoChat: Pemahaman Video yang Berpusat pada Obrolan . KunChang Li dkk. arXiv 2023. [kertas]
  8. mPLUG-Owl: Modularisasi Memberdayakan Model Bahasa Besar dengan Multimodalitas . Qinghao Ye dkk. arXiv 2023. [kertas]
  9. Survei Model Bahasa Besar Multimodal . Shukang Yin dkk. arXiv 2023. [kertas]
  10. PandaGPT: Satu Model Untuk Instruksi-Ikuti Semuanya . Yixuan Su dkk. arXiv 2023. [kertas]
  11. Adaptor LLaMA: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Zero-init . Renrui Zhang dkk. arXiv 2023. [kertas]
  12. Gemini: Keluarga Model Multimodal yang Sangat Berkemampuan . Rohan Anil dkk. arXiv 2023. [kertas]
  13. Shikra: Melepaskan Keajaiban Dialog Referensi Multimodal LLM . Keqin Chen dkk. arXiv 2023. [kertas]
  14. ImageBind: Satu Ruang Penyematan Untuk Mengikat Semuanya . Rohit Girdhar dkk. CVPR 2023. [kertas]
  15. MobileVLM : Asisten Bahasa Visi yang Cepat, Kuat, dan Terbuka untuk Perangkat Seluler . Xiangxiang Chu dkk. arXiv 2023. [kertas]
  16. Apa yang Membuat Tokenizer Visual Bagus untuk Model Bahasa Besar? . Guangzhi Wang dkk. arXiv 2023. [kertas]
  17. MiniGPT-4: Meningkatkan Pemahaman Bahasa Penglihatan dengan Model Bahasa Besar Tingkat Lanjut . Deyao Zhu dkk. ICLR 2024. [kertas]
  18. LanguageBind: Memperluas Pra-Pelatihan Bahasa Video ke modalitas N dengan Penyelarasan Semantik Berbasis Bahasa . Bin Zhu dkk. ICLR 2024. [kertas]

2.2 Penalaran AI

  1. Dorongan Rantai Pemikiran Menghasilkan Penalaran dalam Model Bahasa Besar . Jason Wei dkk. NeurIPS 2022. [kertas]
  2. Teori Pikiran Neural? Tentang Batasan Kecerdasan Sosial di LM Besar . Maarten Sap dkk. EMNLP 2022. [makalah]
  3. Monolog Batin: Penalaran yang Terwujud melalui Perencanaan dengan Model Bahasa . Wenlong Huang dkk. CoRL 2022. [kertas]
  4. Survei Halusinasi pada Generasi Bahasa Alami . Ziwei Ji dkk. Survei Komputasi ACM 2022. [kertas]
  5. ReAct: Mensinergikan Penalaran dan Akting dalam Model Bahasa . Shunyu Yao dkk. ICLR 2023. [kertas]
  6. Anjuran Terurai: Pendekatan Modular untuk Menyelesaikan Tugas Kompleks . Tushar Khot dkk. ICLR 2023. [kertas]
  7. Dorongan Berbasis Kompleksitas untuk Penalaran Multi-Langkah . Yao Fu dkk. ICLR 2023. [kertas]
  8. Anjuran Paling Sedikit hingga Paling Banyak Memungkinkan Penalaran Kompleks dalam Model Bahasa Besar . Denny Zhou dkk. ICLR 2023. [kertas]
  9. Menuju Penalaran dalam Model Bahasa Besar: Sebuah Survei . Jie Huang dkk. Temuan ACL 2023. [makalah]
  10. ProgPrompt: Membuat Rencana Tugas Robot Berlokasi menggunakan Model Bahasa Besar . Ishika Singh dkk. ICRA 2023. [kertas]
  11. Penalaran dengan Model Bahasa adalah Perencanaan dengan Model Dunia . Shibo Hao dkk. EMNLP 2023. [makalah]
  12. Mengevaluasi Halusinasi Objek dalam Model Bahasa Penglihatan Besar . Yifan Li dkk. EMNLP 2023. [makalah]
  13. Pohon Pemikiran: Pemecahan Masalah yang Disengaja dengan Model Bahasa Besar . Shunyu Yao dkk. NeurIPS 2023. [kertas]
  14. Penyempurnaan Mandiri: Penyempurnaan Berulang dengan Umpan Balik Mandiri . Aman Madaan dkk. NeurIPS 2023. [kertas]
  15. Refleksi: Agen Bahasa dengan Pembelajaran Penguatan Verbal . Noah Shinn dkk. NeurIPS 2023. [kertas]
  16. Jelaskan, Jelaskan, Rencanakan, dan Pilih: Perencanaan Interaktif dengan Model Bahasa Besar Memungkinkan Agen Multi-Tugas Dunia Terbuka . Zihao Wang dkk. NeurIPS 2023. [kertas]
  17. LLM+P: Memberdayakan Model Bahasa Besar dengan Kemahiran Perencanaan Optimal . Bo Liu dkk. arXiv 2023. [kertas]
  18. Model Bahasa, Model Agen, dan Model Dunia: HUKUM untuk Penalaran dan Perencanaan Mesin . Zhiting Hu dkk. arXiv 2023. [kertas]
  19. MMToM-QA: Teori Pikiran Multimodal Menjawab Pertanyaan . Chuanyang Jin dkk. arXiv 2024. [kertas]
  20. Grafik Pemikiran: Memecahkan Masalah Rumit dengan Model Bahasa Besar . Maciej Besta dkk. AAAI 2024. [kertas]
  21. Mencapai >97% di GSM8K: Memahami Masalah Secara Mendalam Menjadikan LLM Penalaran Sempurna . Qihuang Zhong dkk. arXiv 2024. [kertas] tertunda

2.3 Memori AI

  1. Pengambilan Bagian Padat untuk Menjawab Pertanyaan Domain Terbuka . Vladimir Karpukhin dkk. EMNLP 2020. [makalah]
  2. Generasi Pengambilan Augmented untuk Tugas NLP Intensif Pengetahuan . Patrick Lewis dkk. NeurIPS 2020. [kertas]
  3. REALM: Pra-Pelatihan Model Bahasa Retrieval-Augmented . Kelvin Guu dkk. ICML 2020. [makalah]
  4. Augmentasi Pengambilan Mengurangi Halusinasi dalam Percakapan . Kurt Shuster dkk. Temuan EMNLP 2021. [makalah]
  5. Meningkatkan Model Bahasa dengan Mengambil Triliunan Token . Sebastian Borgeaud dkk. ICML 2022. [makalah]
  6. Agen Generatif: Simulacra Interaktif Perilaku Manusia . Joon Sung Park dkk. UIST 2023. [makalah]
  7. Arsitektur Kognitif untuk Agen Bahasa . Theodore R. Sumers dkk. TMLR 2024. [kertas]
  8. Voyager: Agen Terwujud Terbuka dengan Model Bahasa Besar . Guanzhi Wang dkk. arXiv 2023. [kertas]
  9. Survei tentang Mekanisme Memori Agen Berbasis Model Bahasa Besar . Zeyu Zhang dkk. arXiv 2024. [kertas]
  10. Meringkas Secara Rekursif Memungkinkan Memori Dialog Jangka Panjang dalam Model Bahasa Besar . Qingyue Wang dkk. arXiv 2023. [kertas] tertunda

2.4 Metakognisi AI

  1. Pertimbangan Kemampuan Meta dalam Eksternalisasi Pengetahuan Tacit dan Pembelajaran Organisasi . Jyoti Choudrie dkk. HICSS 2006. [kertas]
  2. Kecerdasan Otonom Jaringan Neural yang Diawasi Sendiri dan Berkembang dari Pembelajaran Mandiri yang Berkembang . Nam Le . arXiv 2019. [kertas]
  3. Menjadikan model bahasa yang telah dilatih sebelumnya menjadi lebih baik bagi pembelajar beberapa kali . Tianyu Gao dkk. ACL 2021. [kertas]
  4. Mengidentifikasi dan Memanipulasi Ciri-ciri Kepribadian Model Bahasa . Graham Caron dkk. arXiv 2022. [kertas]
  5. Brainish: Memformalkan Bahasa Multimodal untuk Kecerdasan dan Kesadaran . Paul Liang dkk. arXiv 2022. [kertas]
  6. Sebuah teori kesadaran dari perspektif ilmu komputer teoretis: Wawasan dari Mesin Turing Sadar . Lenore Blum dkk. PNAS 2022. [makalah]
  7. WizardLM: Memberdayakan Model Bahasa Besar untuk Mengikuti Instruksi Kompleks . Bisakah Xu dkk. arXiv 2023. [kertas]
  8. Instruksi Mandiri: Menyelaraskan Model Bahasa dengan Instruksi yang Dibuat Sendiri . Yizhong Wang dkk. ACL 2023. [kertas]
  9. ReST bertemu ReAct: Peningkatan Diri untuk Agen LLM Penalaran Multi-Langkah . Renat Aksitov dkk. arXiv 2023. [kertas]
  10. Psikologi Budaya Model Bahasa Besar: Apakah ChatGPT Pemikir Holistik atau Analitik? . Chuanyang Jin dkk. arXiv 2023. [kertas]
  11. Kesadaran dalam Kecerdasan Buatan: Wawasan dari Ilmu Kesadaran . Patrick Butlin dkk. arXiv 2023. [kertas]
  12. Meninjau Kembali Keandalan Skala Psikologis pada Model Bahasa Besar . Jen-tse Huang dkk. arXiv 2023. [kertas]
  13. Mengevaluasi dan Mendorong Kepribadian dalam Model Bahasa yang telah dilatih sebelumnya . Guangyuan Jiang dkk. NeurIPS 2024. [kertas]
  14. Tingkat AGI: Mengoperasionalkan Kemajuan Menuju AGI . Meredith Ringel Morris dkk. arXiv 2024. [kertas] tertunda
  15. Selidiki-Konsolidasi-Eksploitasi: Strategi Umum untuk Evolusi Diri Agen Antar-Tugas . Cheng Qian dkk. arXiv 2024. [kertas] tertunda

3. Antarmuka AGI: Menghubungkan Dunia dengan AGI

3.1 Antarmuka AI ke Dunia Digital

  1. Prinsip antarmuka pengguna inisiatif campuran . Eric Horvitz. SIGCHI 1999. [kertas]
  2. Kebangkitan dan potensi agen berbasis model bahasa yang besar: Sebuah survei . Zhiheng Xi dkk. arXiv 2023. [kertas]
  3. Alat pembelajaran dengan model pondasi . Yujia Qin dkk. arXiv 2023. [kertas]
  4. Pencipta: Menguraikan penalaran abstrak dan konkrit model bahasa besar melalui pembuatan alat . Cheng Qian dkk. arXiv 2023. [kertas]
  5. AppAgent: Agen Multimodal sebagai Pengguna Ponsel Cerdas . Zhao Yang dkk. arXiv 2023. [kertas]
  6. Mind2Web: Menuju Agen Generalis untuk Web . Xiang Deng dkk. Tolok ukur NeurIPS 2023. [kertas]
  7. ToolQA: Kumpulan Data untuk Menjawab Pertanyaan LLM dengan Alat Eksternal . Yuchen Zhuang dkk. arXiv 2023. [kertas]
  8. Agen generatif: Simulacra interaktif perilaku manusia . Joon Sung Park dkk. arXiv 2023. [kertas]
  9. Pembentuk alat: Model bahasa dapat belajar sendiri menggunakan alat . Timo Schick dkk. arXiv 2023. [kertas]
  10. Gorila: Model Bahasa Besar yang Terhubung dengan API Masif . Shishir G Patil dkk. arXiv 2023. [kertas]
  11. Voyager: Agen yang diwujudkan secara terbuka dengan model bahasa yang besar . Guanzhi Wang dkk. arXiv 2023. [kertas]
  12. OS-Copilot: Menuju Agen Komputer Generalis dengan Peningkatan Diri . Zhiyong Wu dkk. arXiv 2024. [kertas]
  13. WebArena: Lingkungan Web yang Realistis untuk Membangun Agen Otonom . Shuyan Zhou dkk. ICLR 2024. [kertas]
  14. Model Bahasa Besar sebagai Pembuat Alat . Tianle Cai dkk. ICLR 2024. [kertas]

3.2 Antarmuka AI ke Dunia Fisik

  1. Pelajaran dari tantangan pengambilan amazon: Empat aspek membangun sistem robotik . Clemens Eppner dkk. RSS 2016. [makalah]
  2. Perceiver-Actor: Transformator Multi-Tugas untuk Manipulasi Robot . Mohit Shridhar dkk. arXiv 2022. [kertas]
  3. Vima: Manipulasi robot umum dengan perintah multimodal . Yunfan Jiang dkk. arXiv 2022. [kertas]
  4. Lakukan semampu saya, bukan seperti yang saya katakan: Membumikan bahasa dalam kemampuan robot . Michael Ahn dkk. arXiv 2022. [kertas]
  5. Voxposer: Peta nilai 3d yang dapat disusun untuk manipulasi robot dengan model bahasa . Wenlong Huang dkk. arXiv 2023. [kertas]
  6. MotionGPT: Gerak Manusia sebagai Bahasa Asing . Biao Jiang dkk. arXiv 2023. [kertas]
  7. Rt-2: Model tindakan bahasa visi mentransfer pengetahuan web ke kontrol robot . Anthony Brohan dkk. arXiv 2023. [kertas]
  8. Menavigasi ke objek di dunia nyata . Teofil Gervet dkk. Robotika Sains 2023. [makalah]
  9. Lm-nav: Navigasi robot dengan model bahasa, penglihatan, dan tindakan terlatih yang besar . Dhruv Shah dkk. CRL 2023. [kertas]
  10. Palm-e: Model bahasa multimodal yang diwujudkan . Danny Driess dkk. arXiv 2023. [kertas]
  11. LLM-Planner: Perencanaan Dasar yang Sedikit untuk Agen Terwujud dengan Model Bahasa Besar . Chan Hee Song dkk. ICCV 2023. [makalah]
  12. Instruct2Act: Memetakan Instruksi Multi-modalitas ke Tindakan Robot dengan Model Bahasa Besar . Siyuan Huang dkk. arXiv 2023. [kertas]
  13. DROID: Kumpulan Data Manipulasi Robot Di Alam Liar Berskala Besar . Alexander Khazatsky dkk. arXiv 2024. [kertas]
  14. BEHAVIOR-1K: Tolok Ukur AI yang Berpusat pada Manusia dan Terwujud dengan 1.000 Aktivitas Sehari-hari dan Simulasi Realistis . Chengshu Li dkk. arXiv 2024. [kertas]

3.3 Antarmuka AI ke Intelijen

3.3.1 Antarmuka AI ke Agen AI

  1. Gradien kebijakan multi-agen kontrafaktual . Jakob Foerster dkk. AAAI 2018. [makalah]
  2. Penjelasan dari model bahasa besar membuat pemikir kecil menjadi lebih baik . Shiyang Li dkk. arXiv 2022. [kertas]
  3. Distilasi Pembelajaran Dalam Konteks: Mentransfer Kemampuan Pembelajaran Sedikit dari Model Bahasa yang telah dilatih sebelumnya . Yukun Huang dkk. arXiv 2022. [kertas]
  4. Autoagents: Kerangka kerja untuk pembuatan agen otomatis . Guangyao Chen dkk. arXiv 2023. [kertas]
  5. Inferensi diamortisasi saraf untuk penalaran multi-agen bertingkat . Kunal Jha dkk. arXiv 2023. [kertas]
  6. Penyulingan Pengetahuan Model Bahasa Besar . Yuxian Gu dkk. arXiv 2023. [kertas]
  7. Metagpt: Pemrograman meta untuk kerangka kolaboratif multi-agen . Sirui Hong dkk. arXiv 2023. [kertas]
  8. Jelaskan, jelaskan, rencanakan, dan pilih: Perencanaan interaktif dengan model bahasa besar memungkinkan agen multitugas dunia terbuka . Zihao Wang dkk. arXiv 2023. [kertas]
  9. Agentverse: Memfasilitasi kolaborasi multi-agen dan mengeksplorasi perilaku yang muncul di agen . Weize Chen dkk. arXiv 2023. [kertas]
  10. Badai pikiran dalam masyarakat pikiran berbasis bahasa alami . Mingchen Zhuge dkk. arXiv 2023. [kertas]
  11. Jarvis-1: Agen multitugas dunia terbuka dengan model bahasa multimodal yang ditambah memori . Zihao Wang dkk. arXiv 2023. [kertas]
  12. Distilasi Rantai Pemikiran Simbolik: Model Kecil Juga Bisa "Berpikir" Langkah demi Langkah . Liunian Harold Li dkk. ACL 2023. [kertas]
  13. Penyulingan langkah demi langkah! mengungguli model bahasa yang lebih besar dengan data pelatihan yang lebih sedikit dan ukuran model yang lebih kecil . Cheng-Yu Hsieh dkk. arXiv 2023. [kertas]
  14. Generalisasi Lemah ke Kuat: Memunculkan Kemampuan Kuat Dengan Pengawasan Lemah . Collin Burns dkk. arXiv 2023. [kertas]
  15. Meningkatkan model bahasa obrolan dengan menskalakan percakapan instruksional berkualitas tinggi . Ning Ding dkk. arXiv 2023. [kertas]
  16. GAIA: tolok ukur untuk Asisten AI Umum . Grégoire Mialon dkk. ICLR 2024. [kertas]
  17. Voyager: Agen yang diwujudkan secara terbuka dengan model bahasa yang besar . Guanzhi Wang dkk. arXiv 2023. [kertas]
  18. Unta: Agen komunikatif untuk eksplorasi "pikiran" masyarakat model bahasa skala besar . Guohao Li dkk. arXiv 2023. [kertas]
  19. Menyesuaikan rasionalisasi diri dengan penyulingan multi-hadiah . Sahana Ramnath dkk. arXiv 2023. [kertas]
  20. Penyelarasan Visi: Generalisasi Lemah ke Kuat untuk Model Landasan Visi . Jianyuan Guo dkk. arXiv 2024. [kertas]
  21. WebArena: Lingkungan Web yang Realistis untuk Membangun Agen Otonom . Shuyan Zhou dkk. ICLR 2024. [kertas]
  22. Penyelarasan model bahasa berdasarkan prinsip dari awal dengan pengawasan manusia yang minimal . Zhiqing Sun dkk. NeurIPS 2024. [kertas]
  23. Mind2web: Menuju agen generalis untuk web . Xiang Deng dkk. NeurIPS 2024. [kertas]
  24. Menuju pengendalian komputer secara umum: Agen multimoda untuk penebusan mati merah ii sebagai studi kasus . Weihao Tan dkk. arXiv 2024. [kertas]

3.3.2 Antarmuka AI ke Manusia

  1. Pedoman Interaksi Manusia-AI . Saleema Amershi dkk. CHI 2019. [kertas]
  2. Prinsip Desain untuk Aplikasi AI Generatif . Justin D. Weisz dkk. CHI 2024. [kertas]
  3. Graphologue: Menjelajahi Respons Model Bahasa Besar dengan Diagram Interaktif . Peiling Jiang dkk. UIST 2023. [makalah]
  4. Sensecape: Mengaktifkan Eksplorasi dan Sensemaking Bertingkat dengan Model Bahasa Besar . Sangho Suh dkk. UIST 2023. [makalah]
  5. Mendukung Pemahaman Keluaran Model Bahasa Besar dalam Skala Besar . Katy Ilonka Gero dkk. CHI 2024. [kertas]
  6. Luminate: Pembuatan Terstruktur dan Eksplorasi Ruang Desain dengan Model Bahasa Besar untuk Kreasi Bersama Manusia-AI . Sangho Suh dkk. CHI 2024. [Makalah]
  7. Rantai AI: Interaksi Manusia-AI yang Transparan dan Terkendali dengan Merangkai Perintah Model Bahasa Besar . Tongshuang Wu dkk. CHI 2022. [kertas]
  8. Promptify: Pembuatan Teks-ke-Gambar melalui Eksplorasi Prompt Interaktif dengan Model Bahasa Besar . Stephen Brade dkk. CHI 2023. [kertas]
  9. ChainForge: Perangkat Visual untuk Rekayasa Cepat dan Pengujian Hipotesis LLM . Ian Arawjo dkk. CHI 2024. [kertas]
  10. CoPrompt: Mendukung Berbagi dan Merujuk dengan Cepat dalam Pemrograman Bahasa Alami Kolaboratif . Li Feng dkk. CHI 2024. [kertas]
  11. Menghasilkan Umpan Balik Otomatis pada Mockup UI dengan Model Bahasa Besar . Peitong Duan dkk. CHI 2024. [kertas]
  12. Rambler: Mendukung Penulisan Dengan Pidato melalui Manipulasi Intisari dengan Bantuan LLM . Susan Lin dkk. CHI 2024. [kertas]
  13. Menanamkan Model Bahasa Besar ke dalam Realitas yang Diperluas: Peluang dan Tantangan untuk Inklusi, Keterlibatan, dan Privasi . Efe Bozkir dkk. arXiv 2024. [kertas]
  14. GenAssist: Membuat Pembuatan Gambar Dapat Diakses . Mina Huh dkk. UIST 2023. [makalah]
  15. “Semakin sedikit saya mengetik, semakin baik”: Bagaimana Model Bahasa AI dapat Meningkatkan atau Menghambat Komunikasi bagi Pengguna AAC . Stephanie Valencia dkk. CHI 2023. [kertas]
  16. Meninjau Ulang Apakah, Mengapa, dan Bagaimana Interaksi Manusia-AI Sulit untuk Didesain . Qian Yang dkk. CHI 2020. [kertas]

4. Sistem AGI: Penerapan Mekanisme AGI

4.2 Arsitektur Model yang Dapat Diskalakan

  1. Jaringan saraf yang sangat besar: Lapisan campuran pakar dengan gerbang yang jarang . Noam Shazeer dkk. arXiv 2017. [kertas]
  2. Transformer adalah RNN: Transformer Autoregresif Cepat dengan Perhatian Linier . Angelos Katharopoulos dkk. arXiv 2020. [kertas]
  3. Longformer: Transformator Dokumen Panjang . Iz Beltagy dkk. arXiv 2020. [kertas]
  4. LightSeq: Perpustakaan Inferensi Kinerja Tinggi untuk Transformers . Xiaohui Wang dkk. arXiv 2021. [kertas]
  5. Switch Transformers: Menskalakan ke Triliun Model Parameter dengan Ketersebaran yang Sederhana dan Efisien . William Fedus dkk. arXiv 2022. [kertas]
  6. Pemodelan Urutan Panjang Secara Efisien dengan Ruang Keadaan Terstruktur . Albert Gu dkk. arXiv 2022. [kertas]
  7. MegaBlocks: Pelatihan Jarang yang Efisien dengan Campuran Pakar . Trevor Gale dkk. arXiv 2022. [kertas]
  8. Pelatihan Model Bahasa Besar Komputasi-Optimal . Jordan Hoffmann dkk. arXiv 2022. [kertas]
  9. Penskalaan Model Fondasi Konteks Panjang yang Efektif . Wenhan Xiong dkk. arXiv 2023. [kertas]
  10. Hierarki Hyena: Menuju Model Bahasa Konvolusional yang Lebih Besar . Michael Poli dkk. arXiv 2023. [kertas]
  11. Stanford Alpaca: Model LLaMA yang mengikuti Instruksi . Rohan Taori dkk. GitHub 2023. [kode]
  12. "Rwkv: Menemukan kembali rnns untuk era transformator" . Bo Peng dkk. arXiv 2023. [kertas]
  13. Deja Vu: Ketersebaran Kontekstual untuk LLM yang Efisien pada Waktu Inferensi . Zichang Liu dkk. arXiv 2023. [kertas]
  14. Flash-LLM: Mengaktifkan Inferensi Model Generatif Besar yang Hemat Biaya dan Sangat Efisien dengan Ketersebaran Tidak Terstruktur . Haojun Xia dkk. arXiv 2023. [kertas]
  15. ByteTransformer: Transformator Berkinerja Tinggi yang Ditingkatkan untuk Input Panjang Variabel . Yujia Zhai dkk. arXiv 2023. [kertas]
  16. Tutel: Campuran Pakar Adaptif dalam Skala Besar . Changho Hwang dkk. arXiv 2023. [kertas]
  17. Mamba: Pemodelan Urutan Waktu Linier dengan Ruang Keadaan Selektif . Albert Gu, Tri Dao. arXiv 2023. [kertas]
  18. Kuda Nil Lapar Lapar: Menuju Pemodelan Bahasa dengan Model Ruang Negara . Daniel Y. Fu dkk. arXiv 2023. [kertas]
  19. Jaringan Retentif: Penerus Transformator untuk Model Bahasa Besar . Yutao Sun dkk. ArXiv, 2023.
  20. Desain Mekanistik dan Penskalaan Arsitektur Hibrida . Michael Poli dkk. arXiv 2024. [kertas]
  21. Meninjau Kembali Penyulingan Pengetahuan untuk Model Bahasa Autoregresif . Qihuang Zhong dkk. arXiv 2024. [kertas]
  22. DB-LLM: Binarisasi Ganda yang Akurat untuk LLM yang Efisien . Hong Chen dkk. arXiv 2024. [kertas]
  23. Mengurangi Ukuran Cache Nilai Kunci Transformer dengan Perhatian Lintas Lapisan . William Brandon dkk. arXiv 2024.[kertas]
  24. Anda Hanya Melakukan Cache Sekali: Arsitektur Decoder-Decoder untuk Model Bahasa Yutao Sun dkk. arXiv 2024. [kertas]

4.3 Pelatihan Skala Besar

  1. Melatih Deep Nets dengan Biaya Memori Sublinear . Tianqi Chen dkk. arXiv 2016. [kertas]
  2. Melampaui Data dan Paralelisme Model untuk Jaringan Neural Dalam . Zhihao Jia dkk. arXiv 2018. [kertas]
  3. GPipe: Pelatihan Jaringan Syaraf Raksasa yang Efisien menggunakan Paralelisme Saluran Pipa . Yanping Huang dkk. arXiv 2019. [kertas]
  4. Pembelajaran Transfer Parameter-Efisien untuk NLP . Neil Houlsby dkk. ICML 2019. makalah
  5. Megatron-LM: Melatih Model Bahasa Multi-Miliar Parameter Menggunakan Model Paralelisme . Mohammad Shoeybi dkk. arXiv 2020. [kertas]
  6. Alpa: Mengotomatiskan Paralelisme Antar dan Intra-Operator untuk Pembelajaran Mendalam Terdistribusi . Lianmin Zheng dkk. arXiv 2022. [kertas]
  7. Inferensi DeepSpeed: Mengaktifkan Inferensi Model Transformator yang Efisien pada Skala yang Belum Pernah Ada Sebelumnya . Reza Yazdani Aminabadi dkk. arXiv 2022. [kertas]
  8. Menghafal Tanpa Overfitting: Menganalisis Dinamika Pelatihan Model Bahasa Besar . Kushal Tirumala dkk. arXiv 2022. [kertas]
  9. Paralelisme SWARM: Melatih Model Besar Ternyata Sangat Efisien dalam Komunikasi . Max Ryabinin dkk. arXiv 2023. [kertas]
  10. Lintasan Pelatihan Model Bahasa Lintas Skala . Mengzhou Xia dkk. arXiv 2023. [kertas]
  11. HexGen: Inferensi Generatif Model Fondasi atas Lingkungan Terdesentralisasi yang Heterogen . Youhe Jiang dkk. arXiv 2023. [kertas]
  12. FusionAI: Pelatihan Terdesentralisasi dan Penerapan LLM dengan GPU Tingkat Konsumen yang Masif . Zhenheng Tang dkk. arXiv 2023. [kertas]
  13. Cincin Perhatian dengan Transformer Blockwise untuk Konteks Hampir Tak Terbatas . Hao Liu dkk. arXiv 2023. [kertas]
  14. Pythia: Rangkaian untuk Menganalisis Model Bahasa Besar di Seluruh Pelatihan dan Penskalaan . Stella Biderman dkk. arXiv 2023. [kertas]
  15. Menyempurnakan Model Bahasa melalui Jaringan Lambat menggunakan Kompresi Aktivasi dengan Jaminan . Jue Wang dkk. arXiv 2023. [kertas]
  16. Adaptor LLaMA: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Zero-init . Renrui Zhang dkk. arXiv 2023. [kertas]
  17. QLoRA: Penyempurnaan LLM Terkuantisasi yang Efisien . Tim Dettmers dkk. arXiv 2023. [kertas]
  18. Manajemen Memori yang Efisien untuk Penyajian Model Bahasa Besar dengan PagedAttention . Woosuk Kwon dkk. arXiv 2023. [kertas]
  19. Infinite-LLM: Layanan LLM yang Efisien untuk Konteks Panjang dengan DistAttention dan KVCache Terdistribusi . Bin Lin dkk. arXiv 2024. [kertas]
  20. OLMo: Mempercepat Ilmu Model Bahasa . Dirk Groeneveld dkk. arXiv 2024. [kertas]
  21. Tentang Pelatihan Model Pembelajaran Mendalam Skala Besar yang Efisien: Tinjauan Literatur . Li Shen dkk. arXiv 2023. [kertas] tertunda

4.4 Teknik Inferensi

  1. FlashAttention: Perhatian Tepat yang Cepat dan Hemat Memori dengan IO-Awareness . Tri Dao dkk. NeurIPS 2022. [kertas]
  2. Draf & Verifikasi: Akselerasi Model Bahasa Besar Lossless melalui Decoding Spekulatif Mandiri . Jun Zhang dkk. arXiv 2023. [kertas]
  3. Menuju Penyajian Model Bahasa Besar Generatif yang Efisien: Survei dari Algoritma ke Sistem . Xupeng Miao dkk. arXiv 2023. [kertas]
  4. FlashDecoding++: Inferensi Model Bahasa Besar yang Lebih Cepat pada GPU . Ke Hong dkk. arXiv 2023. [kertas]
  5. Inferensi Cepat dari Transformers melalui Decoding Spekulatif . Yaniv Leviathan dkk. arXiv 2023. [kertas]
  6. Penyajian Inferensi Terdistribusi Cepat untuk Model Bahasa Besar . Bingyang Wu dkk. arXiv 2023. [kertas]
  7. S-LoRA: Melayani Ribuan Adaptor LoRA Secara Bersamaan . Ying Sheng dkk. arXiv 2023. [kertas]
  8. TensorRT-LLM: Kotak Alat TensorRT untuk Inferensi Model Bahasa Besar yang Dioptimalkan . NVIDIA. GitHub 2023. [kode]
  9. Punica: Pelayanan LoRA Multi-Penyewa . Lequn Chen dkk. arXiv 2023. [kertas]
  10. S$^3: Meningkatkan Pemanfaatan GPU selama Inferensi Generatif untuk Throughput Lebih Tinggi . Yunho Jin dkk. arXiv 2023. [kertas]
  11. Server inferensi multi-LoRA yang berskala hingga 1000-an LLM yang telah disesuaikan . Predibasi. GitHub 2023. [kode]
  12. Penguraian Kode Pencarian Cepat . Apoorv Saxena. GitHub 2023. [kode]
  13. Transformator Lebih Cepat . NVIDIA. GitHub 2021. [kertas]
  14. DeepSpeed-FastGen: Pembuatan Teks throughput tinggi untuk LLM melalui MII dan DeepSpeed-Inference . Connor Holmes dkk. arXiv 2024. [kertas]
  15. SpecInfer: Mempercepat Penyajian Model Bahasa Besar Generatif dengan Inferensi dan Verifikasi Spekulatif Berbasis Pohon . Xupeng Miao dkk. arXiv 2024. [kertas]
  16. Medusa: Kerangka Akselerasi Inferensi LLM Sederhana dengan Beberapa Kepala Decoding . Tianle Cai dkk. arXiv 2024. [kertas]
  17. Model Memberitahu Anda Apa yang Harus Dibuang: Kompresi Cache KV Adaptif untuk LLM . Suyu Ge dkk. ICLR 2024. [kertas]
  18. Model Bahasa Streaming yang Efisien dengan Penyerap Perhatian . Guangxuan Xiao dkk. ICLR 2024. [kertas]
  19. DeFT: Flash Tree-attention dengan IO-Awareness untuk Inferensi LLM berbasis pencarian Pohon yang Efisien . Jinwei Yao dkk. arXiv 2024. [kertas]
  20. Memprogram Model Bahasa Besar Secara Efisien menggunakan SGLang . Lianmin Zheng dkk. arXiv 2023. [kertas]
  21. KECEPATAN: Eksekusi Pipelined Spekulatif untuk Decoding yang Efisien . Coleman Hooper dkk. arXiv 2023. [kertas]
  22. Sequoia: Decoding Spekulatif yang Skalabel, Kuat, dan Sadar Perangkat Keras . Zhuoming Chen dkk. arXiv 2024. [kertas] tertunda

4.5 Biaya dan Efisiensi

  1. Demonstrasikan-Pencarian-Prediksi: Menyusun Model Pengambilan dan Bahasa untuk NLP Intensif Pengetahuan . Omar Khattab dkk. arXiv 2023. [kertas]
  2. Pembelajaran Mesin Otomatis: Metode, Sistem, Tantangan . Frank Hutter dkk. Perusahaan Penerbitan Springer, Tergabung, 2019.
  3. Sup model: rata-rata bobot beberapa model yang disesuaikan akan meningkatkan akurasi tanpa menambah waktu inferensi . Mitchell Wortsman dkk. arXiv 2022. [kertas]
  4. Debugging Data dengan Pentingnya Shapley pada Pipeline Machine Learning End-to-End . Bojan Karlaš dkk. arXiv 2022. [kertas]
  5. Optimasi Hyperparameter Hemat Biaya untuk Inferensi Pembuatan Model Bahasa Besar . Chi Wang dkk. arXiv 2023. [kertas]
  6. Model Bahasa Besar Adalah Insinyur Cepat Tingkat Manusia . Yongchao Zhou dkk. arXiv 2023. [kertas]
  7. Penggabungan dengan Mencocokkan Model di Subruang Tugas . Derek Tam dkk. arXiv 2023. [kertas]
  8. Mengedit Model dengan Aritmatika Tugas . Gabriel Ilharco dkk. arXiv 2023. [kertas]
  9. PriorBand: Optimasi Hyperparameter Praktis di Era Pembelajaran Mendalam . Neeratyoy Mallik dkk. arXiv 2023. [kertas]
  10. Studi Empiris Penggabungan Model Multimodal . Yi-Lin Sung dkk. arXiv 2023. [kertas]
  11. DSPy: Mengompilasi Panggilan Model Bahasa Deklaratif ke dalam Saluran yang Dapat Ditingkatkan Sendiri . Omar Khattab dkk. arXiv 2023. [kertas]
  12. FrugalGPT: Cara Menggunakan Model Bahasa Besar Sambil Mengurangi Biaya dan Meningkatkan Kinerja . Lingjiao Chen dkk. arXiv 2023. [kertas]
  13. Transformator Tandem untuk LLM yang Efisien Inferensi . Aishwarya PS dkk. arXiv 2024. [kertas]
  14. AIOS: Sistem Operasi Agen LLM . Kai Mei dkk. arXiv 2024. [kertas]
  15. LoraHub: Generalisasi Lintas Tugas yang Efisien melalui Komposisi LoRA Dinamis . Chengsong Huang dkk. arXiv 2024. [kertas]
  16. AutoML di Era Model Bahasa Besar: Tantangan Saat Ini, Peluang dan Risiko di Masa Depan . Alexander Tornede dkk. arXiv 2024. [kertas]
  17. Menggabungkan Pakar Menjadi Satu: Meningkatkan Efisiensi Komputasi Campuran Pakar . Shwai Dia dkk. EMNLP 2023. [kertas] tertunda

4.6 Platform Komputasi

  1. TVM: Kompiler Pengoptimalan End-to-End Otomatis untuk Pembelajaran Mendalam . Tianqi Chen dkk. arXiv 2018. [kertas]
  2. TPU v4: Superkomputer yang Dapat Dikonfigurasi Ulang Secara Optik untuk Pembelajaran Mesin dengan Dukungan Perangkat Keras untuk Embeddings . Norman P. Jouppi dkk. arXiv 2023. [kertas]

5. AGI Alignment: Memastikan AGI Memenuhi Berbagai Kebutuhan

5.1 Harapan Penyelarasan AGI

  1. Kompatibel dengan Manusia: Kecerdasan Buatan dan Masalah Kontrol . Stuart Russel . Viking, 2019.
  2. Kecerdasan Buatan, Nilai dan Keselarasan . Iason Gabriel . Pikiran dan Mesin, 2020. [kertas]
  3. Penyelarasan Agen Bahasa . Zachary Kenton dkk. arXiv, 2021. [Makalah]
  4. Masalah Pembelajaran Nilai . Nate Soares . Laporan Teknis Lembaga Penelitian Kecerdasan Mesin [makalah]
  5. Masalah Konkret dalam Keamanan AI . Dario Amodei dkk. arXiv, 2016. [kertas]
  6. Risiko kerugian etis dan sosial dari Model Bahasa . Laura Weidinger dkk. arXiv, 2021. [kertas]
  7. Tentang Bahaya Burung Beo Stokastik: Bisakah Model Bahasa Menjadi Terlalu Besar? . Emily M.Bender dkk. FAccT 2021. [makalah]
  8. Lanskap global pedoman etika AI . Anna Jobin dkk. Kecerdasan Mesin Alam, 2019. [makalah]
  9. Bias Anti-Muslim yang Terus-menerus dalam Model Bahasa Besar . Abubakar Abid dkk. AIES, 2021. [makalah]
  10. Menuju Resolusi Inti yang Inklusif Gender . Yang Trista Cao dkk. ACL, 2020. [kertas]
  11. Dampak Sosial dari Pemrosesan Bahasa Alami . Dirk Hovy dkk. ACL 2016. [kertas]
  12. TruthfulQA: Mengukur Bagaimana Model Meniru Kepalsuan Manusia . Stephanie Lin dkk. ACL 2022. [kertas]
  13. Risiko Radikalisasi GPT-3 dan Model Bahasa Neural Tingkat Lanjut . Kris McGuffie dkk. arXiv, 2020. [kertas]
  14. Transparansi AI di Era LLM: Peta Jalan Penelitian yang Berpusat pada Manusia . T. Vera Liao dkk. arXiv 2023. [kertas]
  15. Melampaui Keahlian dan Peran: Kerangka Kerja untuk Mengkarakterisasi Pemangku Kepentingan Pembelajaran Mesin yang Dapat Ditafsirkan dan Kebutuhan mereka . Harini Suresh dkk. CHI 2021. [kertas]
  16. Mengidentifikasi dan Memitigasi Risiko Keamanan AI Generatif . Clark Barrett dkk. arXiv, 2023. [kertas]
  17. Agen LLM dapat Meretas Situs Web Secara Mandiri . Richard Fang dkk. arXiv, 2024. [kertas]
  18. Deepfake, Frenologi, Pengawasan, dan Banyak Lagi! Taksonomi Risiko Privasi AI . Hao-Ping Lee dkk. CHI 2024. [kertas]
  19. Privasi di Era AI . Sauvik Das dkk. Komunikasi ACM, 2023. [makalah]

5.2 Teknik Penyelarasan Saat Ini

  1. Belajar meringkas dengan umpan balik manusia . Nisan Stiennon dkk. NeurIPS 2020. [kertas]
  2. Pemikiran kedua adalah yang terbaik: Belajar menyelaraskan kembali dengan nilai-nilai kemanusiaan dari pengeditan teks . Ruibo Liu dkk. NeurIPS 2022. [kertas]
  3. Melatih model bahasa untuk mengikuti instruksi dengan umpan balik manusia . Long Ouyang dkk. NeurIPS 2022. [kertas]
  4. Melepaskan Setan Batin: Detoksifikasi Diri untuk Model Bahasa . Canwen Xu dkk. AAAI 2022. makalah
  5. Menyelaraskan model bahasa generatif dengan nilai-nilai kemanusiaan . Ruibo Liu dkk. NAACL 2022. [kertas]
  6. Melatih asisten yang berguna dan tidak berbahaya dengan pembelajaran penguatan dari umpan balik manusia . Yuntao Bai dkk. arXiv 2022. [kertas]
  7. AI Konstitusional: Tidak Berbahaya dari Umpan Balik AI . Yuntao Bai dkk. arXiv 2022. [kertas]
  8. Rakit: Penghargaan penyempurnaan peringkat untuk penyelarasan model fondasi generatif . Hanze Dong dkk. arXiv 2023. [kertas]
  9. Meningkatkan Model Bahasa dengan Gradien Kebijakan Offline Berbasis Keunggulan . Ashutosh Baheti dkk. arXiv 2023. [kertas]
  10. Melatih model bahasa dengan umpan balik bahasa dalam skala besar . Jérémy Scheurer dkk. arXiv 2023. [kertas]
  11. Paradigma teoritis umum untuk memahami pembelajaran dari preferensi manusia . Mohammad Gheshlaghi Azar dkk. arXiv 2023. [kertas]
  12. Mari Verifikasi Langkah demi Langkah . Pemburu Lightman dkk. arXiv 2023. [kertas]
  13. Masalah terbuka dan keterbatasan mendasar pembelajaran penguatan dari umpan balik manusia . Stephen Casper dkk. arXiv 2023. [kertas]
  14. Menyelaraskan Model Bahasa Besar melalui Umpan Balik Sintetis . Sungdong Kim dkk. arXiv 2023. [kertas]
  15. RLAIF: Meningkatkan Pembelajaran Penguatan dari Umpan Balik Manusia dengan Umpan Balik AI . Harrison Lee dkk. arXiv 2023. [kertas]
  16. Pengoptimalan peringkat preferensi untuk penyelarasan manusia . Feifan Lagu dkk. arXiv 2023. [kertas]
  17. Meningkatkan Faktualitas dan Penalaran Model Bahasa melalui Debat Multiagen . Yilun Du dkk. arXiv 2023. [kertas]
  18. Penyelarasan model bahasa besar: Sebuah survei . Tianhao Shen dkk. arXiv 2023. [kertas]
  19. Pengoptimalan preferensi langsung: Model bahasa Anda diam-diam merupakan model penghargaan . Rafael Rafailov dkk. NeurIPS 2024. [kertas]
  20. Lima: Lebih sedikit lebih baik untuk penyelarasan . Chunting Zhou dkk. NeurIPS 2024. [kertas]

5.3 Bagaimana melakukan pendekatan AGI Alignment

  1. Risiko bahaya etis dan sosial dari Bahasa . Mellor Weidinger dkk. arXiv 2021. [kertas]
  2. Konsensus Internasional Keamanan AI Beijing . Akademi Kecerdasan Buatan Beijing. 2024. [kertas]
  3. Penjelasan Kontrafaktual tanpa Membuka Kotak Hitam: Keputusan Otomatis dan GDPR . Sandra Wachter dkk. Jurnal Hukum & Teknologi Harvard, 2017. [makalah]
  4. Penyelarasan agen yang dapat diskalakan melalui pemodelan hadiah: arah penelitian . Jan Leike et al. ARXIV 2018. [Kertas]
  5. Membangun Etika menjadi Kecerdasan Buatan . Han Yu et al. IJCAI 2018. Kertas
  6. Kompatibel manusia: Kecerdasan buatan dan masalah kontrol . Stuart Russell . Viking, 2019. [Kertas]
  7. Kecerdasan buatan yang bertanggung jawab: Cara mengembangkan dan menggunakan AI dengan cara yang bertanggung jawab . Virginia Dignum . Nature Springer, 2019. [Kertas]
  8. Etika mesin: Desain dan tata kelola AI etis dan sistem otonom . Alan F. Winfield et al. Prosiding IEEE, 2019. [Kertas]
  9. Masalah terbuka di AI koperasi . Allan Dafoe et al. Arxiv 2020. [Kertas]
  10. Kecerdasan Buatan, Nilai, dan Penyelarasan . Iason Gabriel . Pikiran dan Mesin, 2020. [Kertas]
  11. Koperasi AI: Mesin harus belajar menemukan landasan bersama . Allan Dafoe et al. Alam 2021. [Kertas]
  12. Moralitas mesin, kemajuan moral, dan bencana lingkungan yang menjulang . Ben Kenward et al. Arxiv 2021. [Kertas]
  13. Analisis X-Risk untuk Penelitian AI . Dan Hendrycks et al. Arxiv 2022. [Kertas]
  14. Dekomposisi tugas untuk pengawasan yang dapat diskalakan (distilasi AGISF) . Segerie Charbel-Raphaël. Blog 2023. [Blog]
  15. Generalisasi lemah-ke-kuat: memunculkan kemampuan kuat dengan pengawasan yang lemah . Collin Burns, dkk. Arxiv 2023. [Kertas]
  16. Pendapat siapa model bahasa mencerminkan? . Shibani Santurkar et al. ICML 2023. [Kertas]
  17. AI Alignment: Survei Komprehensif . Jiaming Ji et al. Arxiv 2023. [Kertas]
  18. Masalah terbuka dan keterbatasan mendasar dari pembelajaran penguatan dari umpan balik manusia . Stephen Casper et al. Arxiv 2023. [Kertas]
  19. Mantra membuka kunci pada LLMS: Memikirkan kembali penyelarasan melalui pembelajaran dalam konteks . Bill Yuchen Lin et al. Arxiv 2023. [Kertas]
  20. Penyelarasan Model Bahasa Besar: Survei . Tianhao Shen et al. Arxiv 2023. [Kertas]

6. Roadmap AGI: AGI Mendekati Secara Bertanggung Jawab

6.1 Level AI: Memetakan evolusi kecerdasan buatan

  1. Percakan Kecerdasan Umum Buatan: Eksperimen Awal dengan GPT-4 . Sébastien Bubeck et al. Arxiv 2023. [Kertas]
  2. Tingkat AGI: Operasionisasi kemajuan di jalan menuju AGI . Meredith Ringel Morris et al. Arxiv 2024. [Kertas]

6.2 Evaluasi AGI

6.2.1 Harapan untuk evaluasi AGI

  1. Menuju pelaporan sistematis energi dan jejak karbon pembelajaran mesin . Peter Henderson et al. Jurnal Penelitian Pembelajaran Mesin, 2020.
  2. Ai hijau . Komunikasi Roy Schwartz dari ACM, 2020.
  3. Mengevaluasi model bahasa besar yang dilatih pada kode . Mark Chen et al. Tidak ada jurnal, 2021.
  4. Mendokumentasikan WebText Corpora Besar: Studi Kasus tentang Corpus Clean Clean Colossal . Jesse Dodge et al. Arxiv 2021. [Kertas]
  5. Tentang peluang dan risiko model yayasan . Rishi Bommasani et al. Arxiv 2021. [Kertas]
  6. Generalisasi sistematis seperti manusia melalui jaringan saraf meta-pembelajaran . Brenden M Lake et al. Alam, 2023. [Kertas]
  7. Superbench mengukur LLMS di tempat terbuka: analisis kritis . Tim Superbench. ARXIV 2023.
  8. Evaluasi Holistik Model Bahasa . Percy Liang et al. Arxiv 2023. [Kertas]

6.2.2 Evaluasi saat ini dan keterbatasannya

  1. Skuad: 100.000+ pertanyaan untuk pemahaman mesin teks . Pranav Rajpurkar et al. Arxiv 2016. [Kertas]
  2. Triviaqa: Dataset tantangan yang diawasi dengan jarak jauh untuk pemahaman membaca . Mandar Joshi et al. ARXIV 2017. [Kertas]
  3. CoQA: Tantangan menjawab pertanyaan percakapan . Siva Reddy et al. Transaksi Asosiasi Linguistik Komputasi, 2019.
  4. Evaluasi ketahanan yang akurat, andal dan cepat . Wieland Brendel et al. Neurips 2019. [Kertas]
  5. Mengukur pemahaman bahasa multitask besar . Dan Hendrycks et al. Arxiv 2020. [Kertas]
  6. Mengevaluasi model ketahanan dan stabilitas ke pergeseran dataset . Adarsh ​​Subbaswamy et al. Disajikan pada Konferensi Internasional tentang Kecerdasan dan Statistik Buatan, 2021. Makalah
  7. MMDIALOG: Dataset dialog multi-putaran skala besar menuju percakapan domain terbuka multi-modal . Jiazhan Feng et al. Arxiv 2022. [Kertas]
  8. Mandiri: Menyelaraskan model bahasa dengan instruksi yang dihasilkan sendiri . Yizhong Wang et al. Arxiv 2022. [Kertas]
  9. Super-naturalstruksi: Generalisasi melalui instruksi deklaratif pada 1600+ tugas NLP . Yizhong Wang et al. Arxiv 2022. [Kertas]
  10. Analisis Holistik halusinasi dalam GPT-4V (ISION): Tantangan bias dan gangguan . Chenhang Cui et al. Arxiv 2023. [Kertas]
  11. Mengevaluasi ketahanan terhadap instruksi model bahasa besar . Yuansheng Ni et al. Arxiv 2023. [Kertas]
  12. GAIA: Benchmark untuk asisten AI umum . Grégoire Mialion et al. Arxiv 2023. [Kertas]
  13. Kerangka evaluasi yang komprehensif untuk ketahanan model yang mendalam . Jun Guo et al. Pengenalan pola, 2023. [Kertas]
  14. AGEeval: Tolok ukur manusia-sentris untuk mengevaluasi model yayasan . Wanjun Zhong et al. Arxiv 2023. [Kertas]
  15. MMMU: Pemahaman multimodal multi-disiplin besar-besaran dan tolok ukur penalaran untuk ahli AGI . Xiang et al. Arxiv 2023. [Kertas]
  16. Mengevaluasi kreativitas model bahasa besar dari perspektif sastra . Murray Shanahan et al. Arxiv 2023. [Kertas]
  17. AgenBench: Mengevaluasi LLM . Xiao Liu et al. ICLR 2024. [Kertas]
  18. Menilai dan memahami kreativitas dalam model bahasa besar . Yunpu Zhao et al. Arxiv 2024. [Kertas]
  19. Menilai LLM-AS-A-Hakim dengan Mt-Bench dan Chatbot Arena . Lianmin Zheng et al. Neurips 2024. [Kertas]

6.5 Pertimbangan lebih lanjut selama pengembangan AGI

  1. Tantangan dasar dalam memastikan keselarasan dan keamanan model bahasa besar . Usman Anwar et al. Arxiv 2024. [Kertas]
  2. Praktik dan pelajaran terbaik yang dipetik tentang data sintetis untuk model bahasa . Ruibo Liu et al. Arxiv 2024. [Kertas]
  3. Memajukan kecerdasan sosial dalam agen AI: tantangan teknis dan pertanyaan terbuka . Leena Mathur et al. Arxiv 2024. [Kertas]

7. Studi Kasus

7.1 AI untuk Penemuan dan Penelitian Sains

  1. Prediksi struktur protein yang sangat akurat dengan Alphafold . Jumper, John et al. Alam, 2021. [Kertas]
  2. Penemuan ilmiah otomatis: Dari penemuan persamaan hingga sistem penemuan otonom . Kramer, Stefan et al. Arxiv 2023. [Kertas]
  3. Memprediksi efek varian nonkode dengan model urutan berbasis pembelajaran yang mendalam . Zhou, Jian et al. Metode Alam, 2015. [[Kertas] (https://www.ncbi.nlm.nih.gov/pmc/articles/pmc4768299/]
  4. Belajar melihat fisika melalui de-animasi visual . Wu, Jiajun et al. Neurips 2017. [Kertas]
  5. Pembelajaran mendalam untuk deteksi gelombang gravitasi real-time dan estimasi parameter: Hasil dengan data ligo canggih . George, Daniel et al. Surat Fisika B, 2018. [Kertas]
  6. Mengidentifikasi transisi fase kuantum dengan jaringan saraf permusuhan . REM, BART-JAN et al. Nature Physics, 2019. [Makalah]
  7. Openagi: Ketika LLM bertemu dengan para ahli domain . GE, Yingqiang et al. Neurips, 2023. [Kertas]
  8. Dari materi gelap ke galaksi dengan jaringan konvolusional . Zhang, Xinyue et al. ARXIV 2019. [Kertas]
  9. Optimalisasi global dinamika kuantum dengan eksplorasi mendalam Alphazero . Dalgaard, Mogens et al. Informasi NPJ Quantum, 2020. [Kertas]
  10. Belajar mengeksploitasi struktur temporal untuk pemrosesan bahasa-penglihatan biomedis . Shruthi Bannur et al. CVPR, 2023. [Kertas]
  11. Mathbert: Model bahasa pra-terlatih untuk tugas NLP umum dalam pendidikan matematika . Shen, Jia Tracy et al. Arxiv 2021. [Kertas]
  12. Optimalisasi molekuler menggunakan model bahasa . Maziarz, Krzysztof et al. Arxiv 2022. [Kertas]
  13. Retrotrae: Terjemahan retrosintetik dari lingkungan atom dengan transformator . UCAK, Umit Volkan et al. No Journal, 2022. [Kertas]
  14. Scholarbert: Lebih besar tidak selalu lebih baik . Hong, Zhi et al. Arxiv 2022. [Kertas]
  15. Galactica: Model bahasa besar untuk sains . Taylor, Ross et al. Arxiv 2022. [Kertas]
  16. Pernyataan Formal Pernyataan Pembelajaran Kurikulum . Polu, Stanislas et al. Arxiv 2022. [Kertas]
  17. Bukti pembukuan artefak untuk teorema yang membuktikan dengan model bahasa . Jesse Michael Han et al. ICLR 2022. [Kertas]
  18. Memecahkan masalah penalaran kuantitatif dengan model bahasa . Lewkowycz, Aitor et al. Arxiv 2022. [Kertas]
  19. Biogpt: Transformator pra-terlatih generatif untuk pembuatan dan penambangan teks biomedis . Luo, Renqian et al. Briefing dalam Bioinformatika, 2022.
  20. Chemcrow: Menambah model bahasa besar dengan alat kimia . Bran, Andres M et al. Arxiv 2023. [Kertas]
  21. Penelitian kimia otonom dengan model bahasa besar . Boiko, Daniil A et al. Alam, 2023. [Kertas]
  22. Kemampuan penelitian ilmiah otonom yang muncul dari model bahasa besar . Daniil A. Boiko et al. Arxiv 2023. [Kertas]
  23. MathPrompter: Penalaran Matematika Menggunakan model bahasa besar . Imani, Shima, dkk. Dipresentasikan pada Prosiding Pertemuan Tahunan ke -61 Asosiasi Linguistik Komputasi (Volume 5: Track Industri), 2023. [Kertas]
  24. Belajar mengeksploitasi struktur temporal untuk pemrosesan bahasa-penglihatan biomedis . Shruthi Bannur et al. Arxiv 2023. [Kertas]
  25. LLMS For Science: Penggunaan untuk pembuatan kode dan analisis data . Nejjar, Mohamed et al. Arxiv 2023. [Kertas]
  26. Medagents: Model bahasa besar sebagai kolaborator untuk penalaran medis zero-shot . Xiangru Tang et al. Arxiv 2024. [Kertas]

7.2 Kecerdasan Visual Generatif

  1. Pembelajaran tanpa pengawasan yang dalam menggunakan termodinamika nonequilibrium . Jascha Sohl-Dickstein et al. ICML 2015. [Kertas]
  2. Pemodelan generatif dengan memperkirakan gradien distribusi data . Yang Song et al. Neurips 2019. [Kertas]
  3. Model probabilistik difusi denoising . Jonathan Ho et al. Neurips 2020. [Kertas]
  4. Pemodelan generatif berbasis skor melalui persamaan diferensial stokastik . Yang Song et al. ICLR 2021. [Kertas]
  5. Glide: Menuju pembuatan gambar fotorealistik dan pengeditan dengan model difusi yang dipandu teks . Alex Nichol et al. ICML 2022. [Kertas]
  6. SDIDIT: Sintesis gambar berpemandu dan pengeditan dengan persamaan diferensial stokastik . Chenlin Meng et al. ICLR 2022. [Kertas]
  7. Model Difusi Video . Jonathan Ho et al. Neurips 2022. [Kertas]
  8. Pembuatan gambar teks-kondisi-hirarkis dengan laten klip . Aditya Ramesh et al. Arxiv 2022. [Kertas]
  9. Panduan Difusi Bebas Klasifikasi . Jonathan Ho et al. Arxiv 2022. [Kertas]
  10. Palet: Model difusi gambar-ke-gambar . Chitwan Saharia et al. Siggraph 2022. [Kertas]
  11. Sintesis gambar resolusi tinggi dengan model difusi laten . Robin Rombach et al. CVPR 2022. [Kertas]
  12. Menambahkan kontrol bersyarat ke model difusi teks-ke-gambar . Lvmin Zhang et al. ICCV 2023. [Kertas]
  13. Model difusi yang dapat diskalakan dengan transformator . William Peebles et al. ICCV 2023. [Kertas]
  14. Pemodelan berurutan memungkinkan pembelajaran yang dapat diskalakan untuk model penglihatan besar . Yutong Bai et al. Arxiv 2023. [Kertas]
  15. Model generasi video sebagai simulator dunia . Tim Brooks et al. Openai 2024. [Kertas]

7.3 Model Dunia

  1. Belajar melihat fisika melalui de-animasi visual . Wu, Jiajun et al. Neurips 2017. [Kertas]
  2. Pembelajaran penguatan berbasis model yang aman dengan jaminan stabilitas . Berkenkamp, ​​Felix et al. Neurips, 2017. [Kertas]
  3. Simnet: Model dunia berbasis simulasi belajar untuk penalaran fisik . Vicol, Paul, Menapace et al. ICLR 2022. [Kertas]
  4. Dreamix: Dreamfusion melalui pencampuran spatiotemporal berulang . Khalifa, Anji et al. Arxiv 2022. [Kertas]
  5. Agen AI yang mewujudkan tujuan umum melalui pembelajaran penguatan dengan pengetahuan skala internet . Guo, Xiaoxiao et al. Arxiv 2022. [Kertas]
  6. VQGAN-CLIP: Pembuatan gambar domain terbuka dan pengeditan dengan panduan bahasa alami . Crowson, Katherine. Arxiv 2022. [Kertas]
  7. Jalan menuju kecerdasan mesin otonom . Lecun Yann OpenReview, 2022. [Kertas]
  8. Model bahasa memenuhi model dunia: Pengalaman yang diwujudkan meningkatkan model bahasa . Jiannan Xiang et al. Neurips 2023. [Kertas]
  9. Menguasai beragam domain melalui model dunia . Hafner, Danijar et al. Arxiv 2023. [Kertas]
  10. Akuisisi model multimodal melalui pengambilan . Reed, Scott et al. Arxiv 2023. [Kertas]
  11. Model bahasa sebagai perencana zero-shot: mengekstraksi pengetahuan yang dapat ditindaklanjuti untuk agen yang diwujudkan . Dohan, David et al. Arxiv 2023. [Kertas]
  12. Model Bahasa, Model Agen, dan Model Dunia: Hukum untuk Penalaran dan Perencanaan Mesin . Zhiting Hu et al. Arxiv 2023. [Kertas]
  13. Penalaran dengan model bahasa adalah perencanaan dengan model dunia . Hao, Shibo et al. Arxiv 2023. [Kertas]
  14. Metasim: Belajar menghasilkan kumpulan data sintetis . Zhang, Yuxuan et al. Arxiv 2023. [Kertas]
  15. Model dunia pada video dan bahasa sepanjang jutaan dengan ringattention . Hao Liu et al. Arxiv 2024. [Kertas]
  16. Genie: Lingkungan Interaktif Generatif . Jake Bruce et al. Arxiv 2024. [Kertas]

7.4 LLM Terdesentralisasi

  1. Kelopak: Inferensi kolaboratif dan penyempurnaan model besar . Alexander Borzunov et al. Arxiv 2022. [Kertas]
  2. Blockchain untuk pembelajaran mendalam: tinjau dan tantangan terbuka . Waktu Ekonomi. Komputasi Cluster 2021. [Kertas]
  3. Flexgen: Inferensi generatif throughput tinggi model bahasa besar dengan GPU tunggal . Ying Sheng et al. Arxiv 2023. [Kertas]
  4. Pelatihan Terdesentralisasi Model Yayasan di Lingkungan Heterogen . Binhang Yuan et al. Arxiv 2023. [Kertas]

7.5 AI untuk pengkodean

  1. Kerangka kerja untuk evaluasi model pembuatan kode . Ben Allal et al. GitHub, 2023. [Kode]
  2. Mengevaluasi model bahasa besar yang dilatih pada kode . Mark Chen et al. Arxiv 2021. [Kertas]
  3. Sintesis program dengan model bahasa besar . Jacob Austin et al. Arxiv 2021. [Kertas]
  4. Pembuatan kode tingkat kompetisi dengan alphacode . Yujia Li et al. Sains, 2022. [Makalah]
  5. Pelatihan model bahasa yang efisien untuk diisi di tengah . Mohammad Bavarian et al. Arxiv 2022. [Kertas]
  6. Santacoder: Jangan meraih bintang -bintang! . Loubna Ben Allal et al. Pikiran, 2023. [Kertas]
  7. Starcoder: Semoga sumbernya menyertai Anda! . Raymond Li et al. Arxiv 2023. [Kertas]
  8. Model bahasa besar untuk optimasi kompiler . Chris Cummins et al. Arxiv 2023. [Kertas]
  9. Buku teks adalah semua yang Anda butuhkan . Suriya Gunasekar et al. Arxiv 2023. [Kertas]
  10. Intercode: Standardisasi dan Benchmarking Coding Interaktif dengan Umpan Balik Eksekusi . John Yang et al. Arxiv 2023. [Kertas]
  11. Penguatan pembelajaran dari umpan balik otomatis untuk generasi tes unit berkualitas tinggi . Benjamin Steenhoek et al. Arxiv 2023. [Kertas]
  12. Inkoder: Model generatif untuk pengisian kode dan sintesis . Daniel Fried et al. Arxiv 2023. [Kertas]
  13. Menyempurnakan kode C yang didekompilasi dengan model bahasa besar . Wai Kin Wong et al. Arxiv 2023. [Kertas]
  14. SWE-BENCH: Dapatkah model bahasa menyelesaikan dunia nyata
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua