GenAI_Papers

GenAI_Makalah

Proyek ini berisi daftar makalah penelitian menarik di bidang GenAI.

Topik

1. Ringkasan
2. Sasaran
3. Ruang Lingkup dan Konteks
4. Makalah Penelitian
5. Log Pembelajaran

---

Ringkasan

Repositori ini didedikasikan untuk agregasi dan diskusi penelitian inovatif di bidang AI Generatif.

AI Generatif, atau GenAI, mengacu pada bagian dari kecerdasan buatan yang berfokus pada pembuatan konten baru, mulai dari teks dan gambar hingga kode dan seterusnya. Kumpulan makalah yang disertakan di sini mencakup berbagai topik dalam GenAI, seperti Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), dan model berbasis Transformer.

Ringkasan ini berfungsi sebagai sumber daya bagi para cendekiawan, praktisi, dan peminat yang ingin memajukan teknologi terkini dalam pembuatan konten berbasis AI.

Sasaran

Tujuan utama dari repositori ini adalah:

1. Konsolidasi Pengetahuan : Untuk memusatkan makalah penelitian yang penting dan mutakhir yang mendefinisikan dan memajukan bidang GenAI.
2. Kolaborasi Komunitas : Untuk menumbuhkan lingkungan kolaboratif di mana ide dan temuan dapat dibagikan, didiskusikan, dan dikritik oleh komunitas riset Gen AI.
3. Promosi Inovasi : Untuk menginspirasi dan memandu inisiatif penelitian baru dan penerapan praktis teknologi GenAI.
4. Integrasi Interdisipliner : Mendorong penyerbukan silang ide-ide dari berbagai bidang seperti ilmu komputer, psikologi kognitif, dan seni digital untuk memperkaya penelitian GenAI.

Ruang Lingkup dan Konteks

Cakupan

Ruang lingkup repositori ini mencakup beragam penelitian dalam GenAI, termasuk namun tidak terbatas pada:

• Landasan teori model generatif
• Kemajuan teknis dalam desain algoritma
• Penerapan GenAI di berbagai domain (misalnya seni, kesehatan, pengembangan perangkat lunak)
• Pertimbangan etis dan dampak sosial dari GenAI

Konteks

Bidang GenAI terletak di persimpangan berbagai disiplin ilmu. Ini memanfaatkan pembelajaran mendalam, pemodelan statistik, dan kreativitas komputasi untuk menghasilkan keluaran baru yang dapat meniru atau bahkan melampaui kreativitas tingkat manusia dalam aspek tertentu. Dengan pesatnya kemajuan dalam bidang AI, sangatlah penting untuk menjaga gambaran kemajuan yang jelas dan terorganisir di bidang ini, yang ingin disediakan oleh repositori ini.

Makalah Penelitian

Catatan: Tidak dalam urutan tertentu.

Klasifikasi

Kategori	Dokumen	Keterangan
Model Bahasa & AI Umum	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	Makalah yang berkaitan dengan model bahasa, penerapannya, pertimbangan etis, dan peningkatan dalam pelatihan atau fungsionalitas.
Integrasi Visi & Bahasa	3, 4, 29, 30, 33, 64	Berfokus pada integrasi data visual dengan model bahasa, termasuk pengubah visi dan personalisasi teks-ke-gambar.
Mekanisme & Transformator Perhatian	8, 9, 25, 28, 73	Membahas teori perhatian dalam pembelajaran mendalam dan optimalisasi model transformator.
Musik & AI Kreatif	5	Makalah unik tentang pembuatan musik menggunakan AI.
Sintesis Gambar Resolusi Tinggi	6, 7, 63	Membahas sintesis citra resolusi tinggi menggunakan model difusi dan vision transformator.
Efisiensi & Penskalaan dalam AI	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97	Mencakup efisiensi AI dalam hal memori, inferensi, dan penskalaan.
Dampak AI terhadap Lingkungan	12	Makalah unik yang berfokus pada dampak lingkungan dari sistem AI.
AI yang Berfokus pada Dialog & Interaksi	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	Melibatkan aplikasi dialog dan platform untuk agen bahasa interaktif.
Peningkatan AI & Pembelajaran Meta	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96	Tentang peningkatan kemampuan AI melalui peningkatan diri, optimalisasi preferensi, dan penyulingan.
Aplikasi AI Lain-Lain	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	Membahas aplikasi khusus AI seperti norma yang masuk akal dan penyesuaian instruksi visual.

Daftar Lengkap

1. Meningkatkan CLIP dengan GPT-4: Memanfaatkan Deskripsi Visual sebagai Perintah
2. EfficientViT: Transformator Visi Hemat Memori dengan Perhatian Grup Berjenjang
3. Pengeditan Peringkat Satu Terkunci untuk Personalisasi Teks-ke-Gambar
4. ELIXR: Menuju sistem kecerdasan buatan sinar-X dengan tujuan umum melalui penyelarasan model bahasa besar dan encoder visi radiologi
5. Generasi Musik Sederhana dan Terkendali
6. Sintesis Gambar Resolusi Tinggi dengan Model Difusi Laten
7. Semuanya adalah Kata-kata yang Bernilai: Tulang Punggung ViT untuk Model Difusi
8. Perhatian Adalah Yang Anda Butuhkan
9. Pandangan Matematis tentang Model Perhatian dalam Pembelajaran Mendalam
10. Meningkatkan Pemahaman Bahasa dengan Pra-Pelatihan Generatif
11. Model Bahasa Besar dan Tes Turing Terbalik
12. Memperkirakan Jejak Karbon Bloom, Model Bahasa Parameter 176b
13. LaMDA: Model Bahasa untuk Aplikasi Dialog
14. Gorilla: Model Bahasa Besar yang Terhubung dengan API Masif
15. Model Landasan untuk Masalah, Metode, dan Peluang Pengambilan Keputusan
16. Pra-pelatihan Model Bahasa yang Berkelanjutan
17. Seberapa Jauh Unta Bisa Melaju? Menjelajahi Status Instruksi Tuning pada Sumber Daya Terbuka
18. Alpagasus: Melatih Alpaka yang Lebih Baik dengan Lebih Sedikit Data
19. Risiko kerugian etis dan sosial dari Model Bahasa
20. Evaluasi Holistik Model Bahasa
21. Tentang Risiko Polusi Misinformasi dengan Model Bahasa Besar
22. Kapasitas Koreksi Diri Moral dalam Model Bahasa Besar
23. JUJUR: Mengukur Penyelesaian Kalimat yang Menyakitkan dalam Model Bahasa
24. ReAct: Mensinergikan Penalaran dan Akting dalam Model Bahasa
25. Inferensi Transformator Penskalaan yang Efisien
26. Kuda Nil Lapar Lapar: Menuju Pemodelan Bahasa dengan Model Ruang Negara
27. Promptbreeder: Peningkatan Diri Referensi Diri melalui Evolusi Cepat
28. Model Bahasa Streaming yang Efisien dengan Penyerap Perhatian
29. Penyetelan Instruksi Visual
30. Peningkatan Baseline dengan Penyetelan Instruksi Visual
31. Pengoptimalan Preferensi Langsung: Model Bahasa Anda Diam-diam adalah Model Hadiah
32. Distil-Whisper: Distilasi Pengetahuan yang Kuat melalui Pelabelan Semu Skala Besar
33. Membaca Buku Itu Bagus, Tapi Tidak Jika Anda Sedang Mengemudi! Penalaran yang Didasarkan Secara Visual tentang Norma Akal Sehat yang Dapat Dikalahkan
34. TeacherLM: Mengajar Ikan Daripada Memberi Ikan, Demikian Juga Pemodelan Bahasa
35. Self-RAG: Belajar Mengambil, Menghasilkan, dan Mengkritik melalui Refleksi Diri
36. InstructRetro: Penyetelan Instruksi setelah Pra-Pelatihan Augmented Pengambilan
37. OpenAgents: Platform Terbuka untuk Agen Bahasa di Alam Liar
38. Model Bahasa Besar Dipahami dan Dapat Ditingkatkan dengan Stimulus Emosional
39. Agen Komunikatif untuk Pengembangan Perangkat Lunak
40. Model Bahasa Besar Adalah Insinyur Cepat Tingkat Manusia
41. Anjuran Paling Sedikit hingga Paling Banyak Memungkinkan Penalaran Kompleks dalam Model Bahasa Besar
42. Konsistensi Diri Meningkatkan Penalaran Rantai Pemikiran dalam Model Bahasa
43. Model Bahasa dapat menjadi Pemecah Logis
44. Tersesat di Tengah: Bagaimana Model Bahasa Menggunakan Konteks Panjang
45. Anjuran Rantai Pemikiran yang Kontrasif
46. RankZephyr: Reranking Listwise Zero-Shot yang Efektif dan Kuat Sangat Mudah!
47. LLM dalam sekejap: Inferensi Model Bahasa Besar yang Efisien dengan Memori Terbatas
48. PowerInfer: Model Bahasa Besar Cepat yang Dilayani dengan GPU Tingkat Konsumen
49. Fungsi Kerugian yang Berpusat pada Manusia (HALO)
50. Penantang GPT-4V? Eksplorasi Awal Gemini dalam Keahlian Visual
51. Inferensi Terdistribusi dan Penyempurnaan Model Bahasa Besar Melalui Internet
52. GAIA: Generasi Avatar Berbicara Zero-shot
53. AGEN TIDUR: PELATIHAN LLMS PENIPUAN YANG BERTAHAN MELALUI PELATIHAN KESELAMATAN
54. LLMLingua: Perintah Mengompresi untuk Mempercepat Inferensi Model Bahasa Besar
55. Dasar-dasar Pengambilan Vektor
56. Model Bahasa yang Menghargai Diri Sendiri
57. BloombergGPT: Model Bahasa Besar untuk Keuangan
58. Mistral 7B
59. Jaringan Neural yang Sangat Besar: Lapisan Campuran Pakar dengan Gerbang Jarang
60. MegaBlocks: Pelatihan Jarang yang Efisien dengan Campuran Pakar
61. Campuran Pakar Memenuhi Penyetelan Instruksi: Kombinasi Unggulan untuk Model Bahasa Besar
62. Orca 2: Mengajarkan Model Bahasa Kecil Cara Bernalar
63. ConvNets Mencocokkan Vision Transformers dalam Skala Besar
64. Video Emu: Memfaktorkan Pembuatan Teks-ke-Video dengan Pengkondisian Gambar Eksplisit
65. Pythia: Rangkaian untuk Menganalisis Model Bahasa Besar di Seluruh Pelatihan dan Penskalaan
66. Llama 2: Open Foundation dan Model Obrolan yang Disempurnakan
67. QLoRA: Penyempurnaan LLM Terkuantisasi yang Efisien
68. RAG vs Penyempurnaan: Saluran Pipa, Pengorbanan, dan Studi Kasus Pertanian
69. Melatih model bahasa untuk mengikuti instruksi dengan umpan balik manusia
70. Menemukan LLM Dengan Teropong: Deteksi Zero-Shot pada Teks Buatan Mesin
71. Jaringan Jarang dari Awal: Pelatihan Lebih Cepat tanpa Kehilangan Performa
72. ZeRO: Optimasi Memori Menuju Pelatihan Model Triliun Parameter
73. Switch Transformers: Menskalakan ke Triliun Model Parameter dengan Ketersebaran yang Sederhana dan Efisien
74. DeepSeekMoE: Menuju Spesialisasi Pakar Tertinggi dalam Model Bahasa Campuran Pakar
75. MoE-Mamba: Model Ruang Negara Selektif yang Efisien dengan Campuran Ahli
76. Code Llama: Model Fondasi Terbuka untuk Kode
77. LLaMA Pro: LLaMA Progresif dengan Ekspansi Blok
78. Penyempurnaan Permainan Mandiri Mengubah Model Bahasa Lemah menjadi Model Bahasa Kuat
79. Monarch Mixer: Arsitektur Sederhana Berbasis GEMM Sub-Kuadrat
80. Multi-Agen Berbasis Model Bahasa Besar: Survei Kemajuan dan Tantangan
81. Generasi Retrieval-Augmented untuk Model Bahasa Besar: Sebuah Survei
82. ReAugKD: Distilasi Pengetahuan Retrieval-Augmented Untuk Model Bahasa Terlatih
83. Era LLM 1-bit: Semua Model Bahasa Besar ada dalam 1,58 Bit
84. Membantu Menulis Artikel Mirip Wikipedia Dari Awal dengan Model Bahasa Besar
85. RAPTOR: Pemrosesan Abstraktif Rekursif untuk Pengambilan Terorganisir Pohon
86. Beyond A*: Perencanaan yang Lebih Baik dengan Transformers melalui Search Dynamics Bootstrapping
87. Kumpulan Data untuk Model Bahasa Besar: Survei Komprehensif
88. Kompiler LLM untuk Pemanggilan Fungsi Paralel
89. Dorongan Rantai Pemikiran Menimbulkan Penalaran dalam Model Bahasa Besar
90. Anjuran Rencanakan dan Selesaikan: Meningkatkan Penalaran Rantai Pemikiran Zero-Shot dengan Model Bahasa Besar
91. ReWOO: Memisahkan Penalaran dari Pengamatan untuk Model Bahasa Augmented yang Efisien
92. StructLM: Menuju Membangun Model Generalis untuk Landasan Pengetahuan Terstruktur
93. Evaluasi Kritis terhadap Umpan Balik AI untuk Menyelaraskan Model Bahasa Besar
94. Apakah Lebih Banyak Panggilan LLM Yang Anda Butuhkan? Menuju Hukum Penskalaan Sistem Inferensi Majemuk
95. Apakah Kemampuan yang Muncul dari Model Bahasa Besar hanyalah Fatamorgana?
96. Yi: Model Fondasi Terbuka oleh 01.AI
97. ORPO: Optimasi Preferensi Monolitik tanpa Model Referensi
98. Apakah Model Bahasa Besar Memahami Logika atau Hanya Meniru Konteks?
99. Mengevaluasi Model Bahasa Besar yang Dilatih tentang Kode
100. Penyempurnaan Mandiri: Penyempurnaan Berulang dengan Umpan Balik Mandiri
101. Refleksi: Agen Bahasa dengan Pembelajaran Penguatan Verbal
102. MM-REACT: Mendorong ChatGPT untuk Penalaran dan Tindakan Multimodal
103. HuggingGPT: Menyelesaikan Tugas AI dengan ChatGPT dan Temannya di Hugging Face
104. AutoGen: Mengaktifkan Aplikasi LLM Generasi Berikutnya melalui Percakapan Multi-Agen
105. Megalodon: Pra-pelatihan dan Inferensi LLM yang Efisien dengan Panjang Konteks Tidak Terbatas
106. Survei Aplikasi AI Generatif
107. MAC-SQL: Kerangka Kerja Kolaboratif Multi-Agen untuk Text-to-SQL
108. Prometheus 2: Model Bahasa Sumber Terbuka yang Khusus dalam Mengevaluasi Model Bahasa Lain
109. MetaGPT: Pemrograman Meta Untuk Kerangka Kerja Kolaboratif Multi-Agen
110. Memahami Kemampuan Penalaran Transformer melalui Algoritma Grafik
111. Menghilangkan Halusinasi LLM Memerlukan Pemikiran Ulang Generalisasi
112. Konteks Anda Bukan Array: Mengungkap Batasan Akses Acak di Transformers
113. Kebohongan LLM: Halusinasi Bukan Bug, Tapi Fitur sebagai Contoh Permusuhan
114. Memori^3 : Pemodelan Bahasa dengan Memori Eksplisit
115. Penguraian NeuroLogic: Pembuatan Teks Neural (Tidak) yang diawasi dengan Batasan Logika Predikat
116. LOTUS: Mengaktifkan Kueri Semantik dengan LLM pada Tabel Data Tidak Terstruktur dan Terstruktur
117. Text2SQL Tidak Cukup: Menyatukan AI dan Database dengan TAG
118. Penalaran Rantai Pemikiran Tanpa Disuruh
119. Rantai Pemikiran Memberdayakan Transformers untuk Memecahkan Masalah Seri yang Inheren
120. Urutan Premis Penting dalam Penalaran dengan Model Bahasa Besar
121. Mengajarkan Model Bahasa Besar untuk Melakukan Debug Mandiri
122. SciAgents: Mengotomatiskan penemuan ilmiah melalui penalaran grafik cerdas multi-agen
123. Gemini 1.5: Membuka pemahaman multimodal di jutaan token konteks
124. Generasi Augmented Pengambilan Agen untuk Analisis Rangkaian Waktu
125. Penyetelan Refleksi: Daur Ulang Data Meningkatkan Penyetelan Instruksi LLM
126. OLMoE: Model Bahasa Campuran Pakar Terbuka
127. Quiet-STAR: Model Bahasa Dapat Mengajari Dirinya Berpikir Sebelum Berbicara
128. Agen Q: Penalaran dan Pembelajaran Tingkat Lanjut untuk Agen AI Otonom
129. Mari Verifikasi Langkah demi Langkah
130. Learn Beyond The Answer: Melatih Model Bahasa dengan Refleksi untuk Penalaran Matematis
131. V-STAR: Pelatihan Verifikator untuk Alasan yang Diajarkan Sendiri
132. Memori Alur Kerja Agen
133. Text-To-SQL Percakapan: Sebuah Pengembaraan Menuju Kecanggihan dan Tantangan ke Depan
134. Membimbing LLM dengan Cara yang Benar: Generasi Terkendali yang Cepat dan Non-Invasif
135. Meningkatkan Kemampuan Text-to-SQL dalam Model Bahasa Besar: Studi tentang Strategi Desain Cepat
136. Konversi teks-ke-SQL tanpa skema yang efisien menggunakan model bahasa besar
137. SQL-to-Schema Meningkatkan Penautan Skema dalam Text-to-SQL
138. CodeS: Menuju Membangun Model Bahasa Sumber Terbuka untuk Text-to-SQL
139. Pemahaman Teoritis tentang Rantai Pemikiran: Penalaran yang Koheren dan Demonstrasi Sadar Kesalahan
140. Hanya Instruksi Prinsip yang Anda Butuhkan untuk Menanyakan LLaMA-1/2, GPT-3.5/4
141. Mengarahkan Model Bahasa Besar antara Eksekusi Kode dan Penalaran Tekstual
142. Perintis Terbuka Berpasangan (POET): Tanpa Henti Menghasilkan Lingkungan Pembelajaran yang Semakin Kompleks dan Beragam serta Solusinya

Log Pembelajaran

Tanggal	Sedang belajar