GenAI_Papers

GenAI_논문

이 프로젝트에는 GenAI 분야의 흥미로운 연구 논문 목록이 포함되어 있습니다.

주제

1. 개요
2. 목표
3. 범위와 맥락
4. 연구 논문
5. 학습 일지

---

개요

이 저장소는 Generative AI 분야의 획기적인 연구를 집계하고 토론하는 데 전념하고 있습니다.

GenAI(Generative AI)는 텍스트와 이미지에서 코드 및 그 이상에 이르는 새로운 콘텐츠를 만드는 데 초점을 맞춘 인공 지능의 하위 집합을 의미합니다. 여기에 포함된 논문 모음은 GAN(Generative Adversarial Networks), VAE(Variational Autoencoders) 및 Transformer 기반 모델과 같은 GenAI 내의 다양한 주제를 다루고 있습니다.

이 개요서는 AI 기반 콘텐츠 생성 분야에서 최첨단 기술을 발전시키려는 학자, 실무자 및 열광자를 위한 리소스 역할을 합니다.

목표

이 저장소의 주요 목표는 다음과 같습니다.

1. 지식 통합 : GenAI 분야를 정의하고 발전시키는 중요하고 최첨단 연구 논문을 중앙 집중화합니다.
2. 커뮤니티 협업 : Gen AI 연구 커뮤니티에서 아이디어와 결과를 공유하고, 토론하고, 비판할 수 있는 협업 환경을 조성합니다.
3. 혁신 촉진 : GenAI 기술의 새로운 연구 이니셔티브와 실제 적용에 영감을 주고 안내합니다.
4. 학제간 통합 : GenAI 연구를 풍부하게 하기 위해 컴퓨터 과학, 인지 심리학, 디지털 예술 등 다양한 분야의 아이디어 교차 수분을 장려합니다.

범위와 맥락

범위

이 저장소의 범위는 다음을 포함하되 이에 국한되지 않는 GenAI 내의 광범위한 연구를 포괄하는 것입니다.

• 생성 모델의 이론적 기초
• 알고리즘 설계의 기술적 발전
• 다양한 영역(예: 예술, 의료, 소프트웨어 개발)에 GenAI 적용
• GenAI의 윤리적 고려사항과 사회적 영향

문맥

GenAI 분야는 여러 분야의 교차점에 위치해 있습니다. 딥 러닝, 통계 모델링, 컴퓨팅 창의성을 활용하여 특정 측면에서 인간 수준의 창의성을 모방하거나 심지어 능가할 수 있는 새로운 결과를 생성합니다. AI의 빠른 발전 속도로 인해 이 저장소가 제공하고자 하는 이 영역의 진행 상황에 대한 명확하고 체계적인 개요를 유지하는 것이 중요합니다.

연구 논문

참고: 특정 순서는 아닙니다.

분류

범주	서류	설명
언어 모델 및 일반 AI	1장, 10장, 11장, 13장, 14장, 15장, 16장, 17장, 18장, 19장, 20장, 21장, 22장, 23장, 24장, 31장, 34장, 35장, 36장, 37장, 38장, 40장, 41장, 42장, 43장, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	언어 모델, 해당 응용 프로그램, 윤리적 고려 사항, 교육 또는 기능 개선과 관련된 논문입니다.
비전 및 언어 통합	3, 4, 29, 30, 33, 64	비전 변환기 및 텍스트-이미지 개인화를 포함하여 시각적 데이터와 언어 모델의 통합에 중점을 둡니다.
주의 메커니즘 및 변압기	8, 9, 25, 28, 73	딥러닝의 주의력 이론과 변환기 모델 최적화에 대해 논의합니다.
음악 및 크리에이티브 AI	5	AI를 활용한 음악 생성에 관한 독특한 논문입니다.
고해상도 이미지 합성	6, 7, 63	확산 모델과 비전 변환기를 사용한 고해상도 이미지 합성에 대해 논의합니다.
AI의 효율성 및 확장성	2장, 25장, 26장, 27장, 28장, 59장, 61장, 71장, 72장, 83장, 88장, 97장	메모리, 추론, 확장 측면에서 AI 효율성을 다룹니다.
AI가 환경에 미치는 영향	12	AI 시스템이 환경에 미치는 영향에 초점을 맞춘 독특한 논문입니다.
대화 및 상호작용 중심 AI	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	대화형 언어 에이전트를 위한 대화 애플리케이션 및 플랫폼을 포함합니다.
AI 강화 및 메타러닝	27장, 31장, 32장, 37장, 46장, 47장, 49장, 55장, 57장, 62장, 65장, 68장, 70장, 75장, 78장, 96장	자기 개선, 선호도 최적화, 증류를 통해 AI 역량을 향상시킵니다.
기타 AI 애플리케이션	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	상식 규범 및 시각적 지침 조정과 같은 틈새 AI 애플리케이션에 대해 논의합니다.

전체 목록

1. GPT-4로 CLIP 향상: 시각적 설명을 프롬프트로 활용
2. EfficientViT: 캐스케이드 그룹 어텐션을 갖춘 메모리 효율적인 비전 변환기
3. 텍스트-이미지 개인화를 위한 키 잠금 1등급 편집
4. ELIXR: 대규모 언어 모델과 방사선 비전 인코더의 정렬을 통해 범용 X선 인공 지능 시스템을 지향합니다.
5. 간단하고 제어 가능한 음악 생성
6. 잠재 확산 모델을 사용한 고해상도 이미지 합성
7. 모두 가치 있는 단어입니다: 확산 모델을 위한 ViT 백본
8. 주의가 필요한 전부입니다
9. 딥러닝의 Attention 모델에 대한 수학적 관점
10. 생성적 사전 훈련을 통한 언어 이해 향상
11. 대규모 언어 모델 및 역튜링 테스트
12. 176b 매개변수 언어 모델인 Bloom의 탄소 배출량 추정
13. LaMDA: 대화 응용 프로그램을 위한 언어 모델
14. Gorilla: 대규모 API와 연결된 대규모 언어 모델
15. 의사결정 문제, 방법, 기회를 위한 기초 모델
16. 언어 모델의 지속적인 사전 훈련
17. 낙타는 얼마나 멀리 갈 수 있나요? 오픈 리소스에 대한 교육 조정 현황 탐색
18. 알파가수스: 더 적은 데이터로 더 나은 알파카 훈련
19. 언어 모델로 인한 피해의 윤리적, 사회적 위험
20. 언어 모델의 전체적인 평가
21. 대규모 언어 모델의 잘못된 정보 오염 위험
22. 대규모 언어 모델의 도덕적 자기 교정 능력
23. 정직: 언어 모델에서 해로운 문장 완성도 측정
24. ReAct: 언어 모델에서 추론과 행동의 시너지 효과
25. 효율적인 확장 변환기 추론
26. Hungry Hungry Hippos: 상태 공간 모델을 사용한 언어 모델링을 향하여
27. Promptbreeder: 신속한 진화를 통한 자기 참조 자기 개선
28. 어텐션 싱크를 갖춘 효율적인 스트리밍 언어 모델
29. 시각적 지시 조정
30. 시각적 지침 조정을 통해 기준선 개선
31. 직접 선호도 최적화: 언어 모델은 비밀리에 보상 모델입니다
32. Ditil-Whisper: 대규모 의사 라벨링을 통한 강력한 지식 증류
33. 책을 읽는 것은 좋지만 운전 중이라면 그렇지 않습니다! 무너질 수 있는 상식 규범에 대한 시각적 근거 추론
34. TeacherLM: 물고기를 주기보다는 물고기 잡는 법을 가르치고, 언어 모델링도 마찬가지로
35. Self-RAG: 자기 성찰을 통해 검색, 생성 및 비판 학습
36. InstructRetro: 검색-증강 사전 훈련 후 명령 조정
37. OpenAgents: 실제 언어 에이전트를 위한 개방형 플랫폼
38. 대규모 언어 모델은 정서적 자극을 이해하고 이를 통해 향상될 수 있습니다.
39. 소프트웨어 개발을 위한 의사소통 에이전트
40. 대규모 언어 모델은 인간 수준의 프롬프트 엔지니어입니다.
41. 최소 대 최대 프롬프트는 대규모 언어 모델에서 복잡한 추론을 가능하게 합니다.
42. 자기 일관성은 언어 모델의 사고 추론을 향상시킵니다.
43. 언어 모델은 논리적 해결사가 될 수 있습니다.
44. 중간에서 길을 잃다: 언어 모델이 긴 컨텍스트를 사용하는 방법
45. 대조적인 사고 사슬 촉구
46. RankZephyr: 효과적이고 강력한 Zero-Shot 목록별 순위 재지정은 매우 쉽습니다!
47. 빠른 LLM: 제한된 메모리를 사용한 효율적인 대규모 언어 모델 추론
48. PowerInfer: 소비자급 GPU로 제공되는 빠른 대규모 언어 모델
49. 인간 중심 손실 함수(HALO)
50. GPT-4V에 대한 도전자? 시각적 전문 지식에서 쌍둥이자리의 초기 탐색
51. 인터넷을 통한 대규모 언어 모델의 분산 추론 및 미세 조정
52. GAIA: 제로샷 말하는 아바타 생성
53. 슬리퍼 에이전트: 안전 교육을 통해 지속되는 사기성 LLMS 교육
54. LLMLingua: 대규모 언어 모델의 가속화된 추론을 위한 프롬프트 압축
55. 벡터 검색의 기초
56. 자기 보상형 언어 모델
57. BloombergGPT: 금융을 위한 대규모 언어 모델
58. 미스트랄 7B
59. 엄청나게 큰 신경망: 드물게 게이트된 전문가 혼합 계층
60. MegaBlocks: 전문가 혼합을 통한 효율적인 희소 교육
61. 전문가 혼합과 지침 조정의 만남: 대규모 언어 모델을 위한 성공적인 조합
62. 오르카 2: 소규모 언어 모델 가르치기 추론 방법
63. ConvNets는 대규모 비전 트랜스포머와 일치합니다.
64. Emu Video: 명시적 이미지 조절을 통한 텍스트-비디오 생성 인수분해
65. Pythia: 학습 및 확장 전반에 걸쳐 대규모 언어 모델을 분석하기 위한 제품군
66. Llama 2: 개방형 기반 및 미세 조정된 채팅 모델
67. QLoRA: 양자화된 LLM의 효율적인 미세 조정
68. RAG 대 미세 조정: 파이프라인, 절충 및 농업 사례 연구
69. 인간의 피드백을 통해 지침을 따르도록 언어 모델 훈련
70. 쌍안경으로 LLM 탐지: 기계 생성 텍스트의 제로샷 감지
71. 처음부터 희소 네트워크: 성능 저하 없이 더 빠른 훈련
72. ZeRO: 수조 매개변수 모델 훈련을 위한 메모리 최적화
73. 스위치 변압기: 간단하고 효율적인 희소성을 통해 수조 개의 매개변수 모델로 확장
74. DeepSeekMoE: 전문가 혼합 언어 모델의 궁극적인 전문가 전문화를 향하여
75. MoE-Mamba: 전문가가 혼합된 효율적인 선택적 상태 공간 모델
76. Code Llama: 코드를 위한 개방형 기반 모델
77. LLaMA Pro: 블록 확장 기능을 갖춘 점진적인 LLaMA
78. 자가 재생 미세 조정을 통해 약한 언어 모델을 강력한 언어 모델로 변환
79. Monarch Mixer: 간단한 Sub-Quadratic GEMM 기반 아키텍처
80. 대규모 언어 모델 기반 다중 에이전트: 진행 상황 및 과제에 대한 조사
81. 대규모 언어 모델을 위한 검색 증강 생성: 설문 조사
82. ReAugKD: 사전 훈련된 언어 모델을 위한 검색 증강 지식 증류
83. 1비트 LLM 시대: 모든 대형 언어 모델은 1.58비트에 있습니다.
84. 대규모 언어 모델을 사용하여 Wikipedia와 유사한 기사를 처음부터 작성하도록 지원
85. RAPTOR: 트리 구성 검색을 위한 재귀적 추상 처리
86. A* 너머: 검색 역학 부트스트래핑을 통한 Transformers의 더 나은 계획
87. 대규모 언어 모델을 위한 데이터세트: 종합적인 설문조사
88. 병렬 함수 호출을 위한 LLM 컴파일러
89. 사고 사슬 유도는 대규모 언어 모델에서 추론을 이끌어냅니다.
90. 계획 및 해결 프롬프트: 대규모 언어 모델을 통한 제로샷 사고 연쇄 추론 개선
91. ReWOO: 효율적인 증강 언어 모델을 위해 관찰과 추론의 분리
92. StructLM: 구조화된 지식 기반 구축을 위한 일반 모델 구축을 향하여
93. 대규모 언어 모델 정렬을 위한 AI 피드백의 비판적 평가
94. 더 많은 LLM 통화가 필요한가요? 복합 추론 시스템의 확장 법칙을 향하여
95. 대규모 언어 모델의 창발 능력은 신기루입니까?
96. Yi: 01.AI의 오픈 파운데이션 모델
97. ORPO: 참조 모델이 없는 모놀리식 선호도 최적화
98. 대규모 언어 모델은 논리를 이해합니까, 아니면 단지 컨텍스트를 모방합니까?
99. 코드로 훈련된 대규모 언어 모델 평가
100. Self-Refine: 자체 피드백을 통한 반복적 개선
101. 성찰: 언어 강화 학습을 통한 언어 에이전트
102. MM-REACT: 다중 모드 추론 및 작업을 위해 ChatGPT에 메시지 표시
103. HuggingGPT: Hugging Face에서 ChatGPT와 그 친구들과 함께 AI 작업 해결
104. AutoGen: 다중 에이전트 대화를 통해 차세대 LLM 애플리케이션 활성화
105. Megalodon: 무제한 컨텍스트 길이를 통한 효율적인 LLM 사전 훈련 및 추론
106. 생성적 AI 애플리케이션에 대한 조사
107. MAC-SQL: Text-to-SQL을 위한 다중 에이전트 협업 프레임워크
108. Prometheus 2: 다른 언어 모델 평가에 특화된 오픈 소스 언어 모델
109. MetaGPT: 다중 에이전트 협업 프레임워크를 위한 메타 프로그래밍
110. 그래프 알고리즘을 통한 변환기 추론 기능 이해
111. LLM 환각을 없애려면 일반화에 대한 재고가 필요합니다
112. 귀하의 컨텍스트는 배열이 아닙니다: Transformers의 무작위 액세스 제한 공개
113. LLM 거짓말: 환각은 버그가 아니라 적대적인 예로서의 기능입니다.
114. Memory^3 : 명시적 메모리를 사용한 언어 모델링
115. NeuroLogic Decoding: 술어 논리 제약 조건을 사용한 (비)감독 신경 텍스트 생성
116. LOTUS: 구조화되지 않은 데이터와 구조화된 데이터 테이블에 대해 LLM을 사용하여 의미론적 쿼리 활성화
117. Text2SQL만으로는 충분하지 않습니다: TAG로 AI와 데이터베이스 통합
118. 묻지 않고 생각의 연쇄 추론
119. 일련의 사고로 변압기가 본질적으로 직렬 문제를 해결할 수 있도록 지원
120. 대규모 언어 모델을 사용한 추론에서는 전제 순서가 중요합니다.
121. 자체 디버깅을 위한 대규모 언어 모델 교육
122. SciAgents: 다중 에이전트 지능형 그래프 추론을 통한 과학적 발견 자동화
123. Gemini 1.5: 수백만 개의 컨텍스트 토큰에 대한 다중 모드 이해 잠금 해제
124. 시계열 분석을 위한 에이전트 검색 - 증강 생성
125. 반사 튜닝: 데이터 재활용으로 LLM 명령어 튜닝 개선
126. OLMoE: 개방형 전문가 혼합 언어 모델
127. Quiet-STAR: 언어 모델은 말하기 전에 스스로 생각하도록 가르칠 수 있습니다
128. 에이전트 Q: 자율 AI 에이전트를 위한 고급 추론 및 학습
129. 단계별로 확인해보자
130. 답 그 이상을 배우십시오: 수학적 추론을 위한 성찰을 통해 언어 모델 훈련
131. V-STAR: 독학 추론자를 위한 훈련 검증기
132. 에이전트 워크플로 메모리
133. 대화형 Text-to-SQL: 최첨단 기술과 앞으로의 과제에 대한 여정
134. LLM을 올바른 방향으로 안내: 빠르고 비침습적인 제한된 생성
135. 대규모 언어 모델의 Few-shot Text-to-SQL 기능 향상: 프롬프트 디자인 전략에 관한 연구
136. 대규모 언어 모델을 사용하여 효율적인 스키마 없는 텍스트-SQL 변환
137. SQL-to-Schema는 Text-to-SQL의 스키마 연결을 향상시킵니다.
138. CodeS: Text-to-SQL을 위한 오픈 소스 언어 모델 구축을 향하여
139. 사고 사슬의 이론적 이해: 일관된 추론과 오류 인식 시연
140. LLaMA-1/2, GPT-3.5/4에 대한 질문에는 원칙적인 지침만 있으면 됩니다.
141. 코드 실행과 텍스트 추론 간의 대규모 언어 모델 조정
142. POET(Paired Open-Ended Trailblazer): 점점 복잡해지고 다양해지는 학습 환경과 솔루션을 끝없이 생성합니다.

학습 일지

날짜	학습