GenAI_Papers

GenAI_Papers

Dieses Projekt enthält eine Liste interessanter Forschungsarbeiten im Bereich GenAI.

Themen

1. Überblick
2. Ziele
3. Umfang und Kontext
4. Forschungsarbeiten
5. Lernprotokolle

---

Überblick

Dieses Repository widmet sich der Aggregation und Diskussion bahnbrechender Forschungsergebnisse im Bereich der generativen KI.

Generative KI oder GenAI bezieht sich auf die Teilmenge der künstlichen Intelligenz, die sich auf die Erstellung neuer Inhalte konzentriert, die von Text und Bildern bis hin zu Code und darüber hinaus reichen. Die hierin enthaltene Sammlung von Artikeln deckt eine Vielzahl von Themen innerhalb von GenAI ab, wie z. B. Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs) und Transformer-basierte Modelle.

Dieses Kompendium dient als Ressource für Wissenschaftler, Praktiker und Enthusiasten, die den Stand der Technik in der KI-gesteuerten Inhaltsgenerierung vorantreiben möchten.

Ziele

Die Hauptziele dieses Repositorys sind:

1. Wissenskonsolidierung : Zentralisierung wegweisender und innovativer Forschungsarbeiten, die den GenAI-Bereich definieren und voranbringen.
2. Community-Zusammenarbeit : Förderung einer kollaborativen Umgebung, in der Ideen und Erkenntnisse von der Gen AI-Forschungsgemeinschaft geteilt, diskutiert und kritisiert werden können.
3. Innovationsförderung : Inspiration und Anleitung für neue Forschungsinitiativen und praktische Anwendungen von GenAI-Technologien.
4. Interdisziplinäre Integration : Förderung der gegenseitigen Befruchtung von Ideen aus verschiedenen Bereichen wie Informatik, kognitiver Psychologie und digitaler Kunst, um die GenAI-Forschung zu bereichern.

Umfang und Kontext

Umfang

Der Umfang dieses Repositorys soll ein breites Spektrum an Forschungsarbeiten innerhalb von GenAI umfassen, einschließlich, aber nicht beschränkt auf:

• Theoretische Grundlagen generativer Modelle
• Technische Fortschritte im Algorithmendesign
• Anwendungen von GenAI in verschiedenen Bereichen (z. B. Kunst, Gesundheitswesen, Softwareentwicklung)
• Ethische Überlegungen und gesellschaftliche Auswirkungen von GenAI

Kontext

Der GenAI-Bereich liegt an der Schnittstelle mehrerer Disziplinen. Es nutzt Deep Learning, statistische Modellierung und rechnerische Kreativität, um neuartige Ergebnisse zu generieren, die in bestimmten Aspekten die menschliche Kreativität nachahmen oder sogar übertreffen können. Angesichts der rasanten Fortschritte in der KI ist es von entscheidender Bedeutung, einen klaren und organisierten Überblick über die Fortschritte in diesem Bereich zu behalten, den dieses Repositorium bieten soll.

Forschungsarbeiten

Hinweis: Nicht in einer bestimmten Reihenfolge.

Einstufung

Kategorie	Papiere	Beschreibung
Sprachmodelle und allgemeine KI	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	Beiträge zu Sprachmodellen, ihren Anwendungen, ethischen Überlegungen und Verbesserungen bei Training oder Funktionalität.
Vision- und Sprachintegration	3, 4, 29, 30, 33, 64	Der Schwerpunkt liegt auf der Integration visueller Daten mit Sprachmodellen, einschließlich Vision-Transformatoren und Text-zu-Bild-Personalisierung.
Aufmerksamkeitsmechanismen und Transformatoren	8, 9, 25, 28, 73	Diskussion der Theorie der Aufmerksamkeit beim Deep Learning und der Optimierung von Transformatormodellen.
Musik und kreative KI	5	Ein einzigartiger Artikel zur Musikgenerierung mithilfe von KI.
Hochauflösende Bildsynthese	6, 7, 63	Diskussion der hochauflösenden Bildsynthese mithilfe von Diffusionsmodellen und Vision-Transformatoren.
Effizienz und Skalierung in der KI	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97	Abdeckung der KI-Effizienz in Bezug auf Speicher, Inferenz und Skalierung.
Umweltauswirkungen von KI	12	Ein einzigartiges Papier, das sich auf die Umweltauswirkungen von KI-Systemen konzentriert.
Dialog- und interaktionsorientierte KI	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	Einbeziehung von Dialoganwendungen und Plattformen für interaktive Sprachagenten.
KI-Verbesserung und Meta-Lernen	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96	Zur Verbesserung der KI-Fähigkeiten durch Selbstverbesserung, Präferenzoptimierung und Destillation.
Verschiedene KI-Anwendungen	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	Diskussion von Nischen-KI-Anwendungen wie vernünftigen Normen und der Optimierung visueller Anweisungen.

Vollständige Liste

1. Verbesserung von CLIP mit GPT-4: Nutzung visueller Beschreibungen als Eingabeaufforderungen
2. EfficientViT: Speichereffizienter Vision Transformer mit kaskadierter Gruppenaufmerksamkeit
3. Key-Locked Rank One Editing für Text-zu-Bild-Personalisierung
4. ELIXR: Auf dem Weg zu einem Allzwecksystem für künstliche Röntgenintelligenz durch Ausrichtung großer Sprachmodelle und Radiologie-Vision-Encoder
5. Einfache und kontrollierbare Musikgenerierung
6. Hochauflösende Bildsynthese mit latenten Diffusionsmodellen
7. Alle sind Worte wert: Ein ViT-Rückgrat für Diffusionsmodelle
8. Aufmerksamkeit ist alles, was Sie brauchen
9. Eine mathematische Sicht auf Aufmerksamkeitsmodelle im Deep Learning
10. Verbesserung des Sprachverständnisses durch generatives Vortraining
11. Große Sprachmodelle und der Reverse-Turing-Test
12. Schätzung des CO2-Fußabdrucks von Bloom, einem 176b-Parameter-Sprachmodell
13. LaMDA: Sprachmodelle für Dialoganwendungen
14. Gorilla: Großes Sprachmodell verbunden mit riesigen APIs
15. Grundlagenmodelle für Entscheidungsprobleme, -methoden und -chancen
16. Kontinuierliches Vortraining von Sprachmodellen
17. Wie weit können Kamele gehen? Untersuchung des Standes der Unterrichtsoptimierung auf offenen Ressourcen
18. Alpagasus: Mit weniger Daten ein besseres Alpaka trainieren
19. Ethische und soziale Schadensrisiken durch Sprachmodelle
20. Ganzheitliche Bewertung von Sprachmodellen
21. Über das Risiko der Verschmutzung durch Fehlinformationen bei großen Sprachmodellen
22. Die Fähigkeit zur moralischen Selbstkorrektur in großen Sprachmodellen
23. EHRLICH: Messung verletzender Satzvervollständigung in Sprachmodellen
24. ReAct: Synergie zwischen Denken und Handeln in Sprachmodellen
25. Effiziente Skalierung der Transformatorinferenz
26. Hungry Hungry Hippos: Auf dem Weg zur Sprachmodellierung mit Zustandsraummodellen
27. Promptbreeder: Selbstreferenzielle Selbstverbesserung durch Prompt Evolution
28. Effiziente Streaming-Sprachmodelle mit Aufmerksamkeitssenken
29. Visuelle Anweisungsoptimierung
30. Verbesserte Grundlinien mit visueller Anweisungsoptimierung
31. Direkte Präferenzoptimierung: Ihr Sprachmodell ist insgeheim ein Belohnungsmodell
32. Distil-Whisper: Robuste Wissensdestillation durch groß angelegte Pseudo-Kennzeichnung
33. Bücher lesen ist großartig, aber nicht, wenn Sie Auto fahren! Visuell fundiertes Denken über umsetzbare Normen des gesunden Menschenverstandes
34. TeacherLM: Das Fischen lehren statt den Fisch zu geben, ebenso die Sprachmodellierung
35. Self-RAG: Lernen, durch Selbstreflexion abzurufen, zu erzeugen und Kritik zu üben
36. InstructRetro: Instruction Tuning Post Retrieval-Augmented Pretraining
37. OpenAgents: Eine offene Plattform für Sprachagenten in freier Wildbahn
38. Große Sprachmodelle verstehen und können durch emotionale Reize gestärkt werden
39. Kommunikative Agenten für die Softwareentwicklung
40. Große Sprachmodelle sind schnelle Ingenieure auf menschlicher Ebene
41. „Least-to-Most-Prompting“ ermöglicht komplexes Denken in großen Sprachmodellen
42. Selbstkonsistenz verbessert die Gedankenkette in Sprachmodellen
43. Sprachmodelle können logische Löser sein
44. Mittendrin verloren: Wie Sprachmodelle lange Kontexte nutzen
45. Kontrastive Gedankenkette
46. RankZephyr: Effektives und robustes Zero-Shot-Neuranking in der Liste ist ein Kinderspiel!
47. LLM im Handumdrehen: Effiziente Inferenz großer Sprachmodelle mit begrenztem Speicher
48. PowerInfer: Schnelles großes Sprachmodell, das mit einer GPU der Verbraucherklasse bereitgestellt wird
49. Human Centered Loss Functions (HALOs)
50. Ein Herausforderer von GPT-4V? Frühe Erkundungen von Zwillingen in visueller Expertise
51. Verteilte Inferenz und Feinabstimmung großer Sprachmodelle über das Internet
52. GAIA: Zero-Shot Talking Avatar Generation
53. SLEEPER AGENTS: SCHULUNG TÄRISCHER LLMS, DIE DURCH SICHERHEITSSCHULUNG ANHÄNGEN
54. LLMLingua: Komprimieren von Eingabeaufforderungen für eine beschleunigte Inferenz großer Sprachmodelle
55. Grundlagen der Vektorabfrage
56. Selbstbelohnende Sprachmodelle
57. BloombergGPT: Ein großes Sprachmodell für das Finanzwesen
58. Mistral 7B
59. Unverschämt große neuronale Netze: Die spärlich begrenzte Expertenmischungsschicht
60. MegaBlocks: Effizientes Sparse-Training mit einer Mischung aus Experten
61. Expertenmix trifft auf Unterrichtsoptimierung: Eine gewinnbringende Kombination für große Sprachmodelle
62. Orca 2: Kleinen Sprachmodellen das Denken beibringen
63. ConvNets passen Vision-Transformatoren maßstabsgetreu zusammen
64. Emu-Video: Faktorisierung der Text-zu-Video-Generierung durch explizite Bildkonditionierung
65. Pythia: Eine Suite zur Analyse großer Sprachmodelle über Training und Skalierung hinweg
66. Lama 2: Open Foundation und fein abgestimmte Chat-Modelle
67. QLoRA: Effiziente Feinabstimmung quantisierter LLMs
68. RAG vs. Feinabstimmung: Pipelines, Kompromisse und eine Fallstudie zur Landwirtschaft
69. Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu befolgen
70. LLMs mit Ferngläsern erkennen: Zero-Shot-Erkennung von maschinengeneriertem Text
71. Sparse Networks von Grund auf: Schnelleres Training ohne Leistungseinbußen
72. ZeRO: Speicheroptimierungen für das Training von Billionen-Parametermodellen
73. Schalttransformatoren: Skalierung auf Billionen-Parametermodelle mit einfacher und effizienter Sparsity
74. DeepSeekMoE: Auf dem Weg zur ultimativen Expertenspezialisierung in Sprachmodellen mit gemischten Experten
75. MoE-Mamba: Effiziente selektive Zustandsraummodelle mit Expertenmix
76. Code Llama: Offene Foundation-Modelle für Code
77. LLaMA Pro: Progressives LLaMA mit Blockerweiterung
78. Self-Play Fine-Tuning wandelt schwache Sprachmodelle in starke Sprachmodelle um
79. Monarch Mixer: Eine einfache subquadratische GEMM-basierte Architektur
80. Auf großen Sprachmodellen basierende Multi-Agenten: Ein Überblick über Fortschritte und Herausforderungen
81. Retrieval-Augmented Generation für große Sprachmodelle: Eine Umfrage
82. ReAugKD: Retrieval-Augmented Knowledge Destillation für vorab trainierte Sprachmodelle
83. Die Ära der 1-Bit-LLMs: Alle großen Sprachmodelle sind in 1,58 Bit
84. Unterstützung beim Schreiben von Wikipedia-ähnlichen Artikeln von Grund auf mit großen Sprachmodellen
85. RAPTOR: Rekursive abstrakte Verarbeitung für baumorganisiertes Abrufen
86. Jenseits von A*: Bessere Planung mit Transformern durch Search Dynamics Bootstrapping
87. Datensätze für große Sprachmodelle: Eine umfassende Umfrage
88. Ein LLM-Compiler für parallele Funktionsaufrufe
89. Die Aufforderung zur Gedankenkette löst Argumentation in großen Sprachmodellen aus
90. Plan-and-Solve-Eingabeaufforderung: Verbesserung der Zero-Shot-Gedankenkette durch große Sprachmodelle
91. ReWOO: Entkopplung des Denkens von Beobachtungen für effiziente erweiterte Sprachmodelle
92. StructLM: Auf dem Weg zum Aufbau generalistischer Modelle zur strukturierten Wissensvermittlung
93. Eine kritische Bewertung des KI-Feedbacks zur Ausrichtung großer Sprachmodelle
94. Sind mehr LLM-Anrufe alles, was Sie brauchen? Auf dem Weg zu Skalierungsgesetzen zusammengesetzter Inferenzsysteme
95. Sind neue Fähigkeiten großer Sprachmodelle eine Fata Morgana?
96. Yi: Open Foundation Models von 01.AI
97. ORPO: Monolithische Präferenzoptimierung ohne Referenzmodell
98. Verstehen große Sprachmodelle Logik oder ahmen sie nur den Kontext nach?
99. Evaluierung großer Sprachmodelle, die auf Code trainiert wurden
100. Selbstverfeinerung: Iterative Verfeinerung mit Selbst-Feedback
101. Reflexion: Sprachagenten mit verbalem Verstärkungslernen
102. MM-REACT: ChatGPT zum multimodalen Denken und Handeln auffordern
103. HuggingGPT: KI-Aufgaben lösen mit ChatGPT und seinen Freunden in Hugging Face
104. AutoGen: Ermöglichung von LLM-Anwendungen der nächsten Generation über Multi-Agent-Konversation
105. Megalodon: Effizientes LLM-Vortraining und Inferenz mit unbegrenzter Kontextlänge
106. Eine Umfrage zu generativen KI-Anwendungen
107. MAC-SQL: Ein Multi-Agent-Kollaborationsframework für Text-to-SQL
108. Prometheus 2: Ein Open-Source-Sprachmodell, das auf die Bewertung anderer Sprachmodelle spezialisiert ist
109. MetaGPT: Metaprogrammierung für ein kollaboratives Framework mit mehreren Agenten
110. Grundlegendes zu den Argumentationsfunktionen von Transformatoren mithilfe von Graphalgorithmen
111. Um LLM-Halluzinationen zu verbannen, muss die Generalisierung neu überdacht werden
112. Ihr Kontext ist kein Array: Enthüllung von Direktzugriffsbeschränkungen in Transformern
113. LLM-Lügen: Halluzinationen sind keine Bugs, sondern Features als kontradiktorische Beispiele
114. Gedächtnis^3: Sprachmodellierung mit explizitem Gedächtnis
115. NeuroLogische Dekodierung: (Un)überwachte neuronale Textgenerierung mit Prädikatenlogik-Einschränkungen
116. LOTUS: Ermöglichen semantischer Abfragen mit LLMs über Tabellen mit unstrukturierten und strukturierten Daten
117. Text2SQL ist nicht genug: KI und Datenbanken mit TAG vereinen
118. Gedankenkettendenken ohne Aufforderung
119. Die Gedankenkette befähigt Transformatoren, inhärent serielle Probleme zu lösen
120. Prämissenreihenfolge ist beim Denken mit großen Sprachmodellen wichtig
121. Großen Sprachmodellen das Selbst-Debuggen beibringen
122. SciAgents: Automatisierung wissenschaftlicher Entdeckungen durch intelligentes Graph-Argumentation mit mehreren Agenten
123. Gemini 1.5: Erschließung multimodalen Verständnisses über Millionen von Kontext-Tokens hinweg
124. Agentic Retrieval-Augmented Generation für die Zeitreihenanalyse
125. Reflection-Tuning: Datenrecycling verbessert die LLM-Anweisungsoptimierung
126. OLMoE: Offene Mixture-of-Experts-Sprachmodelle
127. Quiet-STaR: Sprachmodelle können sich selbst beibringen, vor dem Sprechen zu denken
128. Agent F: Erweitertes Denken und Lernen für autonome KI-Agenten
129. Lassen Sie uns Schritt für Schritt überprüfen
130. Lernen Sie über die Antwort hinaus: Trainieren Sie Sprachmodelle mit Reflexion für mathematisches Denken
131. V-STaR: Schulung von Verifizierern für autodidaktische Denker
132. Agent-Workflow-Speicher
133. Conversational Text-To-SQL: Eine Odyssee über den neuesten Stand der Technik und die bevorstehenden Herausforderungen
134. LLMs richtig leiten: Schnelle, nicht-invasive eingeschränkte Generierung
135. Verbesserung der Few-Shot-Text-to-SQL-Fähigkeiten großer Sprachmodelle: Eine Studie über Prompt-Design-Strategien
136. Effiziente schemalose Text-zu-SQL-Konvertierung unter Verwendung großer Sprachmodelle
137. SQL-to-Schema verbessert die Schemaverknüpfung in Text-to-SQL
138. CodeS: Auf dem Weg zum Aufbau von Open-Source-Sprachmodellen für Text-to-SQL
139. Ein theoretisches Verständnis der Gedankenkette: Kohärentes Denken und fehlerbewusste Demonstration
140. Für die Befragung von LLaMA-1/2 und GPT-3.5/4 benötigen Sie lediglich prinzipielle Anweisungen
141. Steuerung großer Sprachmodelle zwischen Codeausführung und textuellem Denken
142. Paired Open-Ended Trailblazer (POET): Endlose Generierung immer komplexerer und vielfältigerer Lernumgebungen und deren Lösungen

Lernprotokolle

Datum	Lernen