GenAI_Papers

GenAI_Papers

Ce projet contient une liste d'articles de recherche intéressants dans le domaine de GenAI.

Sujets

1. Aperçu
2. Objectifs
3. Portée et contexte
4. Documents de recherche
5. Journaux d'apprentissage

---

Aperçu

Ce référentiel est dédié à l'agrégation et à la discussion de recherches révolutionnaires dans le domaine de l'IA générative.

L'IA générative, ou GenAI, fait référence au sous-ensemble de l'intelligence artificielle axé sur la création de nouveaux contenus, allant du texte et des images au code et au-delà. La collection d'articles incluse ici couvre une variété de sujets au sein de GenAI, tels que les réseaux contradictoires génératifs (GAN), les auto-encodeurs variationnels (VAE) et les modèles basés sur des transformateurs.

Ce recueil sert de ressource aux universitaires, aux praticiens et aux passionnés cherchant à faire progresser l’état de l’art en matière de génération de contenu basée sur l’IA.

Objectifs

Les principaux objectifs de ce référentiel sont :

1. Consolidation des connaissances : centraliser les articles de recherche fondateurs et de pointe qui définissent et font progresser le domaine GenAI.
2. Collaboration communautaire : favoriser un environnement collaboratif où les idées et les résultats peuvent être partagés, discutés et critiqués par la communauté de recherche Gen AI.
3. Promotion de l'innovation : Inspirer et guider de nouvelles initiatives de recherche et des applications pratiques des technologies GenAI.
4. Intégration interdisciplinaire : Encourager la pollinisation croisée d'idées provenant de divers domaines tels que l'informatique, la psychologie cognitive et les arts numériques pour enrichir la recherche GenAI.

Portée et contexte

Portée

La portée de ce référentiel est d'englober un large éventail de recherches au sein de GenAI, y compris, mais sans s'y limiter :

• Fondements théoriques des modèles génératifs
• Avancées techniques dans la conception d’algorithmes
• Applications de GenAI dans divers domaines (par exemple, art, soins de santé, développement de logiciels)
• Considérations éthiques et impacts sociétaux de GenAI

Contexte

Le domaine GenAI se situe à l’intersection de plusieurs disciplines. Il exploite l'apprentissage en profondeur, la modélisation statistique et la créativité informatique pour générer de nouveaux résultats qui peuvent imiter, voire surpasser, la créativité au niveau humain dans certains aspects. Compte tenu du rythme rapide des progrès de l’IA, il est crucial de maintenir une vue d’ensemble claire et organisée des progrès dans ce domaine, ce que ce référentiel vise à fournir.

Documents de recherche

Remarque : Pas dans un ordre particulier.

Classification

Catégorie	Papiers	Description
Modèles de langage et IA générale	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	Articles liés aux modèles de langage, à leurs applications, aux considérations éthiques et aux améliorations de la formation ou des fonctionnalités.
Intégration de la vision et du langage	3, 4, 29, 30, 33, 64	Se concentrer sur l'intégration de données visuelles avec des modèles de langage, y compris les transformateurs de vision et la personnalisation texte-image.
Mécanismes d'attention et transformateurs	8, 9, 25, 28, 73	Discuter de la théorie de l'attention dans l'apprentissage profond et l'optimisation des modèles de transformateur.
Musique et IA créative	5	Un article unique sur la génération de musique à l'aide de l'IA.
Synthèse d'images haute résolution	6, 7, 63	Discussion sur la synthèse d'images haute résolution à l'aide de modèles de diffusion et de transformateurs de vision.
Efficacité et mise à l'échelle de l'IA	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97	Couvrant l'efficacité de l'IA en termes de mémoire, d'inférence et de mise à l'échelle.
Impact environnemental de l'IA	12	Un article unique axé sur l’impact environnemental des systèmes d’IA.
IA axée sur le dialogue et l'interaction	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	Impliquant des applications et des plateformes de dialogue pour les agents linguistiques interactifs.
Amélioration de l'IA et méta-apprentissage	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96	Sur l'amélioration des capacités de l'IA grâce à l'auto-amélioration, à l'optimisation des préférences et à la distillation.
Diverses applications d'IA	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	Discuter d'applications de niche en matière d'IA telles que les normes de bon sens et le réglage des instructions visuelles.

Liste complète

1. Améliorer CLIP avec GPT-4 : exploiter les descriptions visuelles comme invites
2. EfficientViT : transformateur de vision efficace en mémoire avec attention de groupe en cascade
3. Édition de premier rang verrouillée par clé pour la personnalisation texte-image
4. ELIXR : Vers un système d'intelligence artificielle à rayons X à usage général grâce à l'alignement de grands modèles de langage et d'encodeurs de vision radiologique
5. Génération de musique simple et contrôlable
6. Synthèse d'images haute résolution avec modèles de diffusion latente
7. Tous valent des mots : une épine dorsale ViT pour les modèles de diffusion
8. L'attention est tout ce dont vous avez besoin
9. Une vision mathématique des modèles d'attention dans l'apprentissage profond
10. Améliorer la compréhension du langage grâce à une pré-formation générative
11. Grands modèles de langage et test de Turing inversé
12. Estimation de l'empreinte carbone de Bloom, un modèle de langage de paramètres 176b
13. LaMDA : modèles de langage pour les applications de dialogue
14. Gorilla : un grand modèle de langage connecté à des API massives
15. Modèles de base pour les problèmes, les méthodes et les opportunités de prise de décision
16. Pré-formation continue des modèles de langage
17. Jusqu’où les chameaux peuvent-ils aller ? Explorer l'état du réglage de l'instruction sur les ressources ouvertes
18. Alpagasus : entraîner un meilleur alpaga avec moins de données
19. Risques éthiques et sociaux de préjudice liés aux modèles linguistiques
20. Évaluation holistique des modèles de langage
21. Sur le risque de pollution par la désinformation avec les grands modèles linguistiques
22. La capacité d’autocorrection morale dans les grands modèles linguistiques
23. HONNÊTE : Mesurer l'achèvement des phrases blessantes dans les modèles linguistiques
24. ReAct : mettre en synergie le raisonnement et l'action dans les modèles linguistiques
25. Mise à l'échelle efficace de l'inférence de transformateur
26. Hungry Hungry Hippos : vers une modélisation du langage avec des modèles spatiaux d'états
27. Promptbreeder : auto-amélioration autoréférentielle via Prompt Evolution
28. Modèles de langage de streaming efficaces avec récepteurs d'attention
29. Réglage des instructions visuelles
30. Lignes de base améliorées grâce au réglage des instructions visuelles
31. Optimisation directe des préférences : votre modèle linguistique est secrètement un modèle de récompense
32. Distil-Whisper : distillation robuste des connaissances via un pseudo-étiquetage à grande échelle
33. Lire des livres, c’est bien, mais pas si vous conduisez ! Raisonnement visuellement fondé sur les normes du bon sens réfutables
34. TeacherLM : Enseigner à pêcher plutôt que de donner le poisson, modélisation du langage également
35. Self-RAG : apprendre à récupérer, générer et critiquer grâce à l'auto-réflexion
36. InstructRetro : réglage des instructions après le pré-entraînement augmenté par récupération
37. OpenAgents : une plateforme ouverte pour les agents linguistiques en liberté
38. Les grands modèles de langage comprennent et peuvent être améliorés par des stimuli émotionnels
39. Agents de communication pour le développement de logiciels
40. Les grands modèles de langage sont des ingénieurs rapides au niveau humain
41. Les invites du moins au plus permettent un raisonnement complexe dans de grands modèles de langage
42. L'auto-cohérence améliore le raisonnement en chaîne de pensée dans les modèles de langage
43. Les modèles de langage peuvent être des solveurs logiques
44. Perdu au milieu : comment les modèles de langage utilisent des contextes longs
45. Invite de chaîne de pensée contrastée
46. RankZephyr : le reclassement par liste Zero-Shot efficace et robuste est un jeu d'enfant !
47. LLM en un éclair : inférence efficace de grands modèles de langage avec une mémoire limitée
48. PowerInfer : service rapide de modèles de langage étendus avec un GPU grand public
49. Fonctions de perte centrées sur l'humain (HALO)
50. Un challenger du GPT-4V ? Premières explorations des Gémeaux en expertise visuelle
51. Inférence distribuée et réglage fin de grands modèles de langage sur Internet
52. GAIA : Génération d'avatar parlant Zero-shot
53. AGENTS DORMANTS : FORMATION DE LLMS TROMPEURS QUI PERSISTENT GRÂCE À LA FORMATION À LA SÉCURITÉ
54. LLMLingua : compression des invites pour une inférence accélérée de grands modèles de langage
55. Fondements de la récupération de vecteurs
56. Modèles de langage auto-gratifiants
57. BloombergGPT : un grand modèle linguistique pour la finance
58. Mistral7B
59. Réseaux de neurones incroyablement grands : la couche de mélange d'experts à grille clairsemée
60. MegaBlocks : formation clairsemée efficace avec un mélange d'experts
61. Mélange d'experts et réglage des instructions : une combinaison gagnante pour les grands modèles de langage
62. Orca 2 : Enseigner à de petits modèles de langage comment raisonner
63. Les ConvNets correspondent aux transformateurs de vision à grande échelle
64. Emu Video : Factorisation de la génération texte-vidéo par conditionnement explicite d'images
65. Pythia : une suite pour analyser de grands modèles de langage à travers la formation et la mise à l'échelle
66. Llama 2 : Fondation ouverte et modèles de discussion affinés
67. QLoRA : réglage fin efficace des LLM quantifiés
68. RAG vs réglage fin : pipelines, compromis et étude de cas sur l'agriculture
69. Former des modèles de langage pour suivre les instructions avec des commentaires humains
70. Repérer les LLM avec des jumelles : détection zéro du texte généré par la machine
71. Réseaux clairsemés à partir de zéro : formation plus rapide sans perte de performances
72. ZeRO : optimisations de la mémoire vers la formation de modèles de milliards de paramètres
73. Transformateurs de commutation : évolutivité vers des modèles de milliards de paramètres avec une parcimonie simple et efficace
74. DeepSeekMoE : vers une spécialisation ultime des experts dans les modèles linguistiques mixtes
75. MoE-Mamba : modèles spatiaux d'états sélectifs efficaces avec un mélange d'experts
76. Code Llama : modèles de fondation ouverts pour le code
77. LLaMA Pro : LLaMA progressif avec extension de bloc
78. Le réglage fin en mode autonome convertit les modèles de langage faibles en modèles de langage forts
79. Monarch Mixer : une architecture simple basée sur GEMM sous-quadratique
80. Multi-agents basés sur un grand modèle de langage : une enquête sur les progrès et les défis
81. Génération augmentée par récupération pour les grands modèles de langage : une enquête
82. ReAugKD : distillation des connaissances augmentée par récupération pour les modèles linguistiques pré-entraînés
83. L'ère des LLM 1 bit : tous les grands modèles de langage sont en 1,58 bits
84. Aide à la rédaction d'articles de type Wikipédia à partir de zéro avec de grands modèles linguistiques
85. RAPTOR : traitement abstractif récursif pour la récupération organisée par arborescence
86. Beyond A* : meilleure planification avec Transformers via l'amorçage de la dynamique de recherche
87. Ensembles de données pour les grands modèles linguistiques : une enquête complète
88. Un compilateur LLM pour l'appel de fonctions parallèles
89. L'incitation à la chaîne de pensée suscite un raisonnement dans de grands modèles de langage
90. Invite de planification et de résolution : amélioration du raisonnement en chaîne de pensée zéro grâce à de grands modèles de langage
91. ReWOO : Découpler le raisonnement des observations pour des modèles de langage augmentés efficaces
92. StructLM : vers la construction de modèles généralistes pour un ancrage structuré des connaissances
93. Une évaluation critique des commentaires de l'IA pour l'alignement de grands modèles de langage
94. Davantage d'appels LLM sont-ils suffisants ? Vers des lois d'échelle des systèmes d'inférence composés
95. Les capacités émergentes des grands modèles linguistiques sont-elles un mirage ?
96. Yi : modèles de fondations ouvertes par 01.AI
97. ORPO : Optimisation des préférences monolithiques sans modèle de référence
98. Les grands modèles de langage comprennent-ils la logique ou imitent-ils simplement le contexte ?
99. Évaluation de grands modèles de langage formés au code
100. Auto-raffinement : raffinement itératif avec auto-rétroaction
101. Réflexion : Agents linguistiques avec apprentissage par renforcement verbal
102. MM-REACT : inciter ChatGPT à effectuer un raisonnement et une action multimodales
103. HuggingGPT : résoudre les tâches d'IA avec ChatGPT et ses amis dans Hugging Face
104. AutoGen : activer les applications LLM de nouvelle génération via une conversation multi-agents
105. Megalodon : pré-entraînement et inférence LLM efficaces avec une longueur de contexte illimitée
106. Une enquête sur les applications de l'IA générative
107. MAC-SQL : un cadre collaboratif multi-agents pour Text-to-SQL
108. Prometheus 2 : un modèle de langage open source spécialisé dans l'évaluation d'autres modèles de langage
109. MetaGPT : métaprogrammation pour un cadre collaboratif multi-agents
110. Comprendre les capacités de raisonnement des transformateurs via des algorithmes graphiques
111. Bannir les hallucinations LLM nécessite de repenser la généralisation
112. Votre contexte n'est pas un tableau : dévoilement des limitations d'accès aléatoire dans les transformateurs
113. Mensonges du LLM : les hallucinations ne sont pas des bugs, mais des fonctionnalités comme exemples contradictoires
114. Mémoire ^ 3 : Modélisation du langage avec mémoire explicite
115. Décodage NeuroLogic : génération de texte neuronal (non) supervisée avec contraintes logiques de prédicat
116. LOTUS : Activation des requêtes sémantiques avec des LLM sur des tables de données non structurées et structurées
117. Text2SQL ne suffit pas : unifier l'IA et les bases de données avec TAG
118. Raisonnement en chaîne de pensée sans incitation
119. La chaîne de pensée permet aux transformateurs de résoudre des problèmes intrinsèquement en série
120. L’ordre des prémisses est important dans le raisonnement avec de grands modèles de langage
121. Enseigner à de grands modèles de langage l'auto-débogage
122. SciAgents : automatisation de la découverte scientifique grâce au raisonnement graphique intelligent multi-agents
123. Gemini 1.5 : débloquer la compréhension multimodale à travers des millions de jetons de contexte
124. Génération augmentée par récupération agentique pour l'analyse de séries chronologiques
125. Réglage de la réflexion : le recyclage des données améliore le réglage des instructions LLM
126. OLMoE : modèles de langage ouverts à mélange d'experts
127. Quiet-STAR : les modèles linguistiques peuvent s'apprendre à réfléchir avant de parler
128. Agent Q : Raisonnement et apprentissage avancés pour les agents IA autonomes
129. Vérifions étape par étape
130. Apprendre au-delà de la réponse : entraîner des modèles de langage avec réflexion pour le raisonnement mathématique
131. V-STAR : Formation de vérificateurs pour raisonneurs autodidactes
132. Mémoire du flux de travail de l'agent
133. Text-To-SQL conversationnel : une odyssée à la pointe de la technologie et des défis à venir
134. Guider les LLM de la bonne manière : génération contrainte rapide et non invasive
135. Amélioration des capacités de conversion texte vers SQL des grands modèles de langage : une étude sur les stratégies de conception d'invites
136. Conversion texte-SQL efficace sans schéma à l'aide de grands modèles de langage
137. SQL-to-Schema améliore la liaison de schéma dans Text-to-SQL
138. CodeS : vers la création de modèles de langage open source pour Text-to-SQL
139. Une compréhension théorique de la chaîne de pensée : raisonnement cohérent et démonstration consciente des erreurs
140. Des instructions fondées sur des principes sont tout ce dont vous avez besoin pour remettre en question LLaMA-1/2, GPT-3.5/4
141. Piloter des modèles de langage étendus entre l'exécution de code et le raisonnement textuel
142. Paired Open-Ended Trailblazer (POET) : générer sans cesse des environnements d'apprentissage de plus en plus complexes et diversifiés et leurs solutions

Journaux d'apprentissage

Date	Apprentissage