GenAI_Papers

GenAI_Papers

Este projeto contém uma lista de artigos de pesquisa interessantes na área de GenAI.

Tópicos

1. Visão geral
2. Metas
3. Escopo e Contexto
4. Artigos de pesquisa
5. Registros de aprendizagem

---

Visão geral

Este repositório é dedicado à agregação e discussão de pesquisas inovadoras no campo da IA ​​Generativa.

IA generativa, ou GenAI, refere-se ao subconjunto de inteligência artificial focada na criação de novos conteúdos, desde texto e imagens até código e muito mais. A coleção de artigos aqui incluídos abrange uma variedade de tópicos dentro do GenAI, como Redes Adversariais Generativas (GANs), Autoencodificadores Variacionais (VAEs) e modelos baseados em Transformadores.

Este compêndio serve como um recurso para acadêmicos, profissionais e entusiastas que buscam avançar no estado da arte na geração de conteúdo orientada por IA.

Metas

Os principais objetivos deste repositório são:

1. Consolidação do Conhecimento : Centralizar artigos de pesquisa seminais e de ponta que definem e avançam o campo GenAI.
2. Colaboração comunitária : Para promover um ambiente colaborativo onde ideias e descobertas possam ser compartilhadas, discutidas e criticadas pela comunidade de pesquisa Gen AI.
3. Promoção da Inovação : Para inspirar e orientar novas iniciativas de pesquisa e aplicações práticas das tecnologias GenAI.
4. Integração Interdisciplinar : Para encorajar a polinização cruzada de ideias de diversos campos, como ciência da computação, psicologia cognitiva e artes digitais para enriquecer a pesquisa GenAI.

Escopo e Contexto

Escopo

O escopo deste repositório é abranger uma ampla gama de pesquisas dentro do GenAI, incluindo, mas não se limitando a:

• Fundamentos teóricos de modelos generativos
• Avanços técnicos no design de algoritmos
• Aplicações de GenAI em vários domínios (por exemplo, arte, saúde, desenvolvimento de software)
• Considerações éticas e impactos sociais da GenAI

Contexto

O campo GenAI está situado na intersecção de múltiplas disciplinas. Ele aproveita o aprendizado profundo, a modelagem estatística e a criatividade computacional para gerar novos resultados que podem imitar ou até mesmo superar a criatividade de nível humano em certos aspectos. Com o rápido ritmo de avanço da IA, é crucial manter uma visão clara e organizada do progresso nesta área, que este repositório pretende fornecer.

Artigos de pesquisa

Nota: Não em uma ordem específica.

Classificação

Categoria	Artigos	Descrição
Modelos de linguagem e IA geral	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104	Artigos relacionados a modelos de linguagem, suas aplicações, considerações éticas e melhorias no treinamento ou funcionalidade.
Visão e integração linguística	3, 4, 29, 30, 33, 64	Foco na integração de dados visuais com modelos de linguagem, incluindo transformadores de visão e personalização de texto para imagem.
Mecanismos e transformadores de atenção	8, 9, 25, 28, 73	Discutir a teoria da atenção em aprendizagem profunda e otimização de modelos de transformadores.
Música e IA criativa	5	Um artigo exclusivo sobre geração de música usando IA.
Síntese de imagens de alta resolução	6, 7, 63	Discutindo a síntese de imagens de alta resolução usando modelos de difusão e transformadores de visão.
Eficiência e escalabilidade em IA	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97	Cobrindo a eficiência da IA ​​em termos de memória, inferência e escalonamento.
Impacto Ambiental da IA	12	Um artigo único com foco no impacto ambiental dos sistemas de IA.
IA focada em diálogo e interação	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91	Envolvendo aplicações e plataformas de diálogo para agentes linguísticos interativos.
Aprimoramento de IA e meta-aprendizado	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96	Na melhoria dos recursos de IA por meio de autoaperfeiçoamento, otimização de preferências e destilação.
Diversos aplicativos de IA	29, 30, 33, 50, 52, 77, 85, 94, 100, 102	Discutindo aplicações de IA de nicho, como normas de bom senso e ajuste de instruções visuais.

Lista completa

1. Aprimorando o CLIP com GPT-4: aproveitando descrições visuais como prompts
2. EfficientViT: transformador de visão com eficiência de memória e atenção de grupo em cascata
3. Edição de classificação um bloqueada por chave para personalização de texto para imagem
4. ELIXR: Rumo a um sistema de inteligência artificial de raios X de uso geral através do alinhamento de grandes modelos de linguagem e codificadores de visão radiológica
5. Geração de música simples e controlável
6. Síntese de imagens de alta resolução com modelos de difusão latente
7. Todas valem palavras: uma espinha dorsal do ViT para modelos de difusão
8. Atenção é tudo que você precisa
9. Uma visão matemática dos modelos de atenção na aprendizagem profunda
10. Melhorando a compreensão do idioma por meio do pré-treinamento generativo
11. Grandes modelos de linguagem e o teste de Turing reverso
12. Estimando a pegada de carbono do Bloom, um modelo de linguagem de parâmetros 176b
13. LaMDA: Modelos de linguagem para aplicativos de diálogo
14. Gorilla: modelo de linguagem grande conectado com APIs massivas
15. Modelos básicos para problemas, métodos e oportunidades de tomada de decisão
16. Pré-treinamento contínuo de modelos de linguagem
17. Até onde podem ir os camelos? Explorando o estado do ajuste de instrução em recursos abertos
18. Alpagasus: treinando uma alpaca melhor com menos dados
19. Riscos éticos e sociais de danos causados ​​por modelos de linguagem
20. Avaliação Holística de Modelos de Linguagem
21. Sobre o risco de poluição por desinformação com grandes modelos de linguagem
22. A capacidade de autocorreção moral em grandes modelos de linguagem
23. HONESTO: Medindo a conclusão de frases prejudiciais em modelos de linguagem
24. ReAct: sinergizando raciocínio e atuação em modelos de linguagem
25. Dimensionando com eficiência a inferência do transformador
26. Hungry Hungry Hippos: Rumo à modelagem de linguagem com modelos de espaço de estado
27. Promptbreeder: autoaperfeiçoamento autorreferencial por meio da evolução imediata
28. Modelos de linguagem de streaming eficientes com coletores de atenção
29. Ajuste de instrução visual
30. Linhas de base aprimoradas com ajuste de instrução visual
31. Otimização de preferência direta: seu modelo de linguagem é secretamente um modelo de recompensa
32. Distil-Whisper: destilação robusta de conhecimento por meio de pseudo-rotulagem em larga escala
33. Ler livros é ótimo, mas não se você estiver dirigindo! Raciocínio visualmente fundamentado sobre normas de senso comum revogáveis
34. TeacherLM: Ensinando a pescar em vez de dar o peixe, modelagem de linguagem da mesma forma
35. Auto-RAG: Aprendendo a recuperar, gerar e criticar por meio da autorreflexão
36. InstructRetro: Ajuste de instrução após pré-treinamento aumentado por recuperação
37. OpenAgents: uma plataforma aberta para agentes linguísticos em atividade
38. Grandes modelos de linguagem compreendem e podem ser aprimorados por estímulos emocionais
39. Agentes Comunicativos para Desenvolvimento de Software
40. Grandes modelos de linguagem são engenheiros de alerta de nível humano
41. A solicitação do mínimo para o máximo permite raciocínio complexo em modelos de linguagem grandes
42. A autoconsistência melhora o raciocínio da cadeia de pensamento em modelos de linguagem
43. Modelos de linguagem podem ser solucionadores lógicos
44. Perdido no meio: como os modelos de linguagem usam contextos longos
45. Solicitação contrastiva de cadeia de pensamento
46. RankZephyr: Reclassificação Listwise Zero-Shot Eficaz e Robusta é uma brisa!
47. LLM em um piscar de olhos: Inferência eficiente de modelos de linguagem grande com memória limitada
48. PowerInfer: modelo rápido de linguagem grande com uma GPU de nível de consumidor
49. Funções de Perda Centradas no Ser Humano (HALOs)
50. Um desafiante para GPT-4V? Primeiras explorações de Gêmeos em experiência visual
51. Inferência distribuída e ajuste fino de grandes modelos de linguagem na Internet
52. GAIA: Geração de Avatar Falante Zero-shot
53. AGENTES DORMÓNIOS: TREINANDO LLMS ENGANADORES QUE PERSISTEM ATRAVÉS DO TREINAMENTO DE SEGURANÇA
54. LLMLingua: compactando prompts para inferência acelerada de grandes modelos de linguagem
55. Fundamentos da recuperação de vetores
56. Modelos de linguagem autocompensadores
57. BloombergGPT: um grande modelo de linguagem para finanças
58. Mistral 7B
59. Redes neurais escandalosamente grandes: a camada de mistura de especialistas com controle esparso
60. MegaBlocks: treinamento esparso eficiente com mistura de especialistas
61. Mistura de especialistas encontra ajuste de instrução: uma combinação vencedora para grandes modelos de linguagem
62. Orca 2: Ensinando Modelos de Pequenas Linguagens Como Raciocinar
63. ConvNets combinam transformadores de visão em escala
64. Vídeo Emu: Fatorando a geração de texto para vídeo por meio de condicionamento explícito de imagem
65. Pythia: um conjunto para analisar grandes modelos de linguagem em treinamento e escalonamento
66. Llama 2: Base aberta e modelos de bate-papo ajustados
67. QLoRA: Ajuste Eficiente de LLMs Quantizados
68. RAG vs ajuste fino: pipelines, compensações e um estudo de caso sobre agricultura
69. Treinando modelos de linguagem para seguir instruções com feedback humano
70. Identificando LLMs com Binóculos: Detecção Zero-Shot de Texto Gerado por Máquina
71. Redes esparsas do zero: treinamento mais rápido sem perda de desempenho
72. ZeRO: otimizações de memória para treinar modelos de trilhões de parâmetros
73. Transformadores de comutação: escalando para trilhões de modelos de parâmetros com dispersão simples e eficiente
74. DeepSeekMoE: Rumo à especialização final de especialistas em modelos de linguagem com mistura de especialistas
75. MoE-Mamba: Modelos Eficientes de Espaço de Estado Seletivo com Mistura de Especialistas
76. Code Llama: modelos de base aberta para código
77. LLaMA Pro: LLaMA Progressivo com Expansão de Bloco
78. O ajuste fino de auto-reprodução converte modelos de linguagem fraca em modelos de linguagem forte
79. Monarch Mixer: uma arquitetura subquadrática simples baseada em GEMM
80. Multiagentes baseados em modelos de linguagem grande: uma pesquisa de progresso e desafios
81. Geração Aumentada por Recuperação para Modelos de Linguagem Grande: Uma Pesquisa
82. ReAugKD: Destilação de Conhecimento Aumentada por Recuperação para Modelos de Linguagem Pré-treinados
83. A era dos LLMs de 1 bit: todos os modelos de linguagem grande estão em 1,58 bits
84. Auxiliando na redação de artigos semelhantes à Wikipedia do zero com grandes modelos de linguagem
85. RAPTOR: Processamento Abstrativo Recursivo para Recuperação Organizada em Árvore
86. Além de A*: melhor planejamento com transformadores por meio de bootstrapping de dinâmica de pesquisa
87. Conjuntos de dados para grandes modelos de linguagem: uma pesquisa abrangente
88. Um compilador LLM para chamada de função paralela
89. A solicitação de cadeia de pensamento provoca raciocínio em grandes modelos de linguagem
90. Solicitação de planejar e resolver: melhorando o raciocínio da cadeia de pensamento zero-shot por meio de grandes modelos de linguagem
91. ReWOO: dissociando o raciocínio das observações para modelos eficientes de linguagem aumentada
92. StructLM: Rumo à construção de modelos generalistas para fundamentação do conhecimento estruturado
93. Uma avaliação crítica do feedback de IA para alinhar grandes modelos de linguagem
94. Mais chamadas LLM são tudo que você precisa? Rumo às leis de escala de sistemas de inferência composta
95. As habilidades emergentes de grandes modelos de linguagem são uma miragem?
96. Yi: Modelos de base aberta por 01.AI
97. ORPO: Otimização de preferência monolítica sem modelo de referência
98. Os grandes modelos de linguagem entendem a lógica ou apenas imitam o contexto?
99. Avaliando grandes modelos de linguagem treinados em código
100. Auto-refinamento: refinamento iterativo com auto-feedback
101. Reflexão: Agentes Linguísticos com Aprendizagem por Reforço Verbal
102. MM-REACT: Solicitando ChatGPT para raciocínio e ação multimodal
103. HuggingGPT: Resolvendo tarefas de IA com ChatGPT e seus amigos no Hugging Face
104. AutoGen: Habilitando aplicativos LLM de última geração por meio de conversação multiagente
105. Megalodon: pré-treinamento e inferência eficiente de LLM com comprimento de contexto ilimitado
106. Uma pesquisa sobre aplicações de IA generativa
107. MAC-SQL: uma estrutura colaborativa multiagente para conversão de texto em SQL
108. Prometheus 2: um modelo de linguagem de código aberto especializado na avaliação de outros modelos de linguagem
109. MetaGPT: Metaprogramação para uma estrutura colaborativa multiagente
110. Compreendendo os recursos de raciocínio do transformador por meio de algoritmos gráficos
111. Banir as alucinações do LLM requer repensar a generalização
112. Seu contexto não é um array: revelando limitações de acesso aleatório em transformadores
113. Mentiras LLM: Alucinações não são bugs, mas recursos como exemplos adversários
114. Memória ^ 3: Modelagem de Linguagem com Memória Explícita
115. Decodificação NeuroLogic: Geração de Texto Neural (Não) Supervisionada com Restrições de Lógica Predicada
116. LOTUS: Habilitando consultas semânticas com LLMs em tabelas de dados estruturados e não estruturados
117. Text2SQL não é suficiente: unificando IA e bancos de dados com TAG
118. Raciocínio de cadeia de pensamento sem aviso prévio
119. Cadeia de pensamento capacita transformadores a resolver problemas inerentemente seriais
120. A ordem das premissas é importante no raciocínio com grandes modelos de linguagem
121. Ensinando grandes modelos de linguagem para autodepuração
122. SciAgents: Automatizando a descoberta científica por meio de raciocínio gráfico inteligente multiagente
123. Gemini 1.5: Desbloqueando a compreensão multimodal em milhões de tokens de contexto
124. Geração Aumentada de Recuperação Agente para Análise de Série Temporal
125. Ajuste de reflexão: a reciclagem de dados melhora o ajuste de instruções do LLM
126. OLMoE: modelos de linguagem de mistura aberta de especialistas
127. Quiet-STaR: modelos de linguagem podem ensinar-se a pensar antes de falar
128. Agente Q: Raciocínio e aprendizagem avançados para agentes autônomos de IA
129. Vamos verificar passo a passo
130. Aprenda além da resposta: treinando modelos de linguagem com reflexão para raciocínio matemático
131. V-STaR: Verificadores de treinamento para raciocinadores autodidatas
132. Memória de fluxo de trabalho do agente
133. Texto conversacional para SQL: uma odisséia no que há de mais moderno e nos desafios futuros
134. Orientando LLMs da maneira certa: geração restrita rápida e não invasiva
135. Aprimorando os recursos de texto para SQL de modelos de linguagem grande: um estudo sobre estratégias de design de prompt
136. Conversão eficiente de texto para SQL sem esquema usando grandes modelos de linguagem
137. SQL-to-Schema aprimora a vinculação de esquema em Text-to-SQL
138. CodeS: Rumo à construção de modelos de linguagem de código aberto para texto para SQL
139. Uma compreensão teórica da cadeia de pensamento: raciocínio coerente e demonstração ciente de erros
140. Instruções baseadas em princípios são tudo que você precisa para questionar LLaMA-1/2, GPT-3.5/4
141. Direcionando grandes modelos de linguagem entre execução de código e raciocínio textual
142. Paired Open-Ended Trailblazer (POET): Gerando infinitamente ambientes de aprendizagem cada vez mais complexos e diversificados e suas soluções

Registros de aprendizagem

Data	Aprendizado