Página Inicial>Relacionado com a programação>Outro código-fonte
Baixar
Pesquisa AGI

Pesquisa AGI incrível
Artigos de leitura obrigatória sobre Inteligência Geral Artificial

Imagem abstrata

? Notícias

  • [2024-10] ? Nosso artigo foi aceito pelo TMLR 2024.
  • [2024-05] ? Estamos organizando um Workshop AGI no ICLR 2024 e lançamos nosso documento de posicionamento, "How Far Are We From AGI?".

Nosso projeto é uma iniciativa contínua e aberta que evoluirá paralelamente aos avanços em AGI. Recebemos calorosamente comentários e solicitações da comunidade e planejamos atualizar nosso artigo anualmente. Os colaboradores no site do projeto serão reconhecidos com gratidão em futuras revisões.

Citação BibTex se você achar nosso trabalho/recursos úteis: 

 @article { feng2024far ,
  title = { How Far Are We From AGI } ,
  author = { Feng, Tao and Jin, Chuanyang and Liu, Jingyu and Zhu, Kunlun and Tu, Haoqin and Cheng, Zirui and Lin, Guanyu and You, Jiaxuan } ,
  journal = { arXiv preprint arXiv:2405.10313 } ,
  year = { 2024 }
}

Contente

  • Contente
    • 1. Introdução
    • 2. AGI Interno: Revelando a Mente do AGI
      • 2.1 Percepção de IA
      • 2.2 Raciocínio de IA
      • 2.3 Memória IA
      • 2.4 Metacognição de IA
    • 3. Interface AGI: Conectando o Mundo com AGI
      • 3.1 Interfaces de IA para o mundo digital
      • 3.2 Interfaces de IA para o mundo físico
      • 3.3 Interfaces de IA para Inteligência
        • 3.3.1 Interfaces de IA para Agentes de IA
        • 3.3.2 Interfaces de IA para Humanos
    • 4. Sistemas AGI: Implementando o Mecanismo de AGI
      • 4.2 Arquiteturas de Modelos Escaláveis
      • 4.3 Treinamento em larga escala
      • 4.4 Técnicas de Inferência
      • 4.5 Custo e Eficiência
      • 4.6 Plataformas de Computação
    • 5. Alinhamento AGI: Garantir que o AGI atenda a diversas necessidades
      • 5.1 Expectativas de Alinhamento AGI
      • 5.2 Técnicas Atuais de Alinhamento
      • 5.3 Como abordar os alinhamentos AGI
    • 6. Roteiro AGI: Abordagem AGI Responsável
      • 6.1 Níveis de IA: traçando a evolução da inteligência artificial
      • 6.2 Avaliação AGI
        • 6.2.1 Expectativas para Avaliação AGI
        • 6.2.2 Avaliações Atuais e Suas Limitações
      • 6.5 Considerações Adicionais durante o Desenvolvimento AGI
    • 7. Estudos de caso
      • 7.1 IA para descoberta e pesquisa científica
      • 7.2 Inteligência Visual Gerativa
      • 7.3 Modelos Mundiais
      • 7.4 LLM Descentralizado
      • 7.5 IA para codificação
      • 7.6 IA para Robótica em Aplicações do Mundo Real
      • 7.7 Colaboração Humano-IA

introdução

-> O design da estrutura do nosso artigo. <-

1. Introdução

-> Proporção de atividades humanas superadas pela IA. <-

2. AGI Interno: Revelando a Mente do AGI

2.1 Percepção de IA

  1. Flamingo: um modelo de linguagem visual para aprendizagem rápida . Jean-Baptiste Alayrac et al. NeurIPS 2022. [artigo]
  2. BLIP-2: Pré-treinamento de imagem-linguagem de inicialização com codificadores de imagem congelada e modelos de linguagem grandes . Junnan Li et al. ICML 2023. [artigo]
  3. SPHINX: A mistura conjunta de pesos, tarefas e incorporações visuais para modelos multimodais de grandes linguagens . Ziyi Lin et al. EMNLP 2023. [artigo]
  4. Ajuste de instrução visual . Haotian Liu et al. NeurIPS 2023. [artigo]
  5. GPT4Tools: ensinando modelo de linguagem grande para usar ferramentas por meio de autoinstrução . Rui Yang et al. NeurIPS 2023. [artigo]
  6. "Otter: um modelo multimodal com ajuste de instruções no contexto" . Bo Li et al. arXiv 2023. [artigo]
  7. VideoChat: compreensão de vídeo centrada no chat . KunChang Li et al. arXiv 2023. [artigo]
  8. mPLUG-Owl: Modularização capacita grandes modelos de linguagem com multimodalidade . Qinghao Ye et al. arXiv 2023. [artigo]
  9. Uma pesquisa sobre modelos multimodais de grandes linguagens . Shukang Yin et al. arXiv 2023. [artigo]
  10. PandaGPT: um modelo para seguir todas as instruções . Yixuan Su et al. arXiv 2023. [artigo]
  11. Adaptador LLaMA: Ajuste fino eficiente de modelos de linguagem com atenção de inicialização zero . Renrui Zhang et al. arXiv 2023. [artigo]
  12. Gemini: uma família de modelos multimodais altamente capazes . Rohan Anil et al. arXiv 2023. [artigo]
  13. Shikra: Liberando a magia do diálogo referencial do Multimodal LLM . Keqin Chen et al. arXiv 2023. [artigo]
  14. ImageBind: um espaço de incorporação para vincular todos eles . Rohit Girdhar et al. CVPR 2023. [artigo]
  15. MobileVLM: um assistente de linguagem rápido, forte e de visão aberta para dispositivos móveis . Xiangxiang Chu et al. arXiv 2023. [artigo]
  16. O que torna bons tokenizadores visuais para modelos de linguagem grandes? . Guangzhi Wang et al. arXiv 2023. [artigo]
  17. MiniGPT-4: Aprimorando a Compreensão da Visão-Linguagem com Modelos Avançados de Grandes Linguagens . Deyao Zhu et al. ICLR 2024. [artigo]
  18. LanguageBind: Estendendo o pré-treinamento de linguagem de vídeo para a modalidade N por meio do alinhamento semântico baseado em linguagem . Bin Zhu et al. ICLR 2024. [artigo]

2.2 Raciocínio de IA

  1. "A solicitação de cadeia de pensamento provoca raciocínio em grandes modelos de linguagem" . Jason Wei et al. NeurIPS 2022. [artigo]
  2. Teoria Neural da Mente? Sobre os limites da inteligência social em grandes LMs . Maarten Sap et al. EMNLP 2022. [artigo]
  3. Monólogo Interno: Raciocínio Incorporado por meio do Planejamento com Modelos de Linguagem . Wenlong Huang et al. CoRL 2022. [artigo]
  4. Pesquisa de Alucinações na Geração de Linguagem Natural . Ziwei Ji et al. ACM Computing Surveys 2022. [artigo]
  5. ReAct: Sinergizando raciocínio e atuação em modelos de linguagem . Shunyu Yao et al. ICLR 2023. [artigo]
  6. Solicitação decomposta: uma abordagem modular para resolver tarefas complexas . Tushar Khot et al. ICLR 2023. [artigo]
  7. Solicitação baseada em complexidade para raciocínio em várias etapas . Yao Fu et al. ICLR 2023. [artigo]
  8. "A solicitação do mínimo para o máximo permite raciocínio complexo em modelos de linguagem grandes" . Denny Zhou et al. ICLR 2023. [artigo]
  9. Rumo ao raciocínio em grandes modelos de linguagem: uma pesquisa . Jie Huang et al. Resultados do ACL 2023. [artigo]
  10. ProgPrompt: Gerando Planos de Tarefas de Robôs Situados Usando Modelos de Linguagem Grande . Ishika Singh et al. ICRA 2023. [artigo]
  11. Raciocinar com Modelo de Linguagem é Planejar com Modelo Mundial . Shibo Hao et al. EMNLP 2023. [artigo]
  12. Avaliando a alucinação de objetos em grandes modelos de visão-linguagem . Yifan Li et al. EMNLP 2023. [artigo]
  13. Árvore de pensamentos: solução deliberada de problemas com grandes modelos de linguagem . Shunyu Yao et al. NeurIPS 2023. [artigo]
  14. Auto-refinamento: refinamento iterativo com auto-feedback . Aman Madaan et al. NeurIPS 2023. [artigo]
  15. Reflexão: Agentes Linguísticos com Aprendizagem por Reforço Verbal . Noah Shinn et al. NeurIPS 2023. [artigo]
  16. Descrever, explicar, planejar e selecionar: planejamento interativo com grandes modelos de linguagem permite agentes multitarefa de mundo aberto . Zihao Wang et al. NeurIPS 2023. [artigo]
  17. LLM+P: Capacitando Grandes Modelos de Linguagem com Ótima Proficiência em Planejamento . Bo Liu et al. arXiv 2023. [artigo]
  18. Modelos de linguagem, modelos de agentes e modelos mundiais: a LEI para raciocínio e planejamento de máquinas . Zhiting Hu et al. arXiv 2023. [artigo]
  19. MMToM-QA: Resposta a perguntas da teoria multimodal da mente . Chuanyang Jin et al. arXiv 2024. [artigo]
  20. Gráfico de pensamentos: resolvendo problemas elaborados com grandes modelos de linguagem . Maciej Besta et al. AAAI 2024. [artigo]
  21. "Atingindo> 97% no GSM8K: Compreender profundamente os problemas torna os LLMs raciocinadores perfeitos" . Qihuang Zhong et al. arXiv 2024. [artigo] pendente

2.3 Memória IA

  1. Recuperação densa de passagens para resposta a perguntas de domínio aberto . Vladimir Karpukhin et al. EMNLP 2020. [artigo]
  2. Geração aumentada de recuperação para tarefas de PNL com uso intensivo de conhecimento . Patrick Lewis et al. NeurIPS 2020. [artigo]
  3. REALM: Pré-treinamento do modelo de linguagem aumentada com recuperação . Kelvin Guu et al. ICML 2020. [artigo]
  4. O aumento da recuperação reduz a alucinação na conversa . Kurt Shuster et al. Resultados do EMNLP 2021. [artigo]
  5. Melhorando os modelos de linguagem recuperando trilhões de tokens . Sebastian Borgeaud et al. ICML 2022. [artigo]
  6. Agentes Geradores: Simulacros Interativos do Comportamento Humano . Joon Sung Park et al. UIST 2023. [artigo]
  7. Arquiteturas Cognitivas para Agentes Linguísticos . Theodore R. Sumers et al. TMLR 2024. [artigo]
  8. Voyager: um agente incorporado e aberto com grandes modelos de linguagem . Guanzhi Wang et al. arXiv 2023. [artigo]
  9. Uma Pesquisa sobre o Mecanismo de Memória de Agentes Baseados em Grandes Modelos de Linguagem . Zeyu Zhang et al. arXiv 2024. [artigo]
  10. "O resumo recursivo permite memória de diálogo de longo prazo em modelos de linguagem grandes" . Qingyue Wang et al. arXiv 2023. [artigo] pendente

2.4 Metacognição de IA

  1. A consideração das meta-habilidades na externalização do conhecimento tácito e na aprendizagem organizacional . Jyoti Choudrie et al. HICSS 2006. [artigo]
  2. "Evoluindo Redes Neurais Auto-supervisionadas Inteligência Autônoma do Auto-ensino Evoluído" . Nam Le . arXiv 2019. [artigo]
  3. "Tornar modelos de linguagem pré-treinados melhores alunos em poucas tentativas" . Tianyu Gao et al. ACL 2021. [artigo]
  4. Identificando e manipulando os traços de personalidade dos modelos de linguagem . Graham Caron et al. arXiv 2022. [artigo]
  5. Brainish: Formalizando uma linguagem multimodal para inteligência e consciência . Paul Liang et al. arXiv 2022. [artigo]
  6. Uma teoria da consciência a partir de uma perspectiva teórica da ciência da computação: Insights da Máquina de Turing Consciente . Lenore Blum et al. PNAS 2022. [artigo]
  7. WizardLM: Capacitando Modelos de Linguagem Grande para Seguir Instruções Complexas . Xu et al. arXiv 2023. [artigo]
  8. Autoinstrução: Alinhando modelos de linguagem com instruções autogeradas . Yizhong Wang et al. ACL 2023. [artigo]
  9. ReST atende ReAct: Autoaperfeiçoamento para Multi-Step Reasoning LLM Agent . Renat Aksitov et al. arXiv 2023. [artigo]
  10. A psicologia cultural de grandes modelos de linguagem: ChatGPT é um pensador holístico ou analítico? . Chuanyang Jin et al. arXiv 2023. [artigo]
  11. Consciência em Inteligência Artificial: Insights da Ciência da Consciência . Patrick Butlin et al. arXiv 2023. [artigo]
  12. Revisitando a confiabilidade das escalas psicológicas em grandes modelos de linguagem . Jen-tse Huang et al. arXiv 2023. [artigo]
  13. Avaliando e induzindo personalidade em modelos de linguagem pré-treinados . Guangyuan Jiang et al. NeurIPS 2024. [artigo]
  14. Níveis de AGI: Operacionalizando o Progresso no Caminho para AGI . Meredith Ringel Morris et al. arXiv 2024. [artigo] pendente
  15. Investigar-Consolidar-Explorar: Uma Estratégia Geral para a Autoevolução do Agente Inter-Tarefas . Cheng Qian et al. arXiv 2024. [artigo] pendente

3. Interface AGI: Conectando o Mundo com AGI

3.1 Interfaces de IA para o mundo digital

  1. Princípios de interfaces de usuário de iniciativa mista . Eric Horvitz. SIGCHI 1999. [artigo]
  2. A ascensão e o potencial de grandes agentes baseados em modelos de linguagem: uma pesquisa . Zhiheng Xi et al. arXiv 2023. [artigo]
  3. Aprendizado de ferramentas com modelos básicos . Yujia Qin et al. arXiv 2023. [artigo]
  4. Criador: Desemaranhando raciocínios abstratos e concretos de grandes modelos de linguagem por meio da criação de ferramentas . Cheng Qian et al. arXiv 2023. [artigo]
  5. AppAgent: Agentes multimodais como usuários de smartphones . Zhao Yang et al. arXiv 2023. [artigo]
  6. Mind2Web: Rumo a um Agente Generalista para a Web . Xiang Deng et al. Benchmark NeurIPS 2023. [artigo]
  7. ToolQA: um conjunto de dados para resposta a perguntas LLM com ferramentas externas . Yuchen Zhuang et al. arXiv 2023. [artigo]
  8. Agentes geradores: simulacros interativos do comportamento humano . Joon Sung Park et al. arXiv 2023. [artigo]
  9. Toolformer: Os modelos de linguagem podem aprender sozinhos a usar ferramentas . Timo Schick et al. arXiv 2023. [artigo]
  10. Gorilla: modelo de linguagem grande conectado com APIs massivas . Shishir G Patil et al. arXiv 2023. [artigo]
  11. Voyager: um agente corporificado aberto com grandes modelos de linguagem . Guanzhi Wang et al. arXiv 2023. [artigo]
  12. OS-Copilot: Rumo a Agentes de Computador Generalistas com Autoaperfeiçoamento . Zhiyong Wu et al. arXiv 2024. [artigo]
  13. WebArena: um ambiente web realista para construção de agentes autônomos . Shuyan Zhou et al. ICLR 2024. [artigo]
  14. Grandes modelos de linguagem como criadores de ferramentas . Tianle Cai et al. ICLR 2024. [artigo]

3.2 Interfaces de IA para o mundo físico

  1. Lições do desafio de colheita da Amazon: Quatro aspectos da construção de sistemas robóticos . Clemens Eppner et al. RSS 2016. [artigo]
  2. Perceptor-Ator: Um Transformador Multitarefa para Manipulação Robótica . Mohit Shridhar et al. arXiv 2022. [artigo]
  3. Vima: Manipulação geral de robôs com prompts multimodais . Yunfan Jiang et al. arXiv 2022. [artigo]
  4. Faça o que posso, não o que digo: fundamentando a linguagem nas possibilidades robóticas . Michael Ahn et al. arXiv 2022. [artigo]
  5. Voxposer: Mapas de valores 3D combináveis ​​para manipulação robótica com modelos de linguagem . Wenlong Huang et al. arXiv 2023. [artigo]
  6. MotionGPT: Movimento Humano como Língua Estrangeira . Biao Jiang et al. arXiv 2023. [artigo]
  7. "Rt-2: Modelos de visão-linguagem-ação transferem conhecimento da web para controle robótico" . Anthony Brohan et al. arXiv 2023. [artigo]
  8. Navegando para objetos no mundo real . Theophile Gervet et al. Robótica Científica 2023. [artigo]
  9. Lm-nav: Navegação robótica com grandes modelos pré-treinados de linguagem, visão e ação . Dhruv Shah et al. CRL 2023. [artigo]
  10. Palm-e: Um modelo de linguagem multimodal incorporado . Danny Driess et al. arXiv 2023. [artigo]
  11. LLM-Planner: planejamento fundamentado em poucas tentativas para agentes incorporados com grandes modelos de linguagem . Chan Hee Song et al. ICCV 2023. [artigo]
  12. Instruct2Act: Mapeando instruções multimodais para ações robóticas com modelo de linguagem grande . Siyuan Huang et al. arXiv 2023. [artigo]
  13. DROID: um conjunto de dados de manipulação de robôs em grande escala . Alexander Khazatsky et al. arXiv 2024. [artigo]
  14. BEHAVIOR-1K: um benchmark de IA incorporado e centrado no ser humano com 1.000 atividades diárias e simulação realista . Chengshu Li et al. arXiv 2024. [artigo]

3.3 Interfaces de IA para Inteligência

3.3.1 Interfaces de IA para Agentes de IA

  1. Gradientes contrafactuais de política multiagente . Jakob Foerster et al. AAAI 2018. [artigo]
  2. Explicações de grandes modelos de linguagem tornam melhores os raciocinadores pequenos . Shiyang Li et al. arXiv 2022. [artigo]
  3. "Destilação de aprendizagem no contexto: transferindo a capacidade de aprendizagem rápida de modelos de linguagem pré-treinados" . Yukun Huang et al. arXiv 2022. [artigo]
  4. Autoagentes: uma estrutura para geração automática de agentes . Guangyao Chen et al. arXiv 2023. [artigo]
  5. "Inferência neural amortizada para raciocínio multiagente aninhado" . Kunal Jha et al. arXiv 2023. [artigo]
  6. Destilação de conhecimento de grandes modelos de linguagem . Yuxian Gu et al. arXiv 2023. [artigo]
  7. Metagpt: Metaprogramação para estrutura colaborativa multiagente . Sirui Hong et al. arXiv 2023. [artigo]
  8. Descrever, explicar, planejar e selecionar: O planejamento interativo com grandes modelos de linguagem permite agentes multitarefa de mundo aberto . Zihao Wang et al. arXiv 2023. [artigo]
  9. Agentverse: Facilitando a colaboração multiagente e explorando comportamentos emergentes nos agentes . Weize Chen et al. arXiv 2023. [artigo]
  10. Mindstorms em sociedades mentais baseadas na linguagem natural . Mingchen Zhuge et al. arXiv 2023. [artigo]
  11. Jarvis-1: Agentes multitarefa de mundo aberto com modelos de linguagem multimodal com memória aumentada . Zihao Wang et al. arXiv 2023. [artigo]
  12. "Destilação simbólica da cadeia de pensamento: modelos pequenos também podem "pensar" passo a passo" . Liunian Harold Li et al. ACL 2023. [artigo]
  13. Destilação passo a passo! superando modelos de linguagem maiores com menos dados de treinamento e tamanhos de modelo menores . Cheng-Yu Hsieh et al. arXiv 2023. [artigo]
  14. Generalização fraca para forte: extraindo capacidades fortes com supervisão fraca . Collin Burns et al. arXiv 2023. [artigo]
  15. Aprimorando os modelos de linguagem de bate-papo ampliando conversas instrucionais de alta qualidade . Ning Ding et al. arXiv 2023. [artigo]
  16. GAIA: uma referência para assistentes gerais de IA . Grégoire Mialon et al. ICLR 2024. [artigo]
  17. Voyager: um agente corporificado aberto com grandes modelos de linguagem . Guanzhi Wang et al. arXiv 2023. [artigo]
  18. Camel: Agentes comunicativos para a exploração da "mente" da sociedade modelo de linguagem em larga escala . Guohao Li et al. arXiv 2023. [artigo]
  19. Adaptando auto-racionalizadores com destilação multi-recompensa . Sahana Ramnath et al. arXiv 2023. [artigo]
  20. Superalinhamento de visão: generalização fraca a forte para modelos de base de visão . Jianyuan Guo et al. arXiv 2024. [artigo]
  21. WebArena: um ambiente web realista para construção de agentes autônomos . Shuyan Zhou et al. ICLR 2024. [artigo]
  22. Auto-alinhamento de modelos de linguagem baseado em princípios do zero com supervisão humana mínima . Zhiqing Sun et al. NeurIPS 2024. [artigo]
  23. Mind2web: Rumo a um agente generalista para a web . Xiang Deng et al. NeurIPS 2024. [artigo]
  24. Rumo ao controle geral do computador: um agente multimodal para resgate de red dead ii como estudo de caso . Weihao Tan et al. arXiv 2024. [artigo]

3.3.2 Interfaces de IA para Humanos

  1. Diretrizes para interação humano-IA . Saleema Amershi et al. CHI 2019. [artigo]
  2. Princípios de design para aplicações de IA generativa . Justin D. Weisz e outros. CHI 2024. [artigo]
  3. Grafólogo: Explorando respostas de modelos de linguagem grande com diagramas interativos . Peiling Jiang et al. UIST 2023. [artigo]
  4. Sensecape: Habilitando exploração multinível e criação de sentido com grandes modelos de linguagem . Sangho Suh et al. UIST 2023. [artigo]
  5. Apoiando a criação de sentido de resultados de modelos de linguagem de grande porte em escala . Katy Ilonka Gero et al. CHI 2024. [artigo]
  6. Luminate: Geração estruturada e exploração de espaço de design com grandes modelos de linguagem para cocriação humano-IA . Sangho Suh et al. CHI 2024. [Artigo]
  7. Cadeias de IA: interação humano-IA transparente e controlável por meio do encadeamento de grandes prompts de modelos de linguagem . Tongshuang Wu et al. CHI 2022. [artigo]
  8. "Promptify: geração de texto para imagem por meio da exploração interativa de prompts com grandes modelos de linguagem" . Stephen Brade et al. CHI 2023. [artigo]
  9. ChainForge: um kit de ferramentas visuais para engenharia imediata e testes de hipóteses LLM . Ian Arawjo et al. CHI 2024. [artigo]
  10. CoPrompt: Suporte ao compartilhamento e referência de prompts na programação colaborativa em linguagem natural . Li Feng et al. CHI 2024. [artigo]
  11. Gerando feedback automático em modelos de UI com modelos de linguagem grande . Peitong Duan et al. CHI 2024. [artigo]
  12. Rambler: Apoiando a escrita com fala por meio da manipulação de essência assistida por LLM . Susan Lin et al. CHI 2024. [artigo]
  13. Incorporando Grandes Modelos de Linguagem na Realidade Estendida: Oportunidades e Desafios para Inclusão, Engajamento e Privacidade . Efe Bozkir et al. arXiv 2024. [artigo]
  14. GenAssist: Tornando a geração de imagens acessível . Mina Huh et al. UIST 2023. [artigo]
  15. “Quanto menos eu digitar, melhor”: como os modelos de linguagem de IA podem melhorar ou impedir a comunicação para usuários AAC . Stephanie Valência et al. CHI 2023. [artigo]
  16. Reexaminando se, por que e como a interação humano-IA é extremamente difícil de projetar . Qian Yang et al. CHI 2020. [artigo]

4. Sistemas AGI: Implementando o Mecanismo de AGI

4.2 Arquiteturas de Modelos Escaláveis

  1. "Redes neurais escandalosamente grandes: a camada de mistura de especialistas com portas esparsas" . Noam Shazeer et al. arXiv 2017. [artigo]
  2. Os transformadores são RNNs: Transformadores Autoregressivos Rápidos com Atenção Linear . Angelos Katharopoulos et al. arXiv 2020. [artigo]
  3. Longformer: o transformador de documentos longos . Iz Beltagy et al. arXiv 2020. [artigo]
  4. LightSeq: uma biblioteca de inferência de alto desempenho para transformadores . Xiaohui Wang et al. arXiv 2021. [artigo]
  5. "Transformadores de comutação: dimensionando para trilhões de modelos de parâmetros com dispersão simples e eficiente" . William Fedus et al. arXiv 2022. [artigo]
  6. Modelagem eficiente de sequências longas com espaços de estados estruturados . Albert Gu et al. arXiv 2022. [artigo]
  7. MegaBlocks: treinamento esparso eficiente com mistura de especialistas . Trevor Gale et al. arXiv 2022. [artigo]
  8. Treinamento de modelos de linguagem grande com otimização de computação . Jordan Hoffmann et al. arXiv 2022. [artigo]
  9. Dimensionamento Eficaz de Modelos Fundamentais em Longo Contexto . Wenhan Xiong et al. arXiv 2023. [artigo]
  10. Hierarquia de hienas: em direção a modelos de linguagem convolucionais maiores . Michael Poli et al. arXiv 2023. [artigo]
  11. Stanford Alpaca: um modelo LLaMA que segue instruções . Rohan Taori et al. GitHub 2023. [código]
  12. Rwkv: Reinventando RNNs para a era dos transformadores . Bo Peng et al. arXiv 2023. [artigo]
  13. Deja Vu: Dispersão Contextual para LLMs Eficientes no Tempo de Inferência . Zichang Liu et al. arXiv 2023. [artigo]
  14. "Flash-LLM: Habilitando Inferência de Grandes Modelos Gerativos com boa relação custo-benefício e altamente eficiente com dispersão não estruturada" . Haojun Xia et al. arXiv 2023. [artigo]
  15. ByteTransformer: um transformador de alto desempenho aprimorado para entradas de comprimento variável . Yujia Zhai et al. arXiv 2023. [artigo]
  16. Tutel: mistura adaptativa de especialistas em escala . Changho Hwang et al. arXiv 2023. [artigo]
  17. Mamba: Modelagem de Sequência de Tempo Linear com Espaços de Estados Seletivos . Albert Gu, Tri Dao. arXiv 2023. [artigo]
  18. Hungry Hungry Hippos: Rumo à modelagem de linguagem com modelos de espaço de estado . Daniel Y. Fu et al. arXiv 2023. [artigo]
  19. Rede Retentiva: Um Sucessor do Transformador para Grandes Modelos de Linguagem . Yutao Sun et al. ArXiv, 2023.
  20. Projeto Mecanístico e Dimensionamento de Arquiteturas Híbridas . Michael Poli et al. arXiv 2024. [artigo]
  21. "Revisitando a destilação de conhecimento para modelos de linguagem autorregressivos" . Qihuang Zhong et al. arXiv 2024. [artigo]
  22. DB-LLM: Binarização dupla precisa para LLMs eficientes . Hong Chen et al. arXiv 2024. [artigo]
  23. Reduzindo o tamanho do cache de valor-chave do transformador com atenção entre camadas . William Brandon e outros. arXiv 2024.[papel]
  24. Você armazena em cache apenas uma vez: arquiteturas decodificador-decodificador para modelos de linguagem Yutao Sun et al. arXiv 2024. [artigo]

4.3 Treinamento em larga escala

  1. Treinamento de Deep Nets com custo de memória sublinear . Tianqi Chen et al. arXiv 2016. [artigo]
  2. Além do paralelismo de dados e modelos para redes neurais profundas . Zhihao Jia et al. arXiv 2018. [artigo]
  3. GPipe: Treinamento Eficiente de Redes Neurais Gigantes Usando Paralelismo de Pipeline . Yanping Huang et al. arXiv 2019. [artigo]
  4. Aprendizagem por transferência com eficiência de parâmetros para PNL . Neil Houlsby et al. ICML 2019. artigo
  5. Megatron-LM: Treinamento de modelos de linguagem de vários bilhões de parâmetros usando paralelismo de modelos . Mohammad Shoeybi et al. arXiv 2020. [artigo]
  6. Alpa: Automatizando o Paralelismo Inter e Intra-Operador para Aprendizado Profundo Distribuído . Lianmin Zheng et al. arXiv 2022. [artigo]
  7. Inferência DeepSpeed: permitindo inferência eficiente de modelos de transformadores em escala sem precedentes . Reza Yazdani Aminabadi et al. arXiv 2022. [artigo]
  8. Memorização sem overfitting: analisando a dinâmica de treinamento de grandes modelos de linguagem . Kushal Tirumala et al. arXiv 2022. [artigo]
  9. Paralelismo SWARM: treinar modelos grandes pode ser surpreendentemente eficiente em termos de comunicação . Max Ryabinin et al. arXiv 2023. [artigo]
  10. Trajetórias de treinamento de modelos de linguagem em escalas . Mengzhou Xia et al. arXiv 2023. [artigo]
  11. HexGen: Inferência Gerativa do Modelo de Fundação sobre Ambiente Descentralizado Heterogêneo . Youhe Jiang et al. arXiv 2023. [artigo]
  12. FusionAI: treinamento descentralizado e implantação de LLMs com GPUs massivas para consumidores . Zhenheng Tang et al. arXiv 2023. [artigo]
  13. "Toque a atenção com transformadores blockwise para contexto quase infinito" . Hao Liu et al. arXiv 2023. [artigo]
  14. Pythia: um conjunto para analisar grandes modelos de linguagem em treinamento e escalonamento . Stella Biderman et al. arXiv 2023. [artigo]
  15. "Ajustando modelos de linguagem em redes lentas usando compactação de ativação com garantias" . Jue Wang et al. arXiv 2023. [artigo]
  16. Adaptador LLaMA: Ajuste fino eficiente de modelos de linguagem com atenção de inicialização zero . Renrui Zhang et al. arXiv 2023. [artigo]
  17. QLoRA: Ajuste fino eficiente de LLMs quantizados . Tim Dettmers et al. arXiv 2023. [artigo]
  18. Gerenciamento eficiente de memória para atendimento de modelos de linguagem grande com PagedAttention . Woosuk Kwon et al. arXiv 2023. [artigo]
  19. Infinite-LLM: Serviço LLM eficiente para contexto longo com DistAttention e KVCache distribuído . Bin Lin et al. arXiv 2024. [artigo]
  20. OLMo: Acelerando a Ciência dos Modelos de Linguagem . Dirk Groeneveld et al. arXiv 2024. [artigo]
  21. Sobre Treinamento Eficiente de Modelos de Aprendizagem Profunda em Grande Escala: Uma Revisão da Literatura . Li Shen et al. arXiv 2023. [artigo] pendente

4.4 Técnicas de Inferência

  1. FlashAttention: atenção exata rápida e com uso eficiente de memória com IO-Awareness . Tri Dao et al. NeurIPS 2022. [artigo]
  2. Esboçar e verificar: aceleração de modelo de linguagem grande sem perdas por meio de decodificação autoespeculativa . Jun Zhang et al. arXiv 2023. [artigo]
  3. Rumo ao serviço eficiente e generativo de modelos de linguagem grande: uma pesquisa de algoritmos a sistemas . Xupeng Miao et al. arXiv 2023. [artigo]
  4. FlashDecoding++: inferência mais rápida de modelos de linguagem grande em GPUs . Ke Hong et al. arXiv 2023. [artigo]
  5. Inferência rápida de transformadores via decodificação especulativa . Yaniv Leviathan et al. arXiv 2023. [artigo]
  6. Serviço rápido de inferência distribuída para modelos de linguagem grande . Bingyang Wu et al. arXiv 2023. [artigo]
  7. S-LoRA: atendendo milhares de adaptadores LoRA simultâneos . Ying Sheng et al. arXiv 2023. [artigo]
  8. TensorRT-LLM: uma caixa de ferramentas TensorRT para inferência otimizada de modelos de linguagem grande . NVIDIA. GitHub 2023. [código]
  9. Punica: serviço LoRA multilocatário . Lequn Chen et al. arXiv 2023. [artigo]
  10. S$^3: Aumentando a utilização da GPU durante a inferência generativa para maior rendimento . Yunho Jin et al. arXiv 2023. [artigo]
  11. Servidor de inferência Multi-LoRA que pode ser dimensionado para milhares de LLMs ajustados . Predibase. GitHub 2023. [código]
  12. Decodificação de pesquisa imediata . Apoorv Saxena. GitHub 2023. [código]
  13. Transformador mais rápido . NVIDIA. GitHub 2021. [artigo]
  14. DeepSpeed-FastGen: Geração de texto de alto rendimento para LLMs via MII e DeepSpeed-Inference . Connor Holmes et al. arXiv 2024. [artigo]
  15. SpecInfer: Acelerando o atendimento generativo de modelos de linguagem grande com inferência e verificação especulativa baseada em árvore . Xupeng Miao et al. arXiv 2024. [artigo]
  16. Medusa: Estrutura simples de aceleração de inferência LLM com múltiplas cabeças de decodificação . Tianle Cai et al. arXiv 2024. [artigo]
  17. "O modelo informa o que descartar: compactação de cache KV adaptável para LLMs" . Suyu Ge et al. ICLR 2024. [artigo]
  18. Modelos de linguagem de streaming eficientes com coletores de atenção . Guangxuan Xiao et al. ICLR 2024. [artigo]
  19. "DeFT: Flash Tree-attention com IO-Awareness para inferência LLM eficiente baseada em pesquisa de árvore" . Jinwei Yao et al. arXiv 2024. [artigo]
  20. Programando com eficiência grandes modelos de linguagem usando SGLang . Lianmin Zheng et al. arXiv 2023. [artigo]
  21. VELOCIDADE: Execução especulativa em pipeline para decodificação eficiente . Coleman Hooper et al. arXiv 2023. [artigo]
  22. Sequoia: decodificação especulativa escalável, robusta e com reconhecimento de hardware . Zhuoming Chen et al. arXiv 2024. [artigo] pendente

4.5 Custo e Eficiência

  1. Demonstrar-Pesquisar-Prever: Compondo modelos de recuperação e linguagem para PNL com uso intensivo de conhecimento . Omar Khattab et al. arXiv 2023. [artigo]
  2. Aprendizado de máquina automatizado: métodos, sistemas, desafios . Frank Hutter et al. Springer Publishing Company, incorporada, 2019.
  3. Sopas de modelos: a média dos pesos de vários modelos ajustados melhora a precisão sem aumentar o tempo de inferência . Mitchell Wortsman et al. arXiv 2022. [artigo]
  4. Depuração de dados com importância do Shapley em pipelines de aprendizado de máquina de ponta a ponta . Bojan Karlaš et al. arXiv 2022. [artigo]
  5. Otimização econômica de hiperparâmetros para inferência de geração de modelos de linguagem grande . Chi Wang et al. arXiv 2023. [artigo]
  6. Grandes modelos de linguagem são engenheiros de alerta de nível humano . Yongchao Zhou et al. arXiv 2023. [artigo]
  7. Mesclando por Modelos Correspondentes em Subespaços de Tarefas . Derek Tam et al. arXiv 2023. [artigo]
  8. Editando Modelos com Aritmética de Tarefas . Gabriel Ilharco et al. arXiv 2023. [artigo]
  9. PriorBand: Otimização prática de hiperparâmetros na era do aprendizado profundo . Neeratyoy Mallik et al. arXiv 2023. [artigo]
  10. Um estudo empírico de fusão de modelos multimodais . Yi-Lin Sung et al. arXiv 2023. [artigo]
  11. DSPy: Compilando chamadas de modelo de linguagem declarativa em pipelines de autoaperfeiçoamento . Omar Khattab et al. arXiv 2023. [artigo]
  12. FrugalGPT: como usar grandes modelos de linguagem enquanto reduz custos e melhora o desempenho . Lingjiao Chen et al. arXiv 2023. [artigo]
  13. Transformadores Tandem para LLMs Eficientes em Inferência . Aishwarya PS et al. arXiv 2024. [artigo]
  14. AIOS: Sistema operacional do agente LLM . Kai Mei et al. arXiv 2024. [artigo]
  15. LoraHub: generalização eficiente de tarefas cruzadas por meio de composição dinâmica de LoRA . Chengsong Huang et al. arXiv 2024. [artigo]
  16. AutoML na era dos grandes modelos de linguagem: desafios atuais, oportunidades e riscos futuros . Alexander Tornede et al. arXiv 2024. [artigo]
  17. "Mesclando Especialistas em Um: Melhorando a Eficiência Computacional da Mistura de Especialistas" . Shwai He et al. EMNLP 2023. [artigo] pendente

4.6 Plataformas de Computação

  1. TVM: um compilador automatizado de otimização ponta a ponta para aprendizado profundo . Tianqi Chen et al. arXiv 2018. [artigo]
  2. TPU v4: um supercomputador opticamente reconfigurável para aprendizado de máquina com suporte de hardware para incorporações . Norman P. Jouppi et al. arXiv 2023. [artigo]

5. Alinhamento AGI: Garantir que o AGI atenda a diversas necessidades

5.1 Expectativas de Alinhamento AGI

  1. Compatível com Humanos: Inteligência Artificial e o Problema de Controle . Stuart Russell . Viquingue, 2019.
  2. Inteligência Artificial, Valores e Alinhamento . Iasson Gabriel . Mentes e Máquinas, 2020. [artigo]
  3. Alinhamento de Agentes Linguísticos . Zachary Kenton et al. arXiv, 2021. [Artigo]
  4. O problema da aprendizagem de valores . Nate Soares . Relatório técnico do Machine Intelligence Research Institute [artigo]
  5. Problemas concretos na segurança da IA . Dario Amodei et al. arXiv, 2016. [artigo]
  6. Riscos éticos e sociais de danos causados ​​por modelos de linguagem . Laura Weidinger et al. arXiv, 2021. [artigo]
  7. Sobre os perigos dos papagaios estocásticos: os modelos de linguagem podem ser grandes demais? . Emily M. Bender et al. FAccT 2021. [artigo]
  8. O cenário global das diretrizes de ética em IA . Anna Jobin et al. Nature Machine Intelligence, 2019. [artigo]
  9. Preconceito anti-muçulmano persistente em grandes modelos linguísticos . Abubakar Abid et al. AIES, 2021. [artigo]
  10. Rumo à resolução de co-referência inclusiva de gênero . Yang Trista Cao et al. ACL, 2020. [artigo]
  11. O impacto social do processamento de linguagem natural . Dirk Hovy et al. ACL 2016. [artigo]
  12. TruthfulQA: Medindo como os modelos imitam as falsidades humanas . Stephanie Lin et al. ACL 2022. [artigo]
  13. Os riscos de radicalização do GPT-3 e dos modelos avançados de linguagem neural . Kris McGuffie et al. arXiv, 2020. [artigo]
  14. Transparência de IA na era dos LLMs: um roteiro de pesquisa centrado no ser humano . P. Vera Liao et al. arXiv 2023. [artigo]
  15. Além da experiência e das funções: uma estrutura para caracterizar as partes interessadas do aprendizado de máquina interpretável e suas necessidades . Harini Suresh et al. CHI 2021. [artigo]
  16. Identificando e mitigando os riscos de segurança da IA ​​generativa . Clark Barrett et al. arXiv, 2023. [artigo]
  17. Os agentes LLM podem hackear sites de forma autônoma . Richard Fang et al. arXiv, 2024. [artigo]
  18. Deepfakes, Frenologia, Vigilância e muito mais! Uma taxonomia de riscos de privacidade de IA . Hao-Ping Lee et al. CHI 2024. [artigo]
  19. Privacidade na era da IA . Sauvik Das et al. Comunicações da ACM, 2023. [artigo]

5.2 Técnicas Atuais de Alinhamento

  1. Aprendendo a resumir com feedback humano . Nisan Stiennon et al. NeurIPS 2020. [artigo]
  2. É melhor pensar duas vezes: aprender a se realinhar com os valores humanos a partir de edições de texto . Ruibo Liu et al. NeurIPS 2022. [artigo]
  3. Treinar modelos de linguagem para seguir instruções com feedback humano . Long Ouyang et al. NeurIPS 2022. [artigo]
  4. Controlando os demônios internos: autodesintoxicação para modelos de linguagem . Canwen Xu et al. AAAI 2022. artigo
  5. Alinhando modelos de linguagem generativa com valores humanos . Ruibo Liu et al. NAACL 2022. [artigo]
  6. Treinar um assistente útil e inofensivo com aprendizagem por reforço a partir de feedback humano . Yuntao Bai et al. arXiv 2022. [artigo]
  7. IA constitucional: inocuidade do feedback da IA . Yuntao Bai et al. arXiv 2022. [artigo]
  8. "Jangada: ajuste fino classificado como recompensa para alinhamento do modelo de base generativa" . Hanze Dong et al. arXiv 2023. [artigo]
  9. Melhorando modelos de linguagem com gradientes de política off-line baseados em vantagens . Ashutosh Baheti et al. arXiv 2023. [artigo]
  10. Treinamento de modelos linguísticos com feedback linguístico em escala . Jérémy Scheurer et al. arXiv 2023. [artigo]
  11. Um paradigma teórico geral para compreender a aprendizagem a partir das preferências humanas . Mohammad Gheshlaghi Azar et al. arXiv 2023. [artigo]
  12. Vamos verificar passo a passo . Hunter Lightman et al. arXiv 2023. [artigo]
  13. Problemas abertos e limitações fundamentais da aprendizagem por reforço a partir de feedback humano . Stephen Casper et al. arXiv 2023. [artigo]
  14. Alinhando grandes modelos de linguagem por meio de feedback sintético . Sungdong Kim et al. arXiv 2023. [artigo]
  15. RLAIF: Dimensionando a aprendizagem por reforço a partir de feedback humano com feedback de IA . Harrison Lee et al. arXiv 2023. [artigo]
  16. Otimização de classificação de preferência para alinhamento humano . Feifan Song et al. arXiv 2023. [artigo]
  17. Melhorando a factualidade e o raciocínio em modelos de linguagem por meio do debate multiagente . Yilun Du et al. arXiv 2023. [artigo]
  18. Alinhamento de modelo de linguagem grande: uma pesquisa . Tianhao Shen et al. arXiv 2023. [artigo]
  19. Otimização de preferência direta: seu modelo de linguagem é secretamente um modelo de recompensa . Rafael Rafailov et al. NeurIPS 2024. [artigo]
  20. Lima: Menos é mais para alinhamento . Chunting Zhou et al. NeurIPS 2024. [artigo]

5.3 Como abordar os alinhamentos AGI

  1. Riscos éticos e sociais de danos causados ​​pela linguagem . Mellor Weidinger et al. arXiv 2021. [artigo]
  2. Consenso Internacional de Segurança de IA de Pequim . Academia de Inteligência Artificial de Pequim. 2024. [artigo]
  3. Explicações contrafactuais sem abrir a caixa preta: decisões automatizadas e o GDPR . Sandra Wachter et al. Harvard Journal of Law & Technology, 2017. [artigo]
  4. Alinhamento de agente escalável via modelagem de recompensa: uma direção de pesquisa . Jan Like et al. ARXIV 2018. [Paper]
  5. Construindo ética em inteligência artificial . Han Yu et al. Ijcai 2018. Paper
  6. Compatível humano: inteligência artificial e o problema do controle . Stuart Russell . Viking, 2019. [Paper]
  7. Inteligência artificial responsável: como desenvolver e usar a IA de maneira responsável . Virginia Dignum . Springer Nature, 2019. [Papel]
  8. Ética em máquinas: o design e a governança de IA ética e sistemas autônomos . Alan F. Winfield et al. Anais do IEEE, 2019. [Artigo]
  9. Problemas abertos na IA cooperativa . Allan Dafoe et al. ARXIV 2020. [Papel]
  10. Inteligência Artificial, Valores e Alinhamento . Iason Gabriel . Mentes e máquinas, 2020. [Papel]
  11. AI cooperativa: as máquinas devem aprender a encontrar um terreno comum . Allan Dafoe et al. Natureza 2021. [Papel]
  12. Moralidade da máquina, progresso moral e desastre ambiental iminente . Ben Kenward et al. ARXIV 2021. [Papel]
  13. Análise de risco X para pesquisa de IA . Dan Hendrycks et al. ARXIV 2022. [Papel]
  14. Decomposição de tarefas para supervisão escalável (destilação Agisf) . Charbel-Raphaël Segerie. Blog 2023. [Blog]
  15. Generalização fraca a forte: provocando fortes capacidades com supervisão fraca . Collin Burns, et al. ARXIV 2023. [Papel]
  16. De quem as opiniões os modelos de linguagem refletem? . Shibani Santurkar et al. ICML 2023. [Papel]
  17. Alinhamento da IA: uma pesquisa abrangente . Jiaming Ji et al. ARXIV 2023. [Papel]
  18. Problemas abertos e limitações fundamentais do aprendizado de reforço com o feedback humano . Stephen Casper et al. ARXIV 2023. [Papel]
  19. O feitiço de desbloqueio no base LLMS: repensando o alinhamento por meio de aprendizado no contexto . Bill Yuchen Lin et al. ARXIV 2023. [Papel]
  20. Alinhamento de modelo de linguagem grande: uma pesquisa . Tianhao Shen et al. ARXIV 2023. [Papel]

6. Roteiro AGI: Aproximando -se com responsabilidade AGI

6.1 Níveis de IA: traçando a evolução da inteligência artificial

  1. Sparks de inteligência geral artificial: experimentos iniciais com o GPT-4 . Sébastien Bubeck et al. ARXIV 2023. [Papel]
  2. Níveis de AGI: operacionalizando o progresso no caminho para a AGI . Meredith Ringel Morris et al. Arxiv 2024. [Papel]

6.2 Avaliação AGI

6.2.1 Expectativas para avaliação da AGI

  1. Para o relatório sistemático das pegadas de energia e carbono do aprendizado de máquina . Peter Henderson et al. Journal of Machine Learning Research, 2020.
  2. Ai verde . Roy Schwartz Communications of the ACM, 2020.
  3. Avaliando grandes modelos de linguagem treinados no código . Mark Chen et al. Nenhum diário, 2021.
  4. Documentando Large Webtext Corpora: Um estudo de caso sobre o colossal corpus rastejado . Jesse Dodge et al. ARXIV 2021. [Papel]
  5. Sobre as oportunidades e riscos dos modelos de fundação . Rishi Bommasani et al. ARXIV 2021. [Papel]
  6. Generalização sistemática do tipo humano através de uma rede neural de meta-aprendizado . Brenden M Lake et al. Nature, 2023. [Paper]
  7. O Superbench está medindo LLMs em aberto: uma análise crítica . Equipe de Superbench. ARXIV 2023.
  8. Avaliação holística de modelos de linguagem . Percy Liang et al. ARXIV 2023. [Papel]

6.2.2 Avaliações atuais e suas limitações

  1. Esquadrão: mais de 100.000 perguntas para a compreensão da máquina do texto . Pranav Rajpurkar et al. ARXIV 2016. [Papel]
  2. Triviaqa: Um conjunto de dados de desafio de grande escala supervisionou distante para a compreensão da leitura . Mandar Joshi et al. ARXIV 2017. [Paper]
  3. Coqa: Um desafio de resposta a perguntas de conversação . Siva Reddy et al. Transações da Associação para Linguística Computacional, 2019.
  4. Avaliação de robustez precisa, confiável e rápida . Wieland Brendel et al. Neurips 2019. [Paper]
  5. Medindo o entendimento maciço da linguagem multitarefa . Dan Hendrycks et al. ARXIV 2020. [Papel]
  6. Avaliando a robustez do modelo e a estabilidade para a mudança de conjunto de dados . Adarsh ​​Subbaswamy et al. Apresentado na Conferência Internacional sobre Inteligência e Estatística Artificial, 2021. Artigo
  7. MMDIALOG: Um conjunto de dados de diálogo em larga escala de várias turnos em direção a uma conversa de domínio aberto multimodal . Jiazhan Feng et al. ARXIV 2022. [Papel]
  8. Auto-instrução: alinhando modelos de linguagem com instruções auto-geradas . Yizhong Wang et al. ARXIV 2022. [Papel]
  9. Supernaturalinstructions: generalização por meio de instruções declarativas em mais de 1600 tarefas de NLP . Yizhong Wang et al. ARXIV 2022. [Papel]
  10. Análise holística da alucinação no GPT-4V (ISION): preconceitos e desafios de interferência . Chenhang Cui et al. ARXIV 2023. [Papel]
  11. Avaliando a robustez às instruções de grandes modelos de linguagem . Yuansheng Ni et al. ARXIV 2023. [Papel]
  12. GAIA: Uma referência para os assistentes gerais de IA . Grégoire Mialon et al. ARXIV 2023. [Papel]
  13. Uma estrutura de avaliação abrangente para a robustez profunda do modelo . Jun Guo et al. Reconhecimento de padrões, 2023. [Papel]
  14. AGIEVAL: Uma referência centrada no ser humano para avaliar modelos de fundação . Wanjun Zhong et al. ARXIV 2023. [Papel]
  15. MMMU: Um enorme entendimento multimodal multidisciplinar e referência de raciocínio para o especialista AGI . Xiang et al. ARXIV 2023. [Papel]
  16. Avaliando a criatividade do modelo de grande linguagem de uma perspectiva literária . Murray Shanahan et al. ARXIV 2023. [Papel]
  17. AGENTBEnch: Avaliando LLM . Xiao Liu et al. ICLR 2024. [Papel]
  18. Avaliação e compreensão da criatividade em grandes modelos de linguagem . Yunpu Zhao et al. Arxiv 2024. [Papel]
  19. Julgando LLM-AS-A-JUDGE com o MT-Bench e Chatbot Arena . Lianmin Zheng et al. Neurips 2024. [Papel]

6.5 Considerações adicionais durante o desenvolvimento da AGI

  1. Desafios fundamentais para garantir o alinhamento e a segurança de grandes modelos de linguagem . Usman Anwar et al. Arxiv 2024. [Papel]
  2. Melhores práticas e lições aprendidas sobre dados sintéticos para modelos de idiomas . Ruibo Liu et al. Arxiv 2024. [Papel]
  3. Avançar a inteligência social em agentes de IA: desafios técnicos e perguntas abertas . Leena Mathur et al. Arxiv 2024. [Papel]

7. Estudos de caso

7.1 AI para descoberta e pesquisa científica

  1. Previsão de estrutura de proteínas altamente precisa com alfafold . Jumper, John et al. Nature, 2021. [Papel]
  2. Descoberta científica automatizada: da descoberta de equações aos sistemas de descoberta autônomos . Kramer, Stefan et al. ARXIV 2023. [Papel]
  3. Prevendo efeitos de variantes não codificantes com modelo de sequência baseado em aprendizado profundo . Zhou, Jian et al. Nature Methods, 2015. [[Paper] (https://www.ncbi.nlm.nih.gov/pmc/articles/pmc4768299/]
  4. Aprendendo a ver a física via desanimação visual . Wu, Jiajun et al. Neurips 2017. [Paper]
  5. Aprendizagem profunda para detecção de ondas gravitacionais em tempo real e estimativa de parâmetros: resultados com dados avançados do LIGO . George, Daniel et al. Cartas de Física B, 2018. [Artigo]
  6. Identificando transições de fase quântica com redes neurais adversárias . Rem, Bart-Jan et al. Nature Physics, 2019. [Artigo]
  7. Openagi: Quando o LLM atende a especialistas em domínio . GE, Yingqiang et al. Neurips, 2023. [Papel]
  8. Da matéria escura às galáxias com redes convolucionais . Zhang, Xinyue et al. ARXIV 2019. [Artigo]
  9. Otimização global da dinâmica quântica com exploração profunda do Alphazero . Dalgaard, Mogens et al. NPJ Quantum Information, 2020. [Papel]
  10. Aprendendo a explorar a estrutura temporal para o processamento biomédico da linguagem da visão . Shruthi Bannur et al. CVPR, 2023. [Papel]
  11. Mathbert: Um modelo de idioma pré-treinado para tarefas gerais de PNL na educação em matemática . Shen, Jia Tracy et al. ARXIV 2021. [Papel]
  12. Otimização molecular usando modelos de linguagem . Maziarz, Krzysztof et al. ARXIV 2022. [Papel]
  13. Retrotrae: tradução retrosintética de ambientes atômicos com transformador . Ucak, Umit Volkan et al. Sem diário, 2022. [Artigo]
  14. Scholarbert: Bigger nem sempre é melhor . Hong, Zhi et al. ARXIV 2022. [Papel]
  15. Galactica: um grande modelo de linguagem para a ciência . Taylor, Ross et al. ARXIV 2022. [Papel]
  16. Aprendizagem do currículo de declaração de matemática formal . Polu, Stanislas et al. ARXIV 2022. [Papel]
  17. Prova co-treinamento de artefato para o teorema, provando com modelos de idiomas . Jesse Michael Han et al. ICLR 2022. [Papel]
  18. Resolvendo problemas quantitativos de raciocínio com modelos de linguagem . Lewkowycz, Aitor et al. ARXIV 2022. [Papel]
  19. BIOGPT: Transformador pré-treinado generativo para geração e mineração de texto biomédico . Luo, Renqian et al. Briefings em Bioinformática, 2022.
  20. ChemCrow: Aumentando modelos de grande língua com ferramentas de química . Bran, Andres M et al. ARXIV 2023. [Papel]
  21. Pesquisa química autônoma com grandes modelos de linguagem . Boiko, Daniil A et al. Nature, 2023. [Paper]
  22. Capacidades de pesquisa científica autônoma emergentes de grandes modelos de linguagem . Daniil A. Boiko et al. ARXIV 2023. [Papel]
  23. Mathprompter: raciocínio matemático usando grandes modelos de idiomas . Imani, Shima, et al. Apresentado em Anais da 61ª Reunião Anual da Associação de Linguística Computacional (Volume 5: Trilha da Indústria), 2023. [Paper]
  24. Aprendendo a explorar a estrutura temporal para o processamento biomédico da linguagem da visão . Shruthi Bannur et al. ARXIV 2023. [Papel]
  25. LLMS for Science: Uso para geração de código e análise de dados . Nejjar, Mohamed et al. ARXIV 2023. [Papel]
  26. Medagentes: grandes modelos de idiomas como colaboradores para o raciocínio médico zero . Xiangru Tang et al. Arxiv 2024. [Papel]

7.2 Inteligência visual generativa

  1. Aprendizagem profunda não supervisionada usando termodinâmica sem equilíbrio . Jascha Sohl-Dickstein et al. ICML 2015. [Paper]
  2. Modelagem generativa estimando gradientes da distribuição de dados . Yang Song et al. Neurips 2019. [Paper]
  3. Modelos probabilísticos de difusão de denoising . Jonathan Ho et al. Neurips 2020. [Papel]
  4. Modelagem generativa baseada em pontuação através de equações diferenciais estocásticas . Yang Song et al. ICLR 2021. [Papel]
  5. Glide: em direção à geração de imagens fotorrealistas e edição com modelos de difusão guiada por texto . Alex Nichol et al. ICML 2022. [Papel]
  6. SDEDIT: Síntese de imagem guiada e edição com equações diferenciais estocásticas . Chenlin Meng et al. ICLR 2022. [Papel]
  7. Modelos de difusão de vídeo . Jonathan Ho et al. Neurips 2022. [Papel]
  8. Geração de imagem condicional hierárquica de texto com latentes de clipes . Aditya Ramesh et al. ARXIV 2022. [Papel]
  9. Orientação de difusão sem classificador . Jonathan Ho et al. ARXIV 2022. [Papel]
  10. Paleta: modelos de difusão de imagem a imagem . Chitwan Saharia et al. Siggraph 2022. [Papel]
  11. Síntese de imagem de alta resolução com modelos de difusão latente . Robin Rombach et al. CVPR 2022. [Papel]
  12. Adicionando controle condicional aos modelos de difusão de texto a imagem . Lvmin Zhang et al. ICCV 2023. [Papel]
  13. Modelos de difusão escalável com transformadores . William Peebles et al. ICCV 2023. [Papel]
  14. A modelagem seqüencial permite o aprendizado escalável para grandes modelos de visão . Yutong Bai et al. ARXIV 2023. [Papel]
  15. Geração de vídeo modelos como simuladores mundiais . Tim Brooks et al. Openai 2024. [Papel]

7.3 Modelos mundiais

  1. Aprendendo a ver a física via desanimação visual . Wu, Jiajun et al. Neurips 2017. [Paper]
  2. Aprendizagem de reforço baseado em modelo seguro com garantias de estabilidade . Berkenkamp, ​​Felix et al. Neurips, 2017. [Paper]
  3. SIMNET: Modelos mundiais baseados em simulação de aprendizagem para raciocínio físico . Vicol, Paul, Menapace et al. ICLR 2022. [Papel]
  4. Dreamix: Dreamfusion através da mistura espaço -temporal iterativa . Khalifa, Anji et al. ARXIV 2022. [Papel]
  5. Agente de IA incorporado de uso geral por meio de aprendizado de reforço com conhecimento em escala da Internet . Guo, Xiaoxiao et al. ARXIV 2022. [Papel]
  6. VQGAN-CLIP: geração de imagens de domínio aberto e edição com orientação de linguagem natural . Crowson, Katherine. ARXIV 2022. [Papel]
  7. Um caminho para a inteligência autônoma da máquina . LECUN YANN OpenReview, 2022. [Papel]
  8. Os modelos de idiomas atendem aos modelos mundiais: as experiências incorporadas aprimoram os modelos de linguagem . Jiannan Xiang et al. Neurips 2023. [Papel]
  9. Dominar diversos domínios através de modelos mundiais . Hafner, Danijar et al. ARXIV 2023. [Papel]
  10. Aquisição de modelos multimodais por recuperação . Reed, Scott et al. ARXIV 2023. [Papel]
  11. Modelos de idiomas como planejadores de tiro zero: extraindo conhecimento acionável para agentes incorporados . Dohan, David et al. ARXIV 2023. [Papel]
  12. Modelos de idiomas, modelos de agentes e modelos mundiais: a lei para raciocínio e planejamento de máquinas . Zhiting Hu et al. ARXIV 2023. [Papel]
  13. O raciocínio com o modelo de idioma está planejando o modelo mundial . Hao, Shibo et al. ARXIV 2023. [Papel]
  14. Metasim: Aprendendo a gerar conjuntos de dados sintéticos . Zhang, Yuxuan et al. ARXIV 2023. [Papel]
  15. Modelo mundial em um milhão de comprimentos de vídeo e idioma com ringattion . Hao Liu et al. Arxiv 2024. [Papel]
  16. Genie: ambientes interativos generativos . Jake Bruce et al. Arxiv 2024. [Papel]

7.4 LLM descentralizado

  1. Pétalas: inferência colaborativa e ajuste fino de grandes modelos . Alexander Borzunov et al. ARXIV 2022. [Papel]
  2. Blockchain for Deep Learning: Review and Open Challenres . Os tempos econômicos. Computação de cluster 2021. [Papel]
  3. FLEXGEN: Inferência generativa de alto rendimento de grandes modelos de linguagem com uma única GPU . Ying Sheng et al. ARXIV 2023. [Papel]
  4. Treinamento descentralizado de modelos de fundação em ambientes heterogêneos . Binhang Yuan et al. ARXIV 2023. [Papel]

7.5 AI para codificar

  1. Uma estrutura para a avaliação dos modelos de geração de código . Ben Allal et al. Github, 2023. [Código]
  2. Avaliando grandes modelos de linguagem treinados no código . Mark Chen et al. ARXIV 2021. [Papel]
  3. Síntese de programas com grandes modelos de linguagem . Jacob Austin et al. ARXIV 2021. [Papel]
  4. Geração de código no nível da competição com alfacode . Yujia Li et al. Science, 2022. [Papel]
  5. Treinamento eficiente de modelos de linguagem para preencher o meio . Mohammad Bavarian et al. ARXIV 2022. [Papel]
  6. Santacoder: Não pegue as estrelas! . Loubna Ben Allal et al. Mente, 2023. [Papel]
  7. Starcoder: Que a fonte esteja com você! . Raymond Li et al. ARXIV 2023. [Papel]
  8. Grandes modelos de linguagem para otimização do compilador . Chris Cummins et al. ARXIV 2023. [Papel]
  9. Livros didáticos são tudo o que você precisa . Suriya Gunasekar et al. ARXIV 2023. [Papel]
  10. Intercode: padronizando e benchmarking codificação interativa com feedback de execução . John Yang et al. ARXIV 2023. [Papel]
  11. Aprendizagem de reforço com feedback automático para geração de teste de unidade de alta qualidade . Benjamin Steenhoek et al. ARXIV 2023. [Papel]
  12. Incoder: Um modelo generativo para preenchimento e síntese de código . Daniel Fried et al. ARXIV 2023. [Papel]
  13. Refinando o código C descompilado com grandes modelos de linguagem . Wai Kin Wong et al. ARXIV 2023. [Papel]
  14. SWE-bench: Os modelos de linguagem podem resolver problemas reais do GitHub? . Carlos E et al. ARXIV 2023. [Papel]
  15. Evopromping: modelos de idiomas para pesquisa de arquitetura neural no nível de código . Angelica Chen et al. ARXIV 2023. [Papel]
  16. Os grandes modelos de idiomas podem identificar e raciocinar as vulnerabilidades de segurança? Ainda não . Saad Ullah et al. ARXIV 2023. [Papel]
  17. Cenário: um agente LLM para sintetizar a cena 3D como código do liquidificador . Ziniu Hu et al. Arxiv 2024. [Papel]
  18. Debugbench: Avaliando a capacidade de depuração de grandes modelos de idiomas . Runchu Tian et al. Arxiv 2024. [Papel]
  19. Código A-Assistido Autora na Escala: Avaliação de Métodos de Ajuste, Implantação e Misto de Fine . Vijayaraghavan Murali et al. Arxiv 2024. [Papel]
  20. Código LLAMA: Modelos de base aberta para código . Baptiste Rozière et al. Arxiv 2024. [Papel]
  21. O LLM já pode servir como uma interface de banco de dados? Um grande banco para o banco de dados em larga escala fundamentado em texto para sqls . Jinyang Li et al. Neurips 2024.
  22. OOP: Referência de avaliação de programação orientada a objetos para grandes modelos de linguagem . Shuai Wang et al. Arxiv 2024. [Papel]

7.6 IA para robótica em aplicações do mundo real

  1. A segunda idade da máquina: trabalho, progresso e prosperidade em um momento de tecnologias brilhantes . Brynjolfsson, Erik WW Norton & Company, 2014.
  2. Rise dos robôs: tecnologia e ameaça de um futuro desempregado . Ford, Martin. Basic Books, 2015.
  3. Lições do desafio de escolher da Amazon: quatro aspectos da construção de sistemas robóticos. . Eppner, Clemens, H "O. Apresentado na Robotics: Science and Systems, 2016. [Paper]
  4. Vida 3.0: Ser humano na era da inteligência artificial . Tegmark, máx. Knopf, 2017.
  5. Um agente de idiomas para dirigir autônomo . Jiageng Mao et al. ARXIV 2023. [Papel]
  6. GPT-4V (ISION) para robótica: planejamento multimodal de tarefas a partir de demonstração humana . Naoki Wake et al. ARXIV 2023. [Papel]
  7. NOIR: Robôs inteligentes operavam o sinal neural para atividades cotidianas . Ruohan Zhang et al. CORL 2023. [Papel]
  8. GPT-Driver: Aprendendo a dirigir com o GPT . Jiageng Mao Arxiv 2023. [Papel]
  9. Grite com o seu robô: melhorando a flutuação das correções de idiomas . Lucy Xiaoyang Shi et al. Arxiv 2024. [Papel]
  10. Dilu: Uma abordagem orientada ao conhecimento para dirigir autônomo com grandes modelos de idiomas . Licheng Wen et al. ICLR 2024. [Papel]
  11. AgentsCodriver: Modelo de linguagem grande capacitou a direção colaborativa com aprendizado ao longo da vida . Senkang Hu et al. Arxiv 2024. [Papel]

7.7 Colaboração humana-AI

  1. Co-autor: Projetando um conjunto de dados de redação colaborativa de Human-AI para explorar recursos do modelo de idioma . Mina Lee et al. Chi 2022. [Papel]
  2. Um espaço de design para assistentes de redação inteligentes e interativos . Mina Lee et al. Chi 2024. [Papel]
  3. CreativeConnect: Apoiar a recombinação de referência para ideação de design gráfico com IA generativa . Daeun Choi et al. Chi 2024. [Papel]
  4. Eu lidero, você ajuda, mas apenas com detalhes suficientes: entender a experiência do usuário da co-criação com inteligência artificial . Changhoon Oh et al. CHI 2018. [Papel]
  5. Codeaid: Avaliando uma implantação em sala de aula de um assistente de programação baseado em LLM que equilibra as necessidades dos alunos e educadores . Majeed Kazemitabaar et al. Chi 2024. [Papel]
  6. Escrita cerebral de u-igmented: investigando o uso do LLMS na ideação do grupo . Orit Shaer et al. Chi 2024. [Papel]
  7. A IA mais precisa é a melhor companheiro de equipe? Otimizando a IA para o trabalho em equipe . Gagan Bansal et al. AAAI 2021. [Papel]
  8. Atualizações nas equipes de Human-AI: Compreendendo e abordando a troca de desempenho/compatibilidade . Gagan Bansal et al. AAAI 2019. [Artigo]
  9. Aproveitando a literatura biomédica para calibrar a confiança dos médicos nos sistemas de apoio à decisão da IA . Qian Yang et al. Chi 2023. [Papel]
  10. Cadeias de IA: interação humana-AI transparente e controlável, encadeando avisos de modelo de linguagem . Tongshuang Wu et al. Chi 2022. [Papel]
  11. Projetando cadeias LLM, adaptando técnicas de fluxos de trabalho de crowdsourcing . Madeleine Grunde-McLaughlin et al. Arxiv, 2023. [Papel]
  12. Por que Johnny não pode solicitar: como os especialistas que não são da AI tentam (e falham) projetar prompts LLM . JD Zamfirescu-Pereira et al. Chi 2023. [Papel]
  13. Projetar IA explicável por usuário orientada para teoria . Danante Wang et al. CHI 2019. [Papel]
  14. As pessoas se envolvem cognitivamente com a IA? Impacto da assistência de IA na aprendizagem incidental . Krzysztof Z. Gajos et al. IUI 2022. [Papel]

? Contribuição

Contribuindo para esta lista de papel

Junte -se a nós para melhorar este repositório! Contribua se você souber de algum trabalho importante que perdemos. Seus esforços são altamente valorizados!

Colaboradores

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos
Comentários dos Usuários