papers I read

artigos que eu li

Estou tentando uma nova iniciativa – um jornal por semana. Este repositório conterá todos esses artigos e resumos e notas relacionados.

Lista de artigos

• Toolformer - Modelos de linguagem podem aprender a usar ferramentas
• Dicas para design de sistema de computador
• Políticas Sintetizadas para Transferência e Adaptação entre Tarefas e Ambientes
• Redes Neurais Profundas para Recomendações do YouTube
• A cauda em escala
• Lições práticas sobre previsão de cliques em anúncios no Facebook
• Previsão de cliques em anúncios: uma visão das trincheiras
• Anatomia do Esquecimento Catastrófico - Representações Ocultas e Semântica de Tarefas
• Quando os currículos funcionam?
• Aprendizagem contínua com hiperredes
• Aprendizagem zero-shot através da geração de adaptadores específicos para tarefas
• Hiperredes
• Modelos baseados em energia para aprendizagem contínua
• GPipe - Dimensionamento fácil com paralelismo de pipeline de microlote
• Explicações Composicionais de Neurônios
• Padrões de design para sistemas distribuídos baseados em contêineres
• Cassandra - um sistema de armazenamento estruturado descentralizado
• PAC doze anos depois - Como as regras mudaram
• Compensações de consistência no design moderno de sistema de banco de dados distribuído
• Explorando a aprendizagem simples da representação siamesa
• Gerenciamento de dados para login único em escala de Internet
• Procurando por Build Debt - Experiências de gerenciamento de dívida técnica no Google
• Uma solução não é tudo que você precisa - Extrapolação de poucas tentativas via MaxEnt RL estruturado
• Explicações de aprendizagem difíceis de variar
• Lembrando pelas razões certas – as explicações reduzem o esquecimento catastrófico
• Uma visão foliada da aprendizagem por transferência
• Colheita, rendimento e sistemas tolerantes escaláveis
• MONet - Decomposição e Representação de Cena Não Supervisionada
• Revisitando os fundamentos da repetição da experiência
• Aprendizado por Reforço Profundo e a Tríade Mortal
• Alpha Net: Adaptação com Composição no Espaço Classificador
• Redes neurais escandalosamente grandes: a camada de mistura de especialistas com controle esparso
• Cirurgia Gradiente para Aprendizagem Multitarefa
• GradNorm: Normalização de gradiente para balanceamento adaptativo de perdas em redes multitarefa profundas
• TaskNorm: Repensando a normalização em lote para meta-aprendizado
• A média dos pesos leva a ótimos mais amplos e melhor generalização
• Aprendizagem por Reforço Descentralizado: Tomada de Decisão Global por meio de Transações Econômicas Locais
• Quando usar modelos paramétricos na aprendizagem por reforço?
• Randomização de Rede - Uma Técnica Simples para Generalização em Aprendizado por Reforço Profundo
• Sobre a dificuldade do treinamento de rede neural inicial a quente
• Aprendizagem Contrastiva Supervisionada
• CURL - Representações Contrastivas Não Supervisionadas para Aprendizagem por Reforço
• Treinamento competitivo de misturas de modelos generativos profundos independentes
• O que a classificação de mais de 10.000 categorias de imagens nos diz?
• mixup - Além da minimização de riscos empíricos
• ELECTRA - Pré-treinamento de codificadores de texto como discriminadores em vez de geradores
• Seleção de amostra baseada em gradiente para aprendizagem contínua online
• Seu classificador é secretamente um modelo baseado em energia e você deve tratá-lo como tal
• Tradução automática neural massivamente multilíngue na natureza - descobertas e desafios
• Overfitting observacional na aprendizagem por reforço
• Aprendizagem rápida ou reutilização de recursos? Para compreender a eficácia do MAML
• SGD de minilote grande e preciso - Treinamento ImageNet em 1 hora
• Superposição de muitos modelos em um
• Rumo a uma Teoria Unificada de Abstração do Estado para os MDPs
• ALBERT - Um Lite BERT para aprendizagem auto-supervisionada de representações linguísticas
• Dominando Atari, Go, Chess e Shogi planejando com um modelo aprendido
• Aprendizagem contrastiva de modelos mundiais estruturados
• Arquiteturas ator-aluno baseadas em fofoca para Deep RL
• Como treinar seu MAML
• PHYRE – Uma nova referência para raciocínio físico
• Grandes camadas de memória com chaves de produto
• Raciocínio Abdutivo de Senso Comum
• Aprendizado por reforço profundo em alguns testes usando modelos de dinâmica probabilística
• Avaliando a Generalização na Aprendizagem por Reforço Profundo
• Quantificando Generalização na Aprendizagem por Reforço
• Set Transformer: Uma Estrutura para Redes Neurais Invariantes à Permutação Baseadas em Atenção
• Medindo o raciocínio abstrato em redes neurais
• Redes Neurais Hamiltonianas
• Extrapolando além das demonstrações abaixo do ideal por meio do aprendizado de reforço inverso a partir de observações
• Aprendizagem por Meta-Reforço de Estratégias de Exploração Estruturadas
• Aprendizagem por Reforço Relacional
• Aumento de dados composicionais suficientemente bom
• Aprendizagem por reforço baseada em múltiplos modelos
• Rumo a uma referência natural para aprendizagem contínua
• Regras de atualização de meta-aprendizagem para aprendizagem de representação não supervisionada
• GNN Explicador - Uma ferramenta para explicação post-hoc de redes neurais de grafos
• Afinar ou não afinar? Adaptando representações pré-treinadas a diversas tarefas
• Modelo de aprendizagem por reforço vitalício hierárquico primitivo
• TuckER - Fatoração de tensor para conclusão do gráfico de conhecimento
• Conhecimento Linguístico como Memória para Redes Neurais Recorrentes
• Diversidade é tudo que você precisa - aprendendo habilidades sem função de recompensa
• Meta-aprendizagem modular
• RL hierárquica usando um conjunto de políticas periódicas proprioceptivas
• Aprendizagem Eficiente ao Longo da Vidai com A-GEM
• Pré-treinamento de redes neurais gráficas com kernels
• Funções de perda suave para classificação Deep Top-k
• Repetição da experiência retrospectiva
• Compensações de representação para incorporações hiperbólicas
• Otimizadores aprendidos que escalam e generalizam
• Aprendizagem única com redes neurais com memória aumentada
• BabyAI - Primeiros passos para o aprendizado de idiomas fundamentado com um ser humano informado
• Embeddings de Poincaré para aprendizagem de representações hierárquicas
• Quando os modelos recorrentes não precisam ser recorrentes
• HoME - um ambiente doméstico multimodal
• Emergência da Linguagem Composicional Fundamentada em Populações Multiagentes
• Uma função de perda semântica para aprendizagem profunda com conhecimento simbólico
• Aprendizagem de representação gráfica hierárquica com agrupamento diferenciável
• Agentes com imaginação aumentada para aprendizagem por reforço profundo
• Unidades recorrentes Kronecker
• Aprendendo mecanismos causais independentes
• Adaptação de parâmetros baseada em memória
• Redes Neurais Nascidas de Novo
• Net2Net Acelerando o Aprendizado por meio da Transferência de Conhecimento
• Aprendendo a contar objetos em imagens naturais para responder perguntas visuais
• Passagem de mensagens neurais para química quântica
• Aprendizagem não supervisionada por previsão de ruído
• A hipótese do bilhete de loteria - treinando redes neurais podadas
• Taxas de aprendizagem cíclica para treinamento de redes neurais
• Melhorando a extração de informações por meio da aquisição de evidências externas com aprendizado por reforço
• Uma investigação empírica do esquecimento catastrófico em redes neurais baseadas em gradientes
• Aprendendo um solucionador SAT com supervisão de bit único
• Inferência Neural Relacional para Sistemas Interagentes
• Transferência estilística em sistemas de geração de linguagem natural usando redes neurais recorrentes
• Vá direto ao ponto: resumo com redes geradoras de ponteiro
• StarSpace - Incorpore todas as coisas!
• Máquina de Conversa Emocional - Geração de Conversa Emocional com Memória Interna e Externa
• Explorando modelos e dados para responder perguntas sobre imagens
• Quão transferíveis são os recursos em redes neurais profundas
• Destilando o conhecimento em uma rede neural
• Revisitando a aprendizagem semissupervisionada com incorporações de gráficos
• Redes de síntese em dois estágios para aprendizagem por transferência em compreensão de máquina
• Organização de ordem superior de redes complexas
• Motivos de Rede - Blocos de Construção Simples de Redes Complexas
• Representações de palavras via incorporação gaussiana
• HARP - Aprendizagem de Representação Hierárquica para Redes
• Swish - uma função de ativação automática
• Lendo a Wikipedia para responder a perguntas de domínio aberto
• Reformulação de consulta orientada a tarefas com aprendizado por reforço
• Refinando representações de origem com redes de relação para tradução automática neural
• Redes de ponteiros
• Aprendendo a calcular incorporações de palavras em tempo real
• R-NET - Compreensão de leitura de máquina com redes autocorrespondentes
• ReasonNet - Aprendendo a parar de ler na compreensão da máquina
• Detecção baseada em princípios de exemplos fora de distribuição em redes neurais
• Pergunte-me qualquer coisa: redes de memória dinâmica para processamento de linguagem natural
• Um modelo para aprender todos
• Adaptações duas/muito simples do Word2Vec para problemas de sintaxe
• Um modelo de atenção decomponível para inferência de linguagem natural
• Um analisador de dependência rápido e preciso usando redes neurais
• Redes de Módulos Neurais
• Tornando o V em VQA importante: elevando o papel da compreensão da imagem na resposta visual a perguntas
• Redes de similaridade condicional
• Linha de base simples para respostas visuais a perguntas
• VQA: resposta visual a perguntas
• Aprendendo a gerar avaliações e descobrir sentimentos
• Vendo a Flecha do Tempo
• Otimização ponta a ponta de sistemas de diálogo orientados por objetivos e visualmente fundamentados
• Adivinha?! Descoberta visual de objetos por meio de diálogo multimodal
• Análise Semântica via Paráfrase
• Percorrendo gráficos de conhecimento no espaço vetorial
• PPDB: o banco de dados de paráfrases
• NewsQA: um conjunto de dados de compreensão de máquina
• Um modelo de conversa neural baseado em personalidade
• “Por que devo confiar em você?” Explicando as previsões de qualquer classificador
• Redes Adversariais Gerativas Condicionais
• Resolvendo o problema das palavras raras na tradução automática neural
• Obtendo tradução automática neural de vocabulário aberto com modelos híbridos de palavra-caractere
• Modelos profundos recursivos para composicionalidade semântica em um banco de árvores de sentimentos
• Melhorando as representações de palavras por meio do contexto global e de vários protótipos de palavras
• Aprendendo representações de frases usando codificador-decodificador RNN para tradução automática estatística
• Vetores ignorados
• Redes Adversariais Gerativas Convolucionais Profundas
• Redes Adversariais Gerativas
• Um roteiro para inteligência de máquina
• Resposta inteligente: sugestão de resposta automatizada para e-mail
• Rede Neural Convolucional para Classificação de Frases
• Geração condicional de imagens com decodificadores PixelCNN
• Redes Neurais Recorrentes de Pixel
• Deep Inside Convolutional Networks: Visualizando Modelos de Classificação de Imagens e Mapas de Saliência
• Conjunto de truques para classificação eficiente de texto
• GloVe: vetores globais para representação de palavras
• SimRank: uma medida de similaridade de contexto estrutural
• Como NÃO avaliar seu sistema de diálogo: um estudo empírico de métricas de avaliação não supervisionadas para geração de resposta de diálogo
• Geração Neural de Expressões Regulares de Linguagem Natural com Conhecimento Mínimo de Domínio
• WikiReading: uma nova tarefa de compreensão de linguagem em grande escala na Wikipedia
• WikiQA: um conjunto de dados de desafio para resposta a perguntas de domínio aberto
• Ensinando máquinas a ler e compreender
• Avaliando qualidades de pré-requisitos para aprender sistemas de diálogo de ponta a ponta
• Regularização de Rede Neural Recorrente
• Deep Math: modelos de sequência profunda para seleção de premissas
• Um modelo de conversação neural
• Redes de memória de valor-chave para leitura direta de documentos
• Avanços na otimização de redes recorrentes
• Redes de regressão de consulta para compreensão de máquina
• Aprendizagem sequência a sequência com redes neurais
• A dificuldade de treinar arquiteturas profundas e o efeito do pré-treinamento não supervisionado
• Resposta a perguntas com incorporações de subgráficos
• Rumo à resposta completa às perguntas da IA: um conjunto de tarefas de brinquedo pré-requisitos
• Visualizando dados em grande escala e de alta dimensão
• Visualizando dados usando t-SNE
• Aprendizagem Curricular
• Redes de memória ponta a ponta
• Redes de Memória
• Aprendendo a executar
• GraphLab distribuído: uma estrutura para aprendizado de máquina e mineração de dados na nuvem
• Redes Profundas Distribuídas em Grande Escala
• Estimativa eficiente de representações de palavras no espaço vetorial
• Regularização e seleção de variáveis ​​via rede elástica
• Max-Pooling Fracionário
• TAO: armazenamento de dados distribuídos do Facebook para o Social Graph
• Normalização em lote: acelerando o treinamento profundo da rede reduzindo a mudança interna de covariáveis
• A infraestrutura de registro unificado para análise de dados no Twitter
• Algumas coisas úteis para saber sobre aprendizado de máquina
• Hive – um data warehouse em escala de petabytes usando Hadoop
• Kafka: um sistema de mensagens distribuídas para processamento de logs
• Distribuições de lei de potência em dados empíricos
• Pregel: um sistema para processamento gráfico em grande escala
• GraphX: unificando análises paralelas de dados e paralelas de gráficos
• Pig Latin: uma língua não tão estrangeira para processamento de dados
• Conjuntos de dados distribuídos resilientes: uma abstração tolerante a falhas para computação em cluster na memória
• MapReduce: processamento de dados simplificado em grandes clusters
• BigTable: um sistema de armazenamento distribuído para dados estruturados
• Spark SQL: processamento de dados relacionais no Spark
• Spark: computação em cluster com conjuntos de trabalho
• Dados rápidos na era do Big Data: arquitetura de sugestões de consultas relacionadas em tempo real do Twitter
• Dimensionando o Memcache no Facebook
• Dynamo: armazenamento de valores-chave altamente disponível da Amazon
• f4: Sistema de armazenamento Warm BLOB do Facebook
• Guia de um teórico para a análise experimental de algoritmos
• Hash de cuco
• Aprendizado sem fim