papers I read

papiers que j'ai lus

J'essaie une nouvelle initiative : un journal par semaine. Ce référentiel contiendra tous ces articles ainsi que les résumés et notes associés.

Liste des articles

• Toolformer - Les modèles de langage peuvent apprendre eux-mêmes à utiliser des outils
• Conseils pour la conception de systèmes informatiques
• Politiques synthétisées pour le transfert et l'adaptation entre les tâches et les environnements
• Réseaux de neurones profonds pour les recommandations YouTube
• La queue à grande échelle
• Leçons pratiques de la prévision des clics sur les publicités sur Facebook
• Prédiction des clics publicitaires : une vue depuis les tranchées
• Anatomie de l'oubli catastrophique - Représentations cachées et sémantique des tâches
• Quand les programmes fonctionnent-ils ?
• Apprentissage continu avec les hyperréseaux
• Apprentissage sans tir en générant des adaptateurs spécifiques aux tâches
• Hyperréseaux
• Modèles basés sur l'énergie pour l'apprentissage continu
• GPipe - Mise à l'échelle facile avec le parallélisme des pipelines micro-batch
• Explications compositionnelles des neurones
• Modèles de conception pour les systèmes distribués basés sur des conteneurs
• Cassandra - un système de stockage structuré décentralisé
• La PAC douze ans après - Comment les règles ont changé
• Compromis de cohérence dans la conception de systèmes de bases de données distribuées modernes
• Explorer l'apprentissage de la représentation siamoise simple
• Gestion des données pour l'authentification unique à l'échelle Internet
• Recherche de création de dette – Expériences de gestion de la dette technique chez Google
• Une solution n'est pas tout ce dont vous avez besoin - Extrapolation en quelques coups via MaxEnt RL structuré
• Apprendre des explications difficiles à varier
• Se souvenir pour les bonnes raisons – Les explications réduisent les oublis catastrophiques
• Une vision feuilletée de l’apprentissage par transfert
• Systèmes de récolte, de rendement et de tolérance évolutifs
• MONet - Décomposition et représentation de scènes non supervisées
• Revisiter les fondamentaux de l'expérience Replay
• Apprentissage par renforcement profond et triade mortelle
• Alpha Net : adaptation avec composition dans l'espace classificateur
• Réseaux de neurones incroyablement grands : la couche de mélange d'experts à grille clairsemée
• Chirurgie de gradient pour l'apprentissage multitâche
• GradNorm : normalisation du gradient pour l'équilibrage adaptatif des pertes dans les réseaux multitâches profonds
• TaskNorm : repenser la normalisation des lots pour le méta-apprentissage
• La moyenne des poids conduit à des optimums plus larges et à une meilleure généralisation
• Apprentissage par renforcement décentralisé : prise de décision mondiale via des transactions économiques locales
• Quand utiliser des modèles paramétriques en apprentissage par renforcement ?
• Randomisation du réseau - Une technique simple de généralisation dans l'apprentissage par renforcement profond
• Sur la difficulté de la formation sur les réseaux neuronaux à démarrage à chaud
• Apprentissage contrastif supervisé
• CURL - Représentations contrastées non supervisées pour l'apprentissage par renforcement
• Formation compétitive de mélanges de modèles génératifs profonds indépendants
• Que nous dit la classification de plus de 10 000 catégories d’images ?
• confusion - Au-delà de la minimisation empirique des risques
• ELECTRA - Pré-formation des encodeurs de texte en tant que discriminateurs plutôt que générateurs
• Sélection d'échantillons basée sur un gradient pour l'apprentissage continu en ligne
• Votre classificateur est secrètement un modèle basé sur l'énergie et vous devez le traiter comme tel
• La traduction automatique neuronale massivement multilingue à l'état sauvage - Résultats et défis
• Surapprentissage observationnel dans l’apprentissage par renforcement
• Apprentissage rapide ou réutilisation des fonctionnalités ? Vers une compréhension de l’efficacité du MAML
• SGD en mini-lots précis et volumineux - Formation ImageNet en 1 heure
• Superposition de plusieurs modèles en un seul
• Vers une théorie unifiée de l’abstraction d’État pour les MDP
• ALBERT - Un BERT Lite pour l'apprentissage auto-supervisé des représentations linguistiques
• Maîtriser Atari, Go, Chess et Shogi en planifiant avec un modèle appris
• Apprentissage contrastif des modèles du monde structuré
• Architectures acteur-apprenant basées sur les potins pour Deep RL
• Comment former votre MAML
• PHYRE - Une nouvelle référence pour le raisonnement physique
• Grandes couches de mémoire avec clés de produit
• Raisonnement abductif de bon sens
• Apprentissage par renforcement approfondi dans une poignée d'essais utilisant des modèles dynamiques probabilistes
• Évaluation de la généralisation dans l'apprentissage par renforcement profond
• Quantification de la généralisation dans l'apprentissage par renforcement
• Set Transformer : un cadre pour les réseaux neuronaux invariants par permutation basés sur l'attention
• Mesurer le raisonnement abstrait dans les réseaux de neurones
• Réseaux de neurones hamiltoniens
• Extrapoler au-delà des démonstrations sous-optimales via l'apprentissage par renforcement inverse à partir des observations
• Apprentissage par méta-renforcement des stratégies d'exploration structurées
• Apprentissage par renforcement relationnel
• Augmentation suffisante des données de composition
• Apprentissage par renforcement basé sur plusieurs modèles
• Vers une référence naturelle pour l’apprentissage continu
• Règles de mise à jour du méta-apprentissage pour l'apprentissage des représentations non supervisé
• GNN Explainer - Un outil pour l'explication post-hoc des réseaux de neurones graphiques
• Accorder ou ne pas accorder ? Adapter les représentations pré-entraînées à diverses tâches
• Modèle d’apprentissage par renforcement hiérarchique primitif tout au long de la vie
• TuckER - Factorisation tensorielle pour l'achèvement du graphe de connaissances
• Les connaissances linguistiques comme mémoire pour les réseaux de neurones récurrents
• La diversité est tout ce dont vous avez besoin - Acquérir des compétences sans fonction de récompense
• Méta-apprentissage modulaire
• RL hiérarchique utilisant un ensemble de politiques périodiques proprioceptives
• Un apprentissage tout au long de la vie efficace avec A-GEM
• Réseaux de neurones graphiques de pré-entraînement avec noyaux
• Fonctions de perte fluides pour la classification Deep Top-k
• Reprise de l'expérience rétrospective
• Compromis de représentation pour les intégrations hyperboliques
• Des optimiseurs appris qui évoluent et se généralisent
• Apprentissage ponctuel avec les réseaux de neurones à mémoire augmentée
• BabyAI - Premiers pas vers un apprentissage des langues fondé sur la terre avec un humain impliqué
• Intégrations de Poincaré pour l'apprentissage des représentations hiérarchiques
• Quand les modèles récurrents n’ont pas besoin d’être récurrents
• HoME - un environnement multimodal domestique
• Émergence d’un langage compositionnel ancré dans les populations multi-agents
• Une fonction de perte sémantique pour l'apprentissage profond avec des connaissances symboliques
• Apprentissage de la représentation graphique hiérarchique avec pooling différenciable
• Agents augmentés par l'imagination pour l'apprentissage par renforcement profond
• Unités récurrentes Kronecker
• Apprendre les mécanismes causals indépendants
• Adaptation des paramètres basée sur la mémoire
• Réseaux de neurones nés de nouveau
• Net2Net - Accélération de l'apprentissage via le transfert de connaissances
• Apprendre à compter les objets dans des images naturelles pour répondre visuellement aux questions
• Transmission de messages neuronaux pour la chimie quantique
• Apprentissage non supervisé par prévision du bruit
• L'hypothèse des billets de loterie - Formation de réseaux de neurones élagués
• Taux d'apprentissage cyclique pour la formation des réseaux de neurones
• Améliorer l'extraction d'informations en acquérant des preuves externes grâce à l'apprentissage par renforcement
• Une enquête empirique sur l'oubli catastrophique dans les réseaux de neurones basés sur les gradients
• Apprentissage d'un solveur SAT à partir de la supervision mono-bit
• Inférence relationnelle neuronale pour les systèmes en interaction
• Transfert stylistique dans les systèmes de génération de langage naturel utilisant des réseaux de neurones récurrents
• Allez droit au but : résumé avec les réseaux de générateurs de pointeurs
• StarSpace - Intégrez toutes les choses !
• Machine de discussion émotionnelle - Génération de conversations émotionnelles avec mémoire interne et externe
• Explorer des modèles et des données pour répondre aux questions d'image
• Dans quelle mesure les fonctionnalités des réseaux de neurones profonds sont-elles transférables
• Distiller les connaissances dans un réseau de neurones
• Revisiter l'apprentissage semi-supervisé avec l'intégration de graphiques
• Réseaux de synthèse en deux étapes pour l'apprentissage par transfert en compréhension automatique
• Organisation d'ordre supérieur de réseaux complexes
• Motifs de réseau – Éléments de base simples de réseaux complexes
• Représentations de mots via l'intégration gaussienne
• HARP - Apprentissage de la représentation hiérarchique pour les réseaux
• Swish - une fonction d'activation automatique
• Lire Wikipédia pour répondre aux questions du domaine ouvert
• Reformulation de requêtes orientée tâches avec apprentissage par renforcement
• Affiner les représentations sources avec des réseaux de relations pour la traduction automatique neuronale
• Réseaux de pointeurs
• Apprendre à calculer des incorporations de mots à la volée
• R-NET - Compréhension de la lecture automatique avec des réseaux auto-adaptés
• ReasoNet - Apprendre à arrêter de lire en compréhension automatique
• Détection raisonnée d'exemples de non-distribution dans les réseaux de neurones
• Demandez-moi n'importe quoi : réseaux de mémoire dynamique pour le traitement du langage naturel
• Un modèle pour tous les apprendre
• Deux/trop simples adaptations de Word2Vec pour les problèmes de syntaxe
• Un modèle d'attention décomposable pour l'inférence en langage naturel
• Un analyseur de dépendances rapide et précis utilisant les réseaux de neurones
• Réseaux de modules neuronaux
• Donner du sens au V dans VQA : accroître le rôle de la compréhension des images dans la réponse visuelle aux questions
• Réseaux de similarité conditionnelle
• Base de référence simple pour répondre visuellement aux questions
• VQA : réponse visuelle aux questions
• Apprendre à générer des avis et découvrir les sentiments
• Voir la flèche du temps
• Optimisation de bout en bout des systèmes de dialogue axés sur les objectifs et visuellement fondés
• Devinez quoi?! Découverte d'objets visuels grâce au dialogue multimodal
• Analyse sémantique via la paraphrase
• Parcourir les graphiques de connaissances dans l'espace vectoriel
• PPDB : la base de données de paraphrase
• NewsQA : un ensemble de données de compréhension des machines
• Un modèle de conversation neuronale basé sur la personnalité
• "Pourquoi devrais-je te faire confiance?" Expliquer les prédictions de n'importe quel classificateur
• Réseaux contradictoires génératifs conditionnels
• Résoudre le problème des mots rares dans la traduction automatique neuronale
• Réaliser une traduction automatique neuronale à vocabulaire ouvert avec des modèles hybrides mot-caractère
• Modèles profonds récursifs pour la compositionnalité sémantique sur une arborescence de sentiments
• Améliorer les représentations de mots via un contexte global et plusieurs prototypes de mots
• Apprentissage des représentations d'expressions à l'aide de l'encodeur-décodeur RNN pour la traduction automatique statistique
• Vecteurs de pensée sautée
• Réseaux contradictoires génératifs à convolution profonde
• Réseaux contradictoires génératifs
• Une feuille de route vers l’intelligence artificielle
• Réponse intelligente : suggestion de réponse automatisée pour les e-mails
• Réseau neuronal convolutif pour la classification des phrases
• Génération d'images conditionnelles avec les décodeurs PixelCNN
• Réseaux de neurones récurrents de pixels
• Réseaux convolutionnels profonds : visualisation de modèles de classification d'images et de cartes de saillance
• Sac d'astuces pour une classification efficace des textes
• GloVe : vecteurs globaux pour la représentation de mots
• SimRank : une mesure de similarité structurelle-contextuelle
• Comment NE PAS évaluer votre système de dialogue : une étude empirique des mesures d'évaluation non supervisées pour la génération de réponses au dialogue
• Génération neuronale d'expressions régulières à partir du langage naturel avec une connaissance minimale du domaine
• WikiReading : une nouvelle tâche de compréhension du langage à grande échelle sur Wikipédia
• WikiQA : un ensemble de données de défi pour répondre aux questions en domaine ouvert
• Apprendre aux machines à lire et à comprendre
• Évaluation des qualités préalables à l'apprentissage des systèmes de dialogue de bout en bout
• Régularisation récurrente du réseau neuronal
• Mathématiques approfondies : modèles de séquences approfondies pour la sélection de prémisses
• Un modèle conversationnel neuronal
• Réseaux de mémoire clé-valeur pour la lecture directe de documents
• Avancées dans l'optimisation des réseaux récurrents
• Réseaux de régression de requêtes pour la compréhension des machines
• Apprentissage séquence à séquence avec les réseaux de neurones
• La difficulté de former des architectures profondes et l'effet d'une pré-formation non supervisée
• Réponse aux questions avec intégrations de sous-graphes
• Vers une réponse complète aux questions par l'IA : un ensemble de tâches préalables aux jouets
• Visualisation de données à grande échelle et de grande dimension
• Visualisation des données à l'aide de t-SNE
• Apprentissage du programme
• Réseaux de mémoire de bout en bout
• Réseaux de mémoire
• Apprendre à exécuter
• Distributed GraphLab : un framework pour l'apprentissage automatique et l'exploration de données dans le cloud
• Réseaux profonds distribués à grande échelle
• Estimation efficace des représentations de mots dans l'espace vectoriel
• Régularisation et sélection de variables via le filet élastique
• Mise en commun maximale fractionnée
• TAO : le magasin de données distribuées de Facebook pour le graphe social
• Normalisation par lots : accélérer la formation approfondie du réseau en réduisant le décalage des covariables internes
• L'infrastructure de journalisation unifiée pour l'analyse des données sur Twitter
• Quelques choses utiles à savoir sur l’apprentissage automatique
• Hive – Un entrepôt de données à l'échelle du pétaoctet utilisant Hadoop
• Kafka : un système de messagerie distribué pour le traitement des journaux
• Distributions de lois de puissance dans les données empiriques
• Pregel : un système de traitement de graphiques à grande échelle
• GraphX : unifier les analyses parallèles aux données et parallèles aux graphiques
• Pig Latin : une langue pas si étrangère pour le traitement des données
• Ensembles de données distribués résilients : une abstraction tolérante aux pannes pour le calcul en cluster en mémoire
• MapReduce : traitement de données simplifié sur de grands clusters
• BigTable : un système de stockage distribué pour les données structurées
• Spark SQL : traitement des données relationnelles dans Spark
• Spark : calcul en cluster avec des ensembles de travail
• Fast Data à l'ère du Big Data : l'architecture de suggestion de requêtes associées en temps réel de Twitter
• Mise à l'échelle de Memcache sur Facebook
• Dynamo : la boutique de valeurs-clés hautement disponible d'Amazon
• f4 : le système de stockage Warm BLOB de Facebook
• Guide du théoricien sur l'analyse expérimentale des algorithmes
• Hachage de coucou
• Un apprentissage sans fin