papers I read

Papiere, die ich gelesen habe

Ich versuche eine neue Initiative – eine Zeitung pro Woche. Dieses Repository enthält alle diese Dokumente sowie die dazugehörigen Zusammenfassungen und Notizen.

Liste der Papiere

• Toolformer – Sprachmodelle können sich selbst den Umgang mit Werkzeugen beibringen
• Hinweise zum Computersystemdesign
• Synthetisierte Richtlinien für die Übertragung und Anpassung über Aufgaben und Umgebungen hinweg
• Deep Neural Networks für YouTube-Empfehlungen
• Der Schwanz im Maßstab
• Praktische Lehren aus der Vorhersage von Klicks auf Anzeigen bei Facebook
• Vorhersage von Anzeigenklicks – ein Blick aus der Tiefe
• Anatomie des katastrophalen Vergessens – Verborgene Repräsentationen und Aufgabensemantik
• Wann funktionieren Lehrpläne?
• Kontinuierliches Lernen mit Hypernetzwerken
• Zero-Shot-Lernen durch Generieren aufgabenspezifischer Adapter
• HyperNetworks
• Energiebasierte Modelle für kontinuierliches Lernen
• GPipe – Einfache Skalierung mit Micro-Batch-Pipeline-Parallelität
• Zusammensetzungserklärungen von Neuronen
• Entwurfsmuster für Container-basierte verteilte Systeme
• Cassandra – ein dezentrales strukturiertes Speichersystem
• GAP zwölf Jahre später – Wie sich die Regeln verändert haben
• Konsistenzkompromisse im modernen verteilten Datenbanksystemdesign
• Erkundung des einfachen siamesischen Repräsentationslernens
• Datenmanagement für Single-Sign-On im Internetmaßstab
• Auf der Suche nach Build Debt – Erfahrungen mit der Verwaltung technischer Schulden bei Google
• Eine Lösung ist nicht alles, was Sie brauchen – Few-Shot-Extrapolation über strukturiertes MaxEnt RL
• Erklärungen lernen, die schwer zu variieren sind
• Erinnern aus den richtigen Gründen – Erklärungen reduzieren katastrophales Vergessen
• Eine geschichtete Sicht auf Transferlernen
• Ernte-, Ertrags- und skalierbare tolerante Systeme
• MONet – Unbeaufsichtigte Szenenzerlegung und -darstellung
• Wiederholung der Grundlagen der Erlebniswiederholung
• Deep Reinforcement Learning und die tödliche Triade
• Alpha Net: Anpassung mit Komposition im Klassifikatorraum
• Unverschämt große neuronale Netze: Die spärlich begrenzte Expertenmischungsschicht
• Gradientenchirurgie für Multitasking-Lernen
• GradNorm: Gradientennormalisierung für den adaptiven Verlustausgleich in tiefen Multitask-Netzwerken
• TaskNorm: Batch-Normalisierung für Meta-Learning überdenken
• Die Mittelung der Gewichte führt zu breiteren Optima und einer besseren Generalisierung
• Dezentrales Reinforcement Learning: Globale Entscheidungsfindung über lokale Wirtschaftstransaktionen
• Wann sollten parametrische Modelle beim Reinforcement Learning verwendet werden?
• Netzwerk-Randomisierung – Eine einfache Technik zur Generalisierung beim Deep Reinforcement Learning
• Über die Schwierigkeit, das Training neuronaler Netze warm zu starten
• Überwachtes kontrastives Lernen
• CURL – Kontrastive unbeaufsichtigte Darstellungen für verstärkendes Lernen
• Wettbewerbsfähiges Training von Mischungen unabhängiger tiefer generativer Modelle
• Was sagt uns die Klassifizierung von mehr als 10.000 Bildkategorien?
• mixup – Jenseits der empirischen Risikominimierung
• ELECTRA – Vorschulung von Textkodierern als Diskriminatoren statt als Generatoren
• Gradientenbasierte Stichprobenauswahl für kontinuierliches Online-Lernen
• Ihr Klassifikator ist insgeheim ein energiebasiertes Modell und Sie sollten ihn auch so behandeln
• Massiv mehrsprachige neuronale maschinelle Übersetzung in freier Wildbahn – Erkenntnisse und Herausforderungen
• Beobachtende Überanpassung beim Reinforcement Learning
• Schnelles Lernen oder Wiederverwendung von Funktionen? Auf dem Weg zum Verständnis der Wirksamkeit von MAML
• Präzises, großes Minibatch-SGD – Training von ImageNet in 1 Stunde
• Überlagerung vieler Modelle zu einem
• Auf dem Weg zu einer einheitlichen Theorie der Staatsabstraktion für MDPs
• ALBERT – Ein Lite-BERT für das selbstüberwachte Lernen von Sprachdarstellungen
• Beherrschen von Atari, Go, Schach und Shogi durch Planung mit einem erlernten Modell
• Kontrastives Lernen strukturierter Weltmodelle
• Klatschbasierte Akteur-Lern-Architekturen für Deep RL
• So trainieren Sie Ihr MAML
• PHYRE – Ein neuer Maßstab für physikalisches Denken
• Große Speicherebenen mit Produktschlüsseln
• Abduktives vernünftiges Denken
• Deep Reinforcement Learning in einer Handvoll Versuchen unter Verwendung probabilistischer Dynamikmodelle
• Bewertung der Generalisierung beim Deep Reinforcement Learning
• Quantifizierung der Generalisierung beim Reinforcement Learning
• Set Transformer: Ein Framework für aufmerksamkeitsbasierte permutationsinvariante neuronale Netze
• Messung des abstrakten Denkens in neuronalen Netzen
• Hamiltonsche neuronale Netze
• Extrapolation über suboptimale Demonstrationen hinaus durch inverses Reinforcement-Lernen aus Beobachtungen
• Meta-Reinforcement-Lernen strukturierter Explorationsstrategien
• Relationales Verstärkungslernen
• Ausreichend gute Erweiterung der Kompositionsdaten
• Mehrfaches modellbasiertes Verstärkungslernen
• Auf dem Weg zu einem natürlichen Maßstab für kontinuierliches Lernen
• Meta-Learning-Aktualisierungsregeln für unbeaufsichtigtes Repräsentationslernen
• GNN Explainer – Ein Tool zur Post-hoc-Erklärung graphischer neuronaler Netze
• Stimmen oder nicht stimmen? Anpassen vorab trainierter Darstellungen an verschiedene Aufgaben
• Modell des primitiven hierarchischen lebenslangen Verstärkungslernens
• TuckER – Tensorfaktorisierung zur Vervollständigung von Wissensgraphen
• Sprachliches Wissen als Gedächtnis für wiederkehrende neuronale Netze
• Vielfalt ist alles, was Sie brauchen – Kompetenzen erlernen ohne Belohnungsfunktion
• Modulares Meta-Lernen
• Hierarchisches RL unter Verwendung eines Ensembles propriozeptiver periodischer Richtlinien
• Effizientes lebenslanges Lernen mit A-GEM
• Vorabtraining graphischer neuronaler Netze mit Kerneln
• Glatte Verlustfunktionen für die tiefe Top-k-Klassifizierung
• Wiederholung der Rückblick-Erfahrung
• Darstellungskompromisse für hyperbolische Einbettungen
• Gelernte Optimierer, die skalieren und verallgemeinern
• One-Shot-Lernen mit speichererweiterten neuronalen Netzen
• BabyAI – Erste Schritte zum fundierten Sprachenlernen mit einem Menschen auf dem Laufenden
• Poincaré-Einbettungen zum Lernen hierarchischer Darstellungen
• Wenn wiederkehrende Modelle nicht wiederkehrend sein müssen
• HoME – eine multimodale Haushaltsumgebung
• Entstehung einer fundierten Kompositionssprache in Populationen mit mehreren Agenten
• Eine semantische Verlustfunktion für Deep Learning mit symbolischem Wissen
• Lernen der hierarchischen Graphdarstellung mit differenzierbarem Pooling
• Imaginationserweiterte Agenten für Deep Reinforcement Learning
• Kronecker-Wiederkehreinheiten
• Unabhängige kausale Mechanismen lernen
• Speicherbasierte Parameteranpassung
• Wiedergeborene neuronale Netze
• Net2Net beschleunigt das Lernen durch Wissenstransfer
• Lernen, Objekte in natürlichen Bildern für die visuelle Beantwortung von Fragen zu zählen
• Neuronale Nachrichtenübermittlung für die Quantenchemie
• Unüberwachtes Lernen durch Vorhersage von Lärm
• Die Lottoschein-Hypothese – Training beschnittener neuronaler Netze
• Zyklische Lernraten für das Training neuronaler Netze
• Verbesserung der Informationsextraktion durch Erfassung externer Beweise mit Reinforcement Learning
• Eine empirische Untersuchung des katastrophalen Vergessens in Gradienten-basierten neuronalen Netzen
• Erlernen eines SAT-Lösers durch Single-Bit-Überwachung
• Neuronale relationale Inferenz für interagierende Systeme
• Stiltransfer in Systemen zur Erzeugung natürlicher Sprache unter Verwendung wiederkehrender neuronaler Netze
• Auf den Punkt kommen: Zusammenfassung mit Zeiger-Generator-Netzwerken
• StarSpace – Betten Sie alle Dinge ein!
• Emotionale Chatmaschine – Emotionale Konversationsgenerierung mit internem und externem Gedächtnis
• Erkundung von Modellen und Daten für die Beantwortung von Bildfragen
• Wie übertragbar sind Merkmale in tiefen neuronalen Netzen?
• Das Wissen in einem neuronalen Netzwerk destillieren
• Neuauflage des halbüberwachten Lernens mit Graph-Einbettungen
• Zweistufige Synthesenetzwerke für Transferlernen im maschinellen Verständnis
• Organisation komplexer Netzwerke höherer Ordnung
• Netzwerkmotive – einfache Bausteine ​​komplexer Netzwerke
• Wortdarstellungen durch Gaußsche Einbettung
• HARP – Hierarchisches Repräsentationslernen für Netzwerke
• Swish – eine selbstgesteuerte Aktivierungsfunktion
• Lesen Sie Wikipedia, um Open-Domain-Fragen zu beantworten
• Aufgabenorientierte Abfrageneuformulierung mit Reinforcement Learning
• Verfeinerung von Quelldarstellungen mit Beziehungsnetzwerken für die neuronale maschinelle Übersetzung
• Zeigernetzwerke
• Lernen, Worteinbettungen im Handumdrehen zu berechnen
• R-NET – Maschinelles Leseverständnis mit selbstpassenden Netzwerken
• ReasoNet – Lernen, mit dem Lesen durch maschinelles Verständnis aufzuhören
• Prinzipielle Erkennung von Beispielen außerhalb der Verteilung in neuronalen Netzen
• Fragen Sie mich alles: Dynamische Speichernetzwerke für die Verarbeitung natürlicher Sprache
• Ein Modell, um sie alle zu lernen
• Zwei/zu einfache Anpassungen von Word2Vec für Syntaxprobleme
• Ein zerlegbares Aufmerksamkeitsmodell für die Inferenz natürlicher Sprache
• Ein schneller und genauer Abhängigkeitsparser unter Verwendung neuronaler Netze
• Neuronale Modulnetzwerke
• Das V in VQA wichtig machen: Die Rolle des Bildverständnisses bei der visuellen Beantwortung von Fragen stärken
• Bedingte Ähnlichkeitsnetzwerke
• Einfache Basis für die visuelle Beantwortung von Fragen
• VQA: Visuelle Beantwortung von Fragen
• Lernen, Bewertungen zu generieren und Stimmungen zu entdecken
• Den Pfeil der Zeit sehen
• End-to-End-Optimierung zielgerichteter und visuell fundierter Dialogsysteme
• Erraten Sie, was?! Visuelle Objektentdeckung durch multimodalen Dialog
• Semantisches Parsen durch Paraphrasierung
• Durchlaufen von Wissensgraphen im Vektorraum
• PPDB: Die Paraphrase-Datenbank
• NewsQA: Ein Datensatz zum Maschinenverständnis
• Ein personenbasiertes neuronales Konversationsmodell
• „Warum sollte ich dir vertrauen?“ Erklären der Vorhersagen eines beliebigen Klassifikators
• Bedingte generative gegnerische Netze
• Lösung des Problems seltener Wörter in der neuronalen maschinellen Übersetzung
• Erzielen einer neuronalen maschinellen Übersetzung mit offenem Wortschatz mit hybriden Wort-Zeichen-Modellen
• Rekursive Tiefenmodelle für semantische Kompositionalität über einer Stimmungsbaumbank
• Verbesserung der Wortdarstellungen durch globalen Kontext und mehrere Wortprototypen
• Lernen von Phrasendarstellungen mit RNN Encoder-Decoder für statistische maschinelle Übersetzung
• Skip-Thought-Vektoren
• Deep Convolutional Generative Adversarial Nets
• Generative gegnerische Netze
• Eine Roadmap zur maschinellen Intelligenz
• Smart Reply: Automatisierter Antwortvorschlag für E-Mails
• Faltungs-Neuronales Netzwerk zur Satzklassifizierung
• Bedingte Bilderzeugung mit PixelCNN-Decodern
• Pixelwiederkehrende neuronale Netze
• Deep Inside Convolutional Networks: Visualisierung von Bildklassifizierungsmodellen und Salienzkarten
• Trickkiste für eine effiziente Textklassifizierung
• GloVe: Globale Vektoren für die Wortdarstellung
• SimRank: Ein Maß für die Ähnlichkeit von Struktur und Kontext
• So bewerten Sie Ihr Dialogsystem NICHT: Eine empirische Studie über unbeaufsichtigte Bewertungsmetriken für die Generierung von Dialogantworten
• Neuronale Generierung regulärer Ausdrücke aus natürlicher Sprache mit minimaler Domänenkenntnis
• WikiReading: Eine neuartige groß angelegte Sprachverständnisaufgabe über Wikipedia
• WikiQA: Ein Challenge-Datensatz für die Beantwortung von Fragen im offenen Bereich
• Maschinen das Lesen und Verstehen beibringen
• Bewertung der Voraussetzungen für das Erlernen von End-to-End-Dialogsystemen
• Wiederkehrende Regularisierung neuronaler Netze
• Deep Math: Deep-Sequence-Modelle für die Prämissenauswahl
• Ein neuronales Konversationsmodell
• Schlüsselwertspeichernetzwerke zum direkten Lesen von Dokumenten
• Fortschritte bei der Optimierung wiederkehrender Netzwerke
• Abfrageregressionsnetzwerke für Maschinenverständnis
• Sequenz-zu-Sequenz-Lernen mit neuronalen Netzen
• Die Schwierigkeit, tiefe Architekturen zu trainieren und die Auswirkung von unbeaufsichtigtem Vortraining
• Beantwortung von Fragen mit Subgraph-Einbettungen
• Auf dem Weg zur KI-vollständigen Beantwortung von Fragen: Eine Reihe vorausgesetzter Spielzeugaufgaben
• Visualisierung großer und hochdimensionaler Daten
• Visualisieren von Daten mit t-SNE
• Lehrplan-Lernen
• End-to-End-Speichernetzwerke
• Speichernetzwerke
• Lernen, auszuführen
• Distributed GraphLab: Ein Framework für maschinelles Lernen und Data Mining in der Cloud
• Groß angelegte verteilte tiefe Netzwerke
• Effiziente Schätzung von Wortdarstellungen im Vektorraum
• Regularisierung und Variablenauswahl über das elastische Netz
• Fraktionales Max-Pooling
• TAO: Facebooks verteilter Datenspeicher für den Social Graph
• Batch-Normalisierung: Beschleunigung des Deep-Network-Trainings durch Reduzierung der internen Kovariatenverschiebung
• Die einheitliche Protokollierungsinfrastruktur für Datenanalysen bei Twitter
• Ein paar nützliche Dinge, die Sie über maschinelles Lernen wissen sollten
• Hive – Ein Data Warehouse im Petabyte-Bereich mit Hadoop
• Kafka: ein verteiltes Nachrichtensystem für die Protokollverarbeitung
• Potenzgesetzverteilungen in empirischen Daten
• Pregel: Ein System zur groß angelegten Graphverarbeitung
• GraphX: Vereinheitlichung datenparalleler und graphparalleler Analysen
• Schweinelatein: Eine gar nicht so fremde Sprache für die Datenverarbeitung
• Resiliente verteilte Datensätze: Eine fehlertolerante Abstraktion für In-Memory-Cluster-Computing
• MapReduce: Vereinfachte Datenverarbeitung auf großen Clustern
• BigTable: Ein verteiltes Speichersystem für strukturierte Daten
• Spark SQL: Relationale Datenverarbeitung in Spark
• Spark: Cluster Computing mit Arbeitssätzen
• Schnelle Daten im Zeitalter von Big Data: Twitters Echtzeit-bezogene Abfragevorschlagsarchitektur
• Memcache bei Facebook skalieren
• Dynamo: Amazons hochverfügbarer Schlüsselwert-Shop
• f4: Facebooks Warm BLOB-Speichersystem
• Ein Leitfaden für Theoretiker zur experimentellen Analyse von Algorithmen
• Kuckucks-Hashing
• Nie endendes Lernen