papers I read

papeles-que-leí

Estoy probando una nueva iniciativa: un periódico por semana. Este repositorio contendrá todos esos artículos y resúmenes y notas relacionados.

Lista de artículos

• Toolformer: los modelos de lenguaje pueden aprender a usar herramientas por sí mismos
• Consejos para el diseño de sistemas informáticos
• Políticas sintetizadas para la transferencia y adaptación entre tareas y entornos
• Redes neuronales profundas para recomendaciones de YouTube
• La cola a escala
• Lecciones prácticas de la predicción de clics en anuncios en Facebook
• Predicción de clics en anuncios: una visión desde las trincheras
• Anatomía del olvido catastrófico: representaciones ocultas y semántica de tareas
• ¿Cuándo funcionan los planes de estudio?
• Aprendizaje continuo con hiperredes
• Aprendizaje de disparo cero mediante la generación de adaptadores específicos de tareas
• Hiperredes
• Modelos basados ​​en energía para el aprendizaje continuo
• GPipe: fácil escalamiento con paralelismo de canalización de microlotes
• Explicaciones composicionales de las neuronas
• Patrones de diseño para sistemas distribuidos basados ​​en contenedores.
• Cassandra: un sistema de almacenamiento estructurado descentralizado
• La PAC doce años después: cómo han cambiado las normas
• Compensaciones de coherencia en el diseño moderno de sistemas de bases de datos distribuidas
• Explorando el aprendizaje de la representación siamesa simple
• Gestión de datos para inicio de sesión único a escala de Internet
• Búsqueda de Build Debt: experiencias de gestión de deuda técnica en Google
• Una solución no es todo lo que necesita: extrapolación de pocas posibilidades mediante MaxEnt RL estructurado
• Explicaciones de aprendizaje que son difíciles de variar
• Recordar por las razones correctas: las explicaciones reducen el olvido catastrófico
• Una visión foliada del aprendizaje por transferencia
• Cosecha, rendimiento y sistemas tolerantes escalables
• MONet: descomposición y representación de escenas sin supervisión
• Revisando los fundamentos de la repetición de experiencias
• Aprendizaje por refuerzo profundo y la tríada mortal
• Alpha Net: Adaptación con composición en el espacio clasificador
• Redes neuronales escandalosamente grandes: la capa de mezcla de expertos escasamente conectada
• Cirugía de gradiente para el aprendizaje multitarea
• GradNorm: normalización de gradientes para el equilibrio adaptativo de pérdidas en redes multitarea profundas
• TaskNorm: repensar la normalización por lotes para el metaaprendizaje
• Promediar ponderaciones conduce a óptimos más amplios y a una mejor generalización
• Aprendizaje por refuerzo descentralizado: toma de decisiones globales a través de transacciones económicas locales
• ¿Cuándo utilizar modelos paramétricos en el aprendizaje por refuerzo?
• Aleatorización de redes: una técnica simple para la generalización en el aprendizaje por refuerzo profundo
• Sobre la dificultad del entrenamiento de redes neuronales de arranque en caliente
• Aprendizaje contrastivo supervisado
• CURL: representaciones contrastivas no supervisadas para el aprendizaje por refuerzo
• Entrenamiento competitivo de mezclas de modelos generativos profundos independientes.
• ¿Qué nos dice la clasificación de más de 10.000 categorías de imágenes?
• confusión - Más allá de la minimización empírica del riesgo
• ELECTRA: codificadores de texto preentrenados como discriminadores en lugar de generadores
• Selección de muestras basada en gradientes para el aprendizaje continuo en línea
• Su clasificador es secretamente un modelo basado en energía y debe tratarlo como tal
• Traducción automática neuronal masivamente multilingüe en la naturaleza: hallazgos y desafíos
• Sobreajuste observacional en el aprendizaje por refuerzo
• ¿Aprendizaje rápido o reutilización de funciones? Hacia la comprensión de la eficacia de MAML
• Minibatch SGD grande y preciso: entrenamiento de ImageNet en 1 hora
• Superposición de muchos modelos en uno
• Hacia una teoría unificada de la abstracción del Estado para los MPD
• ALBERT: un BERT ligero para el aprendizaje autosupervisado de representaciones lingüísticas
• Dominar Atari, Go, Chess y Shogi planificando con un modelo aprendido
• Aprendizaje contrastivo de modelos mundiales estructurados
• Arquitecturas de actor-aprendiz basadas en chismes para Deep RL
• Cómo entrenar tu MAML
• PHYRE: un nuevo punto de referencia para el razonamiento físico
• Grandes capas de memoria con claves de producto
• Razonamiento abductivo de sentido común
• Aprendizaje por refuerzo profundo en un puñado de ensayos que utilizan modelos de dinámica probabilística
• Evaluación de la generalización en el aprendizaje por refuerzo profundo
• Cuantificación de la generalización en el aprendizaje por refuerzo
• Set Transformer: un marco para redes neuronales invariantes de permutación basadas en la atención
• Medición del razonamiento abstracto en redes neuronales.
• Redes neuronales hamiltonianas
• Extrapolar más allá de las demostraciones subóptimas mediante el aprendizaje por refuerzo inverso a partir de observaciones
• Metaaprendizaje por refuerzo de estrategias de exploración estructuradas
• Aprendizaje por refuerzo relacional
• Aumento de datos compositivos suficientemente bueno
• Aprendizaje por refuerzo basado en múltiples modelos
• Hacia un punto de referencia natural para el aprendizaje continuo
• Reglas de actualización de metaaprendizaje para el aprendizaje de representación no supervisado
• Explicador de GNN: una herramienta para la explicación post-hoc de redes neuronales gráficas
• ¿Afinar o no afinar? Adaptación de representaciones previamente entrenadas a diversas tareas
• Modelo Primitivo Jerárquico Aprendizaje por refuerzo permanente
• TuckER: factorización tensorial para completar gráficos de conocimiento
• El conocimiento lingüístico como memoria para redes neuronales recurrentes
• La diversidad es todo lo que necesita: aprender habilidades sin una función de recompensa
• Metaaprendizaje modular
• RL jerárquico utilizando un conjunto de políticas periódicas propioceptivas
• Aprendizaje permanente eficientei con A-GEM
• Preentrenamiento de redes neuronales gráficas con kernels
• Funciones de pérdida suave para una clasificación Top-k profunda
• Repetición de la experiencia en retrospectiva
• Compensaciones de representación para incrustaciones hiperbólicas
• Optimizadores aprendidos que escalan y generalizan
• Aprendizaje único con redes neuronales con memoria aumentada
• BabyAI: primeros pasos hacia el aprendizaje de idiomas fundamentado con un ser humano al tanto
• Incorporaciones de Poincaré para aprender representaciones jerárquicas
• Cuando los modelos recurrentes no necesitan ser recurrentes
• HoME: un entorno multimodal doméstico
• Aparición de un lenguaje compositivo fundamentado en poblaciones de múltiples agentes
• Una función de pérdida semántica para el aprendizaje profundo con conocimiento simbólico
• Aprendizaje de representación de gráficos jerárquicos con agrupación diferenciable
• Agentes potenciados por la imaginación para el aprendizaje por refuerzo profundo
• Unidades recurrentes de Kronecker
• Aprendizaje de mecanismos causales independientes
• Adaptación de parámetros basada en memoria
• Redes neuronales nacidas de nuevo
• Net2Net acelera el aprendizaje mediante la transferencia de conocimientos
• Aprender a contar objetos en imágenes naturales para responder preguntas visuales
• Transmisión de mensajes neuronales para la química cuántica
• Aprendizaje no supervisado mediante la predicción del ruido
• La hipótesis del billete de lotería: entrenamiento de redes neuronales podadas
• Tasas de aprendizaje cíclico para el entrenamiento de redes neuronales
• Mejorar la extracción de información mediante la adquisición de evidencia externa con aprendizaje por refuerzo
• Una investigación empírica del olvido catastrófico en redes neuronales basadas en gradientes
• Aprender un solucionador SAT a partir de la supervisión de un solo bit
• Inferencia relacional neuronal para sistemas que interactúan
• Transferencia estilística en sistemas de generación de lenguaje natural utilizando redes neuronales recurrentes
• Vaya al grano: resumen con redes generadoras de punteros
• StarSpace - ¡Incorpore todas las cosas!
• Máquina de Chat Emocional - Generación de Conversación Emocional con Memoria Interna y Externa
• Exploración de modelos y datos para responder preguntas sobre imágenes
• ¿Qué tan transferibles son las características en las redes neuronales profundas?
• Destilando el conocimiento en una red neuronal
• Revisando el aprendizaje semisupervisado con incrustaciones de gráficos
• Redes de síntesis de dos etapas para el aprendizaje por transferencia en comprensión automática
• Organización de orden superior de redes complejas.
• Motivos de red: bloques de construcción simples de redes complejas
• Representaciones de palabras mediante incrustación gaussiana
• HARP - Aprendizaje de representación jerárquica para redes
• Swish: una función de activación automática
• Leer Wikipedia para responder preguntas de dominio abierto
• Reformulación de consultas orientada a tareas con aprendizaje por refuerzo
• Refinamiento de representaciones de origen con redes de relaciones para traducción automática neuronal
• Redes de puntero
• Aprender a calcular incrustaciones de palabras sobre la marcha
• R-NET: comprensión de lectura automática con redes autocompatibles
• ReasoNet: aprender a dejar de leer en comprensión automática
• Detección basada en principios de ejemplos fuera de distribución en redes neuronales
• Pregúnteme cualquier cosa: redes de memoria dinámica para el procesamiento del lenguaje natural
• Un modelo para aprenderlos todos
• Dos adaptaciones demasiado simples de Word2Vec para problemas de sintaxis
• Un modelo de atención descomponible para la inferencia del lenguaje natural
• Un analizador de dependencias rápido y preciso que utiliza redes neuronales
• Redes de módulos neuronales
• Hacer que la V en VQA importe: elevar el papel de la comprensión de imágenes en la respuesta visual a preguntas
• Redes de similitud condicional
• Línea de base simple para la respuesta visual a preguntas
• VQA: Respuesta visual a preguntas
• Aprender a generar reseñas y descubrir sentimientos
• Ver la flecha del tiempo
• Optimización de extremo a extremo de sistemas de diálogo basados ​​en objetivos y visualmente fundamentados.
• ¡¿Adivina qué?! Descubrimiento de objetos visuales a través del diálogo multimodal
• Análisis semántico mediante paráfrasis
• Atravesando gráficos de conocimiento en el espacio vectorial
• PPDB: la base de datos de paráfrasis
• NewsQA: un conjunto de datos de comprensión de máquinas
• Un modelo de conversación neuronal basado en personas
• "¿Por qué debería confiar en ti?" Explicando las predicciones de cualquier clasificador
• Redes adversarias generativas condicionales
• Abordar el problema de las palabras raras en la traducción automática neuronal
• Lograr la traducción automática neuronal de vocabulario abierto con modelos híbridos de palabras y caracteres
• Modelos profundos recursivos para la composicionalidad semántica sobre un banco de árboles de sentimientos
• Mejora de las representaciones de palabras a través del contexto global y múltiples prototipos de palabras
• Aprendizaje de representaciones de frases mediante codificador-decodificador RNN para traducción automática estadística
• Vectores de omisión de pensamiento
• Redes adversarias generativas convolucionales profundas
• Redes generativas de confrontación
• Una hoja de ruta hacia la inteligencia artificial
• Respuesta inteligente: sugerencia de respuesta automatizada para correo electrónico
• Red neuronal convolucional para clasificación de oraciones
• Generación de imágenes condicional con decodificadores PixelCNN
• Redes neuronales recurrentes de píxeles
• Redes convolucionales profundas: visualización de modelos de clasificación de imágenes y mapas de prominencia
• Bolsa de trucos para una clasificación de texto eficiente
• GloVe: vectores globales para la representación de palabras
• SimRank: una medida de similitud del contexto estructural
• Cómo NO evaluar su sistema de diálogo: un estudio empírico de métricas de evaluación no supervisadas para la generación de respuestas al diálogo
• Generación neuronal de expresiones regulares a partir del lenguaje natural con un conocimiento mínimo del dominio
• WikiReading: una nueva tarea de comprensión del lenguaje a gran escala a través de Wikipedia
• WikiQA: un conjunto de datos desafiante para responder preguntas en dominio abierto
• Enseñar a las máquinas a leer y comprender
• Evaluación de las cualidades previas para aprender sistemas de diálogo de un extremo a otro
• Regularización de redes neuronales recurrentes
• Matemática profunda: modelos de secuencia profunda para la selección de premisas
• Un modelo conversacional neuronal
• Redes de memoria de valor clave para leer documentos directamente
• Avances en la optimización de redes recurrentes
• Consultar redes de regresión para comprensión automática
• Aprendizaje secuencia a secuencial con redes neuronales
• La dificultad de entrenar arquitecturas profundas y el efecto del preentrenamiento no supervisado
• Respuesta a preguntas con incrustaciones de subgrafos
• Hacia una respuesta completa a preguntas con IA: un conjunto de tareas previas para juguetes
• Visualización de datos a gran escala y de alta dimensión
• Visualización de datos usando t-SNE
• Aprendizaje curricular
• Redes de memoria de extremo a extremo
• Redes de memoria
• Aprendiendo a ejecutar
• GraphLab distribuido: un marco para el aprendizaje automático y la minería de datos en la nube
• Redes profundas distribuidas a gran escala
• Estimación eficiente de representaciones de palabras en el espacio vectorial
• Regularización y selección de variables mediante la red elástica.
• Agrupación máxima fraccionada
• TAO: el almacén de datos distribuidos de Facebook para Social Graph
• Normalización de lotes: acelerar el entrenamiento profundo de la red reduciendo el cambio de covariables interno
• La infraestructura de registro unificada para análisis de datos en Twitter
• Algunas cosas útiles que debe saber sobre el aprendizaje automático
• Hive: un almacén de datos a escala de petabytes que utiliza Hadoop
• Kafka: un sistema de mensajería distribuida para el procesamiento de registros
• Distribuciones de ley de potencia en datos empíricos
• Pregel: un sistema para el procesamiento de gráficos a gran escala
• GraphX: unificación de análisis de datos paralelos y de gráficos paralelos
• Pig Latin: una lengua no tan extranjera para el procesamiento de datos
• Conjuntos de datos distribuidos resilientes: una abstracción tolerante a fallos para la informática en clústeres en memoria
• MapReduce: procesamiento de datos simplificado en grandes clústeres
• BigTable: un sistema de almacenamiento distribuido para datos estructurados
• Spark SQL: procesamiento de datos relacionales en Spark
• Spark: Computación en clústeres con conjuntos de trabajo
• Datos rápidos en la era del Big Data: la arquitectura de sugerencias de consultas relacionadas en tiempo real de Twitter
• Escalando Memcache en Facebook
• Dynamo: la tienda de valores clave de alta disponibilidad de Amazon
• f4: El sistema de almacenamiento Warm BLOB de Facebook
• Una guía teórica para el análisis experimental de algoritmos
• Hashing de cuco
• Aprendizaje interminable