Desde el ingreso hasta el dominio del sistema de recomendación, este proyecto presenta de manera integral el conocimiento teórico del sistema de recomendación de grado industrial (curso abierto de Wang Shusen sobre el sistema de recomendación: explicación del sistema de recomendación real en la industria basado en el escenario de Xiaohongshu), cómo entrene el modelo basado en TensorFlow2 y cómo lograr un microservicio de inferencia de alto nivel de Golang con alto rendimiento, alta concurrencia y alta disponibilidad. Además de algunos conceptos básicos de programación de Sklean y TensorFlow. Introdujo de manera integral la teoría del sistema de recomendación industrial basado en el aprendizaje profundo, cómo entrenar modelos basados en TensorFlow2, cómo implementar servicios de inferencia de alto rendimiento, alta concurrencia y alta disponibilidad basados en Golang.
Nota: Los conocimientos teóricos de la primera parte están en este almacén y los códigos de la segunda, tercera y cuarta partes están en otros almacenes. Haga clic en el enlace para saltar.
Si se produce un error al abrir un archivo de Jupyter Notebook a través de un hipervínculo en el sitio de Github, puede hacer clic en el "enlace de respaldo" generado en base a https://nbviewer.org para acceder indirectamente al archivo correspondiente.
O acceda al enlace de copia de seguridad externa de todo el proyecto a través del siguiente enlace. Tenga en cuenta que al hacer clic en el archivo con formato que no sea Jupyter Notebook en el enlace de copia de seguridad externa, volverá al repositorio de Github:
● Sistema_recomendador
Curso abierto de Wang Shusen sobre el sistema de recomendación: explica el sistema de recomendación real en la industria basándose en el escenario de Xiaohongshu, leyendo notas.
● Vínculos del sistema de recomendaciones (Enlace alternativo) ]
● Pruebas AB (Enlace alternativo)
● Filtrado colaborativo basado en elementos (ItemCF) (Enlace alternativo)
● Canal de recuperación de swing (Enlace alternativo)
● Filtrado colaborativo basado en usuarios (UserCF) (Enlace alternativo)
● Procesamiento de funciones discretas (Enlace alternativo)
● Suplemento de matriz (Enlace alternativo)
● Modelo de las Torres Gemelas: modelo y formación (Enlace alternativo)
● Modelo de dos torres: muestras positivas y negativas (Enlace alternativo)
● Modelo de las Torres Gemelas: retiro y actualización en línea (Enlace alternativo)
● Modelo torres gemelas + aprendizaje autodirigido (Enlace alternativo)
● Recuperación profunda (Enlace alternativo)
● Otros canales de recuperación (Enlace alternativo)
● Filtro de exposición y filtro Bloom (Enlace alternativo)
● Modelo de clasificación multiobjetivo (Enlace alternativo)
● MMOE (Enlace alternativo)
● Fusión de puntuación estimada (Enlace alternativo)
● Modelado de reproducción de vídeo (Enlace alternativo)
● Características de los modelos de clasificación (Enlace alternativo)
● Modelo de diseño aproximado (Enlace alternativo)
● Factorizador FM (Enlace alternativo)
● Red cruzada profunda DCN (Enlace alternativo)
● Estructura de la red LHUC (Enlace alternativo)
● Cruz bilineal SENet (Enlace alternativo)
● Modelado de secuencia de comportamiento del usuario (Enlace alternativo)
● Modelo DIN (mecanismo de atención) (Enlace alternativo)
● Modelo SIM (modelado de secuencia larga) (Enlace alternativo)
● Medición de la similitud de ítems y métodos para mejorar la diversidad. (Enlace alternativo)
● Algoritmo de diversidad MMR (Enlace alternativo)
● Algoritmo de diversidad bajo las limitaciones de las reglas comerciales. (Enlace alternativo)
● Algoritmo de diversidad DPP (Parte 1) (Enlace alternativo)
● Algoritmo de diversidad DPP (Parte 2) (Enlace alternativo)
● Objetivos de optimización e indicadores de evaluación (Enlace alternativo)
● Canal de recuperación simple (Enlace alternativo)
● Recuperación de clústeres (Enlace alternativo)
● Retirada de productos similares (Enlace alternativo)
● Control de tráfico (Enlace alternativo)
● Prueba AB de arranque en frío (Enlace alternativo)
● Descripción general (Enlace alternativo)
● Recordar (Enlace alternativo)
● Ordenar (Enlace alternativo)
● Diversidad (Enlace alternativo)
● Grupos de usuarios característicos (Enlace alternativo)
● Comportamiento interactivo (seguir, reenviar y comentar) (Enlace alternativo)
Basado en el modelo "DNN_for_YouTube_Recommendations" y el conjunto de datos de clasificación de películas (ml-1m), demuestra en detalle cómo implementar un modelo de clasificación del sistema de recomendación basado en TensorFlow2.
● Modelo de clasificación profunda de YouTube (integración de valores múltiples, aprendizaje de objetivos múltiples)
Basado en Goalng, Docker y las ideas de microservicios, se implementa un microservicio de razonamiento de sistema de recomendación de alta concurrencia, alto rendimiento y alta disponibilidad, que incluye una variedad de servicios de recuperación/clasificación y proporciona una variedad de métodos de acceso a la interfaz (REST, gRPC y Dubbo), etc., cada uno puede manejar decenas de millones de solicitudes de inferencia todos los días.
● Microservicio de razonamiento del sistema de recomendación Golang
● Tutorial introductorio de Sklearn sobre aprendizaje automático ● Tutorial introductorio de TensorFlow sobre aprendizaje profundo
