El equipo de algoritmos de búsqueda de Xiaohongshu publicó una investigación innovadora en la conferencia AAAI2024, con el objetivo de resolver los problemas de los atributos de caja negra y las enormes cantidades de parámetros de grandes modelos de lenguaje en tareas de inferencia. El equipo propuso de manera innovadora un nuevo marco que mejora efectivamente las capacidades de razonamiento de modelos de lenguaje grandes al utilizar inteligentemente el conocimiento de muestras negativas. Este marco incluye dos pasos clave, capacitación asistida negativa (NAT) y mejora de calibración negativa (NCE), que han mejorado significativamente el rendimiento de la aplicación de modelos de lenguaje grandes y han proporcionado nuevas direcciones e ideas de investigación para la industria, que merecen atención.
El artículo se centra en:
El equipo de algoritmos de búsqueda de Xiaohongshu lanzó un marco innovador en AAAI2024 destinado a resolver los problemas de los atributos de caja negra y las enormes cantidades de parámetros de grandes modelos de lenguaje en tareas de inferencia. Este marco se centra en el uso de conocimientos de muestras negativas para mejorar las capacidades de razonamiento de modelos de lenguaje grandes y propone pasos de serialización como el entrenamiento asistido negativo (NAT) y la mejora de calibración negativa (NCE), que proporcionan nuevas ideas para el rendimiento de las aplicaciones de modelos de lenguaje grandes. .Esta investigación realizada por el equipo de Xiaohongshu proporciona una nueva dirección para resolver el problema de la inferencia de modelos de lenguaje grande. La estrategia de utilización del conocimiento de muestras negativas y los métodos NAT y NCE propuestos por ella merecen un estudio y una aplicación más profundos. Esto marca un progreso importante en la mejora de las capacidades de razonamiento de los modelos de lenguaje grandes y se espera que promueva la aplicación de modelos de lenguaje grandes en tareas más complejas en el futuro.