A equipe do algoritmo de busca Xiaohongshu publicou uma pesquisa inovadora na conferência AAAI2024, com o objetivo de resolver os problemas de atributos de caixa preta e grandes quantidades de parâmetros de grandes modelos de linguagem em tarefas de raciocínio. A equipe propôs de forma inovadora uma nova estrutura que melhora efetivamente as capacidades de raciocínio de grandes modelos de linguagem, utilizando de forma inteligente o conhecimento de amostras negativas. Esta estrutura inclui duas etapas principais: Negative Assisted Training (NAT) e Negative Calibration Enhancement (NCE), que melhoraram significativamente o desempenho da aplicação de grandes modelos de linguagem e forneceram novas direções e ideias de pesquisa para a indústria. .
O artigo se concentra em:
A equipe do algoritmo de busca Xiaohongshu lançou uma estrutura inovadora na AAAI2024 com o objetivo de resolver os problemas de atributos de caixa preta e grandes quantidades de parâmetros de grandes modelos de linguagem em tarefas de inferência. Esta estrutura se concentra no uso de conhecimento de amostra negativa para melhorar as capacidades de raciocínio de grandes modelos de linguagem e propõe etapas de serialização, como Negative Assisted Training (NAT) e Negative Calibration Enhancement (NCE), que fornecem novas ideias para o desempenho de aplicativos de grandes modelos de linguagem. .Esta pesquisa da equipe Xiaohongshu fornece uma nova direção para resolver o problema de inferência de modelos de linguagem de grande porte. A estratégia de utilização de conhecimento de amostra negativa e os métodos NAT e NCE propostos por ela merecem um estudo e aplicação mais aprofundados. Isto marca um progresso importante na melhoria das capacidades de raciocínio de grandes modelos de linguagem e espera-se que promova a aplicação de grandes modelos de linguagem em tarefas mais complexas no futuro.