Alibaba Cloud lançou a série Qwen2-Math, um novo modelo de linguagem em grande escala com foco no campo da matemática, que atraiu ampla atenção na indústria. Esta série de modelos supera os modelos de código aberto existentes em vários testes de benchmark matemático e até supera modelos de código fechado bem conhecidos, como GPT-4o e Claude-3.5-Sonnet em alguns aspectos. O editor de Downcodes fornecerá uma explicação detalhada sobre o excelente desempenho, a tecnologia inovadora e a direção de desenvolvimento futuro dos modelos da série Qwen2-Math, e o levará a explorar os avanços mais recentes no campo da matemática de IA.
Recentemente, o Alibaba Cloud lançou a série Qwen2-Math de modelos de linguagem em grande escala. Este recém-chegado à IA com foco no campo da matemática atraiu ampla atenção na indústria assim que foi revelado.
Como os membros mais recentes da série Qwen2, os modelos Qwen2-Math e Qwen2-Math-Instruct-1.5B/7B/72B demonstraram uma força impressionante nas capacidades de resolução de problemas matemáticos. É relatado que esta série de modelos não apenas superou os modelos de código aberto existentes em vários testes de benchmark matemático, mas também superou em alguns aspectos, incluindo GPT-4o, Claude-3.5-Sonnet, Gemini-1.5-Pro e Llama- Well- modelos de código fechado conhecidos, incluindo 3.1-405B, podem ser chamados de azarões na comunidade matemática de IA.
O sucesso do Qwen2-Math não é acidental. A equipe do Alibaba Cloud dedicou muito esforço no ano passado para melhorar as capacidades de raciocínio de grandes modelos de linguagem em problemas aritméticos e matemáticos. A base desta série de modelos é Qwen2-1.5B/7B/72B. Nesta base, a equipe de P&D conduziu um pré-treinamento aprofundado usando um corpus matemático profissional cuidadosamente projetado. Este corpus exclusivo abrange textos on-line de matemática em grande escala e de alta qualidade, livros profissionais, exemplos de código e questões de exames massivas, e ainda inclui dados de pré-treinamento em matemática gerados independentemente pelo Qwen2.
Particularmente digno de menção é o modelo Qwen2-Math-Instruct. Este modelo de recompensa profissional em matemática baseado no treinamento Qwen2-Math-72B adota um método de treinamento inovador. A equipe de P&D combina habilmente o sinal de recompensa denso com o sinal binário para saber se o modelo responde corretamente ou não. Este sinal combinado é usado como um sinal de supervisão para construir dados SFT (ajuste fino supervisionado) por meio de amostragem de rejeição e no aprendizado por reforço. após a aplicação da tecnologia de otimização de política relativa (GRPO) do Grupo SFT. Este método de treinamento exclusivo melhora muito as capacidades de resolução de problemas matemáticos do modelo.
Em aplicações práticas, o Qwen2-Math-Instruct apresenta um desempenho incrível. Quer seja o 2024 AIME (American Invitational Mathematics Examination) ou o 2023 AMC (American Mathematics Competition), este modelo tem tido um bom desempenho em vários ambientes, incluindo pesquisa gananciosa (Greedy), votação por maioria, minimização de risco e outras estratégias.
O que é ainda mais emocionante é que Qwen2-Math também demonstrou grande força na resolução de alguns problemas de nível das Olimpíadas Internacionais de Matemática (IMO). Através da análise de uma série de casos de teste, os pesquisadores descobriram que o Qwen2-Math pode não apenas resolver facilmente problemas simples de competição matemática, mas também fornecer soluções convincentes ao enfrentar problemas complexos.
No entanto, a equipe do Alibaba Cloud não parou por aí. Eles revelaram que a atual série Qwen2-Math suporta apenas inglês, mas já estão desenvolvendo ativamente modelos bilíngues que suportam inglês e chinês e planejam lançar versões multilíngues em um futuro próximo. Além disso, a equipe continua a otimizar o modelo para melhorar ainda mais sua capacidade de resolver problemas matemáticos mais complexos e desafiadores.
O surgimento do Qwen2-Math abriu, sem dúvida, novas possibilidades para a aplicação da IA no campo da matemática. Não só trará mudanças revolucionárias à indústria da educação e ajudará os alunos a compreender e dominar melhor o conhecimento matemático, mas também poderá desempenhar um papel importante na investigação científica, na engenharia e noutros campos que requerem cálculos matemáticos complexos.
Página do projeto: https://top.aibase.com/tool/qwen2-math
Download do modelo: https://huggingface.co/Qwen
Em suma, o surgimento da série de modelos Qwen2-Math marca um grande avanço para a IA no campo da matemática. O seu potencial de desenvolvimento futuro é enorme e merece atenção contínua. O editor do Downcodes acredita que com o avanço contínuo da tecnologia, o Qwen2-Math trará mais possibilidades para a educação matemática e a pesquisa científica.