O editor de Downcodes levará você para conhecer as últimas novidades dos pesquisadores Meta! Eles usaram o modelo Transformer para superar um problema não resolvido de longa data no campo de sistemas dinâmicos - encontrar a função global de Lyapunov. Esta pesquisa não apenas demonstra as poderosas capacidades dos modelos de linguagem em grande escala no raciocínio matemático complexo, mas, mais importante ainda, propõe um método inovador de "geração reversa" que resolve efetivamente o problema de dados de treinamento insuficientes e abre caminho para a IA na descoberta científica. As aplicações nele abriram novos caminhos. Os resultados da pesquisa foram publicados no arXiv e o endereço do artigo foi fornecido.
Grandes modelos de linguagem funcionam bem em muitas tarefas, mas suas capacidades de raciocínio têm sido controversas. Pesquisadores da Meta publicaram recentemente um artigo mostrando como eles usam o modelo Transformer para resolver um problema de longa data em matemática: descobrir a função global de Lyapunov de um sistema dinâmico.
A função Lyapunov pode determinar se um sistema dinâmico é estável. Por exemplo, pode ser usada para prever a estabilidade de longo prazo do problema dos três corpos, ou seja, a trajetória de longo prazo de três corpos celestes sob a influência da gravidade. . No entanto, ainda não foi encontrado nenhum método geral para derivar a função de Lyapunov, e sua função correspondente é conhecida apenas por alguns sistemas.
Para resolver esse problema, os pesquisadores da Meta treinaram um modelo de transformador sequência a sequência para prever a função de Lyapunov de um determinado sistema. Eles usaram de forma inovadora uma abordagem de "geração inversa" para criar um grande conjunto de dados de treinamento contendo sistemas dinâmicos estáveis e suas funções de Lyapunov correspondentes.
O método tradicional de "geração direta" parte de um sistema gerado aleatoriamente e tenta calcular sua função Lyapunov. Este método é ineficiente e só pode lidar com certos tipos de sistemas simples. O método de "geração reversa" primeiro gera aleatoriamente funções de Lyapunov e depois constrói um sistema estável correspondente a elas, contornando assim o problema de cálculo de funções de Lyapunov e gerando dados de treinamento mais diversos.
Os pesquisadores descobriram que o modelo Transformer treinado no conjunto de dados de “geração inversa” alcançou uma precisão quase perfeita no conjunto de testes (99%) e também teve um bom desempenho no conjunto de testes fora de distribuição (73%). Ainda mais surpreendente é que ao adicionar um pequeno número (300) de exemplos simples de "geração direta" ao conjunto de treinamento, a precisão do modelo pode ser melhorada para 84%, o que mostra que mesmo um pequeno número de soluções conhecidas pode melhorar significativamente a precisão do modelo. Melhorar a capacidade de generalização do modelo.
Para testar a capacidade do modelo de descobrir novas funções de Lyapunov, os pesquisadores geraram dezenas de milhares de sistemas aleatórios e usaram o modelo para fazer previsões. Os resultados mostram que o modelo é dez vezes mais bem-sucedido em encontrar funções de Lyapunov em sistemas polinomiais do que os métodos de última geração, e também pode encontrar funções de Lyapunov em sistemas não polinomiais, algo que nenhum algoritmo atual pode fazer. pequeno.
Os pesquisadores também compararam o modelo com matemáticos humanos. Eles convidaram 25 alunos de mestrado em matemática para realizar um teste, e os resultados mostraram que a precisão do modelo era muito maior do que a dos humanos.
Esta pesquisa mostra que os modelos Transformer podem ser treinados para resolver problemas complexos de raciocínio matemático e que os métodos de "geração inversa" podem efetivamente criar conjuntos de dados de treinamento que superam as limitações dos métodos tradicionais. No futuro, os investigadores planeiam aplicar este método a outros problemas matemáticos e explorar mais possibilidades da IA na descoberta científica.
Endereço do artigo: https://arxiv.org/pdf/2410.08304
Em suma, a investigação da Meta fornece novas ideias e métodos para a IA resolver problemas científicos complexos e também indica que a IA desempenhará um papel cada vez mais importante no campo da investigação científica. O editor do Downcodes continuará prestando atenção aos mais recentes desenvolvimentos no campo da IA e trazendo relatórios mais interessantes aos leitores!