Recentemente, pesquisadores da Universidade de Stanford e da Universidade de Washington treinaram com sucesso um modelo de inferência de IA chamado S1, que custa apenas US $ 50. O desempenho do modelo no teste de capacidade matemática e de programação é comparável ao modelo O1 do OpenAI e ao modelo R1 da Deepseek. Esse resultado provocou novos pensamentos sobre a comercialização dos modelos de IA e também causou preocupações entre os grandes laboratórios de IA.
A equipe de pesquisa extraiu os recursos de inferência necessária do modelo básico pronto através da tecnologia de destilação e treinado usando o modelo experimental de pensamento flash Gemini2.0 do Google. Esse processo não é apenas barato, mas também treinamento rápido.
No entanto, os grandes laboratórios de IA estão insatisfeitos com o fenômeno dos modelos de replicação de baixo custo. A Meta, o Google e a Microsoft planejam investir centenas de bilhões de dólares nos próximos dois anos para treinar modelos de IA de próxima geração para consolidar sua posição no mercado.
Os resultados da pesquisa do S1 mostram a possibilidade de alcançar um forte desempenho de inferência por meio de conjuntos de dados relativamente pequenos e métodos de ajuste fino supervisionado, que também fornecem novas direções para futuras pesquisas de IA.
Papel: https://arxiv.org/pdf/2501.19393
Código: https://github.com/simplescaling/s1
Pontos -chave:
O custo de treinamento do modelo S1 é inferior a US $ 50 e seu desempenho é comparável ao dos principais modelos de inferência.
Através da tecnologia de destilação, a equipe de pesquisa extrai recursos de raciocínio de modelos prontos, e o processo de treinamento é rápido e eficiente.
Os grandes laboratórios de IA expressaram preocupações sobre a situação de modelos de replicação de baixo custo, e os investimentos se concentrarão na infraestrutura de IA no futuro.