O Emirates Technology Innovation Institute (TII) lançou uma nova geração de modelos de linguagem pequena de código aberto da série Falcon3, que inclui quatro modelos de tamanhos diferentes e oferece duas variantes: versão básica e versão de comando. Esta série de modelos tem um bom desempenho nas classificações Hugging Face, superando modelos de código aberto do mesmo tamanho e até mesmo superando concorrentes como Google, Meta e Alibaba em vários testes de benchmark. A série Falcon3 é eficiente e de baixo custo, sendo particularmente adequada para dispositivos e cenários de aplicação com recursos computacionais limitados, como atendimento ao cliente, saúde e Internet das Coisas. Seus dados de treinamento são de grande escala e usam arquitetura e mecanismos avançados para minimizar o uso de memória e melhorar a eficiência de inferência. O TII também fornece o ambiente de teste Falcon Playground para facilitar que desenvolvedores e pesquisadores o experimentem.
Nota sobre a fonte da imagem: a imagem é gerada pela IA e pelo provedor de serviços de autorização de imagem Midjourney
O desempenho do Falcon 3 liderou a classificação Hugging Face, superando modelos de código aberto do mesmo tamanho, como Meta’s Llama e Qwen-2.5. Em particular, as versões 7B e 10B demonstraram vantagens técnicas líderes em velocidade de raciocínio, compreensão de linguagem, execução de instruções e tarefas de código e matemática, e até superaram concorrentes como Google, Meta e Alibaba em vários testes de benchmark.
Em comparação com os modelos tradicionais de linguagem grande (LLM), os modelos SLM têm as vantagens de alta eficiência e baixo custo devido ao seu menor número de parâmetros e design mais simples, e são especialmente adequados para aplicações em atendimento ao cliente, saúde, Internet das Coisas e outras áreas. De acordo com a empresa de pesquisa de mercado Values Reports, espera-se que o mercado de SLM cresça a uma taxa média anual de 18% nos próximos cinco anos.
A escala de dados de treinamento da série Falcon3 atinge 14 trilhões de tokens, o que é mais que o dobro de seu antecessor Falcon2. Esta série adota uma arquitetura somente decodificador e um mecanismo de atenção de consulta agrupado para minimizar o uso de memória e, ao mesmo tempo, melhorar a eficiência de inferência. Falcon3 suporta quatro idiomas, incluindo inglês, francês, espanhol e português, e está equipado com uma janela de contexto de 32K, que pode lidar com textos de entrada longos e atender às necessidades de diversos setores.
A TII disse que o modelo básico do Falcon3 é adequado para tarefas de uso geral, enquanto a versão de comando é otimizada para tarefas de conversação, como atendimento ao cliente e assistentes virtuais. O lançamento desta série promoverá ainda mais o desenvolvimento de aplicações de computação de ponta e sensíveis à privacidade, apoiando cenários como recomendações personalizadas, análise de dados, diagnóstico médico e otimização da cadeia de suprimentos.
Todos os modelos Falcon3 são lançados sob a TII Falcon License 2.0, uma licença permissiva baseada no Apache 2.0 que oferece suporte ao desenvolvimento e implantação responsável de IA. Para ajudar desenvolvedores e pesquisadores a começar, a TII também lançou o ambiente de teste Falcon Playground, onde os usuários podem experimentar esses modelos antes de integrá-los.
O lançamento de código aberto da série Falcon3 reduz o limite para a aplicação da tecnologia de IA, fornece aos desenvolvedores e pesquisadores ferramentas poderosas, acelera a aplicação e a inovação da tecnologia de IA em vários campos e anuncia a tendência de maior popularização e democratização da tecnologia de IA.