O Emirates Technology Innovation Institute (TII) lançou uma nova geração de modelos de linguagem pequena de código aberto da série Falcon3, incluindo quatro modelos de tamanhos diferentes (1B, 3B, 7B e 10B), e fornecendo duas variantes: versão básica e versão de instrução. Esta versão visa reduzir o limite para o uso da tecnologia de IA e fornecer aos desenvolvedores, pesquisadores e empresas soluções de IA eficientes e econômicas. Falcon3 teve um bom desempenho no ranking Hugging Face, superando modelos de código aberto do mesmo tamanho e superando produtos de gigantes como Google, Meta e Alibaba em vários testes de benchmark, refletindo sua velocidade de inferência, compreensão de linguagem e vantagens técnicas em outros. aspectos.
Nota sobre a fonte da imagem: a imagem é gerada pela IA e pelo provedor de serviços de autorização de imagem Midjourney
O desempenho do Falcon 3 liderou a classificação Hugging Face, superando modelos de código aberto do mesmo tamanho, como Meta’s Llama e Qwen-2.5. Em particular, as versões 7B e 10B demonstraram vantagens técnicas líderes em velocidade de raciocínio, compreensão de linguagem, execução de instruções e tarefas de código e matemática, e até superaram concorrentes como Google, Meta e Alibaba em vários testes de benchmark.
Em comparação com os modelos tradicionais de linguagem grande (LLM), os modelos SLM têm as vantagens de alta eficiência e baixo custo devido ao seu menor número de parâmetros e design mais simples, e são especialmente adequados para aplicações em atendimento ao cliente, saúde, Internet das Coisas e outras áreas. Espera-se que o mercado de SLM cresça a uma taxa média anual de 18% nos próximos cinco anos, de acordo com a empresa de pesquisa de mercado Values Reports.
A escala de dados de treinamento da série Falcon3 atinge 14 trilhões de tokens, o que é mais que o dobro de seu antecessor Falcon2. A série adota uma arquitetura somente decodificador e um mecanismo de atenção de consulta agrupado para minimizar o uso de memória e, ao mesmo tempo, melhorar a eficiência de inferência. Falcon3 suporta quatro idiomas, incluindo inglês, francês, espanhol e português, e está equipado com uma janela de contexto de 32K, que pode lidar com textos de entrada longos e atender às necessidades de diversos setores.
A TII disse que o modelo básico do Falcon3 é adequado para tarefas de uso geral, enquanto a versão de comando é otimizada para tarefas de conversação, como atendimento ao cliente e assistentes virtuais. O lançamento desta série promoverá ainda mais o desenvolvimento de aplicações de computação de ponta e sensíveis à privacidade, apoiando cenários como recomendações personalizadas, análise de dados, diagnóstico médico e otimização da cadeia de suprimentos.
Todos os modelos Falcon3 são lançados sob a TII Falcon License 2.0, uma licença permissiva baseada no Apache 2.0 que oferece suporte ao desenvolvimento e implantação de IA responsável. Para ajudar desenvolvedores e pesquisadores a começar, a TII também lançou o ambiente de teste Falcon Playground, onde os usuários podem experimentar esses modelos antes de integrá-los.
Os recursos de código aberto e o desempenho eficiente da série Falcon3 tornam-na uma escolha ideal para aplicações leves de IA. Espera-se que acelere a popularização e aplicação da tecnologia de IA em vários campos e promova uma maior democratização da tecnologia de IA. Seu excelente desempenho, superando os concorrentes em vários testes de benchmark, também indica que modelos de linguagem pequena têm grande potencial para desenvolvimento futuro.