Emirates Technology Innovation Institute(TII)는 다양한 크기의 4가지 모델을 포함하고 기본 버전과 명령 버전의 두 가지 변형을 제공하는 차세대 오픈 소스 소형 언어 모델 Falcon3 시리즈를 출시했습니다. 이 일련의 모델은 Hugging Face 순위에서 좋은 성능을 발휘하여 동일한 규모의 오픈 소스 모델을 능가하고 여러 벤치마크 테스트에서 Google, Meta, Alibaba와 같은 경쟁사보다 뛰어난 성능을 발휘합니다. Falcon3 시리즈는 효율적이고 저렴하며 고객 서비스, 의료, 사물 인터넷 등 컴퓨팅 리소스가 제한된 장치 및 애플리케이션 시나리오에 특히 적합합니다. 훈련 데이터는 규모가 크며 고급 아키텍처와 메커니즘을 사용하여 메모리 사용량을 최소화하고 추론 효율성을 향상시킵니다. TII는 또한 개발자와 연구자가 쉽게 시험해 볼 수 있도록 Falcon Playground 테스트 환경을 제공합니다.
사진 출처 참고: 사진은 AI가 생성한 것이며, 사진 인증 서비스 제공업체 Midjourney가 제공한 것입니다.
Falcon 3의 성능은 Hugging Face 순위에서 1위를 차지했으며 Meta의 Llama 및 Qwen-2.5와 같은 동일한 크기의 오픈 소스 모델을 능가합니다. 특히 7B와 10B 버전은 추론 속도, 언어 이해, 명령 실행, 코드 및 수학 작업에서 선도적인 기술적 우위를 입증했으며, 여러 벤치마크 테스트에서 Google, Meta, Alibaba 등 경쟁사를 능가하기도 했습니다.
기존 LLM(대형 언어 모델)과 비교하여 SLM 모델은 매개 변수가 적고 디자인이 단순하기 때문에 효율성이 높고 비용이 저렴하다는 이점이 있으며 특히 고객 서비스, 의료, 사물 인터넷 및 기타 분야의 응용 프로그램에 적합합니다. 시장조사업체 Values Reports에 따르면 SLM 시장은 향후 5년간 연평균 18%씩 성장할 것으로 예상된다.
Falcon3 시리즈의 훈련 데이터 규모는 14조 토큰에 달하며 이는 이전 Falcon2보다 두 배 이상 증가한 수치입니다. 이 시리즈는 추론 효율성을 향상시키면서 메모리 사용량을 최소화하기 위해 디코더 전용 아키텍처와 그룹화된 쿼리 주의 메커니즘을 채택합니다. Falcon3는 영어, 프랑스어, 스페인어, 포르투갈어 등 4개 언어를 지원하며 32K 컨텍스트 창을 갖추고 있어 긴 입력 텍스트를 처리하고 다양한 산업의 요구를 충족할 수 있습니다.
TII는 Falcon3의 기본 모델이 범용 작업에 적합한 반면, 명령 버전은 고객 서비스 및 가상 비서와 같은 대화 작업에 최적화되어 있다고 말했습니다. 이 시리즈의 출시는 맞춤형 추천, 데이터 분석, 의료 진단 및 공급망 최적화와 같은 시나리오를 지원하여 엣지 컴퓨팅 및 개인 정보 보호 애플리케이션의 개발을 더욱 촉진할 것입니다.
모든 Falcon3 모델은 책임 있는 AI 개발 및 배포를 지원하는 Apache 2.0 기반의 허용 라이선스인 TII Falcon 라이선스 2.0에 따라 출시됩니다. 개발자와 연구원의 시작을 돕기 위해 TII는 사용자가 이러한 모델을 통합하기 전에 시험해 볼 수 있는 Falcon Playground 테스트 환경도 출시했습니다.
Falcon3 시리즈의 오픈 소스 릴리스는 AI 기술 적용의 문턱을 낮추고, 개발자와 연구자들에게 강력한 도구를 제공하며, 다양한 분야에서 AI 기술의 적용과 혁신을 가속화하고, AI 기술의 대중화와 민주화 추세를 예고합니다.