Emirates Institute of Technology Innovation (TII)은 4 가지 크기 (1B, 3B, 7B 및 10B)를 포함하여 새로운 세대의 오픈 소스 소규모 언어 모델 FALCON3 시리즈를 발표했으며 기본 버전 및 지침 버전의 두 가지 변형을 제공했습니다. 이 릴리스는 AI 기술의 사용을 줄이고 개발자, 연구원 및 기업에 효율적이고 경제적 인 AI 솔루션을 제공하는 것을 목표로합니다. Falcon3은 Hugging Face 순위에서 잘 수행되어 동일한 크기의 오픈 소스 모델을 능가하고 여러 벤치 마크 테스트에서 Google, Meta 및 Alibaba와 같은 자이언트보다 여러 벤치 마크 테스트에서 추론 속도, 언어 이해 및 교육을 반영합니다. 실행 기술적 장점 다른 측면에서.
그림 소스 비고 : 사진은 AI, 사진 승인 서비스 제공 업체 Midjourney에 의해 생성됩니다.
Falcon3의 성능은 Hugging Face 순위에서 눈에 띄었으며 Meta의 LLAMA 및 QWEN-2.5와 같은 동일한 오픈 소스 모델을 능가했습니다. 특히 7B 및 10B 버전은 추론 속도, 언어 이해, 교육 실행 및 코드 및 수학적 작업의 주요 기술적 이점을 보여 주었으며 여러 벤치 마크 테스트에서 Google, Meta 및 Alibaba와 같은 경쟁 업체를 능가했습니다.
전통적인 대형 스케일 언어 모델 (LLM)과 비교할 때 SLM 모델은 매개 변수와 더 간단한 설계를 가지고 있으며, 이는 높은 효율성과 저렴한 비용 장점을 가지고 있으며, 특히 고객 서비스, 의료 분야, 사물 인터넷 분야의 적용에 적합합니다. . Market Research Company Valuates 보고서의 데이터에 따르면 SLM 시장은 향후 5 년간 연간 평균 연간 성장률을 달성 할 것으로 예상됩니다.
Falcon3 시리즈 교육 데이터는 14 조 토큰에 도달했으며, 이는 전임자 Falcon2의 두 배 이상입니다. 이 시리즈는 유일한 디코더 아키텍처 및 그룹 쿼리주의 메커니즘을 사용하여 메모리 사용을 극대화하면서 추론의 효율성을 향상시킵니다. FALCON3은 영어, 프랑스어, 스페인어 및 포르투갈어와 같은 4 가지 언어를 지원하며 긴 입력 텍스트를 처리하고 다양한 산업의 요구를 충족시킬 수있는 32K 컨텍스트 창이 장착되어 있습니다.
TII는 FALCON3의 기본 모델은 일반적인 작업에 적합하며 지침 버전은 고객 서비스 및 가상 어시스턴트와 같은 대화 작업에 최적화되어 있다고 말했다. 이 시리즈의 출시는 한계 컴퓨팅 및 개인 정보 보호 -민감성 응용 프로그램의 개발을 더욱 촉진 할 것이며 개인화 된 권장 사항, 데이터 분석, 의료 진단 및 공급망 최적화와 같은 시나리오를 지원합니다.
모든 FALCON3 모델은 TII Falcon License2.0 릴리스를 따릅니다. 이것은 APACHE2.0을 기반으로 한 느슨한 라이센스이며 책임있는 AI 개발 및 배포를 지원합니다. Tii는 개발자와 연구원이 시작하도록 돕기 위해 Falcon Playground 테스트 환경을 시작했습니다.
FALCON3 시리즈의 오픈 소스 특성과 효율적인 성능은 경량 AI 응용 프로그램에 이상적인 선택입니다. AI 기술의 대중화 및 적용을 가속화하고 AI 기술의 추가 민주화 프로세스를 촉진 할 것으로 예상됩니다. 여러 벤치 마크 테스트에서 경쟁 업체의 탁월한 성능을 능가했으며 소규모 언어 모델의 미래 개발 잠재력이 크다는 것을 나타냅니다.