Meta는 최근 Llama 시리즈의 최신 멤버인 Llama3.370B의 출시를 발표했습니다. Meta의 생성 AI 부사장인 Ahmad Al-Dahle는 대폭 감소에 대한 소식을 전했습니다.
Al-Dahle은 Llama3.370B가 최신 훈련 후 기술을 활용하여 성능을 향상시킬 뿐만 아니라 운영 비용도 절감한다고 말했습니다. Meta가 발표한 벤치마크 테스트 결과에 따르면 Llama3.370B는 Google의 Gemini1.5Pro, OpenAI의 GPT-4, Amazon이 새로 출시한 Nova Pro를 여러 분야에서, 특히 모델의 언어 이해 능력을 평가하는 MMLU 테스트에서 능가했습니다.
이 모델은 이제 Hugging Face와 Llama의 공식 플랫폼 등의 소스에서 다운로드할 수 있습니다. 이는 "개방형" 모델로 AI 분야를 장악하려는 Meta의 움직임입니다. Meta의 Llama 모델은 다양한 시나리오에 적용할 수 있고 상용화를 지원합니다. 하지만 Meta는 일부 개발자에 대해 사용 제한을 설정하여 월간 사용자가 7억 명 이상인 플랫폼이 특별 라이선스를 신청하도록 요구했습니다. 그럼에도 불구하고 Llama 모델은 6억 5천만 회 이상 다운로드되어 전 세계 AI 개발자들 사이에서 널리 인기를 얻고 있음을 알 수 있습니다.
향후 대규모 AI 모델 훈련을 지원하기 위해 메타는 컴퓨팅 인프라에 많은 투자를 하고 있습니다. 회사는 최근 루이지애나에 100억 달러 규모의 AI 데이터센터를 건설하겠다고 발표했는데, 이는 현재까지 메타의 AI 데이터센터 중 최대 규모다. Zuckerberg는 실적 발표에서 차세대 Llama4 모델을 교육하는 데 필요한 컴퓨팅 성능이 Llama3의 10배가 될 것이라고 언급했습니다. Meta는 현재 xAI와 같은 경쟁사의 리소스와 일치하는 100,000개 이상의 Nvidia GPU 클러스터를 구입했습니다.
생성적 AI 모델 훈련 비용이 지속적으로 증가함에 따라 Meta의 자본 지출도 증가하는 추세를 보이고 있습니다. 2024년 2분기 자본 지출은 85억 달러로 약 33% 증가했습니다. 이러한 성장은 주로 서버, 데이터 센터 및 네트워크 인프라에 대한 Meta의 지속적인 투자에 기인합니다.