Meta는 최근 대규모 언어 모델을 훈련하는 데 필요한 컴퓨팅 성능이 앞으로 기하급수적으로 증가할 것이라고 발표했습니다. Meta CEO Zuckerberg는 실적 발표에서 Llama 4의 훈련 계산량이 Llama 3의 10배가 될 것이라고 밝혔습니다. 이 소식은 대규모 언어 모델 훈련의 높은 비용과 기술적 과제를 강조하고 AI 분야의 거대 기술 기업들 사이의 계속되는 치열한 경쟁을 반영합니다. Meta는 미래의 모델 교육 요구 사항을 충족하기 위해 해당 컴퓨팅 기능을 구축하는 데 적극적으로 투자하고 있습니다.
대규모 오픈소스 기본 언어 모델인 Llama의 개발자인 Meta는 모델 학습에 필요한 컴퓨팅 성능이 앞으로 크게 증가할 것이라고 믿습니다. 화요일 Meta의 2분기 실적 발표에서 Mark Zuckerberg는 Llama4를 훈련하려면 Llama3을 훈련할 때보다 10배의 컴퓨팅 성능이 필요하다고 밝혔습니다. 그럼에도 불구하고 메타가 경쟁사에 뒤처지지 않으려면 모델 학습 능력을 키워야 한다고 강조했다.
Zuckerberg는 "Llama4를 훈련하려면 Llama3을 훈련하는 데 필요한 계산량이 거의 10배나 필요할 수 있으며 향후 모델에는 계속해서 더 많은 계산량이 필요할 것입니다."라고 Zuckerberg는 말했습니다. 하지만 지금 이 순간에는 너무 늦는 것보다 필요한 역량을 미리 구축해 두는 것이 더 낫다. 새로운 추론 프로젝트를 시작하려면 오랜 준비 시간이 필요하다.
올해 4월 Meta는 800억 개의 매개변수를 갖춘 Llama3를 출시했습니다. 지난주 회사는 매개변수가 4,050억에 달하는 업그레이드 버전 Llama3.1405B를 출시하여 Meta의 최대 오픈 소스 모델이 되었습니다.
Meta의 CFO Susan Lee는 또한 회사가 미래 AI 모델 교육을 위한 다양한 데이터 센터 프로젝트와 역량 구축을 고려하고 있다고 말했습니다. 메타는 이번 투자로 2025년에는 자본 지출이 증가할 것으로 기대한다고 말했다.
아시다시피, 대규모 언어 모델을 훈련하는 것은 비용이 많이 드는 사업입니다. 2024년 2분기 메타의 자본 지출은 서버, 데이터센터, 네트워크 인프라에 대한 투자에 힘입어 1년 전 64억 달러에서 85억 달러로 거의 33% 증가했습니다.
하이라이트:
?Meta Llama4를 훈련하는 데 필요한 컴퓨팅 성능은 Llama3을 훈련하는 데 필요한 컴퓨팅 성능의 약 10배입니다.
?Meta는 2025년에는 건물 용량에 대한 투자가 자본 지출을 증가시킬 것으로 예상합니다.
?대규모 언어 모델을 훈련하는 데는 비용이 많이 들고, Meta의 자본 지출은 2분기에 크게 증가했습니다.
전체적으로 미래 AI 모델 훈련에 대한 메타의 막대한 투자는 인공지능 분야에 대한 야망을 보여주는 동시에 AI 산업의 경쟁이 점점 치열해지고 기술 개발의 급속한 발전을 예고하기도 한다. 이는 전체 기술 산업에 중대한 영향을 미칠 것입니다.