Meta近日宣布，其未來大型語言模型的訓練所需計算力將呈指數級增長。 Meta執行長祖克柏在財報電話會議上透露，Llama 4的訓練計算量將是Llama 3的十倍之多。這項消息突顯了大型語言模型訓練的高昂成本和技術挑戰，也反映了科技巨頭們在AI領域持續激烈的競爭態勢。 Meta正在積極投資建立相應的運算能力，以因應未來模型訓練的需求。
Meta 作為大型開源基礎語言模型Llama 的開發者，認為未來訓練模型所需的運算力將大幅增加。週二，在Meta 的第二季財報電話會議上，馬克·祖克柏透露，訓練Llama4所需的計算力將是訓練Llama3的10倍。他強調，即便如此，Meta 也要建立訓練模型的能力，以免落後於競爭對手。
祖克柏表示:「訓練Llama4所需的計算量可能幾乎是訓練Llama3的10倍，而且未來的模型所需計算量還會繼續增加。」他也指出，難以預測未來多代模型的發展趨勢，但此刻寧願提前建立所需能力，也不願為時過晚，畢竟啟動新的推理計畫需要很長的準備時間。
今年4月，Meta 發布了擁有800億參數的Llama3。上週，該公司又發布了其升級版Llama3.1405B，參數達4050億，成為Meta 最大的開源模型。
Meta 的財務長蘇珊李也表示，公司正在考慮不同的資料中心項目，並為訓練未來的AI 模型建立能力。她稱，Meta 預計這項投資將增加2025年的資本支出。
要知道，訓練大型語言模型可是個燒錢的業務。 2024年第二季度，Meta 的資本支出在伺服器、資料中心和網路基礎設施等方面的投資推動下，從一年前的64億美元增加到85億美元，成長近33%。
劃重點:
?Meta 訓練Llama4所需計算力約為訓練Llama3的10倍。
?Meta 預計投資建構能力將增加2025年資本支出。
?訓練大型語言模型成本高昂，Meta 第二季資本支出大幅成長。
總而言之，Meta對未來AI模型訓練的巨額投資，展現了其在人工智慧領域的雄心壯志，但也預示著AI行業競爭的日益激烈和技術發展的飛速前進。 這將對整個科技產業產生深遠的影響。