Meta近日宣布，其未来大型语言模型的训练所需计算力将呈指数级增长。Meta首席执行官扎克伯格在财报电话会议上透露，Llama 4的训练计算量将是Llama 3的十倍之多。这一消息突显了大型语言模型训练的高昂成本和技术挑战，也反映了科技巨头们在AI领域持续激烈的竞争态势。Meta正在积极投资建设相应的计算能力，以应对未来模型训练的需求。
Meta 作为大型开源基础语言模型 Llama 的开发者，认为未来训练模型所需的计算力将大幅增加。周二，在 Meta 的第二季度财报电话会议上，马克·扎克伯格透露，训练 Llama4所需的计算力将是训练 Llama3的10倍。他强调，即便如此，Meta 也要构建训练模型的能力，以免落后于竞争对手。
扎克伯格表示:“训练 Llama4所需的计算量可能几乎是训练 Llama3的10倍，而且未来的模型所需计算量还会继续增加。”他还指出，难以预测未来多代模型的发展趋势，但此刻宁愿提前建设所需能力，也不愿为时过晚，毕竟启动新的推理项目需要很长的准备时间。
今年4月，Meta 发布了拥有800亿参数的 Llama3。上周，该公司又发布了其升级版 Llama3.1405B，参数达到4050亿，成为 Meta 最大的开源模型。
Meta 的首席财务官苏珊·李也表示，公司正在考虑不同的数据中心项目，并为训练未来的 AI 模型建设能力。她称，Meta 预计这项投资将增加2025年的资本支出。
要知道，训练大型语言模型可是个烧钱的业务。2024年第二季度，Meta 的资本支出在服务器、数据中心和网络基础设施等方面的投资推动下，从一年前的64亿美元增加到85亿美元，增长近33%。
划重点:
?Meta 训练 Llama4所需计算力约为训练 Llama3的10倍。
?Meta 预计投资建设能力将增加2025年资本支出。
?训练大型语言模型成本高昂，Meta 二季度资本支出大幅增长。
总而言之，Meta对未来AI模型训练的巨额投资，展现了其在人工智能领域的雄心壮志，但也预示着AI行业竞争的日益激烈和技术发展的飞速前进。 这将对整个科技产业产生深远的影响。