随着首款国产3A级游戏巨作《黑神话：悟空》的风靡全球，其背后所实现的物理世界与虚拟世界之间无缝对接的空间算力市场，也迅速成为资本市场的新宠。在大模型掀起的浪潮之下，巨大的算力需求应运而生。
与此同时，支撑算力能力提升的基础设施建设也备受行业关注。2024年以来，AI大模型进入应用元年，越来越多商业银行持续加码在大模型的基础设施建设领域的投入，多模态模型架构能力正在成为金融机构布局的重点方向。
多模态大模型趋势凸显
随着大模型能力的不断提升，2024年以来，银行等金融机构纷纷加大AI大模型的场景应用和生态建设。
近期，多家上市银行在年报中披露AI大模型平台的建设进展。招商银行半年报显示，该行加强推进大语言模型体系化建设，从基础设施、推理与训练平台、算法与模型、应用开发框架和场景应用等领域全面发力。不断完善内部大模型体验平台建设，加强与百余家大模型生态链企业的深度沟通，推进大模型内、外部生态建设，加快推动AI大模型等前沿科技在本公司的应用落地。
建设银行在半年报中明确，持续推进金融大模型建设及应用，全面赋能公司金融、个人金融、资金资管、风险管理、科技渠运、综合管理六大板块 79 个行内业务场景。
平安银行半年报指出，上半年自主研发大模型开放平台，加强算力平台、 大模型底座、大模型开发运维一体化（Ops）、智能体（Agent）、应用开发平台等基础能力建设。
在2024招银浦江数字金融生态大会上，招商银行信息技术部总经理、候任首席信息官周天虹表示，大模型将成为影响人类社会的最大因子，在未来深刻改变人们的经济、社会和生活方式；银行也将积极探索大模型场景应用，持续加快推动AI大模型等前沿科技应用落地。
AI大模型基础设施建设和场景应用探索，正在成为银行金融科技布局的关键着力点。
招商银行总行信息技术部副总经理俞吴杰透露，该行2017年年底就成立了实验室，通过对传统技术的研究开始在语音、语言、视觉、图像等各个方面展开研究。“从2022年年底ChatGPT推出后，银行就将更多的资源投入到大模型领域，现在招商银行在基础设施建设和场景应用上都作为一个重点的投入方向。”
同时，俞吴杰也指出，当前大语言模型具备了理解能力、一定的生成能力和初步的逻辑推理能力，还没有达到复杂逻辑推理以及原理推导的阶段。在金融行业的场景应用层面，俞吴杰认为，大模型的发展经历三个阶段：第一阶段，产生了很多数字化产品，在产品中将大模型能力叠加进去，提升现有业务流程的效率；第二阶段，产生的应用中天然融入了AI的能力，优化客服体系流程，让客户自助获取金融服务；第三阶段，大模型将重塑一切，包括底层操作系统、组织模式、流程分工等，带来更加深刻和本质的影响。
从金融机构大模型应用实践来看，当前行业普遍处于第一、第二阶段。值得关注的是，进入AI大模型发展阶段，大模型的应用对企业大模型基础建设提出了更高的要求。
阿里云百炼大模型平台资深算法专家刘兆洋表示，大模型技术发展有几个可以探索的方向，其中One for all同时支持语言、语音、图像输入的多模态模型是大趋势，这是一套技术范式，能够处理文本、图像、视频等多模态的输入、输出，其中也包括图像的理解和生成。
据最新发布的一份《人工智能大语言模型技术发展研究报告（2024年）》显示，未来的大模型将更加注重多模态数据的融合和处理，更趋于提升自适应和迁移学习能力，并采用可解释性算法提高透明度，使得大语言模型能够更好地理解和适应复杂多变的实际应用环境。
不过，拓元智慧首席科学家王广润指出，当前的多模态模型大多基于7年前的技术架构，尽管这些模型已经取得了一定的进展，但仍存在许多不足之处，例如训练和推理成本高昂、容易产生幻觉、不擅长长期规划，以及无法自主完成复杂任务等。
王广润透露，针对这些问题，拓元智慧提出了通过全新技术架构来重塑多模态大模型基础的创新思路。“这一创新架构不仅显著降低了大模型的训练和测试成本，还大幅降低了中小企业进入大模型时代的门槛，从而推动了科技的平权化。”
算力基础设施建设提速
大模型的发展和应用高度依赖于强大的算力支持。刘兆洋表示，算力是这个时代最稀缺的资源，当今时代，算力基本上会成为每家企业发展或者人工智能发展的最大基石。
中国工程院院士、鹏城实验室主任、北京大学博雅讲席教授高文强调，GPT等模型的发展依赖于大数据、大模型和大算力；算力规模是国家竞争力的核心要素，建设算力网至关重要，需解决核心算力供给、通信连接和算力调度等挑战，以推动AI的发展和应用。
在此背景下，越来越多头部企业持续加大在大模型的基础设施建设领域的投入。
招商银行总行信息技术部副总经理陈曦透露，目前该行也在加快AI云平台的建设，为AI业务应用提供所需的基础能力和模型服务平台，重点聚焦训练集群和推理集群两个集群的算力基础设施建设。
陈曦表示，以前讲的“三年上云”是通算的云，随着大模型的出现，智算比例会越来越大，而且不仅是基础设施的升级换代，也涉及到更上层面的开发范式变化。
刘兆洋指出，从2020年或者2021年GPT开始做Transformer大模型的储备之后，不管从大模型的数量还是大模型的规模，以及背后大模型对于算力、数据的需求，都能呈现出明显指数增长的趋势。
在这样的趋势下，大模型对于算力支撑也带来了更大的挑战。
昆仑芯金融首席架构师周玮指出，大模型对于算力需求的增速，远大于硬件本身的增速，也就是所谓的摩尔定律；同时，在中美竞争的大背景下，尤其国产芯片还会有卡脖子的问题。“所以总体来说，全球算力供给都是不满足于现在软件需求的。”
此外，周玮还表示，如何评价某一款算力能否满足需求，不只看算力计算本身的能力，更要看综合的指标。在周玮看来，现在大家已经普遍认可算力不是简单计算的浮点数或者主频、核数这样一个简单的指标，它是计算、存储和通信不同硬件能力的综合值。
周玮强调，为了满足大模型预训练或者精调算力需求，一定要把不同的算力做异构混合的算力资源池，在统一的资源池之下做训练任务、推理任务，做Agent、RAG。
强化算力基础设施建设投入的同时，部分金融机构也开始关注金融科技人才创新能力的提升，以进一步助力AI大模型建设和应用实践探索。
周天虹表示，展望未来，继蒸汽时代、电气时代、信息时代之后，人类社会即将进入智能时代；只有技术应用的百花齐放，才能推动“AI+金融”的整体向前发展。
招商银行总行数字金融发展办公室主任高旭磊也透露，该行推出了浦江数金学习计划，增加交流频次，提升交流密度，争取碰撞出更多的创新方向。在高旭磊看来，创新不是孤立发生的，而是适宜的环境下，在思想、经验和文化的交汇处开出的花朵。“在数字金融浪潮中，众人皆是见证者、参与者和创造者。希望各家金融机构能够共同研究数字金融发展规律，尝试创新模式和方法，共同促进数字金融前沿技术的发展与应用。”