隨著首款國產3A級遊戲鉅作《黑神話：悟空》的風靡全球，其背後所實現的物理世界與虛擬世界之間無縫對接的空間算力市場，也迅速成為資本市場的新寵。在大模型掀起的浪潮之下，龐大的算力需求應運而生。
同時，支撐算力能力提升的基礎建設也備受業界關注。自2024年以來，AI大模型進入應用元年，越來越多商業銀行持續加碼在大模型的基礎設施建設領域的投入，多模態模型架構能力正成為金融機構佈局的重點方向。
多模態大模型趨勢凸顯
隨著大模型能力的不斷提升，2024年以來，銀行等金融機構紛紛增加AI大模型的場景應用與生態建設。
近期，多家上市銀行在年報中揭露AI大模型平台的建置進度。招商銀行半年報顯示，該行加強推動大語言模式體系化建設，從基礎建設、推理與訓練平台、演算法與模型、應用開發架構及場景應用等領域全面發力。不斷完善內部大模型體驗平台建設，加強與百餘家大模型生態鏈企業的深度溝通，推動大模型內、外部生態建設，加速推動AI大模型等前沿科技在本公司的應用落地。
建設銀行在半年報中明確，持續推動金融大模型建置及應用，全面賦能公司金融、個人金融、資金資管、風險管理、科技渠運、綜合管理六大板塊79 個行內業務場景。
平安銀行半年報指出，上半年自主研發大模型開放平台，加強算力平台、 大模型底座、大模型開發運維一體化（Ops）、智能體（Agent）、應用開發平台等基礎能力建置。
在2024招銀浦江數位金融生態大會上，招商銀行資訊科技部總經理、候任首席資訊長週天虹表示，大模型將成為影響人類社會的最大因子，在未來深刻改變人們的經濟、社會和生活方式；銀行也將積極探索大模型場景應用，持續加速推動AI大模型等前沿科技應用落地。
AI大模型基礎建設與場景應用探索，正成為銀行金融科技佈局的關鍵著力點。
招商銀行總行資訊科技部副總經理俞吳傑透露，該行2017年底就成立了實驗室，透過傳統科技的研究開始在語音、語言、視覺、影像等各方面展開研究。 「從2022年底ChatGPT推出後，銀行就將更多的資源投入到大模型領域，現在招商銀行在基礎設施建設和場景應用上都作為一個重點的投入方向。”
同時，俞吳傑也指出，目前大語言模型具備了理解能力、一定的生成能力和初步的邏輯推理能力，還沒有達到複雜邏輯推理以及原理推導的階段。在金融業的場景應用層面，俞吳傑認為，大模型的發展經歷三個階段：第一階段，產生了許多數位化產品，在產品中將大模型能力疊加進去，提升現有業務流程的效率；第二階段，產生的應用中天然融入了AI的能力，優化客服體系流程，讓客戶自助獲取金融服務；第三階段，大模型將重塑一切，包括底層操作系統、組織模式、流程分工等，帶來更加深刻和本質的影響。
從金融機構大模型應用實務來看，目前產業普遍處於第一、第二階段。值得關注的是，進入AI大模型發展階段，大模型的應用對企業大模型基礎建構提出了更高的要求。
阿里雲百煉大模型平台資深演算法專家劉兆洋表示，大模型技術發展有幾個可以探索的方向，其中One for all同時支援語言、語音、影像輸入的多模態模型是大趨勢，這是一套技術範式，能夠處理文字、圖像、視訊等多模態的輸入、輸出，其中也包括圖像的理解和生成。
根據最新發表的《人工智慧大語言模型技術發展研究報告（2024年）》顯示，未來的大模型將更重視多模態資料的整合與處理，更趨於提升自適應與遷移學習能力，並採用可解釋性演算法來提高透明度，使得大語言模型能夠更好地理解和適應複雜多變的實際應用環境。
不過，拓元智慧首席科學家王廣潤指出，目前的多模態模型大多基於7年前的技術架構，儘管這些模型已經取得了一定的進展，但仍存在許多不足之處，例如訓練和推理成本高昂、容易產生幻覺、不擅長長期規劃，以及無法自主完成複雜任務等。
王廣潤透露，針對這些問題，拓元智慧提出了透過全新技術架構來重塑多模態大模型基礎的創新想法。 「這項創新架構不僅顯著降低了大模型的訓練和測試成本，還大幅降低了中小企業進入大模型時代的門檻，從而推動了科技的平權化。”
算力基礎建設提速
大模型的發展和應用高度依賴強大的算力支持。劉兆洋表示，算力是這個時代最稀缺的資源，當今時代，算力基本上會成為每家企業發展或人工智慧發展的最大基石。
中國工程院院士、鵬城實驗室主任、北京大學博雅講席教授高文強調，GPT等模型的發展依賴大數據、大模型和大算力；算力規模是國家競爭力的核心要素，建設算力網至關重要，需解決核心算力供給、通訊連接和算力調度等挑戰，以推動AI的發展和應用。
在此背景下，越來越多頭部企業持續加大在大模型的基礎建設領域的投入。
招商銀行總行資訊技術部副總經理陳曦透露，目前該行也在加快AI雲平台的建設，為AI業務應用提供所需的基礎能力和模型服務平台，重點關注訓練集群和推理集群兩個集群的算力基礎建設。
陳曦表示，以前講的「三年上雲」是通算的雲，隨著大模型的出現，智算比例會越來越大，而且不僅是基礎設施的升級換代，也涉及到更上層面的開發範式變化。
劉兆洋指出，從2020年或2021年GPT開始做Transformer大模型的儲備之後，不管從大模型的數量還是大模型的規模，以及背後大模型對於算力、數據的需求，都能呈現出明顯指數增長的趨勢。
在這樣的趨勢下，大模型對於算力支撐也帶來了更大的挑戰。
崑崙芯金融首席架構師週瑋指出，大模型對於算力需求的增速，遠大於硬體本身的增速，也就是所謂的摩爾定律；同時，在中美競爭的大背景下，尤其國產晶片還會有卡脖子的問題。 “所以總體來說，全球算力供給都是不滿足於現在軟體需求的。”
此外，週瑋也表示，如何評價某一款算力能否滿足需求，不只看算力計算本身的能力，更要看綜合的指標。在周瑋看來，現在大家已經普遍認可算力不是簡單計算的浮點數或是主頻、核數這樣一個簡單的指標，它是計算、儲存和通訊不同硬體能力的綜合值。
週瑋強調，為了滿足大模型預訓練或精調算力需求，一定要把不同的算力做異質混合的算力資源池，在統一的資源池之下做訓練任務、推理任務，做Agent、 RAG。
在強化算力基礎建設投入的同時，部分金融機構也開始關注金融科技人才創新能力的提升，以進一步協助AI大模型建置與應用實務探索。
週天虹表示，展望未來，繼蒸汽時代、電氣時代、資訊時代之後，人類社會即將進入智慧時代；只有技術應用的百花齊放，才能推動「AI+金融」的整體向前發展。
招商銀行總行數位金融發展辦公室主任高旭磊也透露，該行推出了浦江數金學習計劃，增加交流頻次，提升交流密度，爭取碰撞出更多的創新方向。在高旭磊看來，創新不是孤立發生的，而是適宜的環境下，在思想、經驗和文化的交會處開出的花朵。 “在數位金融浪潮中，眾人皆是見證者、參與者和創造者。希望各家金融機構能夠共同研究數位金融發展規律，嘗試創新模式和方法，共同促進數位金融前沿技術的發展與應用。”