LeCun和謝賽寧團隊發布了令人矚目的多模態大型語言模型Cambrian-1，這是一個將視覺放在首位的創新。 它不僅僅是一個技術突破，更代表著對多模態學習研究的全新思考，其開源性質為研究者和開發者提供了寶貴的資源。 Cambrian-1的設計圍繞著視覺表徵學習、連接器設計、指令微調資料、指令微調策略和基準測試五個核心要素展開，在視覺語言任務上表現出色，甚至與一些頂尖專有模型不相上下。然而，研究團隊也坦誠地指出了模型在對話能力上的不足，並透過改進訓練方法積極應對。
在AI的世界裡，我們剛剛迎來了一個令人矚目的新成員－Cambrian-1，這是一個由LeCun和謝賽寧等業界大牛聯手打造的多模態大型語言模型（MLLM）。這個模型的出現，不僅是技術上的一次飛躍，更是對多模態學習研究的深刻反思。
Cambrian-1的設計哲學是將視覺放在第一位，這在當今以語言為中心的AI研究中顯得特別珍貴。它提醒我們，人類獲取知識的途徑遠不止語言一種，視覺、聽覺、觸覺等感官經驗也同樣重要。 Cambrian-1的開源，為所有對多模態學習感興趣的研究者和開發者提供了一個寶貴的資源。
這個模型的構建，圍繞著五個核心要素：視覺表徵學習、連接器設計、指令微調資料、指令微調策略和基準測試。每一個要素都是對MLLM設計空間的深入探索，體現了研究團隊對現有問題的獨特見解。
值得一提的是，Cambrian-1在視覺語言任務上的表現令人印象深刻。它不僅超越了其他開源模型，甚至在一些基準測試上與業界頂尖的專有模型不相上下。這項成就的背後，是研究團隊對指令微調與連結器設計的創新思考。
然而，Cambrian-1的研究之路並非一帆風順。研究人員發現，即使是訓練有素的MLLM，在對話能力上也可能存在不足，這種現像被稱為「答錄機現象」。為了解決這個問題，他們在訓練中加入了系統提示，以鼓勵模型進行更豐富的對話。
Cambrian-1的成功，離不開背後強大的研究團隊。其中，Shengbang Tong（童晟邦）作為論文的一作，他的貢獻不可忽視。目前，他在紐約大學攻讀博士學位，導師是Yann LeCun教授和謝賽寧教授。他的研究興趣涵蓋了世界模型、無監督/自監督學習、生成模型和多模態模型等多個領域。
Cambrian-1的開源，為AI社群帶來了一股清新的空氣。它不僅提供了一個強大的多模態學習工具，更激發了人們對多模態學習研究的深入思考。隨著越來越多的研究者和開發者加入Cambrian-1的探索中，我們有理由相信，它將成為推動AI技術發展的重要力量。
專案地址：https://github.com/cambrian-mllm/cambrian
論文：https://arxiv.org/abs/2406.16860
Cambrian-1的出現，為多模態AI領域帶來了新的可能性，其開源性質也鼓勵了更廣泛的合作和創新。 期待未來Cambrian-1能夠在更多領域展現其強大的能力，並推動AI技術的持續進步。