近年來，人工智慧模型的學習機制一直是研究熱點。本文介紹一項最新研究，該研究透過分析AI模型在「概念空間」中的學習動態，揭示了AI模型的隱藏能力，以及如何利用特定技術激發這些能力，從而更好地理解和生成圖像。研究發現，模型的學習過程並非線性發展，而是存在著突然的轉向和隱藏能力的活化。這項研究不僅加深了我們對AI模型學習機制的理解，也為開發更強大的AI系統提供了新的想法。
近期，一項新的研究方法揭示了AI 模型在學習過程中潛在的能力，超越了人們先前的預期。研究人員透過分析AI 模型在「概念空間」 中的學習動態，發現如何讓AI 系統更好地理解和產生圖像。
圖源備註:圖片由AI生成，圖片授權服務商Midjourney
「概念空間」 是一種抽象的座標系統，能夠表示訓練資料中每個獨立概念的特點，例如物體的形狀、顏色或大小。研究者表示，透過在這個空間中描述學習動態，可以揭示概念學習的速度，以及學習順序受資料屬性的影響，這個屬性被稱為「概念訊號」。這個概念訊號反映了資料生成過程對概念值變化的敏感度。例如，當資料集中紅色和藍色之間的差異明顯時，模型對顏色的學習速度會更快。
在研究過程中，研究團隊觀察到模型的學習動態會出現突然的方向變化，從「概念記憶」 轉向「泛化」。為了驗證這一現象，他們訓練了一個模型，輸入了「大的紅色圓圈」、「大的藍色圓圈」 和「小的紅色圓圈」。在訓練中未出現的「藍色小圓圈」 組合，模型無法透過簡單文字提示產生。但是，使用「潛在幹預」 技術（即操控模型中負責顏色和大小的激活）和「過度提示」 技術(即透過RGB 值增強顏色規格)，研究者成功產生了「藍色小圓圈」。這表明，儘管模型能夠理解「藍色」 和「小」 的組合，但它並未透過簡單的文字提示掌握這一能力。
研究人員也將此方法擴展到實際資料集，例如CelebA，它包含多種臉部影像屬性如性別和微笑。結果顯示，模型在產生微笑女性影像時表現出隱藏能力，而在使用基本提示時則顯得乏力。此外，初步實驗還發現，使用Stable Diffusion1.4時，過度提示可以產生不尋常的圖像，例如三角形的信用卡。
因此，研究團隊提出了一個關於隱藏能力的普遍假設:生成模型具備潛在能力，這些能力在訓練過程中突然且一致地出現，儘管模型在面對普通提示時可能不會表現出這些能力。
劃重點:
AI 模型在學習過程中展現出潛在的隱藏能力，超越了常規提示所能激發的程度。
透過「潛在幹預」 和「過度提示」 等技術，研究人員能夠激活這些隱藏能力，產生意想不到的圖像。
研究分析了「概念空間」 的學習動態，顯示不同概念的學習速度受資料特徵的影響。
這項研究為我們理解AI模型的學習機制提供了新的視角，也為未來AI模型的發展與應用提供了寶貴的參考。 「概念空間」分析方法以及「潛在幹預」和「過度提示」技術，為挖掘AI模型的潛在能力提供了有效的工具，值得進一步研究和應用。