劍橋大學AI倫理學家發出警告，未來AI助理可能在未經我們意識到的情況下預測並影響我們的決策，甚至將這些「意圖訊號」出售給公司。他們稱之為“意圖經濟”，這是一個利潤豐厚卻令人不安的數位市場。本文將深入探討「意圖經濟」的運作機制、潛在風險以及科技巨頭在此領域的動向，分析其對未來社會的影響。
未來，AI助理可能在早期就預測並影響我們的決策，甚至在我們意識到自己做出決定之前，就將這些正在形成的「意圖」即時出售給能夠滿足需求的公司。這並非科幻小說，而是來自劍橋大學AI倫理學家的警告。他們認為，我們正處於一個「利潤豐厚但令人不安的數位意圖訊號新市場」的開端，從購買電影票到為候選人投票，都將受到影響。他們稱之為「意圖經濟」。
劍橋大學未來智慧中心（LCFI）的研究人員認為，生成式AI的爆發以及我們對聊天機器人的日益熟悉，開啟了「說服性技術」的新領域，而科技巨頭的最新公告已經暗示了這一點。
類人AI代理，例如聊天機器人助理、數位導師甚至虛擬戀人，將能夠存取大量的個人心理和行為數據，這些數據通常是透過非正式的對話收集的。這些AI不僅知道我們的線上習慣，還具備一種令人驚異的能力，能夠以我們感到舒適的方式與我們建立聯繫——模仿個性並預測我們期望的回應。研究人員警告，這種程度的信任和理解，將使大規模的社會操縱成為可能。
LCFI訪問學者Yaqub Chaudhary博士表示：「投入巨額資源將AI助手定位到生活的各個領域，這引發了一個問題，即這些所謂的助手究竟是為了誰的利益和目的而設計的。」他強調，人們在交談時所說的話、說話的方式，以及由此而來的即時推斷，都比單純的線上互動記錄更私密。 “我們警告說，AI工具已經在開發中，旨在引出、推斷、收集、記錄、理解、預測，並最終操縱人類的計劃和目的，使其商業化。”
劍橋大學LCFI的技術歷史學家Jonnie Penn博士指出:「幾十年來，注意力一直是互聯網的貨幣。與Facebook和Instagram等社交媒體平台分享你的注意力推動了在線經濟的發展。」他警告說:“如果不加以監管，意圖經濟將把你的動機視為新的貨幣。對於那些定位、引導和出售人類意圖的人來說，這將是一場淘金熱。”
Penn博士和Chaudhary博士在《哈佛數據科學評論》的一篇論文中指出，意圖經濟將是注意力經濟的「時間化」:分析用戶注意力、溝通方式與行為模式以及最終決策之間的聯繫。 Chaudhary博士解釋說:“雖然一些意圖是短暫的，但分類和鎖定那些持久的意圖對於廣告商來說將是非常有利可圖的。”
在意圖經濟中，大型語言模型（LLM）可以被用來以低成本鎖定用戶的語調、政治立場、詞彙、年齡、性別、線上歷史，甚至對奉承的偏好。這些資訊將連結到經紀競價網絡，以最大限度地實現特定目標，例如出售電影票(“你提到感覺工作過度，我來幫你訂那張我們談論過的電影票?”)。研究人員認為，這可能包括引導對話以服務特定的平台、廣告商、企業，甚至政治組織。
雖然研究人員認為，意圖經濟目前仍是科技業的“願景”，但他們透過已發表的研究和幾家主要科技公司暗示的訊息，追蹤到了這一趨勢的早期跡象。其中包括OpenAI在2023年發布的部落格文章中公開徵集“表達人類意圖的數據，包括任何語言、主題和格式”，以及Shopify的產品總監在同年的一次會議上談到聊天機器人如何“明確獲取用戶的意圖」。
Nvidia的CEO曾公開談論使用LLM來了解意圖和慾望，而Meta早在2021年就發布了「Intentonomy」研究，這是一個用於理解人類意圖的資料集。 2024年，蘋果公司的新「App Intents」開發者框架，用於將應用程式連接到Siri，其中包含「預測某人未來可能採取的行動」以及「使用你[開發者]提供的預測，在未來向某人推薦應用程式意圖」的協議。
Chaudhary博士指出，Meta的AI代理CICERO據說在依賴推斷和預測意圖並使用說服性對話來推進自身立場的遊戲《外交》中達到了人類水平。他警告說:「這些公司已經在出售我們的注意力。為了獲得商業優勢，邏輯上的下一步是利用他們正在開發的這項技術來預測我們的意圖，並在我們完全理解這些意圖之前，就出售我們的慾望。
Penn博士指出，這些發展並非一定不好，但有可能造成破壞性後果。 「公眾對即將發生的事情的認識是確保我們不會走錯道路的關鍵，」他說。
總而言之，「意圖經濟」的興起既帶來了便利，也帶來了潛在的風險。如何在科技發展與倫理規範之間取得平衡，需要全社會共同關注與努力。對「意圖經濟」的深入了解和有效監管，將是未來維護個人隱私和社會穩定的關鍵。