剑桥大学AI伦理学家发出警告，未来AI助手可能在未经我们意识到的情况下预测并影响我们的决策，甚至将这些“意图信号”出售给公司。他们称之为“意图经济”，这是一个利润丰厚却令人不安的数字市场。本文将深入探讨“意图经济”的运作机制、潜在风险以及科技巨头在此领域的动向，分析其对未来社会的影响。
未来，AI助手可能在早期就预测并影响我们的决策，甚至在我们意识到自己做出决定之前，就将这些正在形成的“意图”实时出售给能够满足需求的公司。这并非科幻小说，而是来自剑桥大学AI伦理学家的警告。他们认为，我们正处于一个“利润丰厚但令人不安的数字意图信号新市场”的开端，从购买电影票到为候选人投票，都将受到影响。他们称之为“意图经济”。
剑桥大学未来智能中心（LCFI）的研究人员认为，生成式AI的爆发以及我们对聊天机器人的日益熟悉，开启了“说服性技术”的新领域，而科技巨头的最新公告已经暗示了这一点。
类人AI代理，例如聊天机器人助手、数字导师甚至虚拟恋人，将能够访问大量的个人心理和行为数据，这些数据通常是通过非正式的对话收集的。这些AI不仅知道我们的在线习惯，还具备一种令人惊异的能力，能够以我们感到舒适的方式与我们建立联系——模仿个性并预测我们期望的回应。研究人员警告，这种程度的信任和理解，将使大规模的社会操纵成为可能。
LCFI访问学者Yaqub Chaudhary博士表示:“投入巨额资源将AI助手定位到生活的各个领域，这引发了一个问题，即这些所谓的助手究竟是为了谁的利益和目的而设计的。” 他强调，人们在交谈时所说的话、说话的方式，以及由此而来的实时推断，都比单纯的在线互动记录更私密。“我们警告说，AI工具已经在开发中，旨在引出、推断、收集、记录、理解、预测，并最终操纵人类的计划和目的，使其商业化。”
剑桥大学LCFI的技术历史学家Jonnie Penn博士指出:“几十年来，注意力一直是互联网的货币。与Facebook和Instagram等社交媒体平台分享你的注意力推动了在线经济的发展。”他警告说:“如果不加以监管，意图经济将把你的动机视为新的货币。对于那些定位、引导和出售人类意图的人来说，这将是一场淘金热。”
Penn博士和Chaudhary博士在《哈佛数据科学评论》的一篇论文中指出，意图经济将是注意力经济的“时间化”:分析用户注意力、沟通方式与行为模式以及最终决策之间的联系。Chaudhary博士解释说:“虽然一些意图是短暂的，但分类和锁定那些持久的意图对于广告商来说将是非常有利可图的。”
在意图经济中，大型语言模型（LLM）可以被用来以低成本锁定用户的语调、政治立场、词汇、年龄、性别、在线历史，甚至对奉承的偏好。这些信息将被链接到经纪竞价网络，以最大限度地实现特定目标，例如出售电影票(“你提到感觉工作过度，我来帮你订那张我们谈论过的电影票?”)。研究人员认为，这可能包括引导对话以服务于特定的平台、广告商、企业，甚至政治组织。
虽然研究人员认为，意图经济目前仍是科技行业的“愿景”，但他们通过已发表的研究和几家主要科技公司暗示的信息，追踪到了这一趋势的早期迹象。其中包括OpenAI在2023年发布的博客文章中公开征集“表达人类意图的数据，包括任何语言、主题和格式”，以及Shopify的产品总监在同年的一次会议上谈到聊天机器人如何“明确获取用户的意图”。
Nvidia的CEO曾公开谈论使用LLM来了解意图和欲望，而Meta早在2021年就发布了“Intentonomy”研究，这是一个用于理解人类意图的数据集。2024年，苹果公司的新“App Intents”开发者框架，用于将应用程序连接到Siri，其中包含“预测某人未来可能采取的行动”以及“使用你[开发者]提供的预测，在未来向某人推荐应用程序意图”的协议。
Chaudhary博士指出，Meta的AI代理CICERO据说在依赖于推断和预测意图并使用说服性对话来推进自身立场的游戏《外交》中达到了人类水平。他警告说:“这些公司已经在出售我们的注意力。为了获得商业优势，逻辑上的下一步是利用他们正在开发的这项技术来预测我们的意图，并在我们完全理解这些意图之前，就出售我们的欲望。”
Penn博士指出，这些发展并非一定不好，但有可能造成破坏性后果。“公众对即将发生的事情的认识是确保我们不会走错道路的关键，”他说。
总而言之，“意图经济”的兴起既带来了便利，也带来了潜在的风险。如何在技术发展与伦理规范之间取得平衡，需要全社会共同关注和努力。对“意图经济”的深入了解和有效监管，将是未来维护个人隐私和社会稳定的关键。