Un éthicien de l'IA de l'Université de Cambridge a prévenu qu'à l'avenir, les assistants IA pourraient prédire et influencer nos décisions à notre insu, et même vendre ces « signaux d'intention » aux entreprises. Ils appellent cela « l’économie de l’intention » et il s’agit d’un marché numérique lucratif mais troublant. Cet article explorera en profondeur le mécanisme de fonctionnement, les risques potentiels et les tendances des géants de la technologie dans ce domaine, et analysera son impact sur la société future.
À l’avenir, les assistants IA pourraient prédire et influencer nos décisions à un stade précoce, vendant ces « intentions » émergentes en temps réel à des entreprises capables de répondre aux besoins, avant même que nous soyons conscients de nos décisions. Il ne s’agit pas de science-fiction, mais d’un avertissement d’un éthicien de l’IA de l’Université de Cambridge. Ils affirment que nous sommes au début d’un « nouveau marché lucratif mais inquiétant pour les signaux d’intention numériques », affectant tout, depuis l’achat de billets de cinéma jusqu’au vote pour les candidats. Ils appellent cela « l’économie d’intention ».
Des chercheurs du Centre for Future Intelligence (LCFI) de l'Université de Cambridge estiment que l'explosion de l'IA générative et notre familiarité croissante avec les chatbots ont ouvert un nouveau domaine de « technologie persuasive », déjà évoqué par les dernières annonces du secteur technologique. des géants.
Les agents IA de type humain, tels que les assistants chatbots, les mentors numériques et même les amoureux virtuels, auront accès à de grandes quantités de données psychologiques et comportementales personnelles, souvent collectées lors de conversations informelles. Non seulement ces IA connaissent nos habitudes en ligne, mais elles ont également une étrange capacité à se connecter avec nous d’une manière avec laquelle nous nous sentons à l’aise – en imitant des personnalités et en prédisant les réponses souhaitées. Les chercheurs préviennent que ce niveau de confiance et de compréhension permettra une manipulation sociale à grande échelle.
Le Dr Yaqub Chaudhary, chercheur invité au LCFI, a déclaré : « Les énormes ressources investies dans le positionnement des assistants IA dans divers domaines de la vie soulèvent la question de savoir quels intérêts et quels objectifs ces soi-disant assistants sont réellement conçus. est dit au cours d'une conversation, la manière dont cela est dit et les déductions en temps réel qui en sont tirées sont plus privées qu'un simple enregistrement d'une interaction en ligne. "Nous prévenons que des outils d'IA sont déjà en cours de développement pour obtenir, déduire, collecter, enregistrer, comprendre, prédire et, finalement, manipuler et commercialiser les plans et objectifs humains."
Le Dr Jonnie Penn, historien des technologies au LCFI de l'Université de Cambridge, souligne : « L'attention est la monnaie d'Internet depuis des décennies. Partager votre attention avec les plateformes de médias sociaux telles que Facebook et Instagram est le moteur de l'économie en ligne », a-t-il prévenu. : « Si elle n’est pas réglementée, l’économie de l’intention traitera vos motivations comme la nouvelle monnaie. Ce sera une ruée vers l’or pour ceux qui localisent, canalisent et vendent l’intention humaine. »
Le Dr Penn et le Dr Chaudhary ont souligné dans un article paru dans la « Harvard Data Science Review » que l'économie d'intention sera la « temporalisation » de l'économie de l'attention : analyser le lien entre l'attention de l'utilisateur, les méthodes de communication et les modèles de comportement, et le résultat final. prise de décision. « Même si certaines intentions sont éphémères, classer et cibler celles qui durent longtemps sera très rentable pour les annonceurs », explique le Dr Chaudhary.
Dans l’économie de l’intention, les grands modèles linguistiques (LLM) peuvent être utilisés pour cibler à moindre coût le ton de la voix, la position politique, le vocabulaire, l’âge, le sexe, l’historique en ligne et même la préférence pour la flatterie d’un utilisateur. Ces informations seront liées à un réseau d'enchères négocié pour maximiser un objectif spécifique, tel que la vente de billets de cinéma (« Vous avez mentionné vous sentir surmené, laissez-moi vous aider à réserver ce billet de cinéma dont nous parlions ? »). Les chercheurs pensent que cela pourrait inclure d’orienter les conversations vers des plateformes, des annonceurs, des entreprises ou même des organisations politiques spécifiques.
Même si les chercheurs estiment que l’économie d’intention reste pour l’instant une « vision » pour l’industrie technologique, ils suivent les premiers signes de cette tendance grâce à des recherches publiées et à des indices émanant de plusieurs grandes entreprises technologiques. Il s’agit notamment de l’appel ouvert d’OpenAI pour « des données qui expriment l’intention humaine dans n’importe quelle langue, sujet et format » dans un article de blog de 2023, et du directeur produit de Shopify s’exprimant lors d’une conférence la même année sur la façon dont les chatbots peuvent « capturer explicitement l’intention des utilisateurs ».
Le PDG de Nvidia a publiquement parlé de l’utilisation de LLM pour comprendre les intentions et les désirs, et Meta a publié son étude « Intentonomy » en 2021, un ensemble de données pour comprendre l’intention humaine. En 2024, le nouveau cadre de développement « App Intents » d'Apple pour connecter des applications à Siri inclut « la prévision des actions qu'une personne pourrait entreprendre dans le futur » et « l'utilisation des prédictions que vous [le développeur] fournissez, dans le futur. protocole avec l'intention de recommander l'application à quelqu'un.
Le Dr Chaudhary a noté que l'agent IA de Meta, CICERO, aurait atteint des performances de niveau humain en diplomatie, un jeu qui repose sur la déduction et la prévision des intentions et sur l'utilisation d'un dialogue persuasif pour faire avancer sa position. Il a prévenu : "Ces entreprises vendent déjà notre attention. Pour obtenir un avantage commercial, la prochaine étape logique consiste à utiliser la technologie qu'elles développent pour prédire nos intentions et les cibler avant que nous ne les comprenions pleinement. "
Le Dr Penn a souligné que ces développements n'étaient pas nécessairement mauvais, mais qu'ils pourraient avoir des conséquences dévastatrices. "La sensibilisation du public à ce qui s'en vient est essentielle pour garantir que nous ne nous engageons pas sur la mauvaise voie", a-t-il déclaré.
Dans l’ensemble, la montée de « l’économie d’intention » apporte à la fois de la commodité et des risques potentiels. Trouver un équilibre entre le développement technologique et les normes éthiques nécessite l’attention et les efforts conjoints de l’ensemble de la société. Une compréhension approfondie et une supervision efficace de « l'économie d'intention » seront la clé du maintien de la vie privée et de la stabilité sociale à l'avenir.