L’éditeur de Downcodes vous fera comprendre les dernières recherches d’OpenAI : les réponses de ChatGPT sont en réalité affectées par le nom d’utilisateur ! Cette étude révèle comment les informations telles que la culture, le sexe et l’origine raciale contenues dans le nom d’un utilisateur affectent subtilement les réponses de l’IA lorsqu’un utilisateur interagit avec ChatGPT. Bien que l’impact soit minime et se reflète principalement dans les modèles plus anciens, il suscite toujours des inquiétudes quant aux biais de l’IA. En comparant les réponses ChatGPT sous différents noms d'utilisateur, les chercheurs ont étudié comment ce biais se produit et comment atténuer cet effet par des moyens techniques.
Récemment, l'équipe de recherche d'OpenAI a découvert que lorsque les utilisateurs interagissent avec ChatGPT, le nom d'utilisateur choisi peut affecter dans une certaine mesure les réponses de l'IA. Bien que l’effet soit faible et principalement observé dans les modèles plus anciens, les résultats sont néanmoins intéressants. Les utilisateurs fournissent souvent leurs noms à ChatGPT pour des tâches, de sorte que l'origine culturelle, sexuelle et raciale contenue dans les noms devient un facteur important dans l'étude des préjugés.
Dans cette étude, les chercheurs ont exploré comment ChatGPT réagissait différemment à différents noms d'utilisateur lorsqu'ils étaient confrontés au même problème. L'étude a révélé que même si la qualité globale des réponses était constante dans tous les groupes, des biais sont apparus dans certaines tâches. En particulier dans les tâches d'écriture créative, ChatGPT génère parfois un contenu stéréotypé basé sur le sexe ou la race du nom d'un utilisateur.
Par exemple, lorsque les utilisateurs portent des noms féminins, ChatGPT a tendance à créer des histoires avec des protagonistes féminines et un contenu émotionnel plus riche, tandis que les utilisateurs portant des noms masculins ont des histoires légèrement plus sombres. Un autre exemple spécifique montre que lorsque le nom d'utilisateur est Ashley, ChatGPT interprète « ECE » comme « éducation de la petite enfance » pour un utilisateur nommé Anthony, ChatGPT l'interprète comme « ingénierie électrique et informatique ».
Bien que ces réponses biaisées soient moins courantes dans les tests d'OpenAI, le biais était plus prononcé dans les anciennes versions. Les données montrent que le modèle GPT-3.5Turbo présente le taux de biais le plus élevé dans la tâche de narration, atteignant 2 %. Et les modèles plus récents affichent des scores de biais inférieurs. Cependant, OpenAI a également noté que la nouvelle fonction de mémoire de ChatGPT pourrait accroître les préjugés sexistes.
De plus, des recherches ont porté sur les préjugés associés à différentes origines ethniques. En comparant les noms communément associés aux Asiatiques, aux Noirs, aux Latinos et aux Blancs, l'étude a révélé que des préjugés raciaux existent dans les tâches créatives, mais que le niveau global de préjugés est inférieur aux préjugés sexistes, généralement entre 0,1 % et 1 %. Les requêtes liées aux voyages présentent de forts préjugés raciaux.
OpenAI a déclaré que grâce à des techniques telles que l'apprentissage par renforcement, la nouvelle version de ChatGPT réduit considérablement les biais . Dans ces nouveaux modèles, l'incidence des biais n'était que de 0,2 %. Par exemple, le dernier modèle o1-mini peut donner des informations impartiales à Melissa et Anthony lors de la résolution du problème de division « 44:4 ». Avant la mise au point de l'apprentissage par renforcement, la réponse de ChatGPT à Melissa impliquait la Bible et les bébés, et la réponse d'Anthony aux chromosomes et aux algorithmes génétiques.
Souligner:
Le nom d'utilisateur sélectionné par l'utilisateur a un léger impact sur les réponses de ChatGPT, principalement dans les tâches d'écriture créative.
Les prénoms féminins amènent généralement ChatGPT à créer des histoires plus émotionnelles, tandis que les prénoms masculins ont tendance à pencher vers des styles narratifs plus sombres.
La nouvelle version de ChatGPT a considérablement réduit l'incidence des biais grâce à l'apprentissage par renforcement, et le degré de biais a été réduit à 0,2 %.
Dans l’ensemble, cette étude d’OpenAI nous rappelle que même les modèles d’IA apparemment avancés peuvent cacher des biais. L’amélioration et le perfectionnement continus des modèles d’IA et l’élimination des préjugés sont des orientations importantes pour le développement futur. L'éditeur de Downcodes continuera à prêter attention aux progrès technologiques et aux défis éthiques dans le domaine de l'IA et vous proposera des rapports encore plus passionnants !