What Do AIs Know About History

Que savent l'IA sur l'histoire? Une expérience d'histoire numérique

Contenu

• Description du projet
• Éléments du projet
• Objectifs du projet
• Méthodes
• Remerciements
• Licence

Description du projet

Cette expérience d'histoire numérique examine la question suivante: que savent les AIS sur l'histoire? Les SI ne savent rien vraiment. Mais les progrès récents de l'apprentissage automatique ont abouti à de nouveaux modèles de calcul capables d'une imitation remarquable des capacités analytiques humaines. Parmi les plus étudiés de ces modèles figurent GPT-3 (transformateur pré-formé génératif-3). Dans cette expérience d'histoire numérique, les utilisateurs peuvent poser des questions historiques à GPT-3 et observer ses réponses. Ce projet permet aux historiens et au public de sonder directement les capacités historiques des AIS avancées, et d'évaluer pour eux-mêmes les possibilités et les périls de cette technologie. Avec de telles connaissances, nous pouvons mieux évaluer l'impact potentiel de l'IA sur la compréhension du passé et considérer les implications plus larges de cette technologie pour l'avenir.

Éléments du projet

1. Qu'est-ce qu'une IA «sait» sur l'histoire de l'AP ?: Dans cette section, les humains peuvent tester leurs connaissances historiques contre celles d'une IA. Les utilisateurs peuvent répondre à des questions à choix multiples des programmes de placement avancé (AP) pour nous, européens et mondiaux, puis comparer leurs performances avec GPT-3. Les données sont accompagnées de ces questions sur les performances globales de GPT-3 sur ces questions.
2. Comment une IA «interprète» une source principale ?: Ici, les utilisateurs peuvent inciter GPT-3 à analyser et à interpréter une sélection de sources primaires. GPT-3 tentera d'offrir le contexte, le but, le public destiné à la source et les interprétations historiographiques possibles de la source.
3. Une IA peut-elle simuler une vision historique du monde? Une figure clé de la révolution scientifique.
4. Objectifs du projet, méthodes et remerciements: explore les objectifs de ce projet, certaines des méthodes utilisées et remercie ceux qui ont contribué à ce projet.

Objectifs du projet

Cette expérience d'histoire numérique explore le potentiel des applications d'IA pour la recherche académique et comme force de désinformation. Le projet utilise le modèle GPT-3 d'OpenAI en tant qu'étude de cas en raison de son accessibilité et de sa position comme sujet d'une étude et d'un débat scientifiques robustes.

En mai 2022, les résultats initiaux de ce projet ont été présentés au groupe de travail sur l'histoire numérique du Consortium pour l'histoire de la science, de la technologie et de la médecine. Les résultats sont étendus dans un document universitaire actuellement en cours d'examen par les pairs.

Méthodes

Le projet utilise Streamlit pour exécuter des scripts Python qui appellent l'API d'Openai pour GPT-3. Les résultats de GPT-3 sont des produits d'invites spécialisées éclairées par la recherche actuelle en ingénierie rapide. Les méthodes spécifiques incluent peu d'incitation à un tir et un raisonnement en chaîne de pensées. Le référentiel GitHub du projet contient le texte intégral de ces invites.

Remerciements

Un grand merci à Abraham Gibson pour l'invitation au groupe de travail sur l'histoire numérique du CHSTM pour partager cette recherche et aux collègues William Mattingly, Patrick Wadden et Ian Crowe pour leurs commentaires réfléchis.

Ce projet a été soutenu par un semestre sabbatique décerné par le Bureau des affaires académiques du Belmont Abbey College. La gratitude est étendue au prévôt Travis Feezell et au vice-prévôt David Williams pour leur soutien à cet effort.