What Do AIs Know About History

Apa yang diketahui AI tentang sejarah? Eksperimen Sejarah Digital

Isi

• Deskripsi proyek
• Elemen proyek
• Tujuan proyek
• Metode
• Ucapan Terima Kasih
• Lisensi

Deskripsi proyek

Eksperimen sejarah digital ini meneliti pertanyaan berikut: Apa yang diketahui AIS tentang sejarah? AIS tidak benar -benar 'tahu' apa pun. Tetapi kemajuan terbaru dalam pembelajaran mesin telah menghasilkan model komputasi baru yang mampu meniru kemampuan analitik manusia yang luar biasa. Di antara yang paling banyak dipelajari dari model-model ini adalah GPT-3 (transformator pra-terlatih generatif-3). Dalam percobaan sejarah digital ini, pengguna dapat mengajukan pertanyaan historis kepada GPT-3 dan mengamati tanggapannya. Proyek ini memungkinkan para sejarawan dan masyarakat untuk secara langsung menyelidiki kapasitas historis AIS tingkat lanjut, dan mengukur sendiri kemungkinan dan bahaya teknologi ini. Dengan pengetahuan seperti itu, kita dapat menilai potensi dampak AI dengan lebih baik pada pemahaman masa lalu, dan mempertimbangkan implikasi yang lebih luas dari teknologi ini untuk masa depan.

Elemen proyek

1. Apa yang AI “ketahui” tentang sejarah AP?: Di bagian ini, manusia dapat menguji pengetahuan historis mereka terhadap AI. Pengguna dapat menjawab pertanyaan pilihan ganda dari kurikulum penempatan lanjutan (AP) untuk kami, Eropa, dan sejarah dunia, dan kemudian membandingkan kinerja mereka dengan GPT-3. Menyertai pertanyaan-pertanyaan ini adalah data tentang kinerja keseluruhan GPT-3 pada pertanyaan-pertanyaan ini.
2. Bagaimana AI “menafsirkan” sumber utama?: Di sini pengguna dapat meminta GPT-3 untuk menganalisis dan menafsirkan pilihan sumber primer. GPT-3 akan berusaha untuk menawarkan konteks, tujuan, audiens yang dimaksudkan, dan kemungkinan interpretasi historiografi sumber.
3. Bisakah AI mensimulasikan pandangan dunia historis?: Di bagian ini pengguna dapat mengajukan pertanyaan kepada AI yang diinstruksikan untuk meniru sosok dari sejarah: Francis Bacon (1561-1626), mantan Kanselir Lord England di bawah Ratu Elizabeth I dan King James I, dan dan King James I, dan King I, dan King I, dan King I, dan King I, dan King I, dan King I, dan tokoh kunci dalam revolusi ilmiah.
4. Tujuan Proyek, Metode, dan Ucapan Terima Kasih: Menjelajahi tujuan proyek ini, beberapa metode yang digunakan, dan berterima kasih kepada mereka yang berkontribusi pada proyek ini.

Tujuan proyek

Eksperimen sejarah digital ini mengeksplorasi potensi aplikasi AI untuk penelitian akademik dan sebagai kekuatan untuk disinformasi. Proyek ini menggunakan model GPT-3 Openai sebagai studi kasus karena aksesibilitas dan posisinya sebagai subjek studi ilmiah yang kuat dan debat.

Pada bulan Mei 2022, temuan awal dari proyek ini disajikan kepada kelompok kerja sejarah digital untuk Konsorsium untuk Sejarah Sains, Teknologi, dan Kedokteran. Temuan diperluas dalam makalah akademik yang saat ini di bawah peer review.

Metode

Proyek ini menggunakan StreamLit untuk menjalankan skrip Python yang memanggil API Openai untuk GPT-3. Output GPT-3 adalah produk dari petunjuk khusus yang diinformasikan oleh penelitian saat ini dalam rekayasa cepat. Metode spesifik termasuk beberapa penalaran tembakan dan penalaran rantai-dipikirkan. Repositori GitHub proyek berisi teks lengkap dari petunjuk ini.

Ucapan Terima Kasih

Terima kasih banyak kepada Abraham Gibson atas undangan ke Kelompok Kerja Sejarah Digital CHSTM untuk berbagi penelitian ini, dan kepada kolega William Mattingly, Patrick Wadden, dan Ian Crowe atas umpan balik mereka yang bijaksana.

Proyek ini didukung oleh semester cuti panjang yang diberikan oleh Kantor Urusan Akademik di Belmont Abbey College. Syukur diperluas ke Provost Travis Feezell dan Wakil Provost David Williams atas dukungan mereka atas upaya ini.