Artefak efisiensi penelitian ilmiah OpenScholar dirilis, sepenuhnya mengubah pengalaman tinjauan literatur para peneliti ilmiah! Editor Downcodes menghadirkan alat penelitian ilmiah berbasis AI ini kepada Anda. Alat ini memiliki 450 juta makalah akses terbuka dan 237 juta penyematan paragraf artikel. Alat ini dapat dengan cepat dan akurat menyaring dokumen yang terkait dengan pertanyaan penelitian ilmiah Anda dan menghasilkan Jawaban lengkap untuk referensi. OpenScholar tidak hanya ampuh, tetapi juga dapat belajar dan meningkatkan diri, terus meningkatkan kualitas jawaban, dan pada akhirnya menyajikan hasil penelitian ilmiah yang paling sempurna. Ini juga dapat digunakan untuk melatih model yang lebih kecil dan lebih efisien, membawa perubahan revolusioner pada bidang penelitian ilmiah!
Begadang untuk meninjau literatur? Menggaruk-garuk kepala dan menulis makalah? Jangan panik! Para ahli penelitian ilmiah AI2 hadir untuk menyelamatkan Anda dengan karya terbaru mereka OpenScholar! Artefak efisiensi penelitian ilmiah ini dapat membuat tinjauan literatur menjadi mudah dan menyenangkan seperti berjalan di taman!
Senjata rahasia terbesar OpenScholar adalah sistem yang disebut OpenScholar-Datastore (OSDS) dengan 450 juta makalah akses terbuka dan 237 juta paragraf artikel tertanam. Dengan basis pengetahuan yang kuat, OpenScholar dapat mengatasi berbagai permasalahan penelitian ilmiah dengan mudah.
Saat Anda menghadapi masalah penelitian ilmiah, OpenScholar pertama-tama akan mengirimkan alat canggihnya - pencari dan penyusunan ulang, untuk dengan cepat menyaring paragraf artikel yang terkait dengan masalah Anda dari OSDS. Selanjutnya model bahasa (LM) berisi jawaban lengkap untuk referensi. Yang lebih hebatnya lagi adalah OpenScholar akan terus menyempurnakan jawaban berdasarkan masukan bahasa alami Anda dan melengkapi informasi yang hilang hingga Anda puas.
OpenScholar tidak hanya kuat, tetapi juga dapat membantu melatih model yang lebih kecil dan lebih efisien. Para peneliti menggunakan proses OpenScholar untuk menghasilkan data pelatihan berkualitas tinggi dalam jumlah besar, dan menggunakan data ini untuk melatih model bahasa 8 miliar parameter yang disebut OpenScholar-8B, serta model pengambilan lainnya.
Untuk menguji efektivitas tempur OpenScholar secara komprehensif, para peneliti juga secara khusus membuat arena pengujian baru yang disebut SCHOLARQABENCH. Berbagai tugas tinjauan literatur ilmiah disiapkan di arena ini, termasuk klasifikasi tertutup, pilihan ganda, dan pembuatan jangka panjang, yang mencakup berbagai bidang seperti ilmu komputer, biomedis, fisika, dan ilmu saraf. Untuk memastikan keadilan dan keadilan kompetisi, SCHOLARQABENCH juga menggunakan metode evaluasi multi-segi, termasuk tinjauan ahli, indikator otomatis, dan pengujian pengalaman pengguna.
Setelah melalui banyak kompetisi yang sengit, OpenScholar akhirnya menonjol! Hasil eksperimen menunjukkan bahwa ia bekerja dengan baik dalam berbagai tugas, bahkan melampaui pakar manusia! Hasil terobosan ini pasti akan memicu revolusi di bidang penelitian ilmiah dan membuat para ilmuwan mengucapkan selamat tinggal pada Yang sulit karya tinjauan literatur, dengan fokus pada eksplorasi misteri sains!
Fungsi OpenScholar yang hebat terutama mendapat manfaat dari mekanisme penalaran yang ditingkatkan pengambilan umpan balik mandiri yang unik. Sederhananya, pertama-tama ia akan mengajukan pertanyaan pada dirinya sendiri, kemudian terus menyempurnakan jawaban berdasarkan jawabannya sendiri, dan akhirnya memberikan jawaban yang paling sempurna kepada Anda. Luar biasa bukan?
Secara khusus, proses penalaran umpan balik mandiri OpenScholar dibagi menjadi tiga langkah: pembuatan jawaban awal, pembuatan umpan balik, dan integrasi umpan balik. Pertama, model bahasa menghasilkan jawaban awal berdasarkan bagian artikel yang diambil. Kemudian, seperti penguji yang tegas, ia akan mengkritik jawabannya sendiri, mengidentifikasi kekurangannya, dan menghasilkan beberapa umpan balik bahasa yang alami, seperti "Jawaban hanya berisi hasil eksperimen pada tugas tanya jawab, harap dilengkapi dengan jenis tugas lainnya." . Terakhir, model bahasa akan menelusuri kembali literatur yang relevan berdasarkan umpan balik tersebut dan mengintegrasikan semua informasi untuk menghasilkan jawaban yang lebih lengkap.
Untuk melatih model yang lebih kecil namun sama kuatnya, para peneliti juga menggunakan proses inferensi umpan balik mandiri OpenScholar untuk menghasilkan data pelatihan berkualitas tinggi dalam jumlah besar. Pertama-tama mereka memilih makalah yang paling banyak dikutip dari database, kemudian menghasilkan beberapa pertanyaan permintaan informasi berdasarkan abstrak makalah tersebut, dan terakhir menggunakan proses inferensi OpenScholar untuk menghasilkan jawaban berkualitas tinggi. Jawaban-jawaban ini dan informasi umpan balik yang dihasilkan dalam proses tersebut merupakan data pelatihan yang berharga. Para peneliti menggabungkan data ini dengan data penyempurnaan instruksi domain umum yang ada dan data penyempurnaan instruksi domain ilmiah untuk melatih model bahasa 8 miliar parameter yang disebut OpenScholar-8B.
Untuk mengevaluasi kinerja OpenScholar dan model serupa lainnya secara lebih menyeluruh, para peneliti juga membuat tolok ukur baru yang disebut SCHOLARQABENCH. Benchmark ini berisi 2.967 pertanyaan tinjauan pustaka yang ditulis oleh para ahli yang mencakup empat bidang: ilmu komputer, fisika, biomedis, dan ilmu saraf. Setiap pertanyaan memiliki jawaban panjang yang ditulis oleh seorang ahli, dan rata-rata setiap jawaban membutuhkan waktu sekitar satu jam untuk diselesaikan oleh seorang ahli. SCHOLARQABENCH juga menggunakan pendekatan evaluasi multifaset yang menggabungkan metrik otomatis dan evaluasi manual untuk memberikan ukuran yang lebih komprehensif mengenai kualitas jawaban yang dihasilkan oleh model.
Hasil eksperimen menunjukkan bahwa kinerja OpenScholar pada SCHOLARQABENCH jauh melebihi model lain dan bahkan melampaui pakar manusia dalam beberapa aspek! Misalnya, dalam bidang ilmu komputer, tingkat kebenaran OpenScholar-8B adalah 5% lebih tinggi daripada GPT-4o, yaitu 5% lebih tinggi dibandingkan GPT-4o. Selain itu, keakuratan kutipan dari jawaban yang dihasilkan oleh OpenScholar sebanding dengan pakar manusia, sementara GPT-4o mencapai 78-90% yang dibuat begitu saja.
Kemunculan OpenScholar tidak diragukan lagi merupakan keuntungan besar bagi bidang penelitian ilmiah! Hal ini tidak hanya membantu peneliti ilmiah menghemat banyak waktu dan energi, namun juga meningkatkan kualitas dan efisiensi tinjauan literatur. Saya percaya bahwa dalam waktu dekat, OpenScholar akan menjadi asisten yang sangat diperlukan bagi para peneliti ilmiah!
Alamat makalah: https://arxiv.org/pdf/2411.14199
Alamat proyek: https://github.com/AkariAsai/OpenScholar
Secara keseluruhan, dengan fungsinya yang kuat dan kinerja yang efisien, OpenScholar telah memberikan kenyamanan yang belum pernah ada sebelumnya bagi para peneliti ilmiah dan sangat meningkatkan efisiensi penelitian ilmiah. Ini bukan hanya sebuah alat, tetapi juga sebuah revolusi di bidang penelitian ilmiah. Patut dinantikan pengembangan dan penerapannya di masa depan.