Apakah peneliti ilmiah mengkhawatirkan tinjauan literatur dan penulisan kertas? OpenScholar yang dibawa oleh tim AI2 dapat menyelesaikan masalah Anda! Artefak penelitian ilmiah yang kuat ini memiliki 450 juta terbuka untuk mendapatkan makalah dan 237 juta artikel. Anda sampai Anda memuaskan permintaan Anda. OpenScholar tidak hanya kuat, tetapi juga digunakan untuk melatih model yang lebih efisien.
Ringkasan Sastra Hati Late Up? Lai
Senjata rahasia terbesar Openschola adalah kertas terbuka yang disebut Openscholar-Datastore (OSDS), dan 237 juta artikel tertanam. Dengan cadangan pengetahuan yang kuat, Openscholar dapat menangani berbagai masalah penelitian ilmiah.
Ketika Anda menghadapi masalah penelitian ilmiah, OpenScholar terlebih dahulu mengirimkan umum yang mampu -retriever dan kembali, dan dengan cepat menyaring artikel yang terkait dengan masalah Anda dari OSDS. Kemudian, model bahasa (LM) berisi jawaban lengkap untuk referensi. Yang lebih kuat adalah bahwa Openschola akan terus meningkatkan jawaban sesuai dengan umpan balik bahasa alami Anda, melengkapi informasi yang hilang sampai Anda puas.
OpenSchola tidak hanya sangat kuat, tetapi juga membantu melatih model yang lebih kecil dan lebih efisien. Para peneliti menggunakan proses Openschola untuk menghasilkan data pelatihan berkualitas tinggi yang besar, dan menggunakan data ini untuk melatih model bahasa parameter 8 miliar yang disebut OpenScholar-8B dan model pengambilan lainnya.
Untuk menguji secara komprehensif keefektifan tempur Openschola, para peneliti juga secara khusus membuat cincin uji baru yang disebut ScholarQabench. Ada berbagai tugas tinjauan literatur ilmiah pada cincin ini, termasuk klasifikasi tertutup, beberapa opsi dan artikel panjang, yang mencakup banyak bidang seperti ilmu komputer, biomedis, fisika, dan ilmu saraf. Untuk memastikan keadilan dan keadilan permainan, ScholarQabench juga mengadopsi beberapa metode evaluasi, termasuk tinjauan ahli, indikator otomatis, dan pengujian pengalaman pengguna.
Setelah beberapa putaran persaingan sengit, OpenScholar akhirnya menonjol! untuk berpamarannya lautan penderitaan dari literatur, fokus menjelajahi misteri sains!
Fitur -fitur kuat dari OpenSchola terutama karena mekanisme penalaran pengambilan feedback yang unik. Sederhananya, ini pertama -tama akan mengajukan pertanyaan kepada dirinya sendiri, kemudian terus meningkatkan jawaban sesuai dengan jawaban Anda sendiri, dan akhirnya menyajikan jawaban yang paling sempurna untuk Anda. Apakah itu luar biasa?
Secara khusus, proses penalaran feedback diri Openschola dibagi menjadi tiga langkah: pembuatan jawaban awal, pembuatan umpan balik, dan integrasi umpan balik. Pertama -tama, model bahasa menghasilkan jawaban awal berdasarkan paragraf artikel yang diambil. Kemudian, seperti pemeriksa yang keras, itu akan mengkritik jawabannya sendiri, mencari tahu kekurangannya, dan menghasilkan beberapa umpan balik bahasa alami. Akhirnya, model bahasa akan menampilkan kembali dokumen yang relevan berdasarkan umpan balik ini, dan mengintegrasikan semua informasi untuk menghasilkan jawaban yang lebih lengkap.
Untuk melatih kinerja yang lebih kecil tetapi juga kuat, para peneliti juga menggunakan proses penalaran self -feedback Openschola untuk menghasilkan sejumlah besar data pelatihan berkualitas tinggi. Pertama -tama mereka memilih makalah dengan referensi terbanyak dari database, dan kemudian menghasilkan beberapa pertanyaan kueri informasi berdasarkan abstrak makalah ini, dan akhirnya menggunakan proses penalaran Openschola untuk menghasilkan jawaban berkualitas tinggi. Jawaban dan umpan balik yang dihasilkan di tengah ini merupakan data pelatihan yang berharga. Para peneliti mencampur data ini dengan data penyesuaian dan instruksi ilmiah dalam instruksi bidang tujuan umum yang ada, dan melatih model bahasa parameter 8 miliar yang disebut OpenScholar-8B.
Untuk mengevaluasi kinerja Openschola dengan lebih baik dan model serupa lainnya, para peneliti juga telah membuat tes benchmark baru yang disebut ScholarQabench. Tes benchmark ini berisi 2.967 ulasan yang ditulis oleh para ahli, yang mencakup empat bidang: Ilmu Komputer, Fisika, Biomedis dan Neuroscience. Setiap pertanyaan memiliki jawaban jangka panjang yang ditulis oleh para ahli. ScholarQabench juga mengadopsi metode evaluasi multi -faceted, dikombinasikan dengan indikator otomatis dan evaluasi manual, yang dapat lebih komprehensif mengukur kualitas model untuk menghasilkan jawaban.
Hasil eksperimen menunjukkan bahwa kinerja Openscholar pada Cendekia Far jauh melebihi model lain, dan bahkan melampaui pakar manusia dalam beberapa aspek! lebih tinggi dari GPT-4O, dibandingkan dengan GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan GPT-4O, dibandingkan dengan 5%, dibandingkan dengan GPT-4O, dibandingkan dengan 5%, dibandingkan dengan GPT-4O, Dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O , dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan 5%dari GPT-4O, dibandingkan dengan GPT-4O, daripada PaperQA2 adalah 7%lebih tinggi. Selain itu, keakuratan respons jawaban pembangkit openscholar sebanding dengan para ahli manusia, sementara GPT-4O dibuat setinggi 78-90%.
Munculnya Openschola tidak diragukan lagi merupakan Injil yang hebat di bidang penelitian ilmiah! Saya percaya bahwa dalam waktu dekat, Openscholar akan menjadi asisten yang sangat diperlukan bagi para peneliti ilmiah!
Alamat tesis: https: //arxiv.org/pdf/2411.14199
Alamat Proyek: https://github.com/akariasai/openschola
Secara keseluruhan, Openschola telah membawa perubahan revolusioner pada penelitian ilmiah dengan cadangan data yang kuat, mekanisme penalaran inovatif dan hasil tes yang sangat baik. Ini akan secara efektif meningkatkan efisiensi penelitian ilmiah dan membantu para peneliti fokus pada eksplorasi ilmiah yang lebih penting.