researcher

Peneliti

Peneliti menghemat waktu Anda dengan menggunakan Google dan GPT-3 untuk menjawab pertanyaan secara ringkas dan akurat. Ini termasuk kutipan sehingga Anda dapat mencari sumber.

Ini paradigma penelusuran yang berbeda dengan menggunakan Google atau GPT saja. Dengan Google, Anda harus memindai beberapa konten spam SEO untuk menemukan jawabannya. Dengan GPT, Anda tidak dapat memastikan apakah jawaban yang Anda peroleh benar atau dari mana asalnya.

Peneliti memecahkan masalah ini dengan memasukkan bagian yang relevan dari hasil penelusuran Google ke dalam GPT-3 untuk menghasilkan ikhtisar.

Perbandingan

Dengan memasukkan konteks web ke dalam model bahasa yang besar, Anda dapat meningkatkan akurasi dan memverifikasi informasi. Dalam contoh ini, Anda tidak memiliki cara untuk memverifikasi informasi dari ChatGPT. Itu juga tidak terlalu spesifik. Peneliti memberi Anda sumber kutipan dan informasi yang lebih spesifik dengan mengandalkan konteks dari Google.

ObrolanGPT	Peneliti

Tangkapan layar

Tanya Jawab Teknis	Rekomendasi

Instalasi

• Kloning repositori ini dengan git.
• Pastikan Anda telah menginstal Python 3.8+. Mulai 22/12, Pytorch tidak mendukung Python 3.11 di semua platform, jadi Python 3.10 direkomendasikan.
• Jalankan cd researcher untuk masuk ke folder repositori.
• Jalankan pip install -r requirements.txt untuk menginstal paket yang diperlukan.
• Masukkan kunci API OpenAI Anda di settings.py dalam variabel OPENAI_KEY .
• Jalankan python app.py untuk menjalankan aplikasi. Secara default ini akan berjalan pada port 5000 .
• [Opsional] Secara default, Peneliti akan mengikis hasil pencarian Google. Hal ini tidak selalu dapat diandalkan. Jika Anda ingin lebih dapat diandalkan, daftarkan mesin pencari khusus ke Google, lalu:
  • Masukkan kunci API di settings.py dalam variabel SEARCH_KEY .
  • Masukkan ID mesin pencari khusus di SEARCH_ID .
  • Ubah SEARCH_METHOD menjadi api .

Penggunaan

• Kunjungi http://127.0.0.1:5000 untuk melihat antarmuka pencarian.
• Masukkan permintaan pencarian dan klik "Cari". Pertanyaan bekerja paling baik.
• Diperlukan waktu 10-20 detik untuk mendapatkan hasil, bergantung pada kueri. Anda akan melihat ringkasan dan sumber yang digunakan untuk menghasilkan ringkasan.

Bagaimana cara kerjanya

• Hasil pencarian awal diambil dari Google
• Setiap situs dikikis menggunakan permintaan
• HTML situs disimpan dalam database sqlite lokal
• Hasil disaring untuk menghapus situs dengan terlalu banyak iklan atau pelacak
• Potongan teks diambil dari setiap situs, dan diberi peringkat berdasarkan permintaan pencarian
• N potongan teks teratas digunakan untuk menghasilkan ringkasan menggunakan GPT-3
• Ringkasan ditampilkan bersama dengan sumber yang digunakan untuk menghasilkannya

Pertanyaan Umum

• Apakah ini memerlukan biaya? Ini menggunakan OpenAI API, yang mungkin memerlukan biaya tergantung pada kredit Anda. Setiap kueri harus menelan biaya sekitar 1/3 sen. Jika Anda menggunakan mode API, ini juga memerlukan biaya berdasarkan pencarian Google Anda. Google Penelusuran Khusus menawarkan 100 penelusuran gratis per hari, lalu biayanya $5 per 1000 kueri.
• Mengapa butuh waktu lama untuk mendapatkan hasilnya? Peneliti menjalankan penelusuran, lalu mengikis situs untuk mendapatkan konteks yang relevan, lalu memanggil API untuk meringkas konteksnya. Operasi ini memakan waktu lama. Menyesuaikan beberapa pengaturan dapat mempercepatnya. Terutama panjang potongan dan jumlah hasil.
• Mengapa saya mendapatkan kesalahan 429? Secara default, Peneliti akan mengikis hasil Google. Jika Anda melakukan ini terlalu sering, Anda bisa mendapatkan error 429. Beralih ke mode API (dijelaskan di atas) untuk menghindari hal ini.
• Mengapa saya mendapatkan pesan kesalahan sehingga ringkasan tidak dapat dibuat? OpenAI API terkadang mengalami masalah. Hal ini akan mengakibatkan ringkasan tidak ditampilkan. Jalankan saja pencarian lagi untuk memperbaikinya.

Perbaikan di masa depan

• Mempercepat proses pencarian
• Tingkatkan algoritme untuk menemukan potongan teks yang optimal
• Coba model yang dihosting sendiri alih-alih GPT-3 (mungkin PEGASUS untuk ringkasan, atau varian BLOOM atau T5 yang telah disesuaikan)
• Ringkas potongan teks sebelum meneruskan ke GPT-3