SimplyRetrieve
Dependencies Update
? Berita : 21 Agustus 2023 -- Pengguna kini dapat membuat dan menambahkan pengetahuan dengan cepat melalui Knowledge Tab yang baru ditambahkan di GUI. Juga, bilah kemajuan ditambahkan di Tab Konfigurasi & Pengetahuan.
SimplyRetrieve adalah alat sumber terbuka dengan tujuan menyediakan platform GUI dan API yang sepenuhnya terlokalisasi, ringan, dan mudah digunakan untuk pendekatan Retrieval-Centric Generation (RCG) ke komunitas pembelajaran mesin.
Buat alat obrolan dengan dokumen dan model bahasa Anda, sangat dapat disesuaikan. Fitur-fiturnya adalah:
Laporan teknis tentang alat ini tersedia di arXiv.
Video singkat tentang alat ini tersedia di YouTube.
Kami bertujuan untuk berkontribusi pada pengembangan LLM yang aman, dapat ditafsirkan, dan bertanggung jawab dengan berbagi alat sumber terbuka kami untuk menerapkan pendekatan RCG. Kami berharap alat ini memungkinkan komunitas pembelajaran mesin untuk mengeksplorasi penggunaan LLM dengan cara yang lebih efisien, dengan tetap menjaga privasi dan penerapan lokal. Retrieval-Centric Generation, yang dibangun berdasarkan konsep Retrieval-Augmented Generation (RAG) dengan menekankan peran penting LLM dalam interpretasi konteks dan mempercayakan penghafalan pengetahuan kepada komponen retriever, mempunyai potensi untuk menghasilkan generasi yang lebih efisien dan dapat diinterpretasikan, dan mengurangi skala LLM yang diperlukan untuk tugas generatif. Alat ini dapat dijalankan pada satu GPU Nvidia, seperti T4, V100, atau A100, sehingga dapat diakses oleh banyak pengguna.
Alat ini dibuat terutama berdasarkan perpustakaan Hugging Face, Gradio, PyTorch, dan Faiss yang mengagumkan dan familier. LLM default yang dikonfigurasi dalam alat ini adalah Wizard-Vicuna-13B-Uncensored yang telah disetel dengan baik. Model penyematan default untuk retriever adalah berbasis multibahasa-e5. Kami menemukan model ini bekerja dengan baik di sistem ini, serta berbagai ukuran LLM dan retriever sumber terbuka lainnya yang tersedia di Hugging Face. Alat ini dapat dijalankan dalam bahasa lain selain bahasa Inggris, dengan memilih LLM yang sesuai dan menyesuaikan templat cepat sesuai dengan bahasa target.
pip install -r requirements.txtchat/data/ dan jalankan skrip persiapan data ( cd chat/ lalu perintah berikut) CUDA_VISIBLE_DEVICES=0 python prepare.py --input data/ --output knowledge/ --config configs/default_release.json
pdf, txt, doc, docx, ppt, pptx, html, md, csv , dan dapat diperluas dengan mudah dengan mengedit file konfigurasi. Ikuti tip tentang masalah ini jika terjadi kesalahan terkait NLTK.Knowledge Tab pada alat GUI. Pengguna kini dapat menambah pengetahuan dengan cepat. Menjalankan skrip prep.py di atas sebelum menjalankan alat ini bukanlah suatu keharusan. Setelah menyiapkan prasyarat di atas, atur jalur saat ini ke direktori chat ( cd chat/ ), jalankan perintah di bawah ini. Lalu grab a coffee! karena hanya perlu beberapa menit untuk memuat.
CUDA_VISIBLE_DEVICES=0 python chat.py --config configs/default_release.json
Kemudian, akses GUI berbasis web dari browser favorit Anda dengan menavigasi ke http://<LOCAL_SERVER_IP>:7860 . Ganti <LOCAL_SERVER_IP> dengan alamat IP server GPU Anda. Dan ini dia, Anda siap berangkat!
GUI operation manual , silakan merujuk ke readme GUI yang terletak di direktori docs/ .API access manual , silakan merujuk ke API readme dan contoh skrip yang terletak di direktori examples/ .Di bawah ini adalah contoh tangkapan layar obrolan GUI. Ini menyediakan antarmuka chatbot streaming yang familier dengan panel penyetelan RCG yang komprehensif.
Tidak memiliki server GPU lokal untuk menjalankan alat ini saat ini? Tidak masalah. Kunjungi Repositori ini. Ini menunjukkan instruksi untuk mencoba alat ini di platform cloud AWS EC2.
Jangan ragu untuk memberi kami umpan balik dan komentar. Kami sangat menyambut baik diskusi dan kontribusi apa pun tentang alat ini, termasuk fitur baru, peningkatan, dan dokumentasi yang lebih baik. Jangan ragu untuk membuka masalah atau diskusi. Kami belum memiliki templat apa pun untuk diterbitkan atau didiskusikan, jadi apa pun bisa dilakukan untuk saat ini.
Perkembangan Masa Depan
Penting untuk dicatat bahwa alat ini tidak memberikan solusi yang sangat mudah untuk memastikan respons yang sepenuhnya aman dan bertanggung jawab dari model AI generatif, bahkan dalam pendekatan yang berpusat pada pengambilan. Pengembangan sistem AI yang lebih aman, dapat ditafsirkan, dan bertanggung jawab tetap menjadi bidang penelitian aktif dan upaya berkelanjutan.
Teks yang dihasilkan dari alat ini mungkin menunjukkan variasi, meskipun hanya sedikit mengubah perintah atau kueri, karena perilaku prediksi token berikutnya dari LLM generasi saat ini. Artinya, pengguna mungkin perlu menyempurnakan perintah dan kueri dengan hati-hati untuk mendapatkan respons yang optimal.
Jika Anda merasa karya kami bermanfaat, silakan kutip kami sebagai berikut:
@article{ng2023simplyretrieve,
title={SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool},
author={Youyang Ng and Daisuke Miyashita and Yasuto Hoshi and Yasuhiro Morioka and Osamu Torii and Tomoya Kodama and Jun Deguchi},
year={2023},
eprint={2308.03983},
archivePrefix={arXiv},
primaryClass={cs.CL},
journal={arXiv preprint arXiv:2308.03983}
}
?️ Afiliasi: Institut Penelitian & Pengembangan Teknologi Memori, Kioxia Corporation, Jepang
