AskyourDocuments

Tanyakan Dokumen Anda?

Selamat datang di sistem Dokumen QA! Repositori ini berisi kode untuk sistem yang memungkinkan Anda mengajukan pertanyaan tentang dokumen Anda dan mendapatkan jawaban berdasarkan isinya. Ini mendukung berbagai format dokumen, termasuk PDF, Word, Excel, PowerPoint, file teks, dan bahkan gambar!

Fitur

• Mendukung berbagai format dokumen, termasuk PDF, Word, Excel, PowerPoint, file teks, dan gambar
• ? Menggunakan pustaka Hugging Face Transformers untuk membuat penyematan pada potongan dokumen
• ? Menggunakan perpustakaan FAISS untuk membuat indeks untuk penyematan tersebut, memungkinkan pencarian kesamaan yang efisien
• Memungkinkan pengguna untuk mengajukan pertanyaan tentang dokumen mereka dan mendapatkan jawaban berdasarkan isi dokumen tersebut
• ⚡️ Menggunakan multiprosesor untuk memparalelkan pembuatan indeks guna meningkatkan kinerja

? Persyaratan

• Python 3.6 atau lebih tinggi
• Paket Python berikut:
  • transformator
  • rantailang
  • cocok
  • Bantal
  • tekstrak
  • panda
  • python-pptx
  • masa depan bersamaan
  • opencv-python (untuk dukungan gambar)

? Penggunaan

1. Kloning repositori ini ke mesin lokal Anda:

git clone https://github.com/AiGptCode/AskyourDocuments.git

2. Instal paket Python yang diperlukan:

pip install transformers langchain fitz pillow textract pandas python-pptx opencv-python concurrent-futures

3. Tetapkan kunci Hugging Face API Anda sebagai variabel lingkungan:

 export HUGGINGFACE_API_TOKEN=your-api-key

4. Jalankan skrip main.py dan masukkan jalur ke direktori yang berisi dokumen Anda:

python AskyourDocuments.py

5. Ajukan pertanyaan tentang dokumen Anda dan dapatkan jawaban berdasarkan isi dokumen tersebut.

Catatan: Jika Anda ingin menyertakan gambar dalam pencarian Anda, pastikan gambar tersebut dalam format yang didukung (misalnya, JPEG, PNG) dan berada di direktori yang sama dengan dokumen Anda yang lain.

? Berkontribusi

Jika Anda ingin berkontribusi pada proyek ini, silakan ikuti langkah-langkah berikut:

1. Garpu repositori ini ke akun GitHub Anda sendiri.
2. Buat cabang baru untuk perubahan Anda:

git checkout -b my-feature-branch

3. Buat perubahan Anda dan terapkan:

git commit -am ' Add some feature '

4. Dorong perubahan Anda ke fork Anda:

git push origin my-feature-branch

5. Buka permintaan tarik terhadap repositori asli.

? Lisensi

Proyek ini dilisensikan di bawah Lisensi MIT.

? Ucapan Terima Kasih

• Pustaka Hugging Face Transformers untuk menyediakan model dan tokenizer terlatih
• Perpustakaan FAISS untuk menyediakan pencarian kesamaan yang efisien dan pengelompokan vektor padat
• Pustaka langchain untuk menyediakan utilitas untuk membuat dan bekerja dengan model bahasa
• Perpustakaan fitz untuk menyediakan utilitas untuk bekerja dengan file PDF
• Pustaka Pillow untuk menyediakan utilitas untuk bekerja dengan file gambar
• Pustaka textract untuk menyediakan utilitas untuk mengekstraksi teks dari berbagai format file
• Pustaka pandas untuk menyediakan utilitas untuk bekerja dengan data tabular dengan Python
• Pustaka python-pptx untuk menyediakan utilitas untuk bekerja dengan file PowerPoint
• Pustaka concurrent-futures untuk menyediakan antarmuka tingkat tinggi untuk mengeksekusi callable secara asinkron
• Pustaka opencv-python untuk menyediakan utilitas untuk bekerja dengan data gambar dan video (untuk dukungan gambar)