Unduhan ringkasan ai - unduhan kode sumber ringkasan ai

ringkasan ai

Kode sumber lainnya

v1.0.3

Unduh

Peringkasan AI

Repo menampilkan alat peringkasan AI.

Ringkasan

Repo ini menampilkan alat sederhana namun efektif untuk peringkasan dokumen. Ini dapat bekerja dengan dokumen teks biasa dan PDF dalam bahasa apa pun yang didukung oleh LLM yang mendasarinya (Mistral secara default).

Pengaturan

Menginstal Dependensi

Instal dependensi berikut (di macOS):

Instalasi Python 3 (misalnya paket Miniconda atau Homebrew)
Paket Python: jalankan pip3 install -r requirements.txt
Unduh model mistral-7b-openorca.Q5_K_M.gguf dari repo Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF ke direktori models lokal.

Perhatikan bahwa Anda dapat bereksperimen dengan model alternatif, cukup perbarui variabel MODEL_FILE dan MODEL_CONTEXT_WINDOW di web-ui.py dan/atau Notebook.ipynb .

Berlari

antarmuka web

Untuk menjalankan Web UI jalankan saja python3 ./web-ui.py di folder repo. Ini akan membuka antarmuka UI Web di browser.

Buku Catatan Jupyter

Alat ini juga dapat digunakan sebagai Jupyter Labs/Notebook, Anda membuka Notebook.ipynb di Jupyter Labs.

Detail

Alur kerja

Tergantung pada ukuran dokumen, alat ini bekerja dalam mode berikut:

Dalam kasus sederhana, jika seluruh dokumen dapat masuk ke dalam jendela konteks model, maka peringkasan didasarkan pada penambahan perintah peringkasan yang relevan.
Jika dokumen berukuran besar, dokumen diproses menggunakan pola "pengurangan peta":
Dokumen pertama-tama dipecah menjadi beberapa bagian yang lebih kecil menggunakan `RecursiveCharacterTextSplitter`` yang mencoba mematuhi batasan paragraf dan kalimat.
Setiap bagian diringkas secara terpisah (langkah peta).
Peringkasan potongan diringkas lagi untuk memberikan ringkasan akhir (langkah pengurangan).

Pemrosesan lokal

Semua pemrosesan dilakukan secara lokal di mesin pengguna.

Model Mistral terukur ( mistral-7b-openorca.Q5_K_M.gguf ) memiliki sekitar 5,1 GB.

Pertunjukan

Dokumen yang relatif kecil hingga sedang (beberapa halaman) harus masuk ke dalam jendela konteks tunggal, yang menghasilkan waktu pemrosesan sekitar 40 detik pada Apple MBP dengan chip M1.