ConversAI

PercakapanAI

ConversAI adalah kerangka kerja AI percakapan inovatif yang dirancang untuk memberdayakan pengguna dengan interaksi cerdas di berbagai format dokumen dan konten web. Dengan memanfaatkan teknik pemrosesan bahasa alami (NLP) yang canggih, ConversAI memungkinkan ekstraksi teks dan kemampuan kueri yang lancar, menjadikannya alat yang sangat berharga bagi peneliti, pelajar, profesional, dan siapa saja yang secara teratur berinteraksi dengan informasi berbasis teks.

Perkenalan

Di era yang ditandai dengan kelebihan informasi, pemrosesan data yang efisien sangatlah penting. ConversAI mengatasi tantangan ini dengan memanfaatkan teknologi tercanggih untuk mengubah data tidak terstruktur menjadi wawasan yang dapat ditindaklanjuti. Baik mengekstrak informasi penting dari PDF, mengambil transkrip dari video YouTube, atau mengumpulkan data dari beberapa halaman web, ConversAI menyediakan antarmuka ramah pengguna yang menyederhanakan tugas-tugas kompleks ini.

Teknologi Utama yang Digunakan:

• Gradio : Untuk membangun antarmuka pengguna yang interaktif.
• Langchain : Untuk merangkai berbagai tugas pengambilan dan pemrosesan data.
• EasyOCR : Untuk pengenalan karakter optik dalam PDF yang dapat dipindai.
• Pymupdf : Untuk menangani dokumen PDF yang dapat dicari.
• BeautifulSoup : Untuk pengikisan web dan penguraian HTML.

Dengan desain modularnya, ConversAI bukan hanya sebuah alat tetapi sebuah platform yang dapat diperluas dan disesuaikan agar sesuai dengan beragam kebutuhan pengguna.

Fitur

• Ekstraksi Teks : Mengekstrak teks dari PDF yang dapat dicari dan dipindai.
• Perayap Web : Mengumpulkan dan memproses teks dari situs web secara efisien.
• Pengambilan Transkrip YouTube : Mengambil dan memproses transkrip video untuk memudahkan pembuatan kueri.
• Antarmuka Percakapan : UI Gradio Interaktif untuk interaksi pengguna yang lancar.
• Dapat Dikonfigurasi : Mudah disesuaikan agar sesuai dengan kasus penggunaan tertentu.
• Pengambilan Dokumen Tingkat Lanjut : Memanfaatkan algoritma canggih untuk meningkatkan akurasi dan relevansi.

Manfaat

• Menghemat Waktu : Mengotomatiskan ekstraksi teks, memungkinkan pengguna untuk fokus pada analisis daripada entri data manual.
• Akurasi : Kemampuan ekstraksi teks presisi tinggi memastikan pengguna menerima data yang andal.
• Ramah Pengguna : Antarmuka intuitif membuatnya dapat diakses oleh pengguna dengan berbagai keterampilan teknis.
• Scalable : Arsitektur modular memungkinkan integrasi fitur dan fungsi tambahan dengan mudah.

Memulai

Prasyarat

Sebelum menjalankan ConversAI, pastikan Anda telah menginstal dependensi berikut:

apt-get update && apt-get upgrade -y
apt-get install poppler-utils -y

Selain itu, Anda perlu menyiapkan variabel lingkungan untuk GROQ API:

1. Daftar di Groq dan dapatkan kunci API Anda.
2. Tetapkan GROQ_API_KEY di variabel lingkungan Anda.

Instalasi

1. Kloning repositori:

   git clone https://github.com/rauhanahmed/ConversAI.git
   cd ConversAI

2. Instal paket yang diperlukan:

   pip install -r requirements.txt

Menjalankan Aplikasi

Untuk meluncurkan aplikasi, jalankan perintah berikut:

python app.py

Antarmuka Gradio akan terbuka di browser web default Anda.

Catatan Konfigurasi Penting

Jika GPU tidak tersedia, harap ubah file config.ini sebagai berikut:

• Di bagian [EMBEDDINGS] , ubah:

   device = cuda

  ke:

   device = cpu

• Di bawah bagian [EASYOCR] , ubah:

   gpu = true

  ke:

   gpu = false

Penyesuaian ini akan memastikan aplikasi berjalan lancar pada sumber daya CPU.

Catatan Penting

Setelah menggunakan antarmuka, pastikan untuk mengklik tombol "Hapus" untuk mengatur ulang kolom. Hal ini penting karena manajemen sesi belum diterapkan dalam versi ini, dan kegagalan menghapus masukan dapat menyebabkan persistensi data yang tidak diinginkan selama interaksi berikutnya.

Struktur Direktori

Berikut tampilan komprehensif pohon direktori proyek:

 ConversAI/
├── app.py                      # Main application file
├── config.ini                  # Configuration file
├── params.yaml                 # Prompts for the application
├── requirements.txt            # Required Python packages
├── src/                        # Source code directory
│   ├── components/             # Component modules
│   │   ├── loaders/            # Data loaders
│   │   │   ├── pdfLoader.py
│   │   │   ├── websiteCrawler.py
│   │   │   └── youtubeLoader.py
│   │   ├── rag/                # Retrieval-Augmented Generation components
│   │   │   └── RAG.py
│   │   └── vectors/            # Vector storage and processing
│   │       └── vectorstore.py
│   ├── utils/                  # Utility functions and classes
│   │   ├── exceptions.py
│   │   ├── functions.py              
│   │   ├── logging.py
│   ├── pipelines/              # Pipeline logic for data processing
│   │   └── completePipeline.py
└── README.md                   # Project documentation

Demo

Antarmuka Masukan Teks

Antarmuka Unggah PDF

Antarmuka Perayap Web

Kesimpulan

ConversAI lebih dari sekedar alat; ini adalah solusi komprehensif untuk mengelola dan mengekstraksi wawasan dari berbagai format dokumen dan sumber web. Dengan kemampuannya yang kuat dan antarmuka yang ramah pengguna, ConversAI siap membuat pengambilan dan pemrosesan informasi menjadi lebih mudah dan efisien dibandingkan sebelumnya.

Tentu! Berikut adalah bagian yang diperbarui untuk menyertakan kontribusi dan ucapan terima kasih Anda:

---

Informasi Penulis

• Email : [email protected]
• Github : RauhanAhmed
• LinkedIn : Rauhan Ahmed
• Twitter : @ahmed_rauh46040
• Portofolio : rauhanahmed.org

Ucapan Terima Kasih

Proyek ini dikembangkan saat bekerja sebagai AI Engineer di Tech Consulting Partners. Saya membangun ConversAI dari awal, menerapkan metode pengambilan dokumen tingkat lanjut, teknik pemeringkatan ulang, metodologi pencarian hibrid, beberapa integrasi dengan model bahasa besar (LLM), dan banyak fungsi kompleks lainnya.

Backend mencakup fitur manajemen pengguna, solusi penyimpanan data canggih (termasuk manajemen penyimpanan S3), manajemen database, dan database vektor. Strategi penerapan ini memanfaatkan API yang kuat, container Docker, praktik CI/CD, pemantauan model, dan penerapan platform cloud.

Prototipe sumber terbuka ini berfungsi sebagai batu loncatan menuju proyek yang lebih komprehensif yang ditujukan untuk kepentingan publik, yang menunjukkan potensi besar teknologi AI canggih dalam aplikasi sehari-hari. Saya mengucapkan terima kasih yang sebesar-besarnya kepada Tech Consulting Partners yang telah mempercayakan inisiatif ini kepada saya dan atas dukungan mereka yang sangat berharga selama proses pengembangan.

Lisensi

Proyek ini dilisensikan di bawah Lisensi MIT - lihat file LISENSI untuk detailnya.

---

Kami harap Anda menikmati penggunaan ConversAI! Untuk pertanyaan atau masukan apa pun, silakan hubungi melalui repositori proyek atau email.