universal web scraper using generative ai

Scraper Web Cerdas & Universal: Ekstraksi Data yang Mudah, Didukung oleh AI Generatif?

Smart & Universal Web Scrapper adalah alat ekstraksi data cerdas yang didukung oleh AI Generatif. Ini menyederhanakan proses pengambilan data dari situs web mana pun dengan memungkinkan pengguna memberikan tautan situs web dan bidang data yang diperlukan. Dengan kemampuannya yang serbaguna, alat ini dapat mengekstrak data dengan lancar dan menyajikannya dalam format tabel, yang dapat diunduh dalam berbagai format seperti Excel, JSON, atau Markdown. Antarmukanya yang cerdas dan ramah pengguna memastikan ekstraksi data yang efisien dan akurat untuk semua kebutuhan pengikisan web Anda.

Cara Kerjanya

1. Luncurkan Aplikasi: Buka Universal Web Scrapper di sistem Anda.
2. Pilih Model LLM: Pilih Model Bahasa Besar (LLM) yang diinginkan dari opsi yang tersedia.
3. Masukkan Tautan Situs Web: Tempelkan URL situs web yang datanya ingin Anda kikis.
4. Tentukan Bidang Data: Tentukan bidang data yang ingin Anda ekstrak dari situs web.
5. Ekstraksi Data Otomatis: Aplikasi dengan cerdas mengumpulkan data dan mengaturnya menjadi tabel yang jelas dan terstruktur.
6. Unduh Data: Ekspor data yang tergores dalam format pilihan Anda (Excel, JSON, Markdown).

Ini memanfaatkan teknologi berikut:

Python: Python adalah bahasa pemrograman populer dan serbaguna yang dikenal karena kesederhanaan dan keterbacaannya. Ini banyak digunakan untuk berbagai aplikasi, termasuk pengembangan web, analisis data, pembelajaran mesin, dan tugas otomatisasi. Ekosistem perpustakaan dan kerangka kerja Python yang luas menjadikannya alat yang ampuh bagi pengembang.

LLaMA 3.1 (70b): LLaMA (Lean Large-Language Model) adalah rangkaian model bahasa besar yang dikembangkan oleh Meta AI. Versi 3.1 (70b) mengacu pada varian model tertentu dengan 70 miliar parameter. Model bahasa besar seperti LLaMA dilatih pada data teks dalam jumlah besar, memungkinkan mereka memahami dan menghasilkan teks mirip manusia untuk berbagai tugas pemrosesan bahasa alami.

Groq API: Groq API menyediakan akses ke platform inferensi AI Groq yang kuat. Hal ini memungkinkan pengembang untuk memanfaatkan perangkat keras dan perangkat lunak canggih mereka untuk eksekusi model AI yang cepat dan efisien.

Streamlit: Streamlit adalah pustaka Python sumber terbuka yang menyederhanakan proses pembuatan visualisasi data interaktif dan aplikasi web pembelajaran mesin. Hal ini memungkinkan pengembang untuk membuat antarmuka pengguna dengan menulis skrip Python, sehingga lebih mudah untuk berbagi aplikasi berbasis data dengan orang lain.

Menjalankan Proyek

1. Garpu atau Klon Repositori::

Garpu atau kloning repositori ini ke mesin lokal Anda menggunakan Git.

2. Persyaratan Instalasi:

Instal perpustakaan yang diperlukan.

pip install -r requirements.txt

3. Siapkan Variabel Lingkungan:

Buat file .env di direktori proyek Anda dan tambahkan kunci API apa pun yang diperlukan (misalnya, kunci Google API, Groq API KEY).

4. Jalankan file aplikasi streamlit:

streamlit run app.py

Lisensi :

Lisensi Publik Umum GNU v3.0

Ikuti Saya :

Penulis

• @Adrit Pal

• Jika Anda menyukai pekerjaan saya dan itu membantu Anda, silakan lakukan repositori, itu akan memotivasi saya untuk membuat proyek yang lebih menakjubkan