universal web scraper using generative ai

Intelligenter und universeller Web Scraper: Mühelose Datenextraktion, unterstützt durch generative KI?

Der Smart & Universal Web Scrapper ist ein intelligentes Datenextraktionstool, das auf generativer KI basiert. Es vereinfacht den Prozess des Scrapens von Daten von jeder Website, indem es Benutzern ermöglicht, den Website-Link und die erforderlichen Datenfelder bereitzustellen. Mit seinen vielseitigen Funktionen kann dieses Tool Daten nahtlos extrahieren und in einem Tabellenformat darstellen, das in verschiedenen Formaten wie Excel, JSON oder Markdown heruntergeladen werden kann. Seine intelligente, benutzerfreundliche Oberfläche gewährleistet eine effiziente und genaue Datenextraktion für alle Ihre Web-Scraping-Anforderungen.

Wie es funktioniert

1. Starten Sie die Anwendung: Öffnen Sie den Universal Web Scrapper auf Ihrem System.
2. Wählen Sie ein LLM-Modell: Wählen Sie aus den verfügbaren Optionen das gewünschte Large Language Model (LLM) aus.
3. Geben Sie den Website-Link ein: Fügen Sie die URL der Website ein, von der Sie Daten extrahieren möchten.
4. Definieren Sie die Datenfelder: Geben Sie die Datenfelder an, die Sie aus der Website extrahieren möchten.
5. Automatische Datenextraktion: Die Anwendung kratzt die Daten intelligent und organisiert sie in einer klaren, strukturierten Tabelle.
6. Laden Sie die Daten herunter: Exportieren Sie die Scraped-Daten in Ihrem bevorzugten Format (Excel, JSON, Markdown).

Es nutzt die folgenden Technologien:

Python: Python ist eine beliebte, vielseitige Programmiersprache, die für ihre Einfachheit und Lesbarkeit bekannt ist. Es wird häufig für verschiedene Anwendungen verwendet, darunter Webentwicklung, Datenanalyse, maschinelles Lernen und Automatisierungsaufgaben. Das umfangreiche Ökosystem an Bibliotheken und Frameworks macht Python zu einem leistungsstarken Werkzeug für Entwickler.

LLaMA 3.1 (70b): LLaMA (Lean Large-Language Model) ist eine Familie großer Sprachmodelle, die von Meta AI entwickelt wurde. Die Version 3.1 (70b) bezieht sich auf eine bestimmte Modellvariante mit 70 Milliarden Parametern. Große Sprachmodelle wie LLaMA werden auf riesigen Mengen an Textdaten trainiert, was es ihnen ermöglicht, menschenähnlichen Text für verschiedene Aufgaben der Verarbeitung natürlicher Sprache zu verstehen und zu generieren.

Groq API: Die Groq-API bietet Zugriff auf die leistungsstarke KI-Inferenzplattform von Groq. Es ermöglicht Entwicklern, ihre fortschrittliche Hardware und Software für eine schnelle und effiziente Ausführung von KI-Modellen zu nutzen.

Streamlit: Streamlit ist eine Open-Source-Python-Bibliothek, die den Prozess der Erstellung interaktiver Datenvisualisierungs- und maschineller Lern-Webanwendungen vereinfacht. Es ermöglicht Entwicklern, Benutzeroberflächen durch das Schreiben von Python-Skripten zu erstellen, wodurch es einfacher wird, datengesteuerte Anwendungen mit anderen zu teilen.

Ausführen des Projekts

1. Forken oder Klonen des Repositorys::

Forken oder klonen Sie dieses Repository mit Git auf Ihrem lokalen Computer.

2. Installationsanforderungen:

Installieren Sie die erforderlichen Bibliotheken.

pip install -r requirements.txt

3. Umgebungsvariablen einrichten:

Erstellen Sie eine .env Datei in Ihrem Projektverzeichnis und fügen Sie alle erforderlichen API-Schlüssel hinzu (z. B. Google API-Schlüssel, Groq API KEY).

4. Führen Sie die Streamlit-Anwendungsdatei aus:

streamlit run app.py

Lizenz:

GNU General Public License v3.0

Folgen Sie mir :

Autoren

• @Adrit Pal

• Wenn Ihnen meine Arbeit gefällt und sie Ihnen trotzdem weitergeholfen hat, dann machen Sie bitte das Repository, es wird mich motivieren, weitere tolle Projekte zu machen