inverted_index

Inhaltsverzeichnis

1. Über das Projekt

   • Systemmodell

   • Gebaut mit

2. Erste Schritte

   • Voraussetzungen

   • Installation

3. Verwendung

4. Roadmap

5. Lizenz

6. Danksagungen

Über das Projekt

Es könnte schwierig sein, nach Phrasen zu suchen, die die Leute in der Umgebung sagen. Was ist mit dynamischen Aktualisierungen dieses Datensatzes? Skalierbarer Speicher und geringe Latenz? Mein Hauptziel bei diesem Projekt ist der Aufbau eines Systems, das diese Anforderungen erfüllt und es ermöglicht, in Echtzeit über Trends in Tweets auf dem Laufenden zu bleiben.

Der Idee des invertierten Index folgend, habe ich die App implementiert, die Tweets mit bestimmten Inhalten in Echtzeit findet, sie in einem lokalen Dateisystem speichert und eine wortbasierte Suche direkt nach der Initialisierung der Clientverbindung ermöglicht.

Systemmodell

Gebaut mit

• Java 8
• Python 3.7
• Kafka 2.10
• Gradle 6.7

Erste Schritte

Voraussetzungen

Um die App auszuführen, benötigen Sie:

• Docker Compose-Installationsanleitung

Installation

1. Klonen Sie das Repo

   git clone https://github.com/cyberpunk317/inverted_index.git

2. Befolgen Sie diese Anleitung, besorgen Sie sich Twitter-API-Anmeldeinformationen und richten Sie sie in kafka/kafka_producer.py ein

    TWITTER_APP_KEY = 'YOUR APP KEY'
    TWITTER_APP_SECRET = 'YOUR APP SECRET'
    TWITTER_KEY = 'YOUR KEY'
    TWITTER_SECRET = 'YOUR SECRET' 

Verwendung

Erstellen Sie Docker-Dateien für Client und Server:

 ./gradlew clean build createClientDockerfile createMainDockerfile

Dadurch werden app_server.Dockerfile und app_client.Dockerfile im Stammverzeichnis erstellt.

Bewerbung starten:

 docker-compose up

Starten Sie eine Client-Sitzung:

 docker build -f app_client.Dockerfile -t client:latest . && docker run -it --rm --network=host client:latest bash

Beginnen Sie mit der Eingabe interessanter Wörter. Der Server gibt den Standort von Tweets im Format „dataset_v2//tweet_N.txt“ zurück. Zum Beispiel:

 You entered: war
Server response: [dataset_v2/Veeresh Dambal/tweet_30.txt, dataset_v2/pedro schliesser/tweet_1.txt]

Roadmap

Eine Liste der vorgeschlagenen Funktionen (und bekannten Probleme) finden Sie unter „Offene Probleme“.

Lizenz

Verteilt unter der MIT-Lizenz. Weitere Informationen finden Sie unter LICENSE .

Danksagungen

• Kafka-Cluster-Setup
• Java-App in Container verpacken (mit Gradle)
• Java CI/CD-Leitfaden
• JUnit 5 mit Gradle
• README-Formatierungsanleitung
• Java CI/CD-Leitfaden
• JUnit 5 mit Gradle