inverted_index

Tabla de contenido

1. Acerca del proyecto

   • Modelo del sistema

   • Construido con

2. Empezando

   • Requisitos previos

   • Instalación

3. Uso

4. Hoja de ruta

5. Licencia

6. Expresiones de gratitud

Acerca del proyecto

Buscar frases que diga la gente a tu alrededor puede resultar complicado. ¿Qué pasa con las actualizaciones dinámicas de este conjunto de datos? ¿Almacenamiento escalable y baja latencia? Mi principal objetivo en este proyecto es construir un sistema que cumpla con estos requisitos y permita estar actualizado con las tendencias presentes en los tweets en tiempo real.

Siguiendo la idea del índice invertido, implementé la aplicación que en tiempo real encuentra tweets con contenido específico, los almacena en un sistema de archivos local y permite realizar búsquedas basadas en palabras inmediatamente después de inicializar la conexión del cliente.

Modelo del sistema

Construido con

• Java 8
• Pitón 3.7
• Kafka 2.10
• Gradle 6.7

Empezando

Requisitos previos

Para ejecutar la aplicación necesitas:

• Guía de instalación de Docker Compose

Instalación

1. Clonar el repositorio

   git clone https://github.com/cyberpunk317/inverted_index.git

2. Siguiendo esta guía, obtenga las credenciales de la API de Twitter y configúrelas en kafka/kafka_producer.py

    TWITTER_APP_KEY = 'YOUR APP KEY'
    TWITTER_APP_SECRET = 'YOUR APP SECRET'
    TWITTER_KEY = 'YOUR KEY'
    TWITTER_SECRET = 'YOUR SECRET' 

Uso

Cree Dockerfiles para cliente y servidor:

 ./gradlew clean build createClientDockerfile createMainDockerfile

Esto producirá app_server.Dockerfile y app_client.Dockerfile en el directorio raíz.

Iniciar solicitud:

 docker-compose up

Inicie una sesión de cliente:

 docker build -f app_client.Dockerfile -t client:latest . && docker run -it --rm --network=host client:latest bash

Empiece a escribir palabras de interés. El servidor devolverá la ubicación de los tweets en el formato 'dataset_v2//tweet_N.txt'. Por ejemplo:

 You entered: war
Server response: [dataset_v2/Veeresh Dambal/tweet_30.txt, dataset_v2/pedro schliesser/tweet_1.txt]

Hoja de ruta

Consulte los problemas abiertos para obtener una lista de funciones propuestas (y problemas conocidos).

Licencia

Distribuido bajo la licencia MIT. Consulte LICENSE para obtener más información.

Expresiones de gratitud

• Configuración del clúster Kafka
• Empaquetado de aplicaciones Java en contenedores (usando Gradle)
• Guía de Java CI/CD
• JUnit 5 con Gradle
• Guía de formato LÉAME
• Guía de Java CI/CD
• JUnit 5 con Gradle