inverted_index

Оглавление

1. О проекте

   • Модель системы

   • Построен с

2. Начиная

   • Предварительные условия

   • Установка

3. Использование

4. Дорожная карта

5. Лицензия

6. Благодарности

О проекте

Искать фразы, которые говорят окружающие, может быть непросто. А как насчет динамических обновлений этого набора данных? Масштабируемое хранилище и низкая задержка? Моя главная цель в этом проекте — создать систему, которая отвечает этим требованиям и позволяет быть в курсе тенденций, представленных в твитах, в режиме реального времени.

Следуя идее инвертированного индекса, я реализовал приложение, которое в режиме реального времени находит твиты с определенным содержанием, сохраняет их в локальной файловой системе и позволяет выполнять поиск по словам сразу после инициализации клиентского соединения.

Модель системы

Построен с

• Ява 8
• Питон 3.7
• Кафка 2.10
• Градл 6.7

Начиная

Предварительные условия

Для того, чтобы запустить приложение вам необходимо:

• Руководство по установке Docker Compose

Установка

1. Клонировать репозиторий

   git clone https://github.com/cyberpunk317/inverted_index.git

2. Следуя этому руководству, получите учетные данные Twitter API и настройте их в kafka/kafka_producer.py.

    TWITTER_APP_KEY = 'YOUR APP KEY'
    TWITTER_APP_SECRET = 'YOUR APP SECRET'
    TWITTER_KEY = 'YOUR KEY'
    TWITTER_SECRET = 'YOUR SECRET' 

Использование

Создайте Dockerfiles для клиента и сервера:

 ./gradlew clean build createClientDockerfile createMainDockerfile

Это создаст app_server.Dockerfile и app_client.Dockerfile в корневом каталоге.

Запустить приложение:

 docker-compose up

Запускаем клиентскую сессию:

 docker build -f app_client.Dockerfile -t client:latest . && docker run -it --rm --network=host client:latest bash

Начните вводить интересующие вас слова. Сервер вернет местоположение твитов в формате dataset_v2//tweet_N.txt. Например:

 You entered: war
Server response: [dataset_v2/Veeresh Dambal/tweet_30.txt, dataset_v2/pedro schliesser/tweet_1.txt]

Дорожная карта

Список предлагаемых функций (и известных проблем) см. в разделе «Открытые проблемы».

Лицензия

Распространяется по лицензии MIT. См. LICENSE для получения дополнительной информации.

Благодарности

• Настройка кластера Kafka
• Упаковка Java-приложения в контейнеры (с использованием Gradle)
• Руководство по Java CI/CD
• JUnit 5 с Gradle
• Руководство по форматированию README
• Руководство по Java CI/CD
• JUnit 5 с Gradle