kroomsa

Крумса

Поисковая система для любознательных. Это алгоритм поиска, предназначенный для привлечения пользователей, предоставляя им релевантный, но интересный контент во время сеанса.

Описание

Алгоритм поиска, реализованный на вашем сайте, сильно влияет на вовлеченность посетителей. Достойная реализация может значительно снизить зависимость от стандартных поисковых систем, таких как Google, для каждого запроса, тем самым увеличивая вовлеченность. Традиционные методы рассматривают термины или фразы в вашем запросе, чтобы найти релевантный контент на основе синтаксического соответствия. Kroomsa использует семантическое сопоставление для поиска контента, соответствующего вашему запросу. В блоге есть сообщение, в котором подробно рассказывается о мотивации Крумсы и ее технических аспектах.

Начиная

Предварительные условия

• Питон 3.6.5
• Запустите настройку каталога проекта: python3 ./setup.py в корневом каталоге.
• Универсальный кодировщик предложений Tensorflow 4
  • Модель доступна по этой ссылке. Загрузите модель и распакуйте zip-файл в каталог /vectorizer .
• MongoDB используется в качестве базы данных для сопоставления материалов Reddit. MongoDB можно установить по этой ссылке.
• Для получения комментариев к материалам Reddit используется PRAW. Для очистки необходимы учетные данные, которые разрешают выполнение скрипта. Это можно сделать путем создания приложения, связанного с учетной записью Reddit, перейдя по этой ссылке. Для справки вы можете следовать этому руководству, написанному Шантну Тивари.
  • Зарегистрируйте несколько экземпляров и получите их учетные данные, а затем добавьте их в параметр /config в разделе bot_codes в следующем формате: "client_id client_secret user_agent" как элементы списка, разделенные символами , .
• Docker-compose (только для развертывания с использованием докеров): установите последнюю версию по этой ссылке.

Установка

• Создайте среду Python и установите необходимые пакеты для предварительной обработки, используя: python3 -m pip install -r ./preprocess_requirements.txt
• Сопоставление набора данных материалов Reddit
  • Парсинг постов
    • API Pushshift используется для получения материалов Reddit. В корневом каталоге выполните следующую команду: python3 ./pre_processing/scraping/questions/scrape_questions.py . Он запускает скрипт, который последовательно очищает субреддиты до их создания и сохраняет отправленные материалы как объекты JSON в /pre_processing/scraping/questions/scraped_questions . Затем он делит собранные материалы на столько равных частей, сколько зарегистрировано экземпляров ботов.
  • Парсинг комментариев
    • После заполнения конфигурации с помощью bot_codes мы можем начать очистку комментариев, используя секционированные файлы отправленных материалов, созданные во время очистки отправленных материалов. С помощью следующей команды: python3 ./pre_processing/scraping/comments/scrape_comments.py создается несколько процессов, которые одновременно извлекают потоки комментариев.
  • Вставка
    • Чтобы вставить отправленные материалы и связанные с ними комментарии, используйте следующие команды: python3 ./pre_processing/db_insertion/insertion.py . Он вставляет сообщения и связанные с ними комментарии в формате mongo.
    • Чтобы очистить комментарии и пометить сообщения, которые по какой-либо причине не являются общедоступными, запустите python3 ./post_processing/post_processing.py . Помимо очистки, он также добавляет смайлы к каждому объекту отправки (это поведение можно настроить).
• Создание индекса FAISS
  • Чтобы создать индекс FAISS, выполните следующую команду: python3 ./index/build_index.py . По умолчанию он создает полный индекс IDMap, Flat но его можно настроить через /config .
• Дамп базы данных (для докеризованного развертывания)
  • Для докеризованного развертывания требуется дамп базы данных в /mongo_dump . Используйте следующую команду в корневом каталоге, чтобы создать дамп базы данных. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Исполнение

• Локальное развертывание (с использованием Gunicorn)
  • Создайте среду Python и установите необходимые пакеты с помощью следующей команды: python3 -m pip install -r ./inference_requirements.txt
  • Локальный экземпляр Kroomsa можно развернуть с помощью следующей команды: gunicorn -c ./gunicorn_config.py server:app
• Докеризованная демо-версия
  • Установите для demo_mode значение True в /config .
  • Образы сборки: docker-compose build
  • Развертывание: docker-compose up

Авторы

• Аакаш Чавла
• Дивьяншу Калра

Лицензия

Этот проект распространяется по лицензии Apache версии 2.0.