kroomsa

Kroomsa

Um mecanismo de busca para curiosos. É um algoritmo de pesquisa projetado para envolver os usuários, expondo-os a conteúdo relevante, porém interessante, durante a sessão.

Descrição

O algoritmo de pesquisa implementado em seu site influencia muito o envolvimento do visitante. Uma implementação decente pode reduzir significativamente a dependência de mecanismos de pesquisa padrão como o Google para cada consulta, aumentando assim o engajamento. Os métodos tradicionais analisam termos ou frases em sua consulta para encontrar conteúdo relevante com base na correspondência sintática. Kroomsa usa correspondência semântica para encontrar conteúdo relevante para sua consulta. Há uma postagem no blog que expande a motivação de Kroomsa e seus aspectos técnicos.

Começando

Pré-requisitos

• Pitão 3.6.5
• Execute o diretório do projeto setup: python3 ./setup.py no diretório raiz.
• Codificador de frase universal 4 do Tensorflow
  • O modelo está disponível neste link. Baixe o modelo e extraia o arquivo zip no diretório /vectorizer .
• MongoDB é usado como banco de dados para agrupar os envios do Reddit. O MongoDB pode ser instalado seguindo este link.
• Para obter comentários dos envios do reddit, o PRAW é usado. Para raspar são necessárias credenciais que autorizem o script para o mesmo. Isso é feito criando um aplicativo associado a uma conta Reddit seguindo este link. Para referência, você pode seguir este tutorial escrito por Shantnu Tiwari.
  • Registre várias instâncias e recupere suas credenciais e, em seguida, adicione-as ao /config no parâmetro bot_codes no seguinte formato: "client_id client_secret user_agent" como elementos de lista separados por , .
• Docker-compose (somente para implantação dockerizada): instale a versão mais recente seguindo este link.

Instalando

• Crie um ambiente python e instale os pacotes necessários para pré-processamento usando: python3 -m pip install -r ./preprocess_requirements.txt
• Reunindo um conjunto de dados de envios do Reddit
  • Raspando postagens
    • A API do Pushshift está sendo usada para buscar envios do Reddit. No diretório raiz, execute o seguinte comando: python3 ./pre_processing/scraping/questions/scrape_questions.py . Ele inicia um script que raspa os subreddits sequencialmente até seu início e armazena os envios como objetos JSON em /pre_processing/scraping/questions/scraped_questions . Em seguida, ele particiona os envios copiados em tantas partes iguais quantas forem as instâncias registradas de bots.
  • Raspando comentários
    • Depois de preencher a configuração com bot_codes , podemos começar a extrair os comentários usando os arquivos de envio particionados criados durante a extração dos envios. Usando o seguinte comando: python3 ./pre_processing/scraping/comments/scrape_comments.py vários processos são gerados para buscar fluxos de comentários simultaneamente.
  • Inserção
    • Para inserir os envios e comentários associados, use os seguintes comandos: python3 ./pre_processing/db_insertion/insertion.py . Ele insere as postagens e comentários associados no mongo.
    • Para limpar os comentários e marcar as postagens que não são públicas por qualquer motivo, execute python3 ./post_processing/post_processing.py . Além da limpeza, também adiciona emojis a cada objeto de envio (este comportamento é configurável).
• Criando um Índice FAISS
  • Para criar um índice FAISS, execute o seguinte comando: python3 ./index/build_index.py . Por padrão, ele cria um IDMap, Flat , mas é configurável por meio de /config .
• Despejo de banco de dados (para implantação dockerizada)
  • Para implantação dockerizada, é necessário um dump do banco de dados em /mongo_dump . Use o seguinte comando no diretório raiz para criar um dump do banco de dados. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Execução

• Implantação local (usando Gunicorn)
  • Crie um ambiente python e instale os pacotes necessários usando o seguinte comando: python3 -m pip install -r ./inference_requirements.txt
  • Uma instância local do Kroomsa pode ser implantada usando o seguinte comando: gunicorn -c ./gunicorn_config.py server:app
• Demonstração Dockerizada
  • Defina demo_mode como True em /config .
  • Construir imagens: docker-compose build
  • Implantar: docker-compose up

Autores

• Aakash chawla
• Divyanshu Kalra

Licença

Este projeto está licenciado sob a Licença Apache Versão 2.0