kroomsa

Kroomsa

Un motor de búsqueda para curiosos. Es un algoritmo de búsqueda diseñado para atraer a los usuarios exponiéndolos a contenido relevante pero interesante durante su sesión.

Descripción

El algoritmo de búsqueda implementado en su sitio web influye en gran medida en la participación de los visitantes. Una implementación decente puede reducir significativamente la dependencia de motores de búsqueda estándar como Google para cada consulta, aumentando así la participación. Los métodos tradicionales analizan los términos o frases de su consulta para encontrar contenido relevante basándose en la coincidencia sintáctica. Kroomsa utiliza la coincidencia semántica para encontrar contenido relevante para su consulta. Hay una entrada en el blog que amplía la motivación de Kroomsa y sus aspectos técnicos.

Empezando

Requisitos previos

• Pitón 3.6.5
• Ejecute la configuración del directorio del proyecto: python3 ./setup.py en el directorio raíz.
• Codificador de oraciones universal 4 de Tensorflow
  • El modelo está disponible en este enlace. Descargue el modelo y extraiga el archivo zip en el directorio /vectorizer .
• MongoDB se utiliza como base de datos para recopilar los envíos de Reddit. MongoDB se puede instalar siguiendo este enlace.
• Para recuperar comentarios de los envíos de Reddit, se utiliza PRAW. Para realizar el scraping se necesitan credenciales que autoricen el script para el mismo. Esto se hace creando una aplicación asociada con una cuenta de reddit siguiendo este enlace. Como referencia, puede seguir este tutorial escrito por Shantnu Tiwari.
  • Registre varias instancias y recupere sus credenciales, luego agréguelas al /config bajo el parámetro bot_codes en el siguiente formato: "client_id client_secret user_agent" como elementos de la lista separados por , .
• Docker-compose (solo para implementación dockerizada): instale la última versión siguiendo este enlace.

Instalación

• Cree un entorno Python e instale los paquetes necesarios para el preprocesamiento usando: python3 -m pip install -r ./preprocess_requirements.txt
• Recopilación de un conjunto de datos de envíos de Reddit
  • Publicaciones de raspado
    • La API de Pushshift se utiliza para recuperar envíos de Reddit. En el directorio raíz, ejecute el siguiente comando: python3 ./pre_processing/scraping/questions/scrape_questions.py . Lanza un script que raspa los subreddits secuencialmente hasta su inicio y almacena los envíos como objetos JSON en /pre_processing/scraping/questions/scraped_questions . Luego divide los envíos extraídos en tantas partes iguales como instancias registradas de bots.
  • Comentarios raspados
    • Después de completar la configuración con bot_codes , podemos comenzar a eliminar los comentarios utilizando los archivos de envío particionados creados al eliminar los envíos. Usando el siguiente comando: python3 ./pre_processing/scraping/comments/scrape_comments.py se generan múltiples procesos que recuperan flujos de comentarios simultáneamente.
  • Inserción
    • Para insertar los envíos y los comentarios asociados, utilice los siguientes comandos: python3 ./pre_processing/db_insertion/insertion.py . Inserta las publicaciones y comentarios asociados en mongo.
    • Para limpiar los comentarios y etiquetar las publicaciones que no son públicas por algún motivo, ejecute python3 ./post_processing/post_processing.py . Además de limpiar, también agrega emojis a cada objeto enviado (este comportamiento es configurable).
• Creando un índice FAISS
  • Para crear un índice FAISS, ejecute el siguiente comando: python3 ./index/build_index.py . De forma predeterminada, crea un IDMap, Flat , pero se puede configurar a través de /config .
• Volcado de base de datos (para implementación dockerizada)
  • Para la implementación dockerizada, se requiere un volcado de base de datos en /mongo_dump . Utilice el siguiente comando en el directorio raíz para crear un volcado de base de datos. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Ejecución

• Despliegue local (usando Gunicorn)
  • Cree un entorno Python e instale los paquetes necesarios usando el siguiente comando: python3 -m pip install -r ./inference_requirements.txt
  • Se puede implementar una instancia local de Kroomsa usando el siguiente comando: gunicorn -c ./gunicorn_config.py server:app
• Demostración acoplada
  • Establezca demo_mode en True en /config .
  • Construir imágenes: docker-compose build
  • Implementar: docker-compose up

Autores

• aakash chawla
• Divyanshu Kalra

Licencia

Este proyecto tiene la licencia Apache License Versión 2.0.