simple_search_engine

Motor de búsqueda sencillo

Introducción a la aplicación

Las tareas de cálculo y recuperación de información social requieren las siguientes funciones:

• TFIDF: dada una carpeta que lleva su nombre, rastree una cierta cantidad de páginas web y Weibo para formar una colección de corpus y guárdela en la carpeta, realice estadísticas TFIDF sobre las palabras que contiene en línea y envíelas a un archivo. El directorio de almacenamiento de archivos es app/tfidf/tfidf_result .

• SIM: en el estado en línea, ingrese dos oraciones cualesquiera de la página web y encuentre su similitud, incluidos tres métodos de medición: producto interno, coseno y Jaccard.

• SJet: Implementación de un motor de búsqueda basado en el Modelo de Espacio Vectorial (VSM).

Entorno operativo

• linux
• pitón 2.7
• jieba
• matraz 0,12
• Varias extensiones de matraz

método de ejecución

• Abra la terminal en el directorio raíz del proyecto.

• Utilice el siguiente comando para activar el entorno virtual de Python

   source venv/bin/activate
  

• Ejecute el programa con el siguiente comando

   python hello.py runserver
  

• Acceso 127.0.0.1:5000

Estructura del proyecto

1. net_ease_roll.py

   reptil. El contenido rastreado incluye las secciones nacional, internacional y social de las noticias en desplazamiento de NetEase, con un total de 416 artículos de noticias. El entorno de ejecución del rastreador es Windows.

2. tfidf_calc.py

   Realice un preprocesamiento de segmentación de palabras en el texto de noticias rastreado.

3. configuración.py

   Configuración de almacenamiento.

4. hola.py

   Se utiliza para iniciar programas y otros programas de tareas.

5. aplicación

   1. __init__.py

      Archivos de proyecto de matraz

   2. sim

      Implemente el modelo de función SIM. El algoritmo específico se implementa en el archivo views.py en esta carpeta.

   3. sjet

      Implemente el modelo de función Sjet. El algoritmo específico se implementa en el archivo views.py en esta carpeta.

   4. tfidf

      Implemente el modelo de función TFIDF. El algoritmo específico se implementa en el archivo views.py en esta carpeta.

   5. plantillas

      Plantilla de interfaz de usuario. La plantilla utiliza el motor de plantillas Jinja2 para el renderizado frontal.