selective search

Búsqueda selectiva

La búsqueda selectiva es un proyecto de recuperación de información distribuida (DIR) para la búsqueda de texto a gran escala en el que una colección de documentos se divide en subconjuntos (conocidos como fragmentos) en función de la similitud del corpus de documentos, lo que permite la búsqueda en menos fragmentos en lugar de en todos.

El objetivo del proyecto es implementar un sistema de búsqueda distribuida eficiente y eficaz sin afectar la calidad de la búsqueda y con el objetivo de reducir el costo de la búsqueda.

La metodología de descomponer una colección a gran escala en subunidades en función de la similitud del contenido de sus registros se denomina "particionamiento basado en temas", y la búsqueda en solo un menor número de fragmentos relevantes para una consulta de búsqueda determinada se denomina "búsqueda selectiva" en una publicación de Kulkarni et al. Alabama.

Tabla de contenido

1. Arquitectura General
2. Implementación actual
   1. Pila de tecnología
   2. Compatibilidad de versiones
   3. Arquitectura de implementación
   4. Características
3. Empezando
   1. Compilar
   2. Correr
      1. Ejecutar en IDE
      2. Ejecutar en Spark Cluster
   3. Configurar solrcloud
4. Ejemplos
5. Configuración y ajuste
6. Preguntas
7. Referencias

Arquitectura General

Implementación actual

La búsqueda selectiva está programada en Scala. Amplía las bibliotecas de Apache Spark MLLib para agrupación en clústeres no supervisados ​​y computación distribuida, y las bibliotecas de Apache Solr para búsqueda y recuperación de información.

Pila de tecnología

• Lenguaje de programación: Scala.
• Marcos extendidos
  • Apache Spark para informática distribuida
    • Extiende las bibliotecas de aprendizaje automático (MLLib) de Apache Spark para la implementación de particiones basadas en temas y el algoritmo se ejecuta sobre Spark Cluster.
  • Apache Solr para búsqueda distribuida
    • Extiende las bibliotecas de recuperación de información (búsqueda) de Apache Solr para la implementación de varios algoritmos de búsqueda selectiva y el propio grupo de búsqueda está configurado en Apache SolrCloud.
  • Para la integración entre Apache Spark y Apache Solr, se utilizan bibliotecas Spark-Solr.
• Herramientas
  • Maven para compilación, IntelliJ para desarrollo, Git para SCM

Compatibilidad de versiones

1. Java JDK 8 versión "1.8.0_131"

2. Escala 2.12.2

3. Apache Spark versión 2.1.1

4. Apache solr 6.6.2

5. Spark-Solr 3.3.0

6. ApacheMaven 3.5.0

7. Hiedra Apache 2.4.0

8. Apache ANT versión 1.10.1

Arquitectura de implementación

Características

• La conversión de datos textuales a vectores TF-IDF, ya sea en función del diccionario de términos proporcionados como entrada o de otro modo, se genera un diccionario a partir del conjunto de datos de entrenamiento aplicando ponderaciones TF-IDF a los términos.
• Implementación del algoritmo KMeans personalizado para agrupar conjuntos de datos textuales, ampliar las bibliotecas Apache Spark MLLib e implementar ambas medidas de cálculo de similitud, a saber, coseno y euclidiano.
• Indexar registros en Solrcloud.
• Implementación de algoritmos de búsqueda selectiva, a saber, CORI[6] y ReDDE[7]
• Analizadores de registros WARC Clueweb09, conjuntos de datos de 20 grupos de noticias y, en general, conjuntos de datos de texto.
• Analizadores de texto que eliminan html, extraen el contenido de los textos, tokenizan, filtran por palabras vacías y aplican KStemmer.

Empezando

Compilar

Para compilar la versión actual de la búsqueda selectiva, necesitará tener la siguiente lista de software ejecutándose en su máquina.

• Java, Scala, Apache Maven (versiones enumeradas en la sección de compatibilidad de versiones)

Para verificar que los softwares enumerados anteriormente se estén ejecutando en su máquina, confirme con los comandos a continuación.

• java -version
  • versión de Java "1.8.0_31"
• scala -version
  • Ejecutor de código Scala versión 2.11.8
• mvn -version
  • ApacheMaven 3.3.9

Después de verificar la configuración del software requerido, descargue el código fuente y ejecute el siguiente comando.

• mvn clean install -DskipTests

Correr

Para ejecutar el proyecto de búsqueda selectiva en localhost (máquina), es necesario configurar Apache SolrCloud. Si aún no lo tiene configurado, siga las instrucciones proporcionadas aquí: ()

Después de la configuración de SolrCloud, hay dos formas de ejecutar la búsqueda selectiva: configurarla en un IDE (podría ser IntelliJ/Eclipse o iniciar un Spark Cluster y ejecutar el trabajo en él).

1. Ejecutar en IDE

• Descargue o clone el proyecto git clone https://github.com/rajanim/selective-search.git
• Compile el código fuente siguiendo los pasos enumerados en la sección "Compilar"
• Importe el proyecto actual como proyecto Maven al IDE
• Para probar esta configuración, vaya a la aplicación de prueba App.scala , haga clic derecho y ejecute. Debería imprimir '¡Hola mundo!' Esto confirma que el código Scala está compilado y ejecutándose correctamente.
• Para probar la configuración de búsqueda selectiva, vaya a TestTextFileParser.scala , modifique la ruta raíz según la configuración de su directorio, ejecute los casos de prueba (haga clic derecho y elija la opción ejecutar)
• Para ejecutar la búsqueda selectiva de 20newsgroup, navegue hasta org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala , modifique la ruta del directorio de entrada a la ruta del directorio de su máquina local y ejecute.
• Navegue a /test/org.sfsu.cs.* para probar varias funciones implementadas.

2. Ejecutar en Spark Cluster

Configure Spark Cluster en localhost.

• Descargue Apache Spark (la implementación actual se ejecuta en spark spark-2.0.0-bin-hadoop2.7 )
• Vaya a la terminal y navegue hasta la ruta donde se encuentra Spark Unzip. Por ejemplo, cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• Configurar chispa
  • iniciar Spark Master ./sbin/start-master.sh
  • configurar instancias esclavas de chispa

    • cree el archivo spark-env.sh usando la plantilla proporcionada: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • agregue un parámetro de configuración al final del archivo: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • iniciar instancias de Spark Slaves ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

Ejecute el proyecto de búsqueda selectiva en Spark Cluster. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

Configurar SolrCloud

• Descargue Apache Solr como zip (la implementación actual se ejecuta en solr 6.2.1)

• Llegué a la terminal y navegué hasta la ruta donde se encuentra el directorio de descompresión de solr.

• Inicie solr en modo nube

  ./bin/solr start -c -m 4g

• Una vez que haya comenzado con el mensaje de bienvenida "¡Feliz búsqueda!", debería poder conectarse a su interfaz de usuario de administrador http://localhost:8983/solr/#/ , navegar a las colecciones: http://localhost:8983/solr/#/~collections

• Agregue una colección dándole un nombre de colección, elija el conjunto de configuración, debe ser data_driven_schema_configs. Otras entradas de pares clave-valor como se ven aquí en la captura de pantalla: haga clic aquí

• Confirme si la colección se creó correctamente navegando a la interfaz de usuario de administración de la nube http://localhost:8983/solr/#/~cloud y debería poder ver la colección recién creada.

• Otro método para crear una colección es mediante la línea de comando. Comando de ejemplo ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

Para Selective Search , requerimos una colección solr con una estrategia de implicit routing .

• Ejemplo de comando curl para crear una colección de 20 fragmentos con enrutamiento implícito http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

Visualización

• Visualización de la asignación de clústeres mediante el uso del panel Banana.
• Tutorial y notas de referencia aquí
• Configure Banana en su instancia de solr y conéctese al panel de control de banana a través de la URL http://localhost:8983/solr/banana/src/index.html#/dashboard

Ejemplos

Siga los pasos que se enumeran a continuación para ejecutar una búsqueda selectiva de cualquier otro conjunto de datos (personalizado/específico).

• Cree una clase Scala similar a NewsgroupRunner.scala
• Obtenga contexto Spark creando un nuevo org.sfsu.cs.main.SparkInstance e invocando el método createSparkContext val sc = sparkInstance.createSparkContext("class name")
• Transforme los documentos de entrada en RDD de documentos TF, referencias de ejemplo como se enumeran a continuación
  • Si el conjunto de datos de entrada es una colección de archivos de texto, utilice las API de analizadores de texto disponibles en org.sfsu.cs.io.text.TextFileParser.scala para obtener documentos de texto asignados a org.sfsu.cs.document.TFDocument
  • Si el conjunto de datos de entrada es una colección de registros de ClueWeb, utilice el analizador disponible en org.sfsu.cs.io.clueweb09
  • Si el conjunto de datos de entrada es un archivo csv, utilice las API del analizador disponibles en org.sfsu.cs.io.csv

Configuración y ajuste

Configuraciones requeridas

• Es necesario instalar todos los software necesarios para compilar el código fuente, tal como se enumeran en la sección Compilar.
• Solrcloud debe configurarse, ya sea en una máquina local o remota; si se configura en forma remota, asegúrese de especificar la IP y el puerto correctos mientras ejecuta el trabajo. Pasos de configuración aquí
• Configuración del clúster independiente de Spark en la máquina local para ejecutar el trabajo a través de spark-submit.sh

Sintonización

• Configuración de parámetros de Spark --executor-memory, -driver-memory según la memoria disponible en la máquina.
• El controlador Spark puede informar una excepción maxResultSize, se puede aumentar pasando el parámetro "spark.driver.maxResultSize=2000" no puede exceder 2048
• Para Apache solr, asigne Xmx al iniciar solr. Por ejemplo, para asignar 4g, ./bin/solr start -c -m 4g

Solución de problemas

• Se recibió una excepción al crear una colección solr que informaba que "los fragmentos solicitados son mayores que el número permitido" https://issues.apache.org/jira/browse/SOLR-4114 Solución: asegúrese de que maxShardsPerNode sea igual a numShards según el número de Nodos disponibles.

Preguntas

Si tiene preguntas adicionales relacionadas con la implementación, los resultados experimentales, los puntos de referencia o el uso de Selective-Search , estaremos encantados de ayudarle. Envíe un correo electrónico a [email protected]

Referencias

1. Anagha Kulkarni. 2015. Búsqueda selectiva: búsqueda eficiente y eficaz a gran escala. Transacciones ACM sobre sistemas de información, 33(4). ACM. 2015.
2. Anagha Kulkarni. 2010. Particiones de índice basadas en temas para una búsqueda selectiva eficiente y eficaz. VIII Taller sobre Sistemas Distribuidos a Gran Escala para la Recuperación de Información.
3. Rolf Jagerman, Carsten Eickhoff. Modelos de temas a escala web en Spark: un servidor de parámetros asíncrono. 2016.
4. Conjunto de datos Clueweb09. Proyecto Lémur.
5. 20 grupos de noticias. Jrennie. qwone.com/~jason/20Newsgroups
6. Mon Shih Chuang y Anagha Kulkarni. Mejora de la selección de fragmentos para la búsqueda selectiva. Actas de la Conferencia de Sociedades de Recuperación de Información de Asia. noviembre 2017
7. L. Si y J. Callan. (2003.) "Método de estimación de la distribución de documentos relevantes para la selección de recursos". En actas de la vigésima sexta conferencia internacional anual ACM SIGIR sobre investigación y desarrollo en recuperación de información. Toronto: ACM.