selective search

Recherche sélective

La recherche sélective est un projet de recherche d'informations distribuées (DIR) pour la recherche de texte à grande échelle dans laquelle la collection de documents est partitionnée en sous-ensembles (appelés fragments) en fonction de la similarité du corpus de documents, permettant ainsi la recherche sur moins de fragments au lieu de tous les fragments.

L'objectif du projet est de mettre en œuvre un système de recherche distribué efficace et efficient sans affecter la qualité de la recherche et visant à réduire les coûts de recherche.

La méthodologie de décomposition d'une collection à grande échelle en sous-unités en fonction de la similarité du contenu de ses enregistrements est appelée « partitionnement basé sur des sujets », et la recherche sur un nombre réduit de fragments pertinents pour une requête de recherche donnée est appelée « recherche sélective » dans une publication de Kulkarni et al.

Table des matières

1. Architecture générale
2. Mise en œuvre actuelle
   1. Pile technologique
   2. Compatibilité des versions
   3. Architecture de mise en œuvre
   4. Caractéristiques
3. Commencer
   1. Compiler
   2. Courir
      1. Exécuter sur l'IDE
      2. Exécuter sur le cluster Spark
   3. Configurer Solrcloud
4. Exemples
5. Configuration et réglage
6. Questions
7. Références

Architecture générale

Mise en œuvre actuelle

La recherche sélective est programmée en Scala. Il étend les bibliothèques d'Apache Spark MLLib pour le clustering non supervisé et l'informatique distribuée, ainsi que les bibliothèques Apache Solr pour la recherche et la récupération d'informations.

Pile technologique

• Langage de programmation : Scala
• Cadres étendus
  • Apache Spark pour l'informatique distribuée
    • Étend les bibliothèques d'apprentissage automatique (MLLib) d'Apache Spark pour la mise en œuvre du partitionnement basé sur des sujets et l'algorithme est exécuté sur Spark Cluster.
  • Apache Solr pour la recherche distribuée
    • Étend les bibliothèques de récupération d'informations (recherche) d'Apache Solr pour la mise en œuvre de divers algorithmes de recherche sélective et le cluster de recherche lui-même est configuré sur Apache SolrCloud.
  • Pour l'intégration entre Apache Spark et Apache Solr, les bibliothèques Spark-Solr sont utilisées.
• Outils
  • Maven pour le build, IntelliJ pour le développement, Git pour SCM

Compatibilité des versions

1. JavaJDK 8 version "1.8.0_131"

2. Échelle 2.12.2

3. Apache Spark version 2.1.1

4. Apache Solr 6.6.2

5. Spark-Solr 3.3.0

6. ApacheMaven 3.5.0

7. Apache Ivy2.4.0

8. Apache ANT version 1.10.1

Architecture de mise en œuvre

Caractéristiques

• La conversion de données textuelles en vecteurs TF-IDF, soit sur la base d'un dictionnaire de termes fourni en entrée, soit sur la base d'un dictionnaire, est générée à partir d'un ensemble de données d'apprentissage en appliquant des poids TF-IDF aux termes.
• Implémentation de l'algorithme KMeans personnalisé pour le clustering d'ensembles de données textuelles, étendant les bibliothèques Apache Spark MLLib, implémentant les deux mesures de calcul de similarité, à savoir Cosinus et Euclidien.
• Indexez les enregistrements dans Solrcloud.
• Implémentation d'algorithmes de recherche sélective, à savoir CORI[6] et ReDDE[7]
• Analyseurs pour les enregistrements Clueweb09 WARC, l'ensemble de données 20newsgroup et, en général, l'ensemble de données texte.
• Analyseurs de texte qui suppriment le HTML, extraient le contenu des textes, tokenisent, filtrent par mots vides et appliquent KStemmer.

Commencer

Compiler

Pour compiler la version actuelle de la recherche sélective, vous aurez besoin de la liste suivante de logiciels exécutés sur votre ordinateur.

• Java, Scala, Apache Maven (versions répertoriées dans la section compatibilité des versions)

Afin de vérifier que les logiciels répertoriés ci-dessus sont exécutés sur votre ordinateur, confirmez avec les commandes ci-dessous.

• java -version
  • version java "1.8.0_31"
• scala -version
  • Exécuteur de code Scala version 2.11.8
• mvn -version
  • ApacheMaven 3.3.9

Après avoir vérifié la configuration des logiciels requis, téléchargez le code source et exécutez la commande ci-dessous.

• mvn clean install -DskipTests

Courir

Pour exécuter le projet de recherche sélective sur localhost (machine), il est nécessaire qu'Apache SolrCloud soit configuré. Si vous ne l'avez pas déjà configuré, suivez les instructions fournies ici : ()

Après la configuration de SolrCloud, il existe deux façons d'exécuter une recherche sélective, soit en la configurant sur un IDE : il peut s'agir d'IntelliJ/Eclipse, soit en lançant un Spark Cluster et en exécutant une tâche dessus.

1. Exécuter sur l'IDE

• Téléchargez ou clonez le projet git clone https://github.com/rajanim/selective-search.git
• Compilez le code source en suivant les étapes répertoriées dans la section « Compiler »
• Importez le projet actuel en tant que projet Maven dans l'EDI
• Pour tester cette configuration, accédez à l'application de test App.scala , faites un clic droit et exécutez. Il devrait afficher « Hello World ! » Cela confirme que le code scala est compilé et exécuté avec succès.
• Pour tester la configuration de la recherche sélective, accédez à TestTextFileParser.scala , modifiez le chemin racine selon les paramètres de votre répertoire, exécutez les cas de test (clic droit et choisissez l'option d'exécution)
• Pour exécuter une recherche sélective 20newsgroup, accédez à org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala , modifiez le chemin du répertoire d'entrée par le chemin du répertoire de votre machine locale, exécutez.
• Accédez à /test/org.sfsu.cs.* pour tester les différentes fonctionnalités implémentées.

2. Exécuter sur Spark Cluster

Configurez Spark Cluster sur localhost.

• Téléchargez Apache Spark (l'implémentation actuelle s'exécute sur spark spark-2.0.0-bin-hadoop2.7 )
• Accédez au terminal et accédez au chemin où se trouve Spark Unzip. Par exemple, cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• Configurer Spark
  • démarrer Spark Master ./sbin/start-master.sh
  • configurer les instances esclaves Spark

    • créez le fichier spark-env.sh en utilisant le modèle fourni : cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • ajoutez un paramètre de configuration à la fin du fichier : echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • démarrer les instances des esclaves Spark ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

Exécutez le projet de recherche sélective sur le cluster Spark. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

Configurer SolrCloud

• Téléchargez Apache Solr au format zip (l'implémentation actuelle fonctionne sur solr 6.2.1)

• Accédez au terminal et accédez au chemin où se trouve le répertoire solr unzip.

• Démarrer Solr en mode cloud

  ./bin/solr start -c -m 4g

• Une fois que vous avez démarré Solr avec le message de bienvenue « Bonne recherche ! », vous devriez pouvoir vous connecter à son interface utilisateur d'administration http://localhost:8983/solr/#/ , accéder aux collections : http://localhost:8983/solr/#/~collections

• Ajoutez une collection en donnant un nom de collection, choisissez le jeu de configuration, il devrait s'agir de data_driven_schema_configs. Autres entrées de paires clé-valeur, comme indiqué ici dans la capture d'écran : cliquez ici

• Confirmez si la collection est créée avec succès en accédant à l'interface utilisateur du cloud http://localhost:8983/solr/#/~cloud et vous devriez pouvoir voir la collection nouvellement créée.

• Une autre approche pour créer une collection consiste à utiliser la ligne de commande. Exemple de commande ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

Pour Selective Search , nous avons besoin d'une collection solr avec une stratégie implicit routing .

• Exemple de commande curl pour créer une collection de 20 fragments avec routage implicite http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

Visualisation

• Visualisation de l'allocation de cluster à l'aide du tableau de bord Banana.
• Tutoriel et notes de référence ici
• Configurez Banana sur votre instance Solr et connectez-vous au tableau de bord Banana via l'url http://localhost:8983/solr/banana/src/index.html#/dashboard

Exemples

Suivez les étapes répertoriées ci-dessous pour exécuter (exécuter) une recherche sélective pour tout autre ensemble de données (personnalisé/spécifique).

• Créez une classe scala similaire à NewsgroupRunner.scala
• Obtenez le contexte Spark en créant un nouveau org.sfsu.cs.main.SparkInstance et en appelant la méthode createSparkContext val sc = sparkInstance.createSparkContext("class name")
• Transformez les documents d'entrée en RDD de documents TF, exemples de références répertoriées ci-dessous
  • Si l'ensemble de données d'entrée est une collection de fichiers texte, utilisez les API des analyseurs de texte disponibles sous org.sfsu.cs.io.text.TextFileParser.scala pour obtenir des documents texte mappés sur org.sfsu.cs.document.TFDocument
  • si l'ensemble de données d'entrée est une collection d'enregistrements ClueWeb, utilisez l'analyseur disponible sous org.sfsu.cs.io.clueweb09
  • Si l'ensemble de données d'entrée est un fichier CSV, utilisez les API de l'analyseur disponibles sous org.sfsu.cs.io.csv

Configuration et réglage

Configurations requises

• Tous les logiciels requis pour compiler les sources, répertoriés dans la section Compiler, doivent être installés.
• Solrcloud doit être configuré, soit sur une machine locale, soit à distance. S'il est configuré à distance, assurez-vous de spécifier l'adresse IP et le port corrects lors de l'exécution du travail. Étapes de configuration ici
• Configuration du cluster autonome Spark sur la machine locale pour exécuter le travail via spark-submit.sh

Réglage

• Définition des paramètres Spark --executor-memory, -driver-memory en fonction de la mémoire disponible sur la machine.
• Le pilote Spark peut signaler une exception maxResultSize, elle peut être augmentée en passant le paramètre "spark.driver.maxResultSize=2000" il ne peut pas dépasser 2048
• Pour Apache solr, allouez Xmx lors du démarrage de solr. Par exemple, pour allouer 4g, ./bin/solr start -c -m 4g

Dépannage

• Reçu une exception lors de la création d'une collection solr indiquant que « les fragments demandés sont supérieurs au nombre autorisé » https://issues.apache.org/jira/browse/SOLR-4114 Correctif : assurez-vous que maxShardsPerNode est égal à numShards en fonction du nombre de nœuds disponibles.

Questions

Si vous avez des questions supplémentaires concernant la mise en œuvre, les résultats expérimentaux, les tests de référence ou l'utilisation de Selective-Search , nous serons ravis de vous aider. Veuillez envoyer un e-mail à [email protected]

Références

1. Anagha Kulkarni. 2015. Recherche sélective : recherche efficace et efficiente à grande échelle. Transactions ACM sur les systèmes d'information, 33(4). ACM. 2015.
2. Anagha Kulkarni. 2010. Partitions d'index basées sur des sujets pour une recherche sélective efficace et efficiente. 8e atelier sur les systèmes distribués à grande échelle pour la recherche d'informations.
3. Rolf Jagerman, Carsten Eickhoff. Modèles de sujets à l'échelle du Web dans Spark : un serveur de paramètres asynchrone. 2016.
4. Ensemble de données Clueweb09. Projet Lémurien.
5. 20Groupes de discussion. Jrennie. qwone.com/~jason/20Newsgroups
6. Mon Shih Chuang et Anagha Kulkarni. Amélioration de la sélection de fragments pour la recherche sélective. Actes de la conférence des sociétés asiatiques de recherche d'informations. novembre 2017
7. L. Si et J. Callan. (2003.) "Méthode d'estimation de la distribution des documents pertinents pour la sélection des ressources." Dans les actes de la vingt-sixième conférence internationale annuelle ACM SIGIR sur la recherche et le développement en recherche d'information. Toronto : ACM.