selective search

Selektive Suche

Die selektive Suche ist ein DIR-Projekt (Distributed Information Retrieval) für die Textsuche in großem Maßstab, bei dem Dokumentensammlungen basierend auf der Ähnlichkeit des Dokumentenkorpus in Teilmengen (sogenannte Shards) unterteilt werden, wodurch die Suche über weniger Shards statt über alle Shards ermöglicht wird.

Ziel des Projekts ist die Implementierung eines effizienten und effektiven verteilten Suchsystems ohne Beeinträchtigung der Suchqualität und mit dem Ziel, die Suchkosten zu senken.

Die Methode zur Zerlegung einer großen Sammlung in Untereinheiten basierend auf der Ähnlichkeit des Datensatzinhalts wird als „Topic Based Partitioning“ bezeichnet. Die Suche über nur weniger relevante Shards für eine bestimmte Suchanfrage wird in einer Veröffentlichung von Kulkarni et al. als „Selective Search“ bezeichnet al.

Inhaltsverzeichnis

1. Allgemeine Architektur
2. Aktuelle Implementierung
   1. Technologie-Stack
   2. Versionskompatibilität
   3. Implementierungsarchitektur
   4. Merkmale
3. Erste Schritte
   1. Kompilieren
   2. Laufen
      1. Auf IDE ausführen
      2. Auf Spark Cluster ausführen
   3. Richten Sie Solrcloud ein
4. Beispiele
5. Konfiguration und Tuning
6. Fragen
7. Referenzen

Allgemeine Architektur

Aktuelle Implementierung

Die selektive Suche ist in Scala programmiert. Es erweitert die Bibliotheken von Apache Spark MLLib für unbeaufsichtigtes Clustering und verteiltes Computing sowie die Apache Solr-Bibliotheken für Suche und Informationsabruf.

Technologie-Stack

• Programmiersprache: Scala
• Erweiterte Frameworks
  • Apache Spark für verteiltes Computing
    • Erweitert die Machine Learning Libraries (MLLib) von Apache Spark für die Implementierung der themenbasierten Partitionierung und der Algorithmus wird auf dem Spark-Cluster ausgeführt.
  • Apache Solr für verteilte Suche
    • Erweitert die Information Retrieval (Such)-Bibliotheken von Apache Solr für die Implementierung verschiedener selektiver Suchalgorithmen und der Suchcluster selbst wird auf Apache SolrCloud eingerichtet.
  • Für die Integration zwischen Apache Spark und Apache Solr werden Spark-Solr-Bibliotheken verwendet.
• Werkzeuge
  • Maven für Build, IntelliJ für Entwicklung, Git für SCM

Versionskompatibilität

1. Java JDK 8-Version „1.8.0_131“

2. Scala 2.12.2

3. Apache Spark-Version 2.1.1

4. Apache Solr 6.6.2

5. Spark-Solr 3.3.0

6. Apache Maven 3.5.0

7. Apache Ivy 2.4.0

8. Apache ANT-Version 1.10.1

Implementierungsarchitektur

Merkmale

• Konvertieren von Textdaten in TF-IDF-Vektoren, entweder basierend auf einem als Eingabe bereitgestellten Wörterbuch mit Begriffen oder andernfalls wird ein Wörterbuch aus dem Trainingsdatensatz durch Anwenden von TF-IDF-Gewichten auf Begriffe generiert.
• Die Implementierung eines benutzerdefinierten KMeans-Algorithmus zum Clustering von Textdatensätzen, die Erweiterung der Apache Spark MLLib-Bibliotheken, implementiert beide Ähnlichkeitsberechnungsmaße, nämlich Kosinus und Euklidisch.
• Indizieren Sie Datensätze in Solrcloud.
• Implementierung selektiver Suchalgorithmen, nämlich CORI[6] und ReDDE[7]
• Parser für Clueweb09 WARC-Datensätze, 20newsgroup-Datensätze und allgemein Textdatensätze.
• Textanalysatoren, die HTML entfernen, Textinhalte extrahieren, tokenisieren, nach Stoppwörtern filtern und KStemmer anwenden.

Erste Schritte

Kompilieren

Um die aktuelle Version der selektiven Suche zu kompilieren, muss die folgende Liste von Software auf Ihrem Computer ausgeführt werden.

• Java, Scala, Apache Maven (Versionen wie im Abschnitt zur Versionskompatibilität aufgeführt)

Um zu überprüfen, ob die oben aufgeführten Softwareprogramme auf Ihrem Computer ausgeführt werden, bestätigen Sie dies mit den folgenden Befehlen.

• java -version
  • Java-Version „1.8.0_31“
• scala -version
  • Scala-Code-Runner-Version 2.11.8
• mvn -version
  • Apache Maven 3.3.9

Nachdem Sie die erforderliche Softwareeinrichtung überprüft haben, laden Sie den Quellcode herunter und führen Sie den folgenden Befehl aus.

• mvn clean install -DskipTests

Laufen

Um das selektive Suchprojekt auf localhost (Maschine) auszuführen, muss Apache SolrCloud konfiguriert sein. Wenn Sie es noch nicht konfiguriert haben, folgen Sie den Anweisungen hier: ()

Nach der SolrCloud-Einrichtung gibt es zwei Möglichkeiten, die selektive Suche auszuführen: Sie können sie entweder auf einer IDE einrichten – entweder IntelliJ/Eclipse oder einen Spark-Cluster starten und einen Job darauf ausführen.

1. Auf der IDE ausführen

• Laden Sie das Projekt git clone https://github.com/rajanim/selective-search.git herunter oder klonen Sie es
• Kompilieren Sie den Quellcode, indem Sie die im Abschnitt „Kompilieren“ aufgeführten Schritte ausführen
• Importieren Sie das aktuelle Projekt als Maven-Projekt in die IDE
• Um dieses Setup zu testen, gehen Sie zur Test-App App.scala , klicken Sie mit der rechten Maustaste und führen Sie sie aus. Es sollte „Hello World!“ lauten. Dies bestätigt, dass Scala-Code kompiliert wurde und erfolgreich ausgeführt wird.
• Um die Einrichtung der selektiven Suche zu testen, gehen Sie zu TestTextFileParser.scala , ändern Sie den Stammpfad gemäß Ihren Verzeichniseinstellungen und führen Sie die Testfälle aus (klicken Sie mit der rechten Maustaste und wählen Sie die Option „Ausführen“).
• Um die selektive Suche von 20newsgroup auszuführen, navigieren Sie zu org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala , ändern Sie den Eingabeverzeichnispfad in den Verzeichnispfad Ihres lokalen Computers und führen Sie ihn aus.
• Navigieren Sie zu /test/org.sfsu.cs.*, um verschiedene implementierte Funktionen zu testen.

2. Führen Sie den Spark-Cluster aus

Konfigurieren Sie den Spark-Cluster auf localhost.

• Laden Sie Apache Spark herunter (aktuelle Implementierung läuft auf Spark spark-2.0.0-bin-hadoop2.7 )
• Gehen Sie zum Terminal und navigieren Sie zu dem Pfad, in dem sich Spark Unzip befindet. Beispiel: cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• Spark konfigurieren
  • Spark Master starten ./sbin/start-master.sh
  • Konfigurieren Sie Spark-Slave-Instanzen

    • Erstellen Sie die Datei spark-env.sh mit der bereitgestellten Vorlage: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • Hängen Sie einen Konfigurationsparameter an das Ende der Datei an: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • Spark-Slaves-Instanzen starten ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

Führen Sie das selektive Suchprojekt auf dem Spark-Cluster aus. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

Richten Sie SolrCloud ein

• Laden Sie Apache Solr als Zip herunter (aktuelle Implementierung läuft auf Solr 6.2.1)

• Gehen Sie zum Terminal und navigieren Sie zu dem Pfad, in dem sich das Solr-Unzip-Verzeichnis befindet.

• Starten Sie Solr im Cloud-Modus

  ./bin/solr start -c -m 4g

• Sobald Sie Solr mit der Begrüßungsnachricht „Happy Searching!“ gestartet haben, sollten Sie in der Lage sein, eine Verbindung zur Admin-Benutzeroberfläche http://localhost:8983/solr/#/ und zu den Sammlungen zu navigieren: http://localhost:8983/solr/#/~collections

• Fügen Sie eine Sammlung hinzu, indem Sie einen Sammlungsnamen angeben, wählen Sie den Konfigurationssatz aus, dieser sollte data_driven_schema_configs lauten. Weitere Schlüssel-Wert-Paar-Eingaben, wie hier im Screenshot zu sehen: Klicken Sie hier

• Bestätigen Sie, ob die Sammlung erfolgreich erstellt wurde, indem Sie zur Cloud-Administrator-Benutzeroberfläche http://localhost:8983/solr/#/~cloud navigieren. Sie sollten die neu erstellte Sammlung sehen können

• Ein anderer Ansatz zum Erstellen einer Sammlung ist die Befehlszeile. Beispielbefehl ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

Für Selective Search benötigen wir eine Solr-Sammlung mit implicit routing Strategie.

• Beispiel für einen Curl-Befehl zum Erstellen einer Sammlung von 20 Shards mit implizitem Routing http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

Visualisierung

• Visualisierung der Clusterzuordnung mithilfe des Banana-Dashboards.
• Anleitung und Referenzhinweise hier
• Konfigurieren Sie Banana auf Ihrer Solr-Instanz und stellen Sie über die http-URL http://localhost:8983/solr/banana/src/index.html#/dashboard eine Verbindung zum Banana-Dashboard her

Beispiele

Befolgen Sie die unten aufgeführten Schritte, um die selektive Suche nach einem anderen (benutzerdefinierten/spezifischen) Datensatz auszuführen.

• Erstellen Sie eine Scala-Klasse ähnlich wie NewsgroupRunner.scala
• Erhalten Sie den Spark-Kontext, indem Sie eine neue org.sfsu.cs.main.SparkInstance erstellen und die Methode createSparkContext “ aufrufen val sc = sparkInstance.createSparkContext("class name")
• Wandeln Sie Eingabedokumente in RDD von TF-Dokumenten um, Beispielreferenzen wie unten aufgeführt
  • Wenn der Eingabedatensatz eine Sammlung von Textdateien ist, verwenden Sie die unter org.sfsu.cs.io.text.TextFileParser.scala verfügbaren Textparser-APIs, um Textdokumente zu erhalten, die org.sfsu.cs.document.TFDocument zugeordnet sind
  • Wenn der Eingabedatensatz eine Sammlung von ClueWeb-Datensätzen ist, verwenden Sie den Parser, der unter org.sfsu.cs.io.clueweb09 verfügbar ist
  • Wenn der Eingabedatensatz eine CSV-Datei ist, verwenden Sie die Parser-APIs, die unter org.sfsu.cs.io.csv verfügbar sind

Konfiguration und Tuning

Erforderliche Konfigurationen

• Alle zum Kompilieren des Quellcodes erforderlichen Softwareprogramme (siehe Abschnitt „Kompilieren“) müssen installiert werden
• Solrcloud muss entweder auf einem lokalen Computer oder remote konfiguriert werden. Wenn Sie es remote einrichten, stellen Sie sicher, dass Sie beim Ausführen des Jobs die richtige IP-Adresse und den richtigen Port angeben. Konfigurationsschritte hier
• Ein eigenständiger Spark-Cluster wird auf einem lokalen Computer eingerichtet, um den Auftrag über spark-submit.sh auszuführen

Abstimmung

• Spark-Parametereinstellung --executor-memory, -driver-memory basierend auf dem auf der Maschine verfügbaren Speicher.
• Der Spark-Treiber meldet möglicherweise eine maxResultSize-Ausnahme. Sie kann durch Übergabe des Parameters "spark.driver.maxResultSize=2000" erhöht werden. Sie darf 2048 nicht überschreiten
• Ordnen Sie für Apache Solr Xmx zu, während Sie Solr starten. Um beispielsweise 4g zuzuweisen, ./bin/solr start -c -m 4g

Fehlerbehebung

• Beim Erstellen einer Solr-Sammlung wurde eine Ausnahme empfangen, die meldete: „Angeforderte Shards sind höher als die zulässige Anzahl“ https://issues.apache.org/jira/browse/SOLR-4114 Lösung: Stellen Sie sicher, dass maxShardsPerNode “ basierend auf der Anzahl von numShards “ entspricht Knoten verfügbar.

Fragen

Wenn Sie weitere Fragen zur Implementierung, zu experimentellen Ergebnissen, zu Benchmarks oder zur Verwendung von Selective-Search haben, helfen wir Ihnen gerne weiter. Bitte senden Sie eine E-Mail an [email protected]

Referenzen

1. Anagha Kulkarni. 2015. Selektive Suche: Effiziente und effektive groß angelegte Suche. ACM-Transaktionen in Informationssystemen, 33(4). ACM. 2015.
2. Anagha Kulkarni. 2010. Themenbasierte Indexpartitionen für eine effiziente und effektive selektive Suche. 8. Workshop zu groß angelegten verteilten Systemen zur Informationsbeschaffung.
3. Rolf Jägermann, Carsten Eickhoff. Themenmodelle im Webmaßstab in Spark: Ein asynchroner Parameterserver. 2016.
4. Clueweb09-Datensatz. Lemurenprojekt.
5. 20Newsgroups. Jrennie. qwone.com/~jason/20Newsgroups
6. Mon Shih Chuang und Anagha Kulkarni. Verbesserung der Shard-Auswahl für die selektive Suche. Tagungsband der Asia Information Retrieval Societies-Konferenz. November 2017
7. L. Si und J. Callan. (2003.) „Relevante Methode zur Schätzung der Dokumentenverteilung für die Ressourcenauswahl.“ In Proceedings of the Twenty Sixth Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. Toronto: ACM.