selective search

Pencarian Selektif

Pencarian selektif adalah proyek Pengambilan Informasi Terdistribusi (DIR) untuk pencarian teks skala besar di mana kumpulan dokumen dipartisi menjadi subset (dikenal sebagai pecahan) berdasarkan kesamaan korpus dokumen, sehingga memungkinkan pencarian pada pecahan yang lebih sedikit, bukan seluruh pecahan.

Tujuan dari proyek ini adalah untuk menerapkan sistem pencarian terdistribusi yang efisien dan efektif tanpa mempengaruhi kualitas pencarian dan bertujuan untuk mengurangi biaya pencarian.

Metodologi penguraian koleksi berskala besar ke dalam subunit berdasarkan kesamaan konten rekamannya disebut sebagai “Partisi Berbasis Topik”, dan penelusuran pada pecahan relevan yang lebih sedikit untuk kueri penelusuran tertentu disebut sebagai “Penelusuran Selektif” dalam publikasi oleh Kulkarni et al.

Daftar isi

1. Arsitektur Umum
2. Implementasi Saat Ini
   1. Tumpukan Teknologi
   2. Kompatibilitas Versi
   3. Arsitektur Implementasi
   4. Fitur
3. Memulai
   1. Menyusun
   2. Berlari
      1. Jalankan di IDE
      2. Jalankan di Spark Cluster
   3. Siapkan Solrcloud
4. Contoh
5. Konfigurasi dan Penyetelan
6. Pertanyaan
7. Referensi

Arsitektur Umum

Implementasi Saat Ini

Pencarian Selektif diprogram dalam Scala. Ini memperluas perpustakaan Apache Spark MLLib untuk pengelompokan tanpa pengawasan dan komputasi terdistribusi, perpustakaan Apache Solr untuk Pencarian dan Pengambilan Informasi.

Tumpukan Teknologi

• Bahasa Pemrograman : Scala
• Kerangka kerja yang diperluas
  • Apache Spark untuk Komputasi Terdistribusi
    • Memperluas Perpustakaan Pembelajaran Mesin (MLLib) Apache Spark untuk implementasi Partisi Berbasis Topik dan algoritma dijalankan di atas Spark Cluster.
  • Apache Solr untuk Pencarian Terdistribusi
    • Memperluas perpustakaan Pengambilan Informasi (Pencarian) Apache Solr untuk implementasi berbagai algoritma pencarian selektif dan cluster pencarian itu sendiri disiapkan di Apache SolrCloud.
  • Untuk integrasi antara Apache Spark dan Apache Solr, perpustakaan Spark-Solr digunakan.
• Peralatan
  • Maven untuk build, IntelliJ untuk pengembangan, Git untuk SCM

Kompatibilitas Versi

1. Java JDK 8 versi "1.8.0_131"

2. Skala 2.12.2

3. Apache Spark versi 2.1.1

4. Apache solr 6.6.2

5. Spark-Solr 3.3.0

6. Apache Maven 3.5.0

7. Apache Ivy 2.4.0

8. Apache ANT versi 1.10.1

Arsitektur Implementasi

Fitur

• Mengonversi data tekstual menjadi vektor TF-IDF baik berdasarkan kamus istilah yang diberikan sebagai masukan atau kamus dihasilkan dari kumpulan data pelatihan dengan menerapkan bobot TF-IDF ke istilah.
• Implementasi algoritme KMeans khusus untuk mengelompokkan kumpulan data tekstual, memperluas pustaka Apache Spark MLLib, menerapkan kedua ukuran komputasi kesamaan, yaitu Cosine dan Euclidean.
• Indeks catatan ke Solrcloud.
• Implementasi algoritma pencarian selektif yaitu CORI[6] dan ReDDE[7]
• Parser untuk Clueweb09 WARC Records, 20newsgroup dataset, dan secara umum, dataset teks.
• Penganalisis teks yang menghapus html, mengekstrak konten teks, memberi token, memfilter berdasarkan stopwords, dan menerapkan KStemmer.

Memulai

Menyusun

Untuk mengkompilasi versi pencarian selektif saat ini, Anda memerlukan daftar perangkat lunak berikut yang berjalan di mesin Anda.

• Java, Scala, Apache Maven (versi seperti yang tercantum di bagian kompatibilitas versi)

Untuk memverifikasi perangkat lunak yang tercantum di atas berjalan di mesin Anda, konfirmasikan dengan perintah di bawah ini.

• java -version
  • versi java "1.8.0_31"
• scala -version
  • Pelari kode Scala versi 2.11.8
• mvn -version
  • Apache Maven 3.3.9

Setelah verifikasi pengaturan perangkat lunak yang diperlukan, unduh kode sumber dan jalankan perintah di bawah ini.

• mvn clean install -DskipTests

Berlari

Untuk menjalankan proyek pencarian selektif di localhost (mesin), Apache SolrCloud perlu dikonfigurasi. Jika Anda belum mengonfigurasinya, ikuti petunjuk yang diberikan di sini: ()

Setelah pengaturan SolrCloud, ada dua cara untuk menjalankan pencarian selektif, yaitu mengaturnya di IDE—bisa berupa IntelliJ/Eclipse atau meluncurkan Spark Cluster dan menjalankan pekerjaan di dalamnya.

1. Jalankan di IDE

• Unduh atau kloning proyek git clone https://github.com/rajanim/selective-search.git
• Kompilasi kode sumber dengan mengikuti langkah-langkah yang tercantum di bagian "Kompilasi".
• Impor proyek saat ini sebagai proyek Maven ke dalam IDE
• Untuk menguji pengaturan ini, buka aplikasi pengujian App.scala , klik kanan dan jalankan. Ini harus mencetak 'Halo Dunia!' Ini mengonfirmasi bahwa kode scala telah dikompilasi dan dijalankan dengan sukses.
• Untuk menguji pengaturan pencarian selektif, buka TestTextFileParser.scala , ubah jalur root sesuai pengaturan direktori Anda, jalankan kasus pengujian (klik kanan dan pilih opsi jalankan)
• Untuk menjalankan pencarian selektif 20newsgroup, navigasikan ke org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala , ubah jalur direktori masukan ke jalur direktori mesin lokal Anda, lalu jalankan.
• Navigasikan ke /test/org.sfsu.cs.* untuk menguji berbagai fungsi yang diterapkan.

2. Jalankan di Spark Cluster

Konfigurasikan Spark Cluster di localhost.

• Unduh Apache Spark (implementasi saat ini berjalan pada spark spark-2.0.0-bin-hadoop2.7 )
• Buka terminal dan navigasikan ke jalur tempat spark unzip berada. Misalnya, cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• Konfigurasikan percikan
  • mulai percikan master ./sbin/start-master.sh
  • konfigurasikan instance spark slave

    • buat file spark-env.sh menggunakan templat yang disediakan: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • tambahkan parameter konfigurasi ke akhir file: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • mulai instance spark slave ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

Jalankan proyek pencarian selektif di cluster percikan. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

Siapkan SolrCloud

• Unduh Apache Solr sebagai zip (implementasi saat ini berjalan pada solr 6.2.1)

• Masuk ke terminal dan arahkan ke jalur tempat direktori solr unzip berada.

• Mulai solr dalam mode cloud

  ./bin/solr start -c -m 4g

• Setelah Anda memulai solr dengan pesan selamat datang sebagai 'Selamat Mencari!', Anda seharusnya dapat terhubung ke UI adminnya http://localhost:8983/solr/#/ , navigasikan ke koleksi: http://localhost:8983/solr/#/~collections

• Tambahkan koleksi dengan memberi nama koleksi, pilih config set, seharusnya data_driven_schema_configs. Input pasangan nilai kunci lainnya seperti yang terlihat di sini pada tangkapan layar : klik di sini

• Konfirmasikan apakah koleksi berhasil dibuat dengan menavigasi ke antarmuka admin cloud http://localhost:8983/solr/#/~cloud dan Anda akan dapat melihat koleksi yang baru dibuat

• Pendekatan lain untuk membuat koleksi adalah melalui baris perintah. Contoh perintah ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

Untuk Selective Search , kami memerlukan koleksi solr dengan strategi implicit routing .

• Contoh perintah curl untuk membuat kumpulan 20 shard dengan perutean implisit http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

Visualisasi

• Visualisasi alokasi cluster dengan memanfaatkan dashboard Banana.
• Catatan tutorial dan referensi di sini
• Konfigurasikan Banana pada instance solr Anda dan sambungkan ke dashboard banana melalui url http://localhost:8983/solr/banana/src/index.html#/dashboard

Contoh

Ikuti langkah-langkah yang tercantum di bawah ini untuk menjalankan (menjalankan) pencarian selektif untuk kumpulan data (khusus/spesifik) lainnya.

• Buat kelas scala yang mirip dengan NewsgroupRunner.scala
• Dapatkan konteks percikan dengan membuat org.sfsu.cs.main.SparkInstance baru dan memanggil metode createSparkContext val sc = sparkInstance.createSparkContext("class name")
• Ubah dokumen masukan menjadi RDD Dokumen TF, contoh referensi seperti tercantum di bawah ini
  • Jika kumpulan data masukan adalah kumpulan file teks, gunakan api pengurai teks yang tersedia di org.sfsu.cs.io.text.TextFileParser.scala untuk mendapatkan dokumen teks yang dipetakan ke org.sfsu.cs.document.TFDocument
  • jika kumpulan data masukan adalah kumpulan catatan web petunjuk, gunakan parser yang tersedia di org.sfsu.cs.io.clueweb09
  • Jika kumpulan data masukan adalah file csv, gunakan api parser yang tersedia di org.sfsu.cs.io.csv

Konfigurasi dan Penyetelan

Konfigurasi yang diperlukan

• Semua perangkat lunak yang diperlukan untuk mengkompilasi sumber, seperti yang tercantum di bagian Kompilasi harus diinstal
• Solrcloud perlu dikonfigurasi, baik di mesin lokal atau jarak jauh, jika diatur di jarak jauh, pastikan untuk menentukan ip dan port yang benar saat menjalankan pekerjaan. Langkah-langkah konfigurasi di sini
• Pengaturan cluster Spark yang berdiri sendiri di mesin lokal untuk menjalankan pekerjaan melalui spark-submit.sh

Penyetelan

• Pengaturan parameter percikan --executor-memory, -driver-memory berdasarkan memori yang tersedia pada mesin.
• Driver Spark dapat melaporkan pengecualian maxResultSize, ini dapat ditingkatkan dengan meneruskan parameter "spark.driver.maxResultSize=2000" yang tidak dapat melebihi 2048
• Untuk Apache solr, alokasikan Xmx saat memulai solr. Misalnya, untuk mengalokasikan 4g, ./bin/solr start -c -m 4g

Pemecahan masalah

• Menerima pengecualian saat membuat koleksi solr yang melaporkan "pecahan yang diminta lebih tinggi dari jumlah yang diizinkan" https://issues.apache.org/jira/browse/SOLR-4114 Perbaikan : Pastikan maxShardsPerNode sama dengan numShards berdasarkan jumlah node tersedia.

Pertanyaan

Jika Anda memiliki pertanyaan tambahan terkait penerapan, hasil eksperimen, tolok ukur, atau penggunaan Selective-Search , dengan senang hati membantu. Silakan email ke [email protected]

Referensi

1. Anagha Kulkarni. 2015. Pencarian Selektif: Pencarian Skala Besar yang Efisien dan Efektif. Transaksi ACM pada Sistem Informasi, 33(4). ACM. 2015.
2. Anagha Kulkarni. 2010. Partisi Indeks Berbasis Topik untuk Pencarian Selektif yang Efisien dan Efektif. Lokakarya ke-8 tentang Sistem Terdistribusi Skala Besar untuk Pengambilan Informasi.
3. Rolf Jagerman, Carsten Eickhoff. Model Topik Skala Web di Spark: Server Parameter Asinkron. 2016.
4. Kumpulan data Clueweb09. Proyek Lemur.
5. 20 Grup Berita. Jennie. qwone.com/~jason/20Newsgroups
6. Mon Shih Chuang dan Anagha Kulkarni. Meningkatkan Pilihan Shard untuk Pencarian Selektif. Prosiding Konferensi Masyarakat Pengambilan Informasi Asia. November 2017
7. L.Si dan J. Callan. (2003.) "Metode estimasi distribusi dokumen yang relevan untuk pemilihan sumber daya." Dalam Prosiding Konferensi Internasional ACM SIGIR Tahunan Kedua Puluh Enam tentang Penelitian dan Pengembangan Pencarian Informasi. Toronto: ACM.