หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ค้นหาแบบเลือก

การค้นหาแบบเลือกสรรเป็นโครงการ Distributed Information Recovery (DIR) สำหรับการค้นหาข้อความขนาดใหญ่ โดยคอลเลกชันของเอกสารจะถูกแบ่งพาร์ติชันออกเป็นชุดย่อย (เรียกว่าชาร์ด) โดยยึดตามความคล้ายคลึงกันของคลังเอกสาร ซึ่งช่วยให้สามารถค้นหาข้ามชาร์ดน้อยลงแทนที่จะค้นหาชาร์ดทั้งหมด

เป้าหมายของโครงการคือการใช้ระบบการค้นหาแบบกระจายที่มีประสิทธิภาพและประสิทธิผล โดยไม่ส่งผลกระทบต่อคุณภาพการค้นหา และมีเป้าหมายที่จะลดต้นทุนการค้นหา

วิธีการแยกย่อยคอลเลกชันขนาดใหญ่ออกเป็นหน่วยย่อยตามความคล้ายคลึงกันของเนื้อหาในบันทึกนั้นเรียกว่า "การแบ่งพาร์ติชันตามหัวข้อ" และการค้นหาในส่วนแบ่งข้อมูลที่เกี่ยวข้องเพียงไม่กี่รายการสำหรับคำค้นหาที่กำหนดนั้นเรียกว่า "การค้นหาแบบเลือกสรร" ในสิ่งพิมพ์โดย Kulkarni et อัล

สารบัญ

  1. สถาปัตยกรรมทั่วไป
  2. การนำไปปฏิบัติในปัจจุบัน
    1. กองเทคโนโลยี
    2. ความเข้ากันได้ของเวอร์ชัน
    3. สถาปัตยกรรมการดำเนินงาน
    4. คุณสมบัติ
  3. เริ่มต้นใช้งาน
    1. รวบรวม
    2. วิ่ง
      1. ทำงานบน IDE
      2. ทำงานบน Spark Cluster
    3. ตั้งค่า Solrcloud
  4. ตัวอย่าง
  5. การกำหนดค่าและการปรับแต่ง
  6. คำถาม
  7. อ้างอิง

สถาปัตยกรรมทั่วไป

การนำไปปฏิบัติในปัจจุบัน

Selective Search ได้รับการตั้งโปรแกรมไว้ใน Scala โดยขยายไลบรารีของ Apache Spark MLLib สำหรับการทำคลัสเตอร์แบบไม่มีผู้ดูแลและการประมวลผลแบบกระจาย, ไลบรารี Apache Solr สำหรับการค้นหาและการดึงข้อมูล

กองเทคโนโลยี

  • ภาษาการเขียนโปรแกรม : สกาล่า
  • กรอบการทำงานแบบขยาย
    • Apache Spark สำหรับคอมพิวเตอร์แบบกระจาย
      • ขยาย Machine Learning Libraries (MLLib) ของ Apache Spark สำหรับการใช้งานการแบ่งพาร์ติชันตามหัวข้อและอัลกอริทึมทำงานบน Spark Cluster
    • Apache Solr สำหรับการค้นหาแบบกระจาย
      • ขยายไลบรารีการเรียกข้อมูล (ค้นหา) ของ Apache Solr สำหรับการใช้งานอัลกอริธึมการค้นหาแบบเลือกต่างๆ และคลัสเตอร์การค้นหานั้นได้รับการตั้งค่าบน Apache SolrCloud
    • สำหรับการผสานรวมระหว่าง Apache Spark และ Apache Solr จะใช้ไลบรารี Spark-Solr
  • เครื่องมือ
    • Maven สำหรับบิลด์, IntelliJ สำหรับการพัฒนา, Git สำหรับ SCM

ความเข้ากันได้ของเวอร์ชัน

  1. Java JDK 8 เวอร์ชัน "1.8.0_131"

  2. สกาล่า 2.12.2

  3. อาปาเช่ สปาร์ค เวอร์ชัน 2.1.1

  4. อาปาเช่ โซล 6.6.2

  5. Spark-Solr 3.3.0

  6. อาปาเช่ มาเวน 3.5.0

  7. อาปาเช่ ไอวี่ 2.4.0

  8. อาปาเช่ ANT เวอร์ชัน 1.10.1

สถาปัตยกรรมการดำเนินงาน

คุณสมบัติ

  • การแปลงข้อมูลต้นฉบับเป็นเวกเตอร์ TF-IDF โดยอิงตามพจนานุกรมของคำศัพท์ที่ให้มาเป็นอินพุต หรือมิฉะนั้น พจนานุกรมจะถูกสร้างขึ้นจากชุดข้อมูลการฝึกอบรมโดยใช้น้ำหนัก TF-IDF กับคำศัพท์
  • การใช้อัลกอริทึม KMeans แบบกำหนดเองสำหรับการจัดกลุ่มชุดข้อมูลข้อความ การขยายไลบรารี Apache Spark MLLib ใช้มาตรการคำนวณความคล้ายคลึงกันทั้งสองแบบ ได้แก่ โคไซน์และยูคลิด
  • จัดทำดัชนีบันทึกลงใน Solrcloud
  • การใช้อัลกอริธึมการค้นหาแบบเลือก ได้แก่ CORI[6] และ ReDDE[7]
  • Parsers สำหรับ Clueweb09 WARC Records, ชุดข้อมูล 20newsgroup และโดยทั่วไปคือชุดข้อมูลข้อความ
  • เครื่องมือวิเคราะห์ข้อความที่แยก html แยกเนื้อหาข้อความ โทเค็น กรองตามคำหยุด และใช้ Kstemmer

เริ่มต้นใช้งาน

รวบรวม

เพื่อคอมไพล์เวอร์ชันปัจจุบันของการค้นหาแบบเลือกสรร คุณจะต้องมีรายการซอฟต์แวร์ต่อไปนี้ที่ทำงานอยู่บนเครื่องของคุณ

  • Java, Scala, Apache Maven (เวอร์ชันตามที่ระบุไว้ในส่วนความเข้ากันได้ของเวอร์ชัน)

เพื่อตรวจสอบว่าซอฟต์แวร์ที่ระบุไว้ข้างต้นทำงานบนเครื่องของคุณ ให้ยืนยันด้วยคำสั่งด้านล่าง

  • java -version
    • จาวาเวอร์ชัน "1.8.0_31"
  • scala -version
    • ตัวรันโค้ด Scala เวอร์ชัน 2.11.8
  • mvn -version
    • อาปาเช่ มาเวน 3.3.9

หลังจากตรวจสอบการตั้งค่าซอฟต์แวร์ที่จำเป็นแล้ว ให้ดาวน์โหลดซอร์สโค้ดและดำเนินการคำสั่งด้านล่าง

  • mvn clean install -DskipTests

วิ่ง

ในการรันโปรเจ็กต์การค้นหาแบบเลือกบน localhost (เครื่องจักร) จำเป็นต้องกำหนดค่า Apache SolrCloud หากคุณยังไม่ได้กำหนดค่า ให้ทำตามคำแนะนำที่ให้ไว้ที่นี่: ()

หลังจากการตั้งค่า SolrCloud มีสองวิธีในการเรียกใช้การค้นหาแบบเลือกสรร ไม่ว่าจะตั้งค่าบน IDE ซึ่งอาจเป็น IntelliJ/Eclipse หรือเปิดใช้ Spark Cluster และดำเนินการงานกับคลัสเตอร์นั้น

1. ทำงานบน IDE

  • ดาวน์โหลดหรือโคลนโครงการ git clone https://github.com/rajanim/selective-search.git
  • คอมไพล์ซอร์สโค้ดโดยทำตามขั้นตอนที่ระบุไว้ในส่วน "คอมไพล์"
  • นำเข้าโปรเจ็กต์ปัจจุบันเป็นโปรเจ็กต์ Maven ไปยัง IDE
  • หากต้องการทดสอบการตั้งค่านี้ ให้ไปที่แอปทดสอบ App.scala คลิกขวาแล้วเรียกใช้ ควรพิมพ์ว่า 'Hello World!' นี่เป็นการยืนยันว่าโค้ดสกาล่าได้รับการคอมไพล์และทำงานได้สำเร็จ
  • หากต้องการทดสอบการตั้งค่าการค้นหาแบบเลือก ไปที่ TestTextFileParser.scala แก้ไขพาธรูทตามการตั้งค่าไดเร็กทอรีของคุณ รันกรณีทดสอบ (คลิกขวาและเลือกตัวเลือกเรียกใช้)
  • หากต้องการดำเนินการค้นหาแบบเลือกกลุ่มของ 20newsgroup ให้ไปที่ org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala แก้ไขเส้นทางไดเร็กทอรีอินพุตไปยังพาธไดเร็กทอรีของเครื่องในเครื่องของคุณ จากนั้นรัน
  • ไปที่ /test/org.sfsu.cs.* เพื่อทดสอบฟังก์ชันการทำงานต่างๆ ที่นำมาใช้

2. รันบน Spark Cluster

กำหนดค่า Spark Cluster บน localhost

  • ดาวน์โหลด Apache Spark (การใช้งานปัจจุบันทำงานบน spark spark-2.0.0-bin-hadoop2.7 )
  • ไปที่เทอร์มินัลแล้วนำทางไปยังเส้นทางที่มีจุดประกายแตกไฟล์ ตัวอย่างเช่น cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
  • กำหนดค่าสปาร์ค
    • เริ่มสปาร์คมาสเตอร์ ./sbin/start-master.sh
    • กำหนดค่าอินสแตนซ์ Spark Slave

      • สร้างไฟล์ spark-env.sh โดยใช้เทมเพลตที่ให้มา: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

      • เพิ่มพารามิเตอร์การกำหนดค่าต่อท้ายไฟล์: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

    • เริ่มอินสแตนซ์ของ Spark Slaves ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

รันโปรเจ็กต์การค้นหาแบบเลือกสรรบนคลัสเตอร์ Spark nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

ตั้งค่า SolrCloud

  • ดาวน์โหลด Apache Solr เป็น zip (การใช้งานปัจจุบันทำงานบน solr 6.2.1)

  • ไปที่เทอร์มินัลแล้วนำทางไปยังเส้นทางที่มีไดเร็กทอรี solr unzip

  • เริ่ม solr ในโหมดคลาวด์

    ./bin/solr start -c -m 4g

  • เมื่อคุณ solr เริ่มต้นด้วยข้อความต้อนรับว่า 'Happy Searching!' คุณควรจะสามารถเชื่อมต่อกับ UI ผู้ดูแลระบบได้ http://localhost:8983/solr/#/ นำทางไปยังคอลเลกชัน: http://localhost:8983/solr/#/~collections

  • เพิ่มคอลเลกชันโดยตั้งชื่อคอลเลกชัน เลือกชุดการกำหนดค่า ซึ่งควรเป็น data_driven_schema_configs อินพุตคู่ค่าคีย์อื่นๆ ดังที่เห็นในภาพหน้าจอ : คลิกที่นี่

  • ยืนยันว่าคอลเลกชันถูกสร้างขึ้นสำเร็จหรือไม่โดยไปที่ cloud admin ui http://localhost:8983/solr/#/~cloud และคุณควรจะสามารถเห็นคอลเลกชันที่สร้างขึ้นใหม่

  • อีกวิธีหนึ่งในการสร้างคอลเลกชันคือผ่านทางบรรทัดคำสั่ง ตัวอย่างคำสั่ง ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

สำหรับ Selective Search เราต้องการคอลเล็กชัน solr ที่มีกลยุทธ์ implicit routing

  • ตัวอย่างคำสั่ง curl เพื่อสร้างคอลเลกชัน 20 ชาร์ดพร้อมการกำหนดเส้นทางโดยนัย http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

การแสดงภาพ

  • การแสดงภาพการจัดสรรคลัสเตอร์โดยใช้แดชบอร์ด Banana
  • บทช่วยสอนและบันทึกอ้างอิงที่นี่
  • กำหนดค่า Banana บนอินสแตนซ์ solr ของคุณและเชื่อมต่อกับแดชบอร์ด Banana ผ่าน http url http://localhost:8983/solr/banana/src/index.html#/dashboard

ตัวอย่าง

ทำตามขั้นตอนที่แสดงด้านล่างเพื่อดำเนินการ (เรียกใช้) การค้นหาแบบเลือกสรรสำหรับชุดข้อมูลอื่น ๆ (กำหนดเอง/เฉพาะเจาะจง)

  • สร้างคลาสสกาล่าที่คล้ายกับ NewsgroupRunner.scala
  • รับบริบทของ Spark โดยการสร้าง org.sfsu.cs.main.SparkInstance ใหม่ และเรียกใช้เมธอด createSparkContext val sc = sparkInstance.createSparkContext("class name")
  • แปลงเอกสารอินพุตเป็น RDD ของเอกสาร TF ตัวอย่างการอ้างอิงตามรายการด้านล่าง
    • หากชุดข้อมูลอินพุตเป็นคอลเลกชันของไฟล์ข้อความ ให้ใช้ API ตัวแยกวิเคราะห์ข้อความที่มีอยู่ใน org.sfsu.cs.io.text.TextFileParser.scala เพื่อรับเอกสารข้อความที่แมปกับ org.sfsu.cs.document.TFDocument
    • หากชุดข้อมูลอินพุตเป็นชุดของบันทึกเบาะแสเว็บ ให้ใช้ตัวแยกวิเคราะห์ที่มีอยู่ใน org.sfsu.cs.io.clueweb09
    • หากชุดข้อมูลอินพุตเป็นไฟล์ csv ให้ใช้ parser apis ที่มีอยู่ใน org.sfsu.cs.io.csv

การกำหนดค่าและการปรับแต่ง

การกำหนดค่าที่จำเป็น

  • จำเป็นต้องติดตั้งซอฟต์แวร์ทั้งหมดที่จำเป็นสำหรับการคอมไพล์ซอร์สตามที่ระบุไว้ในส่วนการคอมไพล์
  • จำเป็นต้องกำหนดค่า Solrcloud บนเครื่องภายในหรือระยะไกล หากตั้งค่าบนระยะไกล ตรวจสอบให้แน่ใจว่าได้ระบุ IP และพอร์ตที่ถูกต้องขณะดำเนินการงาน ขั้นตอนการกำหนดค่าที่นี่
  • การตั้งค่าคลัสเตอร์ Spark แบบสแตนด์อโลนบนเครื่องท้องถิ่นเพื่อรันงานผ่าน spark-submit.sh

การปรับแต่ง

  • การตั้งค่าพารามิเตอร์ Spark --executor-memory, -driver-memory ขึ้นอยู่กับหน่วยความจำที่มีอยู่ในเครื่อง
  • ไดรเวอร์ Spark อาจรายงานข้อยกเว้น maxResultSize โดยสามารถเพิ่มขึ้นได้โดยการส่งพารามิเตอร์ "spark.driver.maxResultSize=2000" ซึ่งไม่สามารถเกิน 2048 ได้
  • สำหรับ Apache solr ให้จัดสรร Xmx ในขณะที่เริ่ม solr ตัวอย่างเช่น หากต้องการจัดสรร 4g ให้ ./bin/solr start -c -m 4g

การแก้ไขปัญหา

  • ได้รับข้อยกเว้นขณะสร้างคอลเลกชัน solr ที่รายงานว่า "เศษที่ร้องขอสูงกว่าจำนวนที่อนุญาต" https://issues.apache.org/jira/browse/SOLR-4114 แก้ไข: ตรวจสอบให้แน่ใจว่า maxShardsPerNode เท่ากับ numShards ตามจำนวน โหนดที่มีอยู่

คำถาม

หากคุณมีคำถามเพิ่มเติมเกี่ยวกับการนำไปใช้ ผลการทดลอง เกณฑ์มาตรฐาน หรือการใช้งาน Selective-Search เรายินดีให้ความช่วยเหลือ กรุณาส่งอีเมลไปที่ [email protected]

อ้างอิง

  1. อนาคา กุลการ์นี. 2558. การค้นหาแบบเลือก: การค้นหาขนาดใหญ่ที่มีประสิทธิภาพและประสิทธิผล. ธุรกรรม ACM เกี่ยวกับระบบสารสนเทศ 33(4) พลอากาศเอก. 2558.
  2. อนาคา กุลการ์นี. 2553. พาร์ติชันดัชนีตามหัวข้อเพื่อการค้นหาแบบเลือกที่มีประสิทธิภาพและประสิทธิผล. การประชุมเชิงปฏิบัติการครั้งที่ 8 เรื่องระบบกระจายข้อมูลขนาดใหญ่เพื่อการดึงข้อมูล
  3. รอล์ฟ เยเกอร์แมน, คาร์สเตน ไอคฮอฟฟ์. โมเดลหัวข้อขนาดเว็บใน Spark: เซิร์ฟเวอร์พารามิเตอร์แบบอะซิงโครนัส 2559.
  4. ชุดข้อมูล Cluweb09 โครงการลีเมอร์
  5. 20กลุ่มข่าว. เจเรนนี่. qwone.com/~jason/20Newsgroups
  6. มอนชิห์จวง และอนาคา กุลการ์นี. การปรับปรุงการเลือกชิ้นส่วนสำหรับการค้นหาแบบเลือก การประชุมสมาคมการสืบค้นข้อมูลแห่งเอเชีย พฤศจิกายน 2017
  7. แอล.ซี และเจ.คัลแลน. (2546.) "วิธีการประมาณการกระจายเอกสารที่เกี่ยวข้องสำหรับการเลือกทรัพยากร" ในการดำเนินการประชุม ACM SIGIR นานาชาติประจำปีครั้งที่ 26 เรื่องการวิจัยและพัฒนาในการดึงข้อมูล โทรอนโต: ACM.
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด