หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การค้นหาของคุณ

เครื่องมือค้นหาโอเพ่นซอร์ส + โปรแกรมรวบรวมข้อมูลเว็บ สามารถใช้แคชเว็บไซต์เฉพาะหรือทั้งเว็บได้ นี่เป็นส่วนหนึ่งของโปรเจ็กต์สำหรับการแคชเว็บไซต์เฉพาะของเว็บไปยัง Raspberry Pi และทำให้ข้อมูลเข้าถึงได้อย่างอิสระในพื้นที่ห่างไกลซึ่งการเข้าถึงอินเทอร์เน็ตยาก

นี่เป็นงานระหว่างดำเนินการและอยู่ในระยะเริ่มต้น ไม่เหมาะสำหรับการใช้งานจริง สำหรับเว็บไซต์เดียว แต่เครื่องมือค้นหานี้ทำงานได้ดีมาก

ผลลัพธ์

มันทำงานอย่างไร?

เครื่องมือค้นหามี 2 องค์ประกอบ คือ โปรแกรมรวบรวมข้อมูลและเซิร์ฟเวอร์ โปรแกรมรวบรวมข้อมูลจะรวบรวมข้อมูลเว็บและส่งเนื้อหาของหน้าที่รวบรวมข้อมูลกลับไปยังเซิร์ฟเวอร์ เซิร์ฟเวอร์จัดเก็บเนื้อหาเหล่านี้ไว้ในฐานข้อมูล เมื่อใดก็ตามที่ผู้ใช้ต้องการค้นหาสิ่งใด เซิร์ฟเวอร์จะดำเนินการค้นหาฐานข้อมูลเหนือเนื้อหาที่เก็บไว้

ประเด็น/สิ่งที่ต้องทำ

  • การจัดทำดัชนีช้า
  • เปลี่ยนแบ็กเอนด์ฐานข้อมูลจาก MySQL เป็นสิ่งที่รวดเร็ว อาจจะเป็น Mongodb
  • การสื่อสารที่ปลอดภัยระหว่างเซิร์ฟเวอร์และซอฟต์แวร์รวบรวมข้อมูล

ความต้องการ

เซิร์ฟเวอร์ : PHP7 + MySQL

ลูกค้า : ทำงานทุกที่

เริ่มต้นใช้งาน

  • สร้างไฟล์ main.go ในโฟลเดอร์ crawler: go build main.go

  • ตั้งค่าเซิร์ฟเวอร์ LEMP

  • ตั้งค่าเว็บเซิร์ฟเวอร์ออนไลน์ โดยการคัดลอกเนื้อหาจากโฟลเดอร์เว็บเซิร์ฟเวอร์

  • นำเข้า db.sql ไปยังฐานข้อมูล MySQL ของคุณ

  • ไปที่ application/config/database.php เพื่อเปลี่ยนข้อมูลรับรองฐานข้อมูลเป็นเซิร์ฟเวอร์ db ของคุณ

  • ทดสอบเพื่อดูว่าใช้งานได้หรือไม่โดยไปที่ your-server-ip/index.php/Api

  • เปลี่ยนลิงก์ในไฟล์ config.json ให้ชี้ไปที่เซิร์ฟเวอร์ของคุณ เปลี่ยน URL เริ่มต้นด้วย

  • เรียกใช้โปรแกรมรวบรวมข้อมูล: ./main ./ อาร์กิวเมนต์แรกของโปรแกรมรวบรวมข้อมูลคือเส้นทางไปยังไดเร็กทอรีซึ่งมีไฟล์ config.json (PS: คุณสามารถเรียกใช้โปรแกรมรวบรวมข้อมูลหลายรายการพร้อมกันได้)

  • ไปที่ your-server-ip เพื่อดูหน้าการค้นหาและดูความคืบหน้าของจำนวนหน้าที่จัดทำดัชนี

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด