YGGo

เก็บถาวรโครงการแล้ว กรุณาเยี่ยมชม Yo! - โครงการ YGGo รุ่นต่อไปที่ใช้การค้นหา Manticore

YGไป! - กระจาย Web Search Engine

เขียนโดยแรงบันดาลใจในการสำรวจระบบนิเวศ Yggdrasil เอ็นจิ้นอาจมีประโยชน์สำหรับการรวบรวมข้อมูลเว็บไซต์ทั่วไป ทรัพยากรของธุรกิจขนาดเล็ก เครือข่ายท้องถิ่น

เป้าหมายของโครงการ - อินเทอร์เฟซที่เรียบง่าย สถาปัตยกรรมที่ชัดเจน และข้อกำหนดเซิร์ฟเวอร์ขนาดเล็ก

ภาพรวม

https://github.com/YGGverse/YGGo/tree/main/media

อินสแตนซ์ออนไลน์

• http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggo/

ฐานข้อมูล snaps

• 17-09-2023 http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/en/torrent/15

ความต้องการ

 php8^
php-dom
php-xml
php-pdo
php-curl
php-gd
php-mbstring
php-zip
php-mysql
php-memcached
memcached
sphinxsearch

การติดตั้ง

• git clone https://github.com/YGGverse/YGGo.git
• cd YGGo
• composer install

ตั้งค่า

• การกำหนดค่าเซิร์ฟเวอร์ /example/environment
• dir รูทของเว็บคือ /src/public
• ปรับใช้ฐานข้อมูลโดยใช้โปรเจ็กต์ MySQL Workbench ที่แสดงในโฟลเดอร์ /database
• ติดตั้งเซิร์ฟเวอร์ค้นหาสฟิงซ์
• ตัวอย่างการกำหนดค่าแสดงอยู่ที่โฟลเดอร์ /config
• ตรวจสอบให้แน่ใจว่า /src/storage/cache , /src/storage/tmp , /src/storage/snap โฟลเดอร์สามารถเขียนได้
• ตั้งค่า /src/crontab ตามตัวอย่างต่อไปนี้
• หากต้องการเริ่มโปรแกรมรวบรวมข้อมูล ให้เพิ่ม URL เริ่มต้นอย่างน้อยหนึ่งรายการโดยใช้แบบฟอร์มการค้นหาหรือ CLI

JSON API

สร้างแอปพลิเคชันบุคคลที่สาม / การกระจายดัชนี

สามารถเปิดหรือปิดใช้งานได้โดยตัวเลือก API_ENABLED

ที่อยู่

 /api.php

ค้นหา

ส่งกลับผลการค้นหา

สามารถเปิดหรือปิดใช้งานได้โดยตัวเลือก API_SEARCH_ENABLED

ขอคุณสมบัติ

 GET action=search  - required
GET query={string} - optional, search request, empty if not provided
GET type={string}  - optional, filter mime type of available or empty
GET page={int}     - optional, search results page, 1 if not provided
GET mode=SphinxQL  - optional, enable extended SphinxQL syntax

การกระจายเจ้าภาพ

ส่งคืนโฮสต์ที่รวบรวมด้วยฟิลด์ที่ให้ไว้ในตัวเลือก API_HOSTS_FIELDS

สามารถเปิดหรือปิดใช้งานได้โดยตัวเลือก API_HOSTS_ENABLED

ขอคุณสมบัติ

 GET action=hosts - required

รายการแอปพลิเคชัน

ส่งคืนข้อมูลโหนดสำหรับโหนดอื่นที่มีเงื่อนไข CRAWL_MANIFEST_API_VERSION และ DEFAULT_HOST_URL_REGEXP เหมือนกัน

สามารถเปิดหรือปิดใช้งานได้โดยตัวเลือก API_MANIFEST_ENABLED

ขอคุณสมบัติ

 GET action=manifest - required

ค้นหาการกรองข้อความ

โครงสร้างเริ่มต้น

 word prefix:

yg*

operator OR:

hello | world

operator MAYBE:

hello MAYBE world

operator NOT:

hello -world

strict order operator (aka operator "before"):

aaa << bbb << ccc

exact form modifier:

raining =cats and =dogs

field-start and field-end modifier:

^hello world$

keyword IDF boost modifier:

boosted^1.234 boostedfieldend$^1.234

ไวยากรณ์เพิ่มเติม

https://sphinxsearch.com/docs/current.html#exted-syntax

สามารถเปิดใช้งานได้ด้วยคุณสมบัติต่อไปนี้

 GET m=SphinxQL

แผนการทำงาน

คุณสมบัติพื้นฐาน

• การค้นหาการจัดอันดับข้อความแบบเต็มหน้าเว็บ
  • สฟิงซ์
• การรวบรวมข้อมูล MIME เนื้อหาไม่จำกัด
• การตั้งค่าที่ยืดหยุ่นเข้ากันได้กับเครือข่าย IPv4/IPv6
• การสนับสนุนไวยากรณ์การค้นหาเพิ่มเติม
• ประวัติเพจที่ถูกบีบอัดพร้อมการซิงค์ที่เก็บข้อมูลของผู้ให้บริการหลายราย
  • ท้องถิ่น (ไม่จำกัดสถานที่)
  • FTP ระยะไกล (มิเรอร์ไม่จำกัด)
  • การนับการดาวน์โหลดที่มุ่งเน้นความเป็นส่วนตัว การควบคุมการรับส่งข้อมูล

UI

• CSS เท่านั้น อินเทอร์เฟซแบบไม่มี JS
• ไอคอนระบุโฮสต์ที่ไม่ซ้ำ
• แท็บ MIME เนื้อหา (#1)
• เครื่องมือสำรวจดัชนีหน้า
  • เมตา
  • ประวัติสแนป
  • ผู้อ้างอิง
• หน้าโฮสต์ยอดนิยม
• ดูตัวอย่างสื่อที่ปลอดภัย
• ผลลัพธ์พร้อมไฮไลท์การแข่งขันที่พบ
• คุณสมบัติไทม์แมชชีนตามเนื้อหาจะบันทึกประวัติ

เอพีไอ

• ดัชนี API
  • ประจักษ์
  • ค้นหา
  • เจ้าภาพ
  • สแนป
• API การโฆษณาตามบริบท

โปรแกรมรวบรวมข้อมูล

• รวบรวมข้อมูลลิงก์อัตโนมัติตามกฎนิพจน์ทั่วไป
  • หน้า
  • ประจักษ์
• รองรับเมตาแท็ก robots.txt / robots (#2)
• การกำหนดค่ากฎเฉพาะสำหรับทุกโฮสต์
• ถึงจุดหยุดการรวบรวมข้อมูลอัตโนมัติบนโควต้าดิสก์แล้ว
• รองรับธุรกรรมเพื่อป้องกันข้อมูลสูญหายจากความล้มเหลวของคิว
• การรวบรวมข้อมูลดัชนีแบบกระจายระหว่างโหนด YGGo ผ่าน API รายการ
• การตั้งค่าประเภทเนื้อหา MIME
• แบนลิงก์ที่ไม่มีเงื่อนไขเพื่อป้องกันการร้องขอเพิ่มเติม
• บันทึกการแก้ไขข้อบกพร่อง
• จัดทำดัชนีหน้าแรกและ URI ที่สั้นลงและมีลำดับความสำคัญสูงกว่า
• รวบรวมลิงก์ตำแหน่งเป้าหมายในการเปลี่ยนเส้นทางเพจที่พร้อมใช้งาน
• รวบรวมหน้าผู้อ้างอิง (รวมถึงการเปลี่ยนเส้นทาง)
• รองรับการใช้นามแฝง URL ในการคำนวณ PR
• องค์ประกอบ DOM ของหน้าโฮสต์รวบรวมโดยตัวเลือก CSS
  • การตั้งค่าแบบกำหนดเองสำหรับแต่ละโฮสต์
• รองรับฟีด XML
  • แผนผังเว็บไซต์
  • อาร์เอสเอส
  • อะตอม
• จานสีดัชนีภาพ / ตัวกรอง
• ตัวจัดสรรคิวการรวบรวมข้อมูลซึ่งขึ้นอยู่กับ CPU ที่พร้อมใช้งาน
• บูรณาการเครือข่าย
  • อิกดราซิล
    • YGGstate (โหนดไม่จำกัด)
      • ดีบี
      • เอพีไอ

ทำความสะอาด

• เพจที่ถูกแบนจะถูกรีเซ็ตโดยการหมดเวลา
• การเพิ่มประสิทธิภาพตาราง DB

คลีไอ

*อินเทอร์เฟซ CLI ยังอยู่ระหว่างการปรับปรุง โปรดใช้มันเพื่อความเสี่ยงของคุณเอง!

• ช่วย
• ฐานข้อมูล
  • ปรับให้เหมาะสม [x] crontab
  • คลาน
  • ทำความสะอาด
• การตั้งค่าโฮสต์
  • รับ
  • ชุด
  • รายการ
  • ลบ
  • ล้าง
• โฮสต์เพจ
  • เพิ่ม
  • อันดับ
    • จัดทำดัชนีใหม่
• โฮสต์เพจสแนป
  • ซ่อมแซม
    • ฐานข้อมูล
    • เอฟเอส
  • จัดทำดัชนีใหม่
  • ตัด

อื่น

• แผงการดูแลระบบเพื่อการกลั่นกรองดัชนีที่เป็นประโยชน์
• เครื่องมือการปรับใช้
• การทดสอบ
• เอกสารประกอบ

ผลงาน

โปรดสร้างสาขาใหม่ของแผนผัง main|sqliteway สำหรับแต่ละแพตช์ในทางแยกของคุณก่อนที่จะสร้าง PR

 git checkout main
git checkout -b my-pr-branch-name

ดูเพิ่มเติมที่: แผนผัง SQLite

บริจาคให้กับผู้มีส่วนร่วม

• @d47081: BTC | แอลทีซี | XMR | เจฟ | สนับสนุนเซิร์ฟเวอร์ของเราตามคำสั่ง Linux VPS

ใบอนุญาต

• แหล่งที่มาของเครื่องยนต์ใบอนุญาต MIT
• แอนิเมชั่นหน้าแรกโดย alvarotrigo
• โลโก้ CLI โดย patorjk.com
• การทับศัพท์โดย php-translit
• Identicons โดย jdenticon

ข้อเสนอแนะ

อย่าลังเลที่จะแบ่งปันความคิดและรายงานข้อผิดพลาดของคุณ!

ชุมชน

• มาสโตดอน
• [เมทริกซ์]

ดูเพิ่มเติม

• โย่! โปรแกรมรวบรวมข้อมูลเว็บขนาดเล็กใน PHP และ Manticore
• YGGwave ~ แคตตาล็อกวิทยุ
• YGGstate - การวิเคราะห์เครือข่าย Yggdrasil
• YGGtracker - BitTorrent Tracker และแคตตาล็อกสำหรับ Yggdrasil