الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تم أرشفة المشروع. من فضلك قم بزيارة يو! - الجيل القادم من مشروع YGGo المبني على بحث Manticore.

YGGo! - محرك بحث الويب الموزع

كتبه الإلهام لاستكشاف النظام البيئي Yggdrasil. يمكن أن يكون المحرك مفيدًا للزحف إلى مواقع الويب العادية وموارد الأعمال الصغيرة والشبكات المحلية.

هدف المشروع - واجهة بسيطة وبنية واضحة ومتطلبات خادم خفيفة الوزن.

ملخص

الصفحة الرئيسية

https://github.com/YGGverse/YGGo/tree/main/media

الحالات عبر الإنترنت

  • http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggo/

يستقر قاعدة البيانات

  • 17-09-2023 http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/en/torrent/15

متطلبات 

 php8^
php-dom
php-xml
php-pdo
php-curl
php-gd
php-mbstring
php-zip
php-mysql
php-memcached
memcached
sphinxsearch

تثبيت

  • git clone https://github.com/YGGverse/YGGo.git
  • cd YGGo
  • composer install

يثبت

  • تكوين الخادم /example/environment
  • دليل جذر الويب هو /src/public
  • انشر قاعدة البيانات باستخدام مشروع MySQL Workbench المعروض في المجلد /database
  • تثبيت خادم بحث Sphinx
  • أمثلة التكوين المقدمة في المجلد /config
  • تأكد من أن المجلدات /src/storage/cache و /src/storage/tmp و /src/storage/snap قابلة للكتابة
  • قم بإعداد /src/crontab باتباع المثال
  • لبدء الزاحف، أضف عنوان URL أوليًا واحدًا على الأقل باستخدام نموذج البحث أو واجهة سطر الأوامر (CLI).

واجهة برمجة تطبيقات جسون

بناء تطبيقات الطرف الثالث/توزيع الفهرس.

يمكن تمكينه أو تعطيله بواسطة خيار API_ENABLED

عنوان 
 /api.php
يبحث

إرجاع نتائج البحث.

يمكن تمكينه أو تعطيله بواسطة خيار API_SEARCH_ENABLED

سمات الطلب 
 GET action=search  - required
GET query={string} - optional, search request, empty if not provided
GET type={string}  - optional, filter mime type of available or empty
GET page={int}     - optional, search results page, 1 if not provided
GET mode=SphinxQL  - optional, enable extended SphinxQL syntax
توزيع المضيفين

إرجاع المضيفين المجمعين مع الحقول المتوفرة في خيار API_HOSTS_FIELDS .

يمكن تمكينه أو تعطيله بواسطة خيار API_HOSTS_ENABLED

سمات الطلب 
 GET action=hosts - required
بيان التطبيق

إرجاع معلومات العقدة للعقد الأخرى التي لها نفس شروط CRAWL_MANIFEST_API_VERSION و DEFAULT_HOST_URL_REGEXP .

يمكن تمكينه أو تعطيله بواسطة خيار API_MANIFEST_ENABLED

سمات الطلب 
 GET action=manifest - required

بحث تصفية النص

الإنشاءات الافتراضية 
 word prefix:

yg*

operator OR:

hello | world

operator MAYBE:

hello MAYBE world

operator NOT:

hello -world

strict order operator (aka operator "before"):

aaa << bbb << ccc

exact form modifier:

raining =cats and =dogs

field-start and field-end modifier:

^hello world$

keyword IDF boost modifier:

boosted^1.234 boostedfieldend$^1.234
بناء الجملة الموسعة

https://sphinxsearch.com/docs/current.html#extened-syntax

يمكن تمكينه بالسمات التالية 

 GET m=SphinxQL

خريطة الطريق

الميزات الأساسية
  • صفحات الويب البحث عن النص الكامل الترتيب
    • أبو الهول
  • زحف محتوى MIME غير محدود
  • إعدادات مرنة متوافقة مع شبكات IPv4/IPv6
  • دعم بناء جملة البحث الموسع
  • يتم التقاط سجل الصفحة المضغوطة من خلال مزامنة تخزين متعددة الموفرين
    • محلي (مواقع غير محدودة)
    • FTP عن بعد (مرايا غير محدودة)
    • عد التنزيلات الموجهة نحو الخصوصية، وضوابط حركة المرور
واجهة المستخدم
  • CSS فقط، واجهة أقل من JS
  • أيقونات معرف المضيف الفريدة
  • علامات تبويب المحتوى MIME (#1)
  • مستكشف فهرس الصفحات
    • ميتا
    • تاريخ اللقطات
    • المُحيلون
  • أعلى صفحة المضيفين
  • معاينة الوسائط الآمنة
  • تسليط الضوء على النتائج مع التطابقات التي تم العثور عليها
  • ميزة آلة الزمن حسب المحتوى تلتقط التاريخ
واجهة برمجة التطبيقات
  • واجهة برمجة تطبيقات الفهرس
    • يظهر
    • يبحث
    • المضيفين
    • يستقر
  • واجهة برمجة تطبيقات الإعلان السياقي
الزاحف
  • الارتباطات الزحف التلقائي عن طريق قواعد التعبير العادي
    • الصفحات
    • البيانات
  • دعم العلامات الوصفية لـ Robots.txt / robots (#2)
  • تكوين قواعد محددة لكل مضيف
  • تم الوصول إلى الإيقاف التلقائي للزحف على الحصة النسبية للقرص
  • دعم المعاملات لمنع فقدان البيانات عند فشل قائمة الانتظار
  • يزحف الفهرس الموزع بين عقد YGGo من خلال واجهة برمجة تطبيقات البيان
  • إعدادات نوع محتوى MIME
  • حظر الروابط غير المشروطة لمنع الطلبات الإضافية
  • سجل التصحيح
  • فهرسة الصفحات الرئيسية وURI الأقصر بأولوية أعلى
  • جمع روابط الموقع المستهدف على إعادة توجيه الصفحة المتاحة
  • جمع الصفحات المرجعية (بما في ذلك عمليات إعادة التوجيه)
  • دعم الأسماء المستعارة لعنوان URL في حساب العلاقات العامة
  • يتم جمع عناصر DOM للصفحة المضيفة بواسطة محددات CSS
    • الإعدادات المخصصة لكل مضيف
  • دعم خلاصات XML
    • خريطة الموقع
    • آر إس إس
    • ذرة
  • لوحة الصور فهرس / مرشح
  • موازن قائمة انتظار الزحف، الذي يعتمد على وحدة المعالجة المركزية المتاحة
  • تكامل الشبكات
    • yggdrasil
      • YGGstate (عقد غير محدودة)
        • ديسيبل
        • واجهة برمجة التطبيقات
منظف
  • تتم إعادة تعيين الصفحات المحظورة عن طريق المهلة
  • تحسين جداول قاعدة البيانات
سطر الأوامر

*واجهة CLI لا تزال قيد الإنشاء، استخدمها على مسؤوليتك الخاصة!

  • يساعد
  • ديسيبل
    • تحسين [x] crontab
    • الزحف
    • ينظف
  • hostSetting
    • يحصل
    • تعيين
    • قائمة
    • يمسح
    • دافق
  • hostPage
    • يضيف
    • رتبة
      • إعادة الفهرسة
  • hostPageSnap
    • بصلح
      • ديسيبل
      • خ.س
    • إعادة الفهرسة
    • اقتطاع
آخر
  • لوحة إدارية للإشراف المفيد على الفهرس
  • أدوات النشر
  • اختبار
  • التوثيق

المساهمات

يرجى إنشاء فرع جديد من شجرة main|sqliteway لكل رقعة في الشوكة الخاصة بك قبل إنشاء العلاقات العامة 

 git checkout main
git checkout -b my-pr-branch-name

أنظر أيضا: شجرة SQLite

التبرع للمساهمين

  • @d47081: بيتكوين | لاتك | XMR | زيف | دعم الخادم الخاص بنا عن طريق طلب Linux VPS

رخصة

  • مصادر المحرك رخصة معهد ماساتشوستس للتكنولوجيا
  • الرسوم المتحركة للصفحة الرئيسية بواسطة alvarotrigo
  • شعار CLI بواسطة patorjk.com
  • الترجمة الصوتية بواسطة php-translit
  • Identicons بواسطة jdenticon

تعليق

لا تتردد في مشاركة أفكارك وتقارير الأخطاء!

مجتمع

  • مستودون
  • [مصفوفة]

أنظر أيضا

  • يو! Micro Web Crawler في PHP وManticore
  • YGGwave ~ كتالوج الراديو
  • YGGstate - تحليلات شبكة Yggdrasil
  • YGGtracker - متتبع BitTorrent وكتالوج Yggdrasil
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل