doogleダウンロード - doogleソースコードのダウンロード

doogle

その他のソースコード

v1.1.2-beta

ダウンロード

ドゥーグル

Doogle は、インデックス付けされた Web サイトや画像を検索し、後で検索するキーワードを使用できる検索エンジンおよび Web クローラーです。

OOP と Web クローラーの仕組みをより深く理解することを目的として、主に OOP スタイルの PHP で書かれています。

Doogleホームページ-プレビュー

特徴

サイトを検索する
- タイトル、URL、説明を表示します
画像の検索
- 画像の上にカーソルを置くと説明がプレビューされます (alt タグ)
- 検索された画像の石積みレイアウト
- Fancybox を使用した画像プレビュー
- 画像検索ページは動的に応答します
きれいなホームページ
壊れた画像の結果をフィルタリングします
クリック/訪問ごとに検索結果を整理します
検索ページの下部にあるページネーションシステム
検索語の「見つかった結果」を表示します
非ラテン文字 (UTF-8) のサポート

セットアップと使用方法
- ドッカー
- サーバーのセットアップ
- PHP の依存関係
- PHP を MySQL サーバーに接続する
- Web サイトをクロールして画像とサイトのテーブルを作成する
プログラミングロジック
- ページネーション
- 画像検索
- サイト検索 - トリミング結果
- テレメトリー
- ユーザーエージェント
プレビュー画像
- Doogle ホームページ
- Doogle 検索 - サイト
- Doogle 検索 - 画像
- ページネーションシステム
- doogleBot クロールフォーム
プレビュービデオ

セットアップと使用方法

2 つのセットアップ方法について説明します。

Docker (最も簡単)
サーバーのセットアップ

ドッカー

Docker 構成ファイルは doogle-docker で入手できます。

すでに Docker v3.9 (またはそれ以降) がインストールされ、構成されていると仮定します。

 git clone https://github.com/safesploit/doogle-docker.git
cd doogle-docker
sh build.sh

スクリーンショット 2023 年 2 月 22 日 21 11 33

Doogle は localhost:8000 経由でアクセスできるようになりました。

デバッグ用に、phpMyAdmin も localhost:8001 に含まれています。

サーバーのセットアップ

v1.0.0-beta.1 は、PHP 7.4、8.0、および 8.1 でサポートおよびテストされています。

Webサーバー、PHPサーバー、MySQLサーバーの構成については、XAMPPを参照してください。 Doogle を使用するには複数のサーバーが必要なため、XAMPP が最も簡単な方法です。

XAMPP での MySQL セットアップは、データベースをセットアップする GUI メソッドとして PHPMyAdmin を使用します。

PHPMyAdmin > SQLタブの PHPMyAdmin 経由でデータベースにログインすると、「doogle-tables-no-data.sql」の内容をフィールドに貼り付けることができます。

画像1-PHPMyAdmin

PHP の依存関係

 mysql
pdo_mysql

SQLユーザーの作成

強力なランダムパスワードを使用してパスワードPASSWORD_HERE を修正します。

 mysql> CREATE USER IF NOT EXISTS 'doogle'@'localhost' IDENTIFIED BY 'PASSWORD_HERE';

SQL ユーザー権限

SQL ユーザー「doogle」には、SELECT、INSERT、および UPDATE 権限が必要です。

 mysql> GRANT SELECT, INSERT, UPDATE ON `doogle`.* TO 'doogle'@'localhost';

INSERT はクロールに使用されます
検索エンジンがクエリを返すには SELECT が必要です
クリックや壊れた結果を修正するには UPDATE が必要です (./ajax/ を参照)

PHP を MySQL サーバーに接続する

ファイル config.php には、データベース構成に合わせて次の内容を正しく入力する必要があります。

 $dbname = "doogle";
$dbhost = "localhost";
$dbuser = "doogle";
$dbpass = "";

ファイル「doogle-tables-no-data.sql」には、データベースが「doogle」として作成されます。

Web サイトをクロールして画像とサイトのテーブルを作成する

フォームベースのクロール

ブラウザで、ファイルがホストされている場所 http://localhost/crawl.php に移動します。

URL を入力フィールドに貼り付けて、[クロール] ボタンを押します。

手動クロール

roll-manual.php の下部にある変数 $startUrl は、クロールする Web サイトの URL を貼り付ける場所です。

 $startUrl = "https://thehackernews.com/";

次に、ブラウザでファイルがホストされている場所 http://localhost/crawl-manual.php に移動します。

説明

クロールプロセスには時間がかかりますが、それはクロールされる Web サイトのサイズに完全に依存します。ページは、 crawl.phpスクリプトが終了するまで (出力なしで) ロードされ続けます。

データベース内のテーブルのimagesとsitesチェックして、それらが設定されていることを確認します。

画像2-PHPMyAdmin

テーブルにデータが入力されたら、Doogle ホームページにアクセスして検索してください。プレビュー画像を参照してください。

プログラミングロジック

ページネーション

ページネーションシステムのロジック

search.php内でページネーションが実装されています

パニゲーションを示す画像

上の例では、currentPage=11 です。表示するページ数は常に 10 です。

ページごとの結果

サイト検索ではページごとに 20 件の結果が返され、画像検索ではページごとに 30 件の結果が返されます。

ページごとの結果は、search.php 内の {83、88} 行目でそれぞれ変更できます。 $pageSize 変数で示されるように:

ページあたりの検索結果

エッジケースへの対応

使用可能なページがなくなった場合、エッジケースが発生する可能性があります。

したがって、331 件の結果の場合、 17 ページが利用可能になります。ただし、特別なシナリオを考慮しないと、ページネーションシステムの UI では、存在しないページをスクロールできます。これは空の結果を返します。

エッジケースを処理するために、while ループに次のロジックが実装されています。

 if($currentPage + $pagesLeft > $numPages + 1)
    $currentPage = $numPages + 1 - $pagesLeft;

while($pagesLeft != 0 && $currentPage <= $numPages) 
{ ... }