doogle 다운로드 - doogle 소스코드 다운로드

doogle

기타 소스코드

v1.1.2-beta

다운로드

두글

Doogle은 색인된 웹사이트와 이미지를 검색한 다음 키워드를 사용하여 나중에 검색할 수 있는 검색 엔진이자 웹 크롤러입니다.

OOP와 웹 크롤러 작동 방식을 더 잘 이해할 목적으로 주로 OOP 스타일 PHP로 작성되었습니다.

Doogle홈페이지-미리보기

특징

사이트 검색
- 제목, URL 및 설명을 표시합니다.
이미지 검색
- 설명을 미리 보려면 이미지 위로 마우스를 가져가세요(alt 태그).
- 검색된 이미지의 벽돌 레이아웃
- Fancybox를 사용한 이미지 미리보기
- 이미지 검색 페이지가 동적으로 반응합니다.
깔끔한 홈페이지
손상된 이미지 결과를 필터링합니다.
클릭수/방문수를 기준으로 검색결과 정리
검색 페이지 하단의 페이지 매김 시스템
검색어에 대해 '발견된 결과'를 표시합니다.
라틴 문자가 아닌 문자(UTF-8) 지원

설정 및 사용법
- 도커
- 서버 설정
- PHP 종속성
- PHP를 MySQL 서버에 연결하기
- 웹사이트를 크롤링하여 이미지 및 사이트 테이블 채우기
프로그래밍 논리
- 쪽수 매기기
- 이미지 검색
- 사이트 검색 - 결과 자르기
- 원격 측정
- 사용자 에이전트
이미지 미리보기
- 구글 홈페이지
- Google 검색 - 사이트
- Google 검색 - 이미지
- 페이지 매김 시스템
- doogleBot 크롤링 양식
비디오 미리보기

설정 및 사용법

두 가지 설정 방법에 대해 설명합니다.

도커(가장 쉬움)
서버 설정

도커

Docker 구성 파일은 doogle-docker에서 사용할 수 있습니다.

이미 Docker v3.9(또는 그 이상)이 설치 및 구성되어 있다고 가정합니다.

 git clone https://github.com/safesploit/doogle-docker.git
cd doogle-docker
sh build.sh

스크린샷 2023-02-22 at 21 11 33

이제 localhost:8000을 통해 Google에 액세스할 수 있습니다.

디버깅을 위해 phpMyAdmin도 localhost:8001에 포함되었습니다.

서버 설정

v1.0.0-beta.1은 PHP 7.4, 8.0 및 8.1에서 지원되고 테스트되었습니다.

웹 서버, PHP 서버, MySQL 서버 구성은 XAMPP를 참조하세요. Doogle을 사용하려면 여러 대의 서버가 필요하므로 XAMPP가 가장 간단한 방법입니다.

XAMPP의 MySQL 설정은 데이터베이스 설정의 GUI 방법으로 PHPMyAdmin을 사용합니다.

PHPMyAdmin > SQL 탭에서 PHPMyAdmin을 통해 데이터베이스에 로그인하면 'doogle-tables-no-data.sql'의 내용을 필드에 붙여넣을 수 있습니다.

Image1-PHPMyAdmin

PHP 종속성

 mysql
pdo_mysql

SQL 사용자 생성

강력한 임의 비밀번호를 사용하여 비밀번호 PASSWORD_HERE를 수정하세요.

 mysql> CREATE USER IF NOT EXISTS 'doogle'@'localhost' IDENTIFIED BY 'PASSWORD_HERE';

SQL 사용자 권한

SQL 사용자 'doogle'은 SELECT, INSERT 및 UPDATE 권한이 있어야 합니다.

 mysql> GRANT SELECT, INSERT, UPDATE ON `doogle`.* TO 'doogle'@'localhost';

INSERT는 크롤링에 사용됩니다.
검색 엔진이 쿼리를 반환하려면 SELECT가 필요합니다.
클릭 및 손상된 결과를 수정하려면 업데이트가 필요합니다(./ajax/ 참조).

PHP를 MySQL 서버에 연결하기

config.php 파일에서 데이터베이스 구성을 위해 다음 사항을 올바르게 입력해야 합니다.

 $dbname = "doogle";
$dbhost = "localhost";
$dbuser = "doogle";
$dbpass = "";

'doogle-tables-no-data.sql' 파일에는 데이터베이스가 'doogle'로 생성됩니다.

웹사이트를 크롤링하여 이미지 및 사이트 테이블 채우기

양식 기반 크롤링

브라우저에서 파일이 호스팅되는 곳(http://localhost/crawl.php)으로 이동하세요.

입력란에 URL을 붙여넣고 크롤링 버튼을 누르세요.

수동 크롤링

crawl-manual.php 하단의 $startUrl 변수에는 크롤링할 웹사이트의 URL을 붙여 넣을 위치가 있습니다.

 $startUrl = "https://thehackernews.com/";

그런 다음 브라우저에서 파일이 호스팅되는 위치(http://localhost/crawl-manual.php)로 이동합니다.

설명

크롤링 프로세스는 시간이 걸리며 크롤링되는 웹사이트의 크기에 따라 완전히 달라집니다. crawl.php 스크립트가 완료될 때까지 페이지는 출력 없이 계속 로드됩니다.

데이터베이스의 테이블 images 와 sites 가 채워져 있는지 확인하세요.

Image2-PHPMyAdmin

테이블이 채워지면 Doogle 홈페이지를 방문하여 검색하세요! 미리보기 이미지를 참조하세요.

프로그래밍 논리

쪽수 매기기

페이지 매김 시스템의 논리

search.php 내에서 페이지 매김이 구현됩니다.

페이지네이션을 보여주는 이미지

위의 예에서는 currentPage=11입니다. 표시할 페이지 수는 항상 10입니다.

페이지당 결과

사이트 검색은 페이지당 20개의 결과를 반환하고 이미지 검색은 페이지당 30개의 결과를 반환합니다.

페이지당 결과는 각각 {83, 88}행에서 search.php 내에서 변경할 수 있습니다. $pageSize 변수에 표시된 대로:

검색 결과PerPage

극단적인 경우 처리

더 이상 사용할 수 있는 페이지가 없으면 극단적인 경우가 발생할 수 있습니다.

따라서 331개 결과의 경우 17페이지를 사용할 수 있습니다. 그러나 극단적인 경우 시나리오를 고려하지 않으면 페이지 매김 시스템의 UI를 통해 존재하지 않는 페이지를 스크롤할 수 있습니다. 그러면 빈 결과가 반환됩니다.

극단적인 경우를 처리하기 위해 while 루프에 다음 논리가 구현됩니다.

 if($currentPage + $pagesLeft > $numPages + 1)
    $currentPage = $numPages + 1 - $pagesLeft;

while($pagesLeft != 0 && $currentPage <= $numPages) 
{ ... }