yoursearch
1.0.0
오픈 소스 검색 엔진 + 웹 크롤러. 특정 웹사이트나 웹 전체를 캐시하는 데 사용할 수 있습니다. 이는 웹의 특정 사이트를 라즈베리 파이에 캐싱하고 인터넷 접속이 어려운 원격 지역에서 정보를 자유롭게 사용할 수 있도록 하는 프로젝트의 일부입니다.
이 작업은 진행 중인 작업이며 매우 초기 단계이므로 프로덕션 용도로 사용하기에 적합하지 않습니다. 그러나 단일 웹사이트의 경우 이 검색 엔진은 매우 잘 작동합니다.
결과
검색 엔진에는 2개의 구성 요소가 있습니다. 크롤러와 서버. 크롤러는 웹을 크롤링하고 크롤링된 페이지 콘텐츠를 다시 서버로 보냅니다. 서버는 이러한 내용을 데이터베이스에 저장합니다. 사용자가 무엇이든 검색하려고 할 때마다 서버는 저장된 콘텐츠에 대해 데이터베이스 검색 작업을 수행합니다.
서버 : PHP7 + MySQL.
클라이언트: 어디서나 실행됩니다.
크롤러 폴더에 main.go 파일을 빌드합니다. go build main.go
LEMP 서버 설정
웹서버 폴더의 내용을 복사하여 웹서버를 온라인으로 설정하세요.
db.sql을 MySQL 데이터베이스로 가져옵니다.
db 서버에 대한 데이터베이스 자격 증명을 변경하려면 application/config/database.php로 이동하세요.
your-server-ip/index.php/Api를 방문하여 작동하는지 테스트하세요.
서버를 가리키도록 config.json 파일의 링크를 변경하고 시작 URL도 변경하세요.
크롤러를 실행합니다: ./main ./ . 크롤러에 대한 첫 번째 인수는 config.json 파일이 포함된 디렉터리의 경로입니다. (PS: 한 번에 여러 크롤러를 실행할 수 있습니다.)
your-server-ip를 방문하여 검색 페이지를 보고 색인이 생성된 페이지 수의 진행 상황을 확인하세요.
