devsearch

개발자 검색

TF-IDF 및 PageRank를 사용하여 검색 결과를 정렬하는 Python으로 구축된 웹 검색 엔진입니다.

스택

• 플라스크(파이썬 3)
• 긁힌
• LXML
• 몽고엔진(MongoDB)
• 부트스트랩 4

요구사항

• 도커
• 도커 작성

설정

• Docker 및 Docker Compose를 설치합니다.
• 이 저장소를 복제하거나 다운로드하세요.
• .env.example 에서 .env 파일을 만듭니다.
• docker-compose up 실행합니다.

크롤링

• 스파이더가 크롤링할 도메인으로 .env 의 SPIDER_ALLOWED_DOMAINS 변수를 업데이트합니다.
• 스파이더가 시작될 수 있도록 크롤링 목록 컬렉션(MongoDB)에 하나 이상의 URL을 추가합니다.
• docker-compose run web flask crawl 실행하여 새 웹 페이지를 크롤링합니다.
• 이미 크롤링된 페이지 docker-compose run web flask crawl --recrawl True 업데이트하려면 --recrawl 옵션을 추가할 수 있습니다.

인덱싱

• 크롤링된 페이지를 색인화하려면 docker-compose run web flask index 실행하세요.
• TFIDF를 계산하려면 다음을 차례로 실행합니다.
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• PageRank를 계산하려면 docker-compose run web flask rank 실행하세요.
• 페이지-단어 점수를 계산하려면 docker-compose run web flask score 실행하세요.

배포

• .env.secret.example 에서 .env.secret 파일을 만듭니다.
• docker-compose -f docker-compose.prod.yml up --build -d 실행합니다.