웹트래커
이 저장소에는 앱의 프런트엔드와 컨트롤러가 포함되어 있습니다.
모든 웹사이트를 추적하고 해당 웹사이트가 변경되면 알려 주는 간단한 도구입니다.
사용된 기술:
- Node.js/JS: 초기 웹 사이트 스크래퍼를 실행하기 위해 Puppeteer와 함께 사용됩니다(Azure에서 호스팅됨).
- C#: 변경 사항을 감지하기 위해 1분마다 실행되는 시간 제한 Azure 기능과 백엔드의 기본 컨트롤러에 사용됩니다.
- MongoDB: 모든 웹사이트 및 이메일 데이터를 저장하는 데 사용됩니다.
- ASP.Net MVC, HTML, CSS, JS: 웹 사이트의 프런트엔드를 만드는 데 사용됩니다.
- 원래 클라우드의 Linux 가상 머신에 배포됨
기타 관련 저장소(마이크로서비스 아키텍처를 사용하여 우려사항 분리 구현):
- 초기 스크래핑을 수행하는 기능: 이 기능은 추적 요청이 제출될 때 실행되며 웹사이트를 스크래핑하고 해당 데이터를 MongoDB에 저장합니다.
- 시간 트리거 기능: 이 기능은 1분마다 실행되며 DB의 모든 웹사이트에 대해 또 다른 스크래핑을 수행하고 웹사이트 콘텐츠가 변경되면 신호를 보냅니다.
로컬로 실행하는 방법:
안타깝게도 비용 문제로 인해 클라우드에서 Azure 기능 실행을 중단하기로 결정했지만 여전히 로컬에서 실행할 수 있습니다.
- 이 저장소를 로컬 컴퓨터에 복제하고 터미널을 사용하여 "WebTrackerCoreUI/WebTrackerCoreUI"로 이동한 후 다음을 실행합니다.
닷넷 실행
- 브라우저에서 https://localhost:5001을 열고 안전 문제를 무시하세요(저를 믿으세요).
- Clone 초기 스크래핑을 수행하는 기능
- 다른 터미널에서 trackerAutomation으로 이동하여 다음을 실행합니다.
npm 설치
npm 시작
- 나중에 터미널에서 얻은 URL이 필요합니다.
- 복제 시간 트리거 기능
- 세 번째 터미널에서 webTrackerContinuouswebTrackerContinuous로 이동합니다.
- 즐겨찾는 텍스트 편집기에서 webTrackerContinuouswebTrackerContinuousFunction1.cs를 편집하고 다음을 업데이트하세요.
- 이메일을 보내는 사람의 이메일과 패스
- 5단계의 Azure Func 링크
- 저장한 후 webTrackerContinuouswebTrackerContinuous에서 다음 명령을 실행합니다.
기능 시작
- 즐겨찾는 텍스트 편집기에서 WebTrackerCoreUIQueueAppProgram.cs를 편집하고 다음을 업데이트하세요.
- 2단계에서 연 https://localhost:5001 탭으로 돌아가면 모든 것이 예상대로 작동해야 합니다.