网络追踪器
该存储库包含应用程序的前端和控制器
一个简单的工具,用于跟踪任何网站并在该网站发生更改时通知您。
使用的技术:
- Node.js/JS:与 Puppeteer 一起使用来运行初始网站抓取器(托管在 Azure 中)。
- C#:用于每分钟运行一次以检测任何变化的定时 Azure 函数,以及后端的主控制器。
- MongoDB:用于存储所有网站和电子邮件数据。
- ASP.Net MVC、HTML、CSS、JS:用于创建网站的前端。
- 最初部署到云端的Linux虚拟机上
其他相关repos(使用微服务架构实现关注点分离):
- 执行初始抓取的函数:该函数在提交跟踪请求时运行,它抓取网站并将其数据存储在 MongoDB 中。
- 时间触发函数:该函数每分钟运行一次,对数据库中的每个网站进行另一次抓取,并在网站内容发生变化时发送信号。
如何在本地运行:
不幸的是,出于成本考虑,我决定停止在云上运行 azure 函数,但您仍然可以在本地运行它。
- 将此存储库克隆到本地计算机并使用终端,导航到“WebTrackerCoreUI/WebTrackerCoreUI”,然后运行:
点网运行
- 在浏览器中打开 https://localhost:5001 并忽略安全问题(相信我)
- Clone 进行初始抓取的函数
- 从另一个终端导航到 trackerAutomation 并运行:
npm 安装
npm 启动
- 稍后您将需要在终端中获得的网址
- 克隆时间触发功能
- 从第三个终端导航到 webTrackerContinouslywebTrackerContinously
- 在您最喜欢的文本编辑器中编辑 webTrackerContinouslywebTrackerContinouslyFunction1.cs 并更新:
- 电子邮件发件人的电子邮件和密码
- 步骤 5 中的 azure func 链接
- 保存后,在webTrackerContinouslywebTrackerContinously中运行以下命令:
功能开始
- 在您最喜欢的文本编辑器中编辑 WebTrackerCoreUIQueueAppProgram.cs 并更新:
- 返回到您在步骤 2 中打开的 https://localhost:5001 选项卡,一切都应该按预期工作