Pelacak Web
Repo ini berisi frontend dan pengontrol aplikasi
Alat sederhana untuk melacak situs web mana pun dan memberi tahu Anda saat situs web tersebut berubah.
Teknologi yang digunakan:
- Node.js/JS: Digunakan dengan Puppeteer untuk menjalankan scrapper situs web awal (Dihosting di Azure).
- C#: Digunakan untuk fungsi Azure berjangka waktu yang berjalan setiap menit untuk mendeteksi perubahan apa pun, dan pengontrol utama di backend.
- MongoDB: Digunakan untuk menyimpan semua data website dan email.
- ASP.Net MVC, HTML, CSS, JS: Digunakan untuk membuat frontend website.
- Awalnya diterapkan ke mesin virtual Linux di cloud
Repo terkait lainnya (Menggunakan arsitektur Microservice untuk mengimplementasikan pemisahan masalah):
- Fungsi yang melakukan pengikisan awal: Ini berjalan ketika permintaan trek dikirimkan, ia akan mengikis situs web dan menyimpan datanya di MongoDB.
- Fungsi yang dipicu Waktu: Fungsi ini berjalan setiap menit, melakukan pengikisan lain pada setiap situs web di db, dan mengirimkan sinyal ketika konten situs web berubah.
Cara menjalankannya secara lokal:
Sayangnya saya telah memutuskan untuk berhenti menjalankan fungsi Azure di cloud karena alasan biaya, namun Anda masih dapat menjalankannya secara lokal.
- Kloning repo ini ke mesin lokal Anda dan gunakan terminal, navigasikan ke "WebTrackerCoreUI/WebTrackerCoreUI" lalu jalankan:
menjalankan dotnet
- Buka https://localhost:5001 di browser Anda dan abaikan masalah keamanan (percayalah)
- Clone Fungsi yang melakukan pengikisan awal
- Arahkan ke trackingAutomation dari terminal lain dan jalankan:
instalasi npm
npm mulai
- Anda akan membutuhkan url yang Anda dapatkan di terminal nanti
- Clone The Time memicu fungsi
- Navigasikan ke webTrackerContinuouswebTrackerContinuous dari terminal ketiga
- Edit webTrackerContinuouswebTrackerContinuousFunction1.cs di editor teks favorit Anda dan perbarui:
- Email dan pass pengirim email
- tautan fungsi biru dari langkah 5
- Setelah menyimpan, jalankan perintah berikut di webTrackerContinuouswebTrackerContinuous:
fungsi mulai
- Edit WebTrackerCoreUIQueueAppProgram.cs di editor teks favorit Anda dan perbarui:
- tautan fungsi biru dari langkah 5
- Kembali ke tab https://localhost:5001 yang Anda buka pada langkah 2, dan semuanya akan berfungsi seperti yang diharapkan
