เว็บติดตามเกอร์
repo นี้มีส่วนหน้าและตัวควบคุมของแอป
เครื่องมือง่ายๆ ในการติดตามเว็บไซต์และแจ้งให้คุณทราบเมื่อเว็บไซต์นั้นมีการเปลี่ยนแปลง
เทคโนโลยีที่ใช้:
- Node.js/JS: ใช้กับ Puppeteer เพื่อเรียกใช้ scrapper เว็บไซต์เริ่มต้น (โฮสต์ใน Azure)
- C#: ใช้สำหรับฟังก์ชัน Timed Azure ที่ทำงานทุกนาทีเพื่อตรวจจับการเปลี่ยนแปลงใดๆ และตัวควบคุมหลักในแบ็กเอนด์
- MongoDB: ใช้เพื่อจัดเก็บข้อมูลเว็บไซต์และอีเมลทั้งหมด
- ASP.Net MVC, HTML, CSS, JS: ใช้เพื่อสร้างส่วนหน้าของเว็บไซต์
- เดิมปรับใช้กับเครื่องเสมือน Linux ในระบบคลาวด์
การรับคืนที่เกี่ยวข้องอื่นๆ (ใช้สถาปัตยกรรม Microservice เพื่อดำเนินการแยกข้อกังวล):
- The function that does the intial scraping: This runs when a track request is submitted, it scrapes the website and stores its data in a MongoDB.
- ฟังก์ชั่น Time triggered: ฟังก์ชันนี้ทำงานทุกนาที ทำการขูดอีกครั้งในทุกเว็บไซต์ใน db และส่งสัญญาณเมื่อเนื้อหาเว็บไซต์เปลี่ยนแปลง
วิธีเรียกใช้ในเครื่อง:
น่าเสียดายที่ฉันตัดสินใจหยุดใช้งานฟังก์ชัน Azure บนคลาวด์เพื่อวัตถุประสงค์ด้านต้นทุน แต่คุณยังสามารถเรียกใช้ฟังก์ชันดังกล่าวได้ในเครื่องได้
- โคลน repo นี้ไปยังเครื่องของคุณและใช้เทอร์มินัล ไปที่ "WebTrackerCoreUI/WebTrackerCoreUI" จากนั้นเรียกใช้:
ดอทเน็ตรัน
- เปิด https://localhost:5001 ในเบราว์เซอร์ของคุณและเพิกเฉยต่อข้อกังวลด้านความปลอดภัย (เชื่อฉัน)
- Clone ฟังก์ชั่นที่ทำการขูดเริ่มต้น
- ไปที่ trackerAutomation จากเทอร์มินัลอื่นแล้วรัน:
ติดตั้ง npm
เวลา 13.00 น. เริ่มต้น
- คุณจะต้องมี URL ที่คุณได้รับในเทอร์มินัลในภายหลัง
- Clone The Time เรียกใช้ฟังก์ชัน
- นำทางไปยัง webTrackerContinuouswebTrackerContinuous จากเทอร์มินัลที่สาม
- แก้ไข webTrackerContinuouswebTrackerContinuousFunction1.cs ในโปรแกรมแก้ไขข้อความที่คุณชอบและอัปเดต:
- อีเมลของผู้ส่งและรหัสผ่าน
- ลิงก์ azure func จากขั้นตอนที่ 5
- หลังจากบันทึกแล้ว ให้รันคำสั่งต่อไปนี้ใน webTrackerContinuouswebTrackerContinuous:
เริ่มต้นฟังก์ชั่น
- แก้ไข WebTrackerCoreUIQueueAppProgram.cs ในโปรแกรมแก้ไขข้อความที่คุณชอบและอัปเดต:
- ลิงก์ azure func จากขั้นตอนที่ 5
- กลับไปที่แท็บ https://localhost:5001 ที่คุณเปิดในขั้นตอนที่ 2 และทุกอย่างควรจะทำงานได้ตามที่คาดไว้
