ai crawler
1.0.0
โปรแกรมรวบรวมข้อมูลที่เขียนด้วยความช่วยเหลือของ ChatGPT สามารถวิเคราะห์แนวโน้มเทคโนโลยีในปัจจุบันโดยพิจารณาจากเนื้อหาของบล็อกเทคโนโลยีอินเทอร์เน็ตในปัจจุบัน
ฟังก์ชั่นหลัก:
กำหนดเว็บไซต์บล็อกเทคโนโลยีเป้าหมายของโปรแกรมรวบรวมข้อมูล กำหนดหน้าที่จำเป็นต้องรวบรวมข้อมูล และข้อมูลที่ต้องแยกออกมา ข้อมูลนี้อาจรวมถึงชื่อบทความ ผู้แต่ง วันที่ตีพิมพ์ บทคัดย่อ เนื้อหา ฯลฯ
ใช้กรอบงาน OkHttp3 เพื่อเริ่มต้นคำขอ HTTP เพื่อรับโค้ด HTML ของหน้าเว็บ เพื่อหลีกเลี่ยงการถูกบล็อกโดยเว็บไซต์ คุณต้องตั้งค่าพารามิเตอร์ที่เหมาะสม เช่น User-Agent และเวลาหน่วง สำหรับคำขอจำนวนมาก คุณสามารถพิจารณาใช้ IP พร็อกซีและกลยุทธ์อื่นๆ เพื่อป้องกันการถูกบล็อกได้
ใช้กรอบงาน Jsoup เพื่อแยกวิเคราะห์โค้ด HTML และแยกข้อมูลที่จำเป็น คุณสามารถใช้ตัวเลือกเพื่อค้นหาองค์ประกอบที่ต้องการ และใช้ API เพื่อรับแอตทริบิวต์และเนื้อหาข้อความขององค์ประกอบ ควรสังเกตว่าบางเว็บไซต์อาจใช้เทคโนโลยีต่อต้านการรวบรวมข้อมูล เช่น การตั้งรหัสยืนยัน การสร้างเพจแบบไดนามิก ฯลฯ ซึ่งจำเป็นต้องได้รับการจัดการตามสถานการณ์เฉพาะ
ใช้กรอบงาน Mybatis Plus เพื่อจัดเก็บข้อมูลลงในฐานข้อมูล คุณต้องกำหนดโครงสร้างและคลาสเอนทิตีของตารางข้อมูลก่อน จากนั้นใช้ API ที่ได้รับจากเฟรมเวิร์กเพื่อเพิ่ม ลบ แก้ไข และสืบค้นข้อมูล เพื่อหลีกเลี่ยงพื้นที่จัดเก็บที่ซ้ำกัน คุณสามารถลองใช้กลไกต่างๆ เช่น คีย์หลักหรือดัชนีเฉพาะเพื่อขจัดข้อมูลที่ซ้ำกัน
ใช้งานตามกำหนดการเพื่อรันโปรแกรมรวบรวมข้อมูลเป็นระยะเพื่อให้แน่ใจว่าข้อมูลจะอัปเดตได้ทันเวลา ต้องตั้งค่าความถี่และเวลาในการดำเนินการที่เหมาะสมเพื่อหลีกเลี่ยงการเข้าถึงเว็บไซต์เป้าหมายบ่อยเกินไป ทำให้เกิดความผิดปกติของเว็บไซต์
ช่วงเวลาที่น่าตื่นเต้นมาถึงแล้ว ให้ ChatGPT สร้างซอร์สโค้ด ข้อมูลที่เราให้กับ AI รวมถึง: ชื่อโปรเจ็กต์ ai-crawler, Java เวอร์ชัน 1.8, การขึ้นต่อกัน: mybatis-plus-boot-starter, okhttp, hutool-all, jsoup จะสร้างโค้ดประเภทใด
มันค่อนข้างน่าพอใจ ฉันรู้วิธีสร้างคลาสเครื่องมือสองคลาสโดยใช้ okhttp และ jsoup
ถัดไป ให้คำใบ้อีกประการหนึ่งและบอก AI ถึงโมเดลข้อมูลเฉพาะ ซึ่งปัจจุบันเรียกอย่างไม่แน่นอนว่าบล็อก และให้ AI สร้างโค้ดเพิ่มเติม การลบ การแก้ไข และคิวรีที่เฉพาะเจาะจง
มาดูผลงานของเขากันดีกว่า:
ไม่เลวเลย คลาสเอนทิตี Blog ที่สร้างขึ้นใช้คำอธิบายประกอบ @TableName ของ MybatisPlus โดย BlogService สืบทอดมาจาก IService ของ MybatisPlus คำอธิบายประกอบ @Service ของ Spring ก็ถูกใช้อย่างมีสติเช่นกัน
รหัสนี้ไม่เลวร้ายไปกว่าวิศวกร Java รุ่นเยาว์ หรือไม่
นอกจากโค้ดลอจิกพื้นฐานข้างต้นแล้ว เรามาดูคลาสการกำหนดค่าและไฟล์การกำหนดค่ากัน
AI จะมาแทนที่โปรแกรมเมอร์หรือไม่? อาจจะในอนาคตแต่อาจจะไม่ใช่ตอนนี้ ฉันคิดว่า AI เป็นเหมือนเครื่องมือที่มีประโยชน์มากกว่า
