universal web scraper using generative ai
1.0.0
Smart & Universal Web Scrapper เป็นเครื่องมือแยกข้อมูลอัจฉริยะที่ขับเคลื่อนโดย Generative AI ช่วยให้กระบวนการดึงข้อมูลจากเว็บไซต์ใด ๆ ง่ายขึ้นโดยอนุญาตให้ผู้ใช้ระบุลิงก์เว็บไซต์และช่องข้อมูลที่จำเป็น ด้วยความสามารถที่หลากหลาย เครื่องมือนี้สามารถดึงข้อมูลได้อย่างราบรื่นและนำเสนอในรูปแบบตาราง ซึ่งสามารถดาวน์โหลดได้ในรูปแบบต่างๆ เช่น Excel, JSON หรือ Markdown ส่วนต่อประสานที่ชาญฉลาดและใช้งานง่ายช่วยให้มั่นใจได้ว่าการแยกข้อมูลมีประสิทธิภาพและแม่นยำสำหรับทุกความต้องการในการขูดเว็บของคุณ
Python: Python เป็นภาษาโปรแกรมอเนกประสงค์ยอดนิยมที่ขึ้นชื่อเรื่องความเรียบง่ายและอ่านง่าย มีการใช้กันอย่างแพร่หลายสำหรับแอปพลิเคชันต่างๆ รวมถึงการพัฒนาเว็บ การวิเคราะห์ข้อมูล การเรียนรู้ของเครื่อง และงานอัตโนมัติ ระบบนิเวศของไลบรารีและเฟรมเวิร์กที่กว้างขวางของ Python ทำให้ Python เป็นเครื่องมือที่ทรงพลังสำหรับนักพัฒนา
LLaMA 3.1 (70b): LLaMA (โมเดลภาษาขนาดใหญ่แบบ Lean) เป็นตระกูลโมเดลภาษาขนาดใหญ่ที่พัฒนาโดย Meta AI เวอร์ชัน 3.1 (70b) อ้างอิงถึงตัวแปรรุ่นเฉพาะที่มีพารามิเตอร์ 70,000 ล้านพารามิเตอร์ โมเดลภาษาขนาดใหญ่ เช่น LLaMA ได้รับการฝึกฝนเกี่ยวกับข้อมูลข้อความจำนวนมหาศาล ช่วยให้เข้าใจและสร้างข้อความที่เหมือนมนุษย์สำหรับงานการประมวลผลภาษาธรรมชาติต่างๆ
Groq API: Groq API ให้การเข้าถึงแพลตฟอร์มการอนุมาน AI อันทรงพลังของ Groq ช่วยให้นักพัฒนาสามารถใช้ประโยชน์จากฮาร์ดแวร์และซอฟต์แวร์ขั้นสูงเพื่อการดำเนินการโมเดล AI ที่รวดเร็วและมีประสิทธิภาพ
Streamlit: Streamlit เป็นไลบรารี Python แบบโอเพ่นซอร์สที่ทำให้กระบวนการสร้างการแสดงภาพข้อมูลเชิงโต้ตอบและเว็บแอปพลิเคชันแมชชีนเลิร์นนิงง่ายขึ้น ช่วยให้นักพัฒนาสามารถสร้างอินเทอร์เฟซผู้ใช้โดยการเขียนสคริปต์ Python ทำให้แชร์แอปพลิเคชันที่ขับเคลื่อนด้วยข้อมูลกับผู้อื่นได้ง่ายขึ้น
แยกหรือโคลนที่เก็บนี้ไปยังเครื่องของคุณโดยใช้ Git
ติดตั้งไลบรารีที่จำเป็น
pip install -r requirements.txt
สร้างไฟล์ .env ในไดเรกทอรีโครงการของคุณและเพิ่มคีย์ API ที่จำเป็น (เช่น คีย์ Google API, Groq API KEY)
streamlit run app.pyใบอนุญาตสาธารณะทั่วไปของ GNU v3.0
