Study Bot
1.0.0
Study-Bot เป็นโครงการโอเพ่นซอร์สที่พัฒนาโดย Edumakers จาก Tecnológico de Monterrey ได้รับการออกแบบมาเพื่อช่วยให้นักเรียนที่มีความบกพร่องทางการมองเห็นสามารถทบทวนเนื้อหาหลักสูตรทางวิชาการของตนได้ เป็นเพื่อนร่วมการศึกษาที่ขับเคลื่อนด้วย AI ซึ่งรวมเทคโนโลยีต่างๆ ไว้ด้วยกัน เช่น Whisper, GPT-3.5-turbo-16k, การอ่านออกเสียงข้อความของ Elevenlabs และ OpenCV เพื่อวัตถุประสงค์ในการทดสอบ เนื้อหาหลักสูตรตัวอย่างถูกสร้างขึ้นโดยใช้ ChatGPT
Study-Bot สามารถ: ฟังคำถามของผู้ใช้ วิเคราะห์แหล่งข้อมูลของหัวข้อที่พวกเขาต้องการศึกษา ตรวจจับสื่อการศึกษาทางกายภาพที่พวกเขาถือตามสีหรือเครื่องหมาย ArUco สร้างคำตอบ และอ่านออกเสียงให้ ผู้ใช้เป็นแอปพลิเคชันปฏิบัติการที่สามารถเข้าถึงได้ เพื่อวัตถุประสงค์ในการพัฒนาและการทดสอบ สามารถเรียกใช้ผ่านล่าม Python ในรูปแบบโปรแกรม CLI หรือด้วย GUI
ขั้นตอนต่อไปที่ดีอาจเป็นการฝังระบบนี้ในส่วนต่อประสานผู้ใช้ขั้นสูงเพื่อการเผยแพร่เป็นแอปพลิเคชันเดสก์ท็อป สร้างแบบจำลองคอมพิวเตอร์วิทัศน์ที่สามารถตรวจจับสื่อการศึกษาทางกายภาพโดยไม่ต้องขึ้นอยู่กับสีหรือเครื่องหมาย ArUco รวมถึงการปรับปรุงประสิทธิภาพและ คุณสมบัติเชิงโต้ตอบใหม่
ขอแนะนำให้ใช้ Python 3.9.9 เพื่อให้ไลบรารี whisper สามารถใช้งานได้โดยไม่มีปัญหา เพื่อหลีกเลี่ยงการต้องลบการติดตั้ง Python ปัจจุบันของคุณ คุณอาจต้องการใช้สภาพแวดล้อมเสมือนเพื่อใช้ Python เวอร์ชันเฉพาะนี้ หากต้องการติดตั้งการขึ้นต่อกันที่จำเป็น ให้รันคำสั่งต่อไปนี้:
pip install -r requirements.txt มีขั้นตอนเพิ่มเติมบางอย่างที่ต้องดำเนินการก่อนที่จะสามารถรันโปรเจ็กต์ได้ เช่น การจัดหาคีย์ API ของคุณเองสำหรับบริการ AI ที่ใช้ที่นี่ สำหรับข้อมูลเพิ่มเติม โปรดดูที่โฟลเดอร์ Documentation สำหรับคำแนะนำที่ครอบคลุมเกี่ยวกับวิธีการใช้โปรเจ็กต์นี้
Study-Bot อาศัยบริการและเทคโนโลยีที่มีอยู่ดังต่อไปนี้:
Whisper: ใช้สำหรับการแปลงคำพูดเป็นข้อความ ช่วยให้ผู้ใช้สามารถพูดคำถามของตนเพื่อป้อนลงในโมเดล GPT
gpt-3.5-turbo-16k: ใช้สำหรับการประมวลผลคำถามและสร้างคำตอบ โมเดลเวอร์ชัน 16k ได้รับเลือกสำหรับขนาดหน้าต่างบริบทโทเค็น 16,385 ซึ่งจำเป็นสำหรับการประมวลผลแหล่งข้อมูลจำนวนมาก
Elevenlabs แปลงข้อความเป็นคำพูด: ใช้สำหรับการแปลงข้อความเป็นคำพูด ช่วยให้ผู้ใช้ได้ยินคำตอบที่สร้างโดยโมเดล GPT
OpenCV: ใช้สำหรับการระบุวัตถุทางกายภาพ เพื่อช่วยโมเดล GPT-3.5-16k ในการตอบคำถามพร้อมบริบทเพิ่มเติมของสิ่งที่ผู้ใช้ถืออยู่
ใช้โปรเจ็กต์นี้เป็นข้อมูลอ้างอิงสำหรับตัวคุณเอง หรือแยกเพื่อบริจาคของคุณเอง ยินดีรับฟังปัญหา GitHub ที่เกี่ยวข้องกับคำขอคุณลักษณะและรายงานข้อบกพร่อง และจะให้ความสำคัญเป็นพิเศษหากมีข้อเสนอแนะจากผู้ใช้ที่มีความบกพร่องทางสายตา
