จีพีที อายส์
ฉันให้ตา GPT-4 "眼观六路, 耳听八方"
นี่คือสิ่งที่ฉันทำ:
- เพิ่มข้อมูลบางส่วนให้กับโมเดลการมองเห็น
- ให้สิทธิ์การเข้าถึงกล้อง AI
- ถามคำถามเกี่ยวกับที่เกิดเหตุ
- มันระบุวัตถุ
- มันค้นหาข้อมูลในเว็บ
- ใช้ข้อมูลนั้นในการตอบที่ถูกต้อง
ดูมันได้รับ 3 คำถาม ถูกต้อง 100%!
- ทวิตเตอร์ https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
- ยูทูป https://www.youtube.com/watch?v=w-wxguIs-0I
แพ็คเกจนี้เป็นสปอนเซอร์แวร์ ???
https://github.com/sponsors/Charmve?frequency=one-time&sponsor=Charmve
Repo นี้ใช้ได้เฉพาะกับผู้สนับสนุนของฉันใน GitHub Sponsors จนกว่าฉันจะมีผู้สนับสนุนครบ 15 คน
เรียนรู้เพิ่มเติมเกี่ยวกับ Sponsorware ได้ที่ github.com/sponsorware/docs ?
เทคโนโลยีที่ใช้
- ส่วนหน้า: โต้ตอบ
- API การวิเคราะห์รูปภาพ: โมเดล TensorFlow - MobileNet
- API การสร้างข้อความ: GPT API
การติดตั้ง
- โคลนพื้นที่เก็บข้อมูล:
git clone https://github.com/Charmve/gpt-eyes.git - นำทางไปยังไดเรกทอรีโครงการ:
cd gpt-eyes - ติดตั้งการอ้างอิง:
npm install
การกำหนดค่า
- สร้างบัญชีและรับคีย์ API สำหรับโมเดล TensorFlow - MobileNet และ GPT API
- อัปเดตไฟล์การกำหนดค่าด้วยคีย์ API ของคุณ:
- โมเดล TensorFlow - MobileNet:
/path/to/config.js - GPT API:
/path/to/config.js
การใช้งาน
- เริ่มเซิร์ฟเวอร์การพัฒนา:
npm start - เปิดเบราว์เซอร์ของคุณและไปที่:
http://localhost:3000
มันทำงานอย่างไร
- กล้องของอุปกรณ์วิเคราะห์ภาพ
- แอปพลิเคชันใช้โมเดล TensorFlow - MobileNet API เพื่อวิเคราะห์รูปภาพและแยกข้อมูลวัตถุ
- แอปพลิเคชันจะส่งข้อมูลออบเจ็กต์ที่วิเคราะห์ไปยัง GPT API
- GPT API สร้างข้อความที่อธิบายออบเจ็กต์ที่วิเคราะห์
- แอปพลิเคชันจะแสดงภาพที่วิเคราะห์และข้อความที่สร้างขึ้น
