เปิดอินเทอร์เฟซ
Autopilot เต็มรูปแบบสำหรับคอมพิวเตอร์ทุกเครื่องโดยใช้ LLMS
เปิดอินเทอร์เฟซ
- คอมพิวเตอร์ขับเคลื่อนด้วยตนเองโดยส่งคำขอผู้ใช้ไปยังแบ็กเอนด์ LLM (GPT-4V ฯลฯ ) เพื่อหาขั้นตอนที่ต้องการ
- ดำเนินการตามขั้นตอนโดยอัตโนมัติโดยการจำลองแป้นพิมพ์และอินพุตเมาส์
- แก้ไขหลักสูตรโดยส่งภาพหน้าจอ LLMS ปัจจุบันของคอมพิวเตอร์ตามต้องการ
ซอฟต์แวร์การขับขี่ด้วยตนเองสำหรับคอมพิวเตอร์ทุกเครื่องของคุณ
การสาธิต
["ทำให้ฉันเป็นแผนอาหารใน Google เอกสาร"]
การสาธิตเพิ่มเติม
ติดตั้ง -
แม็กอส
- ดาวน์โหลด MacOS Binary จากรุ่นล่าสุด
- คลายซิปไฟล์และย้ายอินเทอร์เฟซเปิดไปยังโฟลเดอร์แอปพลิเคชัน
Apple Silicon M-Series Macs
- Open Interface จะขอให้คุณเข้าถึงการเข้าถึงการใช้งานแป้นพิมพ์และเมาส์ให้คุณและการเข้าถึงการบันทึกหน้าจอเพื่อใช้ภาพหน้าจอเพื่อประเมินความคืบหน้า
- ในกรณีที่ไม่ได้เพิ่มการอนุญาตเหล่านี้ด้วยตนเองผ่าน การตั้งค่าระบบ -> ความเป็นส่วนตัวและความปลอดภัย
Intel Macs
- เปิดแอพจากโฟลเดอร์แอปพลิเคชัน
คุณอาจเผชิญกับ ข้อผิดพลาด "เปิดอินเทอร์เฟซแบบเปิดไม่ได้" มาตรฐาน
ในกรณีนั้นกด "ยกเลิก"
จากนั้นไปที่ การตั้งค่าระบบ -> ความปลอดภัยและความเป็นส่วนตัว -> เปิดต่อไป
- Open Interface จะต้องใช้การเข้าถึงการเข้าถึงเพื่อใช้งานแป้นพิมพ์และเมาส์ให้คุณและการเข้าถึงการบันทึกหน้าจอเพื่อใช้ภาพหน้าจอเพื่อประเมินความคืบหน้า
- สุดท้ายเช็คเอาต์ส่วนการตั้งค่าเพื่อเชื่อมต่ออินเตอร์เฟสแบบเปิดกับ LLMS (OpenAI GPT-4V)
ลินเวกซ์
- Linux Binary ได้รับการทดสอบใน Ubuntu 20.04 จนถึงตอนนี้
- ดาวน์โหลดไฟล์ Linux Zip จากรุ่นล่าสุด
- แยกการปฏิบัติการและเรียกใช้จากเทอร์มินัลผ่าน
./Open Interface - ชำระเงินส่วนการตั้งค่าเพื่อเชื่อมต่ออินเตอร์เฟสเปิดกับ LLMS (OpenAI GPT-4V)
หน้าต่าง
- Windows Binary ได้รับการทดสอบบน Windows 10
- ดาวน์โหลดไฟล์ windows zip จากรุ่นล่าสุด
- คลายซิปโฟลเดอร์ย้าย exe ไปยังตำแหน่งที่ต้องการดับเบิลคลิกเพื่อเปิดและ voila
- ชำระเงินส่วนการตั้งค่าเพื่อเชื่อมต่ออินเตอร์เฟสเปิดกับ LLMS (OpenAI GPT-4V)
การตั้งค่า
ตั้งค่าคีย์ OpenAI API
รับคีย์ OpenAI API ของคุณ
- เปิดอินเทอร์เฟซต้องการการเข้าถึง GPT-4V เพื่อดำเนินการตามคำขอของผู้ใช้ สามารถดาวน์โหลดคีย์ GPT-4V ได้จากบัญชี OpenAI ของคุณ
- ทำตามขั้นตอนที่นี่เพื่อเพิ่มยอดคงเหลือในบัญชี OpenAI ของคุณ ในการปลดล็อก GPT-4V จำเป็นต้องชำระเงินขั้นต่ำ $ 5
- ข้อมูลเพิ่มเติม
บันทึกคีย์ API ในการตั้งค่า Open Interface
- ในอินเทอร์เฟซแบบเปิดให้ไปที่เมนูการตั้งค่าที่ด้านบนขวาและป้อนคีย์ที่คุณได้รับจาก OpenAI ลงในฟิลด์ข้อความเช่น SO:
หลังจากตั้งค่าคีย์ API เป็นครั้งแรกคุณจะต้องรีสตาร์ทแอป
ตัวเลือก: ตั้งค่า LLM ที่กำหนดเอง
- Open Interface รองรับการใช้ LLM แบบ OpenAI API อื่น ๆ (เช่น LLAVA) เป็นแบ็กเอนด์และสามารถกำหนดค่าได้อย่างง่ายดายในหน้าต่างการตั้งค่าขั้นสูง
- ป้อน URL ฐานที่กำหนดเองและชื่อรุ่นในหน้าต่างการตั้งค่าขั้นสูงและปุ่ม API ในหน้าต่างการตั้งค่าตามต้องการ
- หาก LLM ของคุณไม่รองรับ API สไตล์ OpenAI คุณสามารถใช้ห้องสมุดเช่นนี้เพื่อแปลงเป็นหนึ่ง
- คุณจะต้องรีสตาร์ทแอพหลังจากการเปลี่ยนแปลงเหล่านี้
สิ่งที่ไม่ดี (สำหรับตอนนี้) -
- เหตุผลเชิงพื้นที่ที่แม่นยำและด้วยเหตุนี้การคลิกปุ่ม
- การติดตามตัวเองในบริบทแบบตารางเช่น Excel และ Google Sheets ด้วยเหตุผลที่คล้ายกันตามที่ระบุไว้ข้างต้น
- การนำทางแอพพลิเคชั่นที่อุดมด้วย GUI ที่ซับซ้อนเช่น Counter-Strike, Spotify, โรงรถ, ฯลฯ เนื่องจากการพึ่งพาการกระทำของเคอร์เซอร์อย่างหนัก
อนาคต -
( ด้วยโมเดลที่ดีกว่าที่ได้รับการฝึกฝนเกี่ยวกับวิดีโอคำแนะนำเช่น YouTube Tutorials )
- "สร้างตัวอย่างเบสสองสามตัวอย่างให้ฉันในวงดนตรีโรงรถสำหรับโครงการล่าสุดของฉัน"
- "อ่านเอกสารการออกแบบนี้สำหรับคุณสมบัติใหม่แก้ไขรหัสบน GitHub และส่งเพื่อตรวจสอบ"
- "ค้นหารสนิยมทางดนตรีของเพื่อนของฉันจาก Spotify และสร้างเพลย์ลิสต์ปาร์ตี้สำหรับงานคืนนี้"
- "ถ่ายภาพจากการเดินทาง Tahoe ของฉันและสร้างภาพตัดต่อประเภทดอกบัวสีขาวใน Imovie"
หมายเหตุ
- ราคา: $ 0.05 - $ 0.20 ต่อคำขอของผู้ใช้
(สิ่งนี้จะต่ำกว่ามากในอนาคตอันใกล้เมื่อ GPT-4V เปิดใช้งานโหมดผู้ช่วย/สถานะ) - คุณสามารถขัดจังหวะแอพได้ตลอดเวลาโดยกดปุ่มหยุดหรือลากเคอร์เซอร์ไปที่มุมหน้าจอใด ๆ
- Open Interface สามารถดูการแสดงผลหลักของคุณเมื่อใช้จอภาพหลายตัวเท่านั้น ดังนั้นหากเคอร์เซอร์/โฟกัสอยู่บนหน้าจอรองมันอาจลองใหม่การกระทำเดียวกันกับที่มันไม่สามารถมองเห็นความคืบหน้าของมัน
แผนภาพระบบ ?
+----------------------------------------------------+
| App |
| |
| +-------+ |
| | GUI | |
| +-------+ |
| ^ |
| | |
| v |
| +-----------+ (Screenshot + Goal) +-----------+ |
| | | --------------------> | | |
| | Core | | LLM | |
| | | <-------------------- | (GPT-4V) | |
| +-----------+ (Instructions) +-----------+ |
| | |
| v |
| +-------------+ |
| | Interpreter | |
| +-------------+ |
| | |
| v |
| +-------------+ |
| | Executer | |
| +-------------+ |
+----------------------------------------------------+
ประวัติดาว
ลิงค์ -
- ตรวจสอบโครงการของฉันเพิ่มเติมที่ Ambersah.dev
- การสาธิตและชุดกดอื่น ๆ สามารถดูได้ที่ Media.md
