SingularGPT

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

SingularGPT เป็นโครงการโอเพ่นซอร์สที่ทำให้อุปกรณ์ของคุณเป็นอัตโนมัติโดยใช้ ChatGPT และ GPT-4

ด้วย SingularGPT คุณสามารถสั่งอุปกรณ์ของคุณด้วยการสืบค้นข้อความธรรมดาได้อย่างง่ายดาย

ตัวอย่างเช่น:

สมมติว่าคุณต้องคลิกที่ปุ่มที่มีข้อความว่า 'ไฟล์' เพียงแค่พูดว่า:

ข้อความค้นหา: สวัสดี โปรดคลิกที่รายการที่มีไฟล์ข้อความ

มันจะดำเนินการโดยประมวลผลคำถามของคุณ เปลี่ยนให้เป็นคำแนะนำที่เข้าใจได้และดำเนินการตามนั้น

- สาธิต

yu.1.mp4

- วิธีใช้?

คุณสามารถรันใน google colab ด้วย GPU ได้

ทำตามขั้นตอนเหล่านี้อย่างระมัดระวัง

1. ติดตั้งข้อกำหนดทั้งหมด

 pip install -r requirements.txt

ตรวจสอบให้แน่ใจว่าคุณรันคำสั่งนี้ในไดเร็กทอรีเดียวกันกับที่มีไฟล์ requirements.txt

1. หากคุณอยู่ใน linux ให้ติดตั้ง libs ด้านล่าง

 ! sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool

1. สร้างไฟล์ .env และวาง OPENAI_API ของคุณ และเปลี่ยนชื่อแพลตฟอร์มของคุณใน config/CONFIG.py

หากคุณอยู่บน linux ให้ตั้งค่าเป็น: _PLATFORM เป็น linux [โดยค่าเริ่มต้นคือ windows ]

1. เรียกใช้ไฟล์นี้ main.py โดยส่งข้อความค้นหาของคุณ

 python main . py

1. ใช้บอท SingularGPT หากคุณติดขัดหรือแจ้งปัญหา
1. ตรวจสอบให้แน่ใจว่าคำแนะนำของคุณอยู่ในไฟล์ script.py

- เริ่มต้นอย่างรวดเร็ว

สร้างไฟล์ .env ด้วย OPENAI_API และวาง openai_api api ของคุณไว้ที่นั่นหรือส่งผ่านเป็นตัวแปรสภาพแวดล้อม

ใส่สคริปต์อัตโนมัติใน script.py แล้วเรียกใช้

เขียนคำสั่งพร้อมท์ของคุณในไฟล์ Prompts/prompts.txt หรือส่งเป็นสตริงในไฟล์ main.py

 # Run the main script.
python main . py

หากต้องการเห็นภาพนี้ ให้ดูบอทนี้บน Poe

ดีเจแอลดีเจ

- มันระบุตำแหน่งองค์ประกอบได้อย่างไร?

วิธีเก่าโดยใช้ X_PATH หรือ CSS/JS Selectors หรือเพียงแค่ประสานงาน

 element_xpath = driver . find_element ( By . XPATH , "//a[@href='/login']" )
element_xpath . click ()

# or 

element_css = driver . find_element ( By . CSS_SELECTOR , "button.btn-primary" )
element_css . click ()

ไม่ มันใช้เทคนิคการตรวจจับองค์ประกอบ GUI ใหม่

ไม่นะ !

 zex . text ( 'Menu' ). click ()
zex . text ( 'Edit' ). FindLeftOf (). click () # Used to locate the element that is just left side of the target element.

ค้นหาและดำเนินการกับองค์ประกอบที่อยู่ทางซ้ายหรือทางขวา หรือแม้แต่องค์ประกอบที่ใกล้ที่สุด

ZexUI เป็นไลบรารีแบบสแตนด์อโลนที่ใช้เทคนิคการประมวลผลภาพสำหรับ GUI อัตโนมัติ

- ระบบอัตโนมัติ lib apis

ต่อไปนี้เป็นวิธีการและการใช้งานบางส่วน

แน่นอน! ต่อไปนี้เป็นคำอธิบายสำหรับแต่ละวิธี:

text() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบข้อความบนเว็บเพจตามเนื้อหาข้อความที่ให้ไว้ในแบบสอบถาม
textRegex() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบข้อความบนเว็บเพจโดยยึดตามนิพจน์ทั่วไปที่ให้ไว้ในแบบสอบถาม
textContains() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบข้อความบนเว็บเพจที่มีคำเฉพาะที่ให้ไว้ในแบบสอบถาม
image() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบรูปภาพบนเว็บเพจตามเส้นทางรูปภาพที่ให้ไว้ในแบบสอบถาม
findLeftOf() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบที่อยู่ทางด้านซ้ายของข้อความ/รูปภาพที่ให้ไว้ในแบบสอบถาม
findRightOf() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบที่อยู่ทางด้านขวาของข้อความ/รูปภาพที่ให้ไว้ในแบบสอบถาม
findTopOf() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบที่อยู่เหนือข้อความ/รูปภาพที่ให้ไว้ในแบบสอบถาม
findBottomOf() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบที่อยู่ด้านล่างข้อความ/รูปภาพที่ให้ไว้ในแบบสอบถาม
findNearestTo() : วิธีการนี้ใช้เพื่อค้นหาองค์ประกอบที่ใกล้กับข้อความ/รูปภาพที่ให้ไว้ในแบบสอบถามมากที่สุด
click() : วิธีการนี้ใช้เพื่อคลิกที่องค์ประกอบที่อยู่โดยใช้ข้อความ/รูปภาพหรือวิธีอื่นใด
mouseMove() : วิธีการนี้ใช้เพื่อเลื่อนเมาส์ไปยังองค์ประกอบที่อยู่โดยใช้ข้อความ/รูปภาพหรือวิธีอื่นใด
scroll_up() : วิธีการนี้ใช้ในการเลื่อนหน้าเว็บขึ้นไป
scroll_down() : วิธีการนี้ใช้ในการเลื่อนหน้าเว็บลง
scroll_left() : วิธีการนี้ใช้ในการเลื่อนไปทางซ้ายบนหน้าเว็บ
scroll_right() : วิธีการนี้ใช้ในการเลื่อนไปทางขวาบนหน้าเว็บ

... ข้อมูลเพิ่มเติมอยู่ในเอกสาร

นี่คือสิ่งที่โครงการนี้มีจุดมุ่งหมายและพยายามที่จะบรรลุผลเช่นเดียวกัน

- ต่อไปนี้เป็นวิธีการทำงานภายใต้ประทุน:

แปลงการสืบค้นภาษาธรรมชาติเป็นสคริปต์อัตโนมัติที่สามารถนำมาใช้เพิ่มเติมเพื่อให้บรรลุภารกิจได้
SingularGPT ประมวลผลหน้าจอของคุณ รับข้อมูลที่จำเป็นในสิ่งที่ถูกถาม
สร้างคำสั่งเพื่อให้บรรลุภารกิจ

- SingularGPT ทำอะไรได้บ้าง?

จดจำสิ่งที่อยู่บนหน้าจอของคุณ
แม้แต่สิ่งที่อยู่บนเซิร์ฟเวอร์ที่ไม่มีหัวของคุณโดยใช้ x11
สามารถประมวลผลภายในได้
สร้างสคริปต์การทำงานอัตโนมัติด้วยตัวเอง
ทำให้อุปกรณ์ของคุณเป็นแบบอัตโนมัติ

- รายละเอียดของโครงการ

โครงการนี้เกิดขึ้นได้ด้วยความช่วยเหลือของสาขาต่างๆ ในวิทยาการคอมพิวเตอร์ เช่น การมองเห็นที่ใช้ AI, libs ที่กำหนดเอง, ระบบอัตโนมัติของอุปกรณ์ และการประมวลผลลอจิกภายในโดยใช้ ChatGPT และ GPT-4 ล่าสุด

ในระยะสั้น:

คอมพิวเตอร์วิทัศน์ AI + ระบบอัตโนมัติ (ZexUI) + GPT