SingularGPT

Kode sumber lainnya

1.0.0

Unduh

SingularGPT adalah proyek sumber terbuka yang mengotomatiskan perangkat Anda menggunakan ChatGPT & GPT-4.

Dengan SingularGPT Anda dapat dengan mudah menginstruksikan perangkat Anda dengan pertanyaan berbasis teks sederhana.

Misalnya:

Katakanlah Anda perlu mengklik tombol yang memiliki teks sebagai 'File', katakan saja:

Pertanyaan: Hai, silakan klik item dengan File teks.

Ini akan melakukan tindakan dengan memproses permintaan Anda, mengubahnya menjadi instruksi yang dapat dimengerti dan menjalankannya.

? Demo

yu.1.mp4

? Bagaimana Cara Menggunakannya?

Anda bisa menjalankannya di google colab dengan GPU.

Ikuti langkah-langkah ini dengan hati-hati

1. Instal semua persyaratan

 pip install -r requirements.txt

Pastikan Anda menjalankan perintah ini di direktori yang sama tempat file requirements.txt berada.

1. Jika Anda menggunakan linux maka instal lib di bawah ini

 ! sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool

1. Buat file .env dan tempatkan OPENAI_API Anda dan ubah nama platform Anda di config/CONFIG.py

jika Anda menggunakan linux tetapkan sebagai: _PLATFORM sebagai linux [Secara default adalah windows ]

1. Jalankan file ini main.py dengan meneruskan kueri Anda.

 python main . py

1. Gunakan bot SingularGPT jika Anda mengalami kebuntuan atau menyampaikan masalah
1. Pastikan instruksi Anda ada dalam file script.py .

? Mulai cepat

Buat file .env dengan OPENAI_API dan tempatkan api openai_api Anda di sana atau berikan sebagai variabel lingkungan.

Masukkan skrip otomatisasi di script.py dan jalankan.

Tulis kueri prompt Anda di file Prompts/prompts.txt atau, berikan sebagai string di file main.py

 # Run the main script.
python main . py

Untuk memvisualisasikannya, lihat bot ini di Poe

djlkdj

? Bagaimana cara menempatkan elemen?

Cara lama menggunakan X_PATH atau CSS/JS Selectors atau hanya dengan koordinat.

 element_xpath = driver . find_element ( By . XPATH , "//a[@href='/login']" )
element_xpath . click ()

# or 

element_css = driver . find_element ( By . CSS_SELECTOR , "button.btn-primary" )
element_css . click ()

Tidak, ini menggunakan teknik deteksi elemen GUI baru.

Tidak!

 zex . text ( 'Menu' ). click ()
zex . text ( 'Edit' ). FindLeftOf (). click () # Used to locate the element that is just left side of the target element.

Temukan dan lakukan tindakan pada elemen di kiri atau kanan atau bahkan elemen yang paling dekat dengannya.

ZexUI adalah perpustakaan mandiri yang menggunakan teknik pemrosesan gambar untuk otomatisasi GUI.

? lib apis otomatisasi

Berikut beberapa metode dan penggunaannya.

Tentu! Berikut penjelasan masing-masing metode:

text() : Metode ini digunakan untuk menemukan elemen teks pada halaman web berdasarkan konten teks yang disediakan dalam kueri.
textRegex() : Metode ini digunakan untuk menemukan elemen teks pada halaman web berdasarkan ekspresi reguler yang disediakan dalam kueri.
textContains() : Metode ini digunakan untuk menemukan elemen teks pada halaman web yang berisi kata tertentu yang disediakan dalam kueri.
image() : Metode ini digunakan untuk menemukan elemen gambar di halaman web berdasarkan jalur gambar yang disediakan dalam kueri.
findLeftOf() : Metode ini digunakan untuk menemukan elemen di sebelah kiri teks/gambar yang disediakan dalam kueri.
findRightOf() : Metode ini digunakan untuk menemukan elemen di sebelah kanan teks/gambar yang disediakan dalam kueri.
findTopOf() : Metode ini digunakan untuk menemukan elemen yang berada di atas teks/gambar yang disediakan dalam kueri.
findBottomOf() : Metode ini digunakan untuk menemukan elemen yang berada di bawah teks/gambar yang disediakan dalam kueri.
findNearestTo() : Metode ini digunakan untuk menemukan elemen yang paling dekat dengan teks/gambar yang disediakan dalam kueri.
click() : Metode ini digunakan untuk mengklik elemen yang terletak menggunakan teks/gambar atau metode lainnya.
mouseMove() : Metode ini digunakan untuk menggerakkan mouse ke elemen yang terletak menggunakan teks/gambar atau metode lainnya.
scroll_up() : Metode ini digunakan untuk menggulir halaman web ke atas.
scroll_down() : Metode ini digunakan untuk menggulir halaman web ke bawah.
scroll_left() : Metode ini digunakan untuk menggulir ke kiri pada halaman web.
scroll_right() : Metode ini digunakan untuk menggulir halaman web ke kanan.

... Lebih lanjut ada di dokumen.

Inilah tujuan proyek ini dan mencoba mencapai hal yang sama.

? Jadi, inilah cara kerjanya:

Mengonversi kueri bahasa alami menjadi skrip otomatisasi yang selanjutnya dapat digunakan untuk mencapai tugas
SingularGPT Proses layar Anda, dapatkan data yang diperlukan apa yang diminta.
Menghasilkan perintah untuk mencapai tugas.

? Apa yang bisa dilakukan SingularGPT?

Kenali apa yang ada di layar Anda
Bahkan apa yang ada di server headless Anda menggunakan x11
Dapat memprosesnya secara internal.
Buat skrip otomatisasi sendiri
Mengotomatiskan perangkat Anda

? Kerusakan proyek

Proyek ini dimungkinkan dengan bantuan berbagai bidang ilmu komputer seperti visi berbasis AI, lib khusus, otomatisasi perangkat, dan pemrosesan logika internal menggunakan ChatGPT & GPT-4 terbaru.

Pendeknya:

Visi komputer AI + Otomatisasi (ZexUI) + GPT