SingularGPT

شفرة المصدر الأخرى

1.0.0

تنزيل

SingularGPT هو مشروع مفتوح المصدر يعمل على أتمتة جهازك باستخدام ChatGPT وGPT-4.

باستخدام SingularGPT، يمكنك بسهولة توجيه جهازك باستخدام استعلامات نصية بسيطة.

على سبيل المثال:

لنفترض أنك بحاجة إلى النقر فوق الزر الذي يحتوي على نص باسم "ملف" فقط قل ذلك:

الاستعلام: مرحبًا، يرجى النقر على العنصر الذي يحتوي على ملف نصي.

سيقوم بتنفيذ الإجراء من خلال معالجة استعلامك، وتحويله إلى تعليماته المفهومة وتنفيذه.

؟ تجريبي

yu.1.mp4

؟ كيفية الاستخدام ؟

يمكنك فقط تشغيله في google colab باستخدام وحدة معالجة الرسومات.

اتبع هذه الخطوات بعناية

1. تثبيت كافة المتطلبات

 pip install -r requirements.txt

تأكد من تشغيل هذا الأمر في نفس الدليل الذي يوجد به ملف requirements.txt .

1. إذا كنت تستخدم Linux، فقم بتثبيت libs أدناه

 ! sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool

1. قم بإنشاء ملف .env ووضع OPENAI_API الخاص بك وقم بتغيير اسم النظام الأساسي الخاص بك في config/CONFIG.py

إذا كنت تستخدم Linux، قم بتعيينه على النحو التالي: _PLATFORM كـ linux [افتراضيًا هو windows ]

1. قم بتشغيل هذا الملف main.py عن طريق تمرير الاستعلام الخاص بك.

 python main . py

1. استخدم برنامج SingularGPT bot إذا كنت عالقًا أو أثارت مشكلة
1. تأكد من وجود تعليماتك في ملف script.py .

؟ بداية سريعة

قم بإنشاء ملف .env باستخدام OPENAI_API ووضع واجهة برمجة التطبيقات openai_api الخاصة بك هناك أو قم بتمريره كمتغير بيئة.

ضع البرامج النصية للأتمتة في script.py وقم بتشغيلها.

اكتب استعلامك الفوري في ملف Prompts/prompts.txt أو قم بتمريره كسلسلة في ملف main.py

 # Run the main script.
python main . py

لتصور هذا، راجع هذا الروبوت على بو

djlkdj

؟ كيف يحدد موقع العنصر؟

الطريقة القديمة باستخدام محددات X_PATH أو CSS/JS أو عن طريق الإحداثيات فقط.

 element_xpath = driver . find_element ( By . XPATH , "//a[@href='/login']" )
element_xpath . click ()

# or 

element_css = driver . find_element ( By . CSS_SELECTOR , "button.btn-primary" )
element_css . click ()

لا، فهو يستخدم تقنيات الكشف عن عناصر واجهة المستخدم الرسومية الجديدة.

كلا!

 zex . text ( 'Menu' ). click ()
zex . text ( 'Edit' ). FindLeftOf (). click () # Used to locate the element that is just left side of the target element.

تحديد موقع وتنفيذ الإجراءات على العنصر الأيسر أو الأيمن أو حتى العنصر الأقرب إليه.

ZexUI هي مكتبة مستقلة تستخدم تقنيات معالجة الصور لأتمتة واجهة المستخدم الرسومية.

؟ الأتمتة ليب أبيس

فيما يلي بعض الطرق واستخداماتها.

بالتأكيد! فيما يلي الوصف لكل طريقة:

text() : يتم استخدام هذه الطريقة لتحديد عنصر نص على صفحة الويب بناءً على محتوى النص المقدم في الاستعلام.
textRegex() : يتم استخدام هذه الطريقة لتحديد موقع عنصر نص على صفحة الويب بناءً على التعبير العادي المقدم في الاستعلام.
textContains() : يتم استخدام هذه الطريقة لتحديد عنصر النص على صفحة الويب التي تحتوي على كلمة محددة مقدمة في الاستعلام.
image() : يتم استخدام هذه الطريقة لتحديد عنصر الصورة على صفحة الويب بناءً على مسار الصورة المقدم في الاستعلام.
findLeftOf() : يتم استخدام هذه الطريقة لتحديد موقع العنصر الموجود على يسار النص/الصورة المتوفرة في الاستعلام.
findRightOf() : يتم استخدام هذه الطريقة لتحديد موقع العنصر الموجود على يمين النص/الصورة المقدمة في الاستعلام.
findTopOf() : يتم استخدام هذه الطريقة لتحديد موقع العنصر الموجود أعلى النص/الصورة المتوفرة في الاستعلام.
findBottomOf() : يتم استخدام هذه الطريقة لتحديد عنصر موجود أسفل النص/الصورة المتوفرة في الاستعلام.
findNearestTo() : يتم استخدام هذه الطريقة لتحديد العنصر الأقرب إلى النص/الصورة المتوفرة في الاستعلام.
click() : تُستخدم هذه الطريقة للنقر على العنصر الموجود باستخدام النص/الصورة أو أي طريقة أخرى.
mouseMove() : تستخدم هذه الطريقة لتحريك الماوس إلى العنصر الموجود باستخدام النص/الصورة أو أي طريقة أخرى.
scroll_up() : تُستخدم هذه الطريقة للتمرير لأعلى في صفحة الويب.
scroll_down() : يتم استخدام هذه الطريقة للتمرير لأسفل صفحة الويب.
scroll_left() : يتم استخدام هذه الطريقة للتمرير إلى اليسار على صفحة الويب.
scroll_right() : يتم استخدام هذه الطريقة للتمرير إلى اليمين على صفحة الويب.

... المزيد موجود في المستندات.

وهذا ما يهدف إليه هذا المشروع ويحاول تحقيقه.

؟ إذن، إليك كيفية عمل الأشياء تحت الغطاء:

يحول استعلام اللغة الطبيعية إلى نصوص برمجية تلقائية يمكن استخدامها أيضًا لإنجاز المهمة
يقوم SingularGPT بمعالجة شاشتك، والحصول على البيانات المطلوبة وما هو مطلوب.
يولد الأوامر لتحقيق المهمة.

؟ ما الذي يمكن لـ SingularGPT فعله؟

تعرف على ما هو موجود على شاشتك
حتى ما هو موجود على خادمك بدون رأس باستخدام x11
يمكن معالجتها داخليا.
بناء البرامج النصية للأتمتة من تلقاء نفسها
أتمتة جهازك

؟ انهيار المشروع

أصبح هذا المشروع ممكنًا بمساعدة مجالات مختلفة في علوم الكمبيوتر مثل الرؤية المستندة إلى الذكاء الاصطناعي والمكتبات المخصصة وأتمتة الجهاز ومعالجة المنطق الداخلي باستخدام أحدث ChatGPT وGPT-4.

باختصار:

رؤية الكمبيوتر بالذكاء الاصطناعي + الأتمتة (ZexUI) + GPT