SingularGPT
1.0.0
SingularGPT是一個開源項目，可使用 ChatGPT 和 GPT-4 來自動化您的裝置。
借助SingularGPT，您可以透過簡單的基於文字的查詢輕鬆指導您的裝置。
例如：
假設您需要單擊文字為“文件”的按鈕，只需說出：
查詢：嘿，請點擊帶有文字檔案的項目。
它將透過處理您的查詢、將它們轉換為可理解的指令並執行它們來執行操作。
你可以用 GPU 在 google colab 中運行它。
仔細按照以下步驟操作
pip install -r requirements.txt
確保在requirements.txt檔案所在的同一目錄中執行此命令。
! sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool
config/CONFIG.py中更改您的平台名稱如果您在 Linux 上，請設定為： _PLATFORM as linux [預設為windows ]
main.py python main . pySingularGPT機器人script.py檔案中。 使用OPENAI_API建立一個.env文件，並將 openai_api api 放在那裡或作為環境變數傳遞。
將自動化腳本放入script.py並運行它。
在Prompts/prompts.txt檔案中寫入提示查詢，或在main.py檔案中作為字串傳遞。
# Run the main script.
python main . py為了形象化這一點，請參閱 Poe 上的這個機器人
舊方法使用 X_PATH 或 CSS/JS 選擇器或僅透過座標。
element_xpath = driver . find_element ( By . XPATH , "//a[@href='/login']" )
element_xpath . click ()
# or
element_css = driver . find_element ( By . CSS_SELECTOR , "button.btn-primary" )
element_css . click ()不，它使用新的 GUI 元素檢測技術。
不！
zex . text ( 'Menu' ). click ()
zex . text ( 'Edit' ). FindLeftOf (). click () # Used to locate the element that is just left side of the target element.找到左邊或右邊的元素，甚至是距離它最近的元素，並對其執行操作。
ZexUI 是一個獨立的函式庫，它使用影像處理技術進行 GUI 自動化。
以下是一些方法及其用法。
當然！以下是每種方法的說明：
text() ：此方法用於根據查詢中提供的文字內容定位網頁上的文字元素。
textRegex() ：此方法用於根據查詢中提供的正規表示式在網頁上定位文字元素。
textContains() ：此方法用於在網頁上尋找包含查詢中提供的特定單字的文字元素。
image() ：此方法用於根據查詢中提供的圖片路徑在網頁上定位圖片元素。
findLeftOf() ：此方法用於定位查詢中提供的文字/圖像左側的元素。
findRightOf() ：此方法用於定位查詢中提供的文字/圖像右側的元素。
findTopOf() ：此方法用於定位查詢中提供的文字/圖像上方的元素。
findBottomOf() ：此方法用於定位查詢中提供的文字/圖像下方的元素。
findNearestTo() ：此方法用於定位最接近查詢中提供的文字/圖像的元素。
click() ：此方法用於點擊使用文字/圖像或任何其他方法定位的元素。
mouseMove() ：此方法用於將滑鼠移到使用文字/圖像或任何其他方法定位的元素。
scroll_up() ：此方法用於向上捲動網頁。
scroll_down() ：此方法用於向下捲動網頁。
scroll_left() ：此方法用於在網頁上向左捲動。
scroll_right() ：此方法用於在網頁上向右捲動。
....更多內容在文件中。
這就是該項目的目標並試圖實現這一目標。
？那麼，這就是事情的幕後運作方式：
將自然語言查詢轉換為可進一步用於完成任務的自動化腳本
SingularGPT 處理您的螢幕，取得您所詢問的所需資料。
產生指令來完成任務。
識別螢幕上的內容
甚至使用 x11 的無頭伺服器上有什麼
可以在內部處理它們。
自己建立自動化腳本
自動化您的設備
該專案是在電腦科學各個領域的幫助下實現的，例如基於人工智慧的視覺、自訂程式庫、設備自動化和使用最新的 ChatGPT 和 GPT-4 的內部邏輯處理。
簡而言之：
AI電腦視覺+自動化（ZexUI）+GPT
正在考慮留下一顆星星。
幫助編寫專案文件。
