SingularGPT
1.0.0
SingularGPT是一个开源项目，可使用 ChatGPT 和 GPT-4 使您的设备自动化。
借助SingularGPT，您可以通过简单的基于文本的查询轻松指导您的设备。
例如：
假设您需要单击文本为“文件”的按钮，只需说出：
查询：嘿，请单击带有文本文件的项目。
它将通过处理您的查询、将它们转换为可理解的指令并执行它们来执行操作。
你可以用 GPU 在 google colab 中运行它。
仔细按照以下步骤操作
pip install -r requirements.txt
确保在requirements.txt文件所在的同一目录中运行此命令。
! sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool
config/CONFIG.py中更改您的平台名称如果您在 Linux 上，请设置为： _PLATFORM as linux [默认为windows ]
main.py python main . pySingularGPT机器人script.py文件中。 使用OPENAI_API创建一个.env文件，并将 openai_api api 放在那里或作为环境变量传递。
将自动化脚本放入script.py并运行它。
在Prompts/prompts.txt文件中写入提示查询，或者在main.py文件中作为字符串传递。
# Run the main script.
python main . py为了形象化这一点，请参阅 Poe 上的这个机器人
旧方法使用 X_PATH 或 CSS/JS 选择器或仅通过坐标。
element_xpath = driver . find_element ( By . XPATH , "//a[@href='/login']" )
element_xpath . click ()
# or
element_css = driver . find_element ( By . CSS_SELECTOR , "button.btn-primary" )
element_css . click ()不，它使用新的 GUI 元素检测技术。
不！
zex . text ( 'Menu' ). click ()
zex . text ( 'Edit' ). FindLeftOf (). click () # Used to locate the element that is just left side of the target element.找到左边或右边的元素，甚至是距离它最近的元素，并对其执行操作。
ZexUI 是一个独立的库，它使用图像处理技术进行 GUI 自动化。
以下是一些方法及其用法。
当然！以下是每种方法的说明：
text() ：此方法用于根据查询中提供的文本内容定位网页上的文本元素。
textRegex() ：此方法用于根据查询中提供的正则表达式在网页上定位文本元素。
textContains() ：此方法用于在网页上查找包含查询中提供的特定单词的文本元素。
image() ：此方法用于根据查询中提供的图像路径在网页上定位图像元素。
findLeftOf() ：此方法用于定位查询中提供的文本/图像左侧的元素。
findRightOf() ：此方法用于定位查询中提供的文本/图像右侧的元素。
findTopOf() ：此方法用于定位查询中提供的文本/图像上方的元素。
findBottomOf() ：此方法用于定位查询中提供的文本/图像下方的元素。
findNearestTo() ：此方法用于定位最接近查询中提供的文本/图像的元素。
click() ：此方法用于单击使用文本/图像或任何其他方法定位的元素。
mouseMove() ：此方法用于将鼠标移动到使用文本/图像或任何其他方法定位的元素。
scroll_up() ：该方法用于向上滚动网页。
scroll_down() ：该方法用于向下滚动网页。
scroll_left() ：该方法用于在网页上向左滚动。
scroll_right() ：该方法用于在网页上向右滚动。
...更多内容在文档中。
这就是该项目的目标并试图实现这一目标。
？那么，这就是事情的幕后运作方式：
将自然语言查询转换为可进一步用于完成任务的自动化脚本
SingularGPT 处理您的屏幕，获取所询问的所需数据。
生成命令来完成任务。
识别屏幕上的内容
甚至使用 x11 的无头服务器上有什么
可以在内部处理它们。
自己构建自动化脚本
自动化您的设备
该项目是在计算机科学各个领域的帮助下实现的，例如基于人工智能的视觉、自定义库、设备自动化和使用最新的 ChatGPT 和 GPT-4 的内部逻辑处理。
简而言之：
AI计算机视觉+自动化（ZexUI）+GPT
正在考虑留下一颗星星。
帮助编写项目文档。
