gpt eyes

GPT 眼睛

我给了 GPT-4 眼睛。 “眼观六路，耳听八方”

这就是我所做的：

• 向视觉模型添加一些数据
• 授予 AI 摄像头访问权限
• 向它询问有关场景的问题
• 它识别出物体
• 它在网上搜索信息
• 使用该信息来准确回答

看看它 100% 正确的 3 个问题！

• 推特 https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
• YouTube https://www.youtube.com/watch?v=w-wxguIs-0I

该软件包是赞助软件？？？

https://github.com/sponsors/Charmve?Frequency=one-time&sponsor=Charmve

在我的赞助商数量达到 15 名之前，此存储库仅向 GitHub Sponsors 上的我的赞助商开放。

要了解有关Sponsorware 的更多信息，请访问 github.com/sponsorware/docs？。

使用的技术

• 前端：反应
• 图像分析 API：TensorFlow 模型 - MobileNet
• 文本生成 API：GPT API

安装

1. 克隆存储库： git clone https://github.com/Charmve/gpt-eyes.git
2. 导航到项目目录： cd gpt-eyes
3. 安装依赖项： npm install

配置

1. 创建帐户并获取 TensorFlow 模型 - MobileNet 和 GPT API 的 API 密钥。
2. 使用您的 API 密钥更新配置文件：
   • TensorFlow 模型 - MobileNet： /path/to/config.js
   • GPT API： /path/to/config.js

用法

1. 启动开发服务器： npm start
2. 打开浏览器并访问： http://localhost:3000

它是如何运作的

1. 设备相机分析图像。
2. 该应用程序使用 TensorFlow Models - MobileNet API 来分析图像并提取对象信息。
3. 应用程序将分析后的对象信息发送到 GPT API。
4. GPT API 生成描述分析对象的文本。
5. 应用程序显示分析后的图像和生成的文本。