gpt eyes

GPT 眼睛

我給了 GPT-4 眼睛。 “眼觀六路，耳聽八方”

這就是我所做的：

• 在視覺模型中添加一些數據
• 授予 AI 攝影機存取權限
• 向它詢問有關場景的問題
• 它辨識出物體
• 它在網上搜索信息
• 使用該資訊來準確回答

看看它 100% 正確的 3 個問題！

• 推特 https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
• YouTube https://www.youtube.com/watch?v=w-wxguIs-0I

該軟體包是贊助軟體？

https://github.com/sponsors/Charmve?Frequency=one-time&sponsor=Charmve

在我的贊助商數量達到 15 名之前，此儲存庫僅向 GitHub Sponsors 上的我的贊助商開放。

要了解有關Sponsorware 的更多信息，請訪問 github.com/sponsorware/docs？

使用的技術

• 前端：反應
• 影像分析 API：TensorFlow 模型 - MobileNet
• 文字產生 API：GPT API

安裝

1. 複製儲存庫： git clone https://github.com/Charmve/gpt-eyes.git
2. 導航到專案目錄： cd gpt-eyes
3. 安裝依賴項： npm install

配置

1. 建立帳戶並取得 TensorFlow 模型 - MobileNet 和 GPT API 的 API 金鑰。
2. 使用您的 API 金鑰更新設定檔：
   • TensorFlow 模式 - MobileNet： /path/to/config.js
   • GPT API： /path/to/config.js

用法

1. 啟動開發伺服器： npm start
2. 開啟瀏覽器並造訪： http://localhost:3000

它是如何運作的

1. 設備相機分析影像。
2. 該應用程式使用 TensorFlow Models - MobileNet API 來分析影像並提取物件資訊。
3. 應用程式將分析後的物件資訊傳送到 GPT API。
4. GPT API 產生描述分析物件的文字。
5. 應用程式顯示分析後的圖像和生成的文字。