gpt eyes

GPT глаза

Глазки я дал GPT-4. "眼观六路,耳听八方"

Вот что я сделал:

• добавил некоторые данные в модель видения
• предоставил доступ к камере ИИ
• задал ему вопросы о сцене
• он идентифицировал объекты
• он искал информацию в Интернете
• использовал эту информацию, чтобы точно ответить

Посмотрите, как он ответит на 3 вопроса на 100 % правильно!

• Твиттер https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
• Ютуб https://www.youtube.com/watch?v=w-wxguIs-0I

Этот пакет является спонсорским ???

https://github.com/sponsors/Charmve? Frequency=one-time&sponsor=Charmve

Этот репозиторий был доступен только моим спонсорам на GitHub Sponsors, пока я не набрал 15 спонсоров.

Узнайте больше о спонсорском ПО на github.com/sponsorware/docs?.

Используемые технологии

• Фронтенд: Реагировать
• API анализа изображений: модели TensorFlow — MobileNet
• API генерации текста: GPT API

Установка

1. Клонируйте репозиторий: git clone https://github.com/Charmve/gpt-eyes.git
2. Перейдите в каталог проекта: cd gpt-eyes
3. Установить зависимости: npm install

Конфигурация

1. Создайте учетную запись и получите ключи API для моделей TensorFlow — MobileNet и GPT API.
2. Обновите файл конфигурации, указав свои ключи API:
   • Модели TensorFlow — MobileNet: /path/to/config.js
   • API GPT: /path/to/config.js

Использование

1. Запустите сервер разработки: npm start
2. Откройте браузер и посетите: http://localhost:3000

Как это работает

1. Камера устройства анализирует изображение.
2. Приложение использует TensorFlow Models — MobileNet API для анализа изображения и извлечения информации об объекте.
3. Приложение отправляет информацию об анализируемом объекте в GPT API.
4. GPT API генерирует текст, описывающий анализируемый объект.
5. Приложение отображает проанализированное изображение и сгенерированный текст.