gpt eyes

Ojos GPT

Le di ojos GPT-4. "眼观六路，耳听八方"

Esto es lo que hice:

• Agregó algunos datos a un modelo de visión.
• le dio acceso a la cámara AI
• le hizo preguntas sobre la escena
• identificó objetos
• buscó información en la web
• usé esa información para responder con precisión

¡Míralo obtener 3 preguntas 100% correctas!

• Gorjeo https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
• YouTube https://www.youtube.com/watch?v=w-wxguIs-0I

¿Este paquete es patrocinado?

https://github.com/sponsors/Charmve?frequency=one-time&sponsor=Charmve

Este repositorio solo estuvo disponible para mis patrocinadores en GitHub Sponsors hasta que llegué a 15 patrocinadores.

Obtenga más información sobre el patrocinio en github.com/sponsorware/docs.

Tecnologías utilizadas

• Interfaz: Reaccionar
• API de análisis de imágenes: modelos TensorFlow - MobileNet
• API de generación de texto: API GPT

Instalación

1. Clona el repositorio: git clone https://github.com/Charmve/gpt-eyes.git
2. Navegue al directorio del proyecto: cd gpt-eyes
3. Instalar dependencias: npm install

Configuración

1. Cree una cuenta y obtenga claves API para los modelos TensorFlow: MobileNet y GPT API.
2. Actualice el archivo de configuración con sus claves API:
   • Modelos de TensorFlow - MobileNet: /path/to/config.js
   • API de GPT: /path/to/config.js

Uso

1. Inicie el servidor de desarrollo: npm start
2. Abra su navegador y visite: http://localhost:3000

Cómo funciona

1. La cámara del dispositivo analiza una imagen.
2. La aplicación utiliza TensorFlow Models - MobileNet API para analizar la imagen y extraer información del objeto.
3. La aplicación envía la información del objeto analizado a la API de GPT.
4. La API de GPT genera texto que describe el objeto analizado.
5. La aplicación muestra la imagen analizada y el texto generado.