Yeux GPT
J'ai donné des yeux GPT-4. "眼观六路，耳听八方"
Voici ce que j'ai fait :
- ajouté quelques données à un modèle de vision
- a donné accès à la caméra AI
- je lui ai posé des questions sur la scène
- il a identifié des objets
- il a cherché des informations sur le Web
- utilisé ces informations pour répondre avec précision
Regardez-le et obtenez 3 questions 100% correctes !
- Twitter https://twitter.com/mckaywrigley/status/1651291367224807424?s=20
- YouTube https://www.youtube.com/watch?v=w-wxguIs-0I
Ce package est un sponsorware ???
https://github.com/sponsors/Charmve? Frequency=one-time&sponsor=Charmve
Ce dépôt n'était disponible que pour mes sponsors sur GitHub Sponsors jusqu'à ce que j'atteigne 15 sponsors.
Apprenez-en plus sur Sponsorware sur github.com/sponsorware/docs ?.
Technologies utilisées
- Frontend : réagir
- API d'analyse d'images : modèles TensorFlow - MobileNet
- API de génération de texte : API GPT
Installation
- Cloner le dépôt :
git clone https://github.com/Charmve/gpt-eyes.git - Accédez au répertoire du projet :
cd gpt-eyes - Dépendances d'installation :
npm install
Configuration
- Créez un compte et obtenez des clés API pour les modèles TensorFlow - MobileNet et API GPT.
- Mettez à jour le fichier de configuration avec vos clés API :
- Modèles TensorFlow – MobileNet :
/path/to/config.js - API GPT :
/path/to/config.js
Usage
- Démarrez le serveur de développement :
npm start - Ouvrez votre navigateur et visitez :
http://localhost:3000
Comment ça marche
- La caméra de l'appareil analyse une image.
- L'application utilise TensorFlow Models - API MobileNet pour analyser l'image et extraire les informations sur l'objet.
- L'application envoie les informations sur l'objet analysé à l'API GPT.
- L'API GPT génère un texte décrivant l'objet analysé.
- L'application affiche l'image analysée et le texte généré.
