ImageBotApp

Licence MIT

Aperçu

Il s'agit du robot d'image utilisant Gemini avec Google Apps Script et Google Drive.

Description

La récente sortie de Gemini en tant qu'API accessible sur Vertex AI et Google AI Studio permet aux développeurs d'intégrer ses vastes capacités dans leurs applications, révolutionnant potentiellement des domaines tels que l'éducation, la santé et les affaires. En ajoutant des fonctionnalités encore plus puissantes avec le Gemini 1.5 récemment annoncé, cet outil promet un impact encore plus grand. Ref et Ref Je pense que Gemini élargit considérablement le potentiel de diverses applications dans divers domaines. Pour montrer son potentiel, ce rapport présente un robot d'image utilisant Gemini avec Google Apps Script et Google Drive. Ce n’est là qu’un exemple des nombreux cas d’utilisation convaincants que les développeurs peuvent créer avec Gemini.

Principe

Cette image illustre le flux de travail de ce robot d'image.

Au préalable, cela suppose que certaines images soient placées dans un dossier de votre Google Drive, et que les descriptions de chaque image aient été mises dans un corpus.

L'utilisateur pose une question.
Google Apps Script envoie une requête à l'API Gemini.
L'API Gemini identifie une fonction appropriée avec les arguments du projet Google Apps Script.
Google Apps Script exécute la fonction choisie avec les arguments donnés. De plus, Google Apps Script analyse le corpus de descriptions d'images à l'aide d'une recherche sémantique pour trouver des images pertinentes.
La fonction exécutée dans Google Apps Script renvoie une valeur de réponse.
Google Apps Script transmet la valeur de la réponse à l'API Gemini.
Google Apps Script fusionne la réponse de la fonction avec les informations de Gemini, générant ainsi une réponse complète.
La réponse finale est renvoyée à l'utilisateur via l'interface du robot image.

À titre d'informations supplémentaires, cette application de robot d'image exploite les appels de fonctions avec Gemini pour analyser et traiter efficacement les images. Comme indiqué dans mon rapport précédent "Guide des appels de fonctions avec Gemini et Google Apps Script : https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45", cette approche permet une intégration transparente des capacités de Gemini dans l'environnement Google Apps Script, permettant ainsi de puissantes fonctionnalités de traitement d'image.

Usage

1. Installer la bibliothèque

Je crains que le projet Google Apps Script dans ce cas ne soit un peu complexe. Pour simplifier les tests, je l'ai préparé en tant que bibliothèque de scripts Google Apps. Vous pouvez l'utiliser directement dans votre propre projet ou copier et coller les scripts dans votre projet Google Apps Script si vous préférez ne pas utiliser la bibliothèque.

Voici comment utiliser l’exemple comme bibliothèque. Installez la bibliothèque en suivant les étapes suivantes.

Créez un projet GAS.
- Vous pouvez utiliser cette bibliothèque pour le projet GAS des types de scripts autonomes et liés aux conteneurs.
Installez cette bibliothèque.
- La clé de projet de la bibliothèque est 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. Liaison du projet Google Cloud Platform au projet Google Apps Script pour le nouvel IDE

Dans ce cas, vous pouvez voir comment procéder sur mon référentiel.

Veuillez également activer l'API Generative Language sur la console API.

Après le paramètre ci-dessus, l’exemple de script suivant peut être utilisé.

3. Portées

Cette bibliothèque utilise les 2 étendues suivantes.

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

Lorsque cette bibliothèque est installée, les étendues ci-dessus sont automatiquement installées sur votre projet Google Apps Script.

5. Préparez un dossier

Veuillez créer un nouveau dossier dans votre Google Drive.

Si vous avez déjà des images, merci de les mettre dans ce dossier.

4. Scénario

Veuillez copier et coller le script suivant dans l'éditeur de script de votre projet Google Apps Script. Et veuillez définir l’ID de dossier de votre dossier créé sur folderId dans la fonction init_ .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}

5. Déployer des applications Web

Cette bibliothèque est utilisée avec les Web Apps. Veuillez donc déployer les applications Web comme suit. Les informations détaillées peuvent être consultées dans le document officiel.

Veuillez définir cela à l'aide de l'éditeur de script de votre projet Google Apps Script.

Sur l'éditeur de script, en haut à droite de l'éditeur de script, veuillez cliquer sur "cliquez sur Déployer" -> "Nouveau déploiement".
Veuillez cliquer sur "Sélectionner le type" -> "Application Web".
Veuillez saisir les informations sur l'application Web dans les champs sous « Configuration de déploiement ».
Veuillez sélectionner « Moi » pour « Exécuter en tant que » .
Veuillez sélectionner « Tout le monde » pour « Qui a accès à l'application : » .
Veuillez cliquer sur le bouton « Déployer ».
Sur l'éditeur de script, en haut à droite de l'éditeur de script, veuillez cliquer sur « cliquez sur Déployer » -> « Tester les déploiements ».
Copiez l'URL des applications Web. C'est comme https://script.google.com/macros/s/###/exec .

Lorsque vous modifiez le script Google Apps des applications Web, veuillez modifier le déploiement en tant que nouvelle version. Ainsi, le script modifié est reflété dans les applications Web. Veuillez faire attention à cela.
Vous pouvez voir les détails à ce sujet dans mon rapport "Redéployer des applications Web sans modifier l'URL des applications Web pour le nouvel IDE".

6. Tests

Avant de continuer, si votre dossier contient des images, veuillez exécuter la fonction putImageDescriptionsToCorpus . Cela génère des descriptions pour vos images et les ajoute au corpus.

Pour utiliser cette bibliothèque :