ImageBotApp

Licencia MIT

Descripción general

Este es el robot de imágenes que utiliza Gemini con Google Apps Script y Google Drive.

Descripción

El reciente lanzamiento de Gemini como API accesible en Vertex AI y Google AI Studio permite a los desarrolladores integrar sus amplias capacidades en sus aplicaciones, revolucionando potencialmente campos como la educación, la atención médica y los negocios. Al agregar funciones aún más poderosas con el recientemente anunciado Gemini 1.5, esta herramienta promete un impacto aún mayor. Ref y Ref Creo que Gemini amplía significativamente el potencial para diversas aplicaciones en diversos campos. Para mostrar su potencial, este informe presenta un robot de imágenes que utiliza Gemini con Google Apps Script y Google Drive. Este es sólo un ejemplo de los muchos casos de uso atractivos que los desarrolladores pueden crear con Gemini.

Principio

Esta imagen ilustra el flujo de trabajo de este robot de imágenes.

Como requisito previo, se supone que algunas imágenes se colocan en una carpeta de su Google Drive y las descripciones de cada imagen se colocan en un corpus.

El usuario hace una pregunta.
Google Apps Script envía una solicitud a la API de Gemini.
La API de Gemini identifica una función adecuada con los argumentos dentro del proyecto de Google Apps Script.
Google Apps Script ejecuta la función elegida con los argumentos dados. Y Google Apps Script analiza el corpus de descripciones de imágenes mediante búsqueda semántica para encontrar imágenes relevantes.
La función que se ejecuta en Google Apps Script devuelve un valor de respuesta.
Google Apps Script transmite el valor de respuesta a la API de Gemini.
Google Apps Script combina la respuesta de la función con los conocimientos de Gemini, generando una respuesta integral.
La respuesta final se devuelve al usuario a través de la interfaz del bot de imágenes.

Como información adicional, esta aplicación de bot de imágenes aprovecha las llamadas a funciones con Gemini para analizar y procesar imágenes de manera eficiente. Como se describe en mi informe anterior "Guía para llamadas funcionales con Gemini y Google Apps Script: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45", este enfoque permite una integración perfecta de las capacidades de Gemini dentro del entorno de Google Apps Script, lo que permite una potente funcionalidad de procesamiento de imágenes.

Uso

1. Instalar biblioteca

Me preocupa que el proyecto de Google Apps Script en este caso pueda ser un poco complejo. Para simplificar las pruebas, lo preparé como una biblioteca de Google Apps Script. Puede usarlo directamente dentro de su propio proyecto o copiar y pegar los scripts en su proyecto de Google Apps Script si prefiere no usar la biblioteca.

A continuación se explica cómo utilizar la muestra como biblioteca. Instale la biblioteca siguiendo los siguientes pasos.

Crea un proyecto GAS.
- Puede utilizar esta biblioteca para el proyecto GAS tanto del tipo de script independiente como vinculado al contenedor.
Instale esta biblioteca.
- La clave del proyecto de la biblioteca es 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. Vincular el proyecto Google Cloud Platform al proyecto Google Apps Script para un nuevo IDE

En este caso, puedes ver cómo hacerlo en mi repositorio.

Además, habilite la API de lenguaje generativo en la consola API.

Después de la configuración anterior, se puede utilizar el siguiente script de muestra.

3. Alcances

Esta biblioteca utiliza los siguientes 2 ámbitos.

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

Cuando se instala esta biblioteca, los alcances anteriores se instalan automáticamente en su proyecto de Google Apps Script.

5. Prepara una carpeta

Cree una nueva carpeta en su Google Drive.

Si ya tiene algunas imágenes, colóquelas en esta carpeta.

4. Guión

Copie y pegue el siguiente script en el editor de scripts de su proyecto de Google Apps Script. Y configure el ID de la carpeta creada en folderId en la función init_ .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}

5. Implementar aplicaciones web

Esta biblioteca se utiliza con aplicaciones web. Por lo tanto, implemente aplicaciones web de la siguiente manera. La información detallada se puede ver en el documento oficial.

Configúrelo utilizando el editor de secuencias de comandos de su proyecto de Google Apps Script.

En el editor de secuencias de comandos, en la parte superior derecha del editor de secuencias de comandos, haga clic en "hacer clic en Implementar" -> "Nueva implementación".
Haga clic en "Seleccionar tipo" -> "Aplicación web".
Ingrese la información sobre la aplicación web en los campos bajo "Configuración de implementación".
Seleccione "Yo" para "Ejecutar como" .
Seleccione "Cualquier persona" en "Quién tiene acceso a la aplicación:" .
Haga clic en el botón "Implementar".
En el editor de secuencias de comandos, en la parte superior derecha del editor de secuencias de comandos, haga clic en "hacer clic en Implementar" -> "Probar implementaciones".
Copie la URL de aplicaciones web. Es como https://script.google.com/macros/s/###/exec .

Cuando modifique el script de aplicaciones web de Google Apps, modifique la implementación como una nueva versión. De esta manera, el script modificado se refleja en las aplicaciones web. Por favor tenga cuidado con esto.
Puede ver los detalles de esto en mi informe "Reimplementación de aplicaciones web sin cambiar la URL de las aplicaciones web para un nuevo IDE".

6. Pruebas

Antes de continuar, si su carpeta contiene imágenes, ejecute la función putImageDescriptionsToCorpus . Esto genera descripciones para sus imágenes y las agrega al corpus.

Para utilizar esta biblioteca: