ImageBotApp

Licença MIT

Visão geral

Este é o bot de imagem usando Gemini com Google Apps Script e Google Drive.

Descrição

O recente lançamento do Gemini como uma API acessível na Vertex AI e no Google AI Studio permite que os desenvolvedores integrem seus vastos recursos em seus aplicativos, revolucionando potencialmente campos como educação, saúde e negócios. Adicionando recursos ainda mais poderosos com o recentemente anunciado Gemini 1.5, esta ferramenta promete um impacto ainda maior. Ref e Ref Acredito que o Gemini expande significativamente o potencial para diversas aplicações em vários campos. Para mostrar seu potencial, este relatório apresenta um bot de imagem usando Gemini com Google Apps Script e Google Drive. Este é apenas um exemplo dos muitos casos de uso atraentes que os desenvolvedores podem construir com o Gemini.

Princípio

Esta imagem ilustra o fluxo de trabalho deste bot de imagem.

Como pré-requisito, supõe que algumas imagens sejam colocadas em uma pasta do seu Google Drive, e as descrições de cada imagem sejam colocadas em um corpus.

O usuário faz uma pergunta.
O Google Apps Script envia uma solicitação à API Gemini.
A API Gemini identifica uma função adequada com os argumentos do projeto do Google Apps Script.
O Google Apps Script executa a função escolhida com os argumentos fornecidos. E o Google Apps Script analisa o corpus de descrições de imagens usando pesquisa semântica para encontrar imagens relevantes.
A função em execução no Google Apps Script retorna um valor de resposta.
O Google Apps Script transmite o valor da resposta de volta para a API Gemini.
O Google Apps Script mescla a resposta da função com os insights do Gemini, gerando uma resposta abrangente.
A resposta final é entregue ao usuário por meio da interface do bot de imagem.

Como informação adicional, este aplicativo de bot de imagem aproveita a chamada de função com o Gemini para analisar e processar imagens com eficiência. Conforme descrito em meu relatório anterior "Guia para chamadas de função com Gemini e Google Apps Script: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45", essa abordagem permite a integração perfeita dos recursos do Gemini no ambiente do Google Apps Script, possibilitando uma poderosa funcionalidade de processamento de imagens.

Uso

1. Instale a biblioteca

Estou preocupado que o projeto do Google Apps Script, neste caso, possa ser um pouco complexo. Para simplificar os testes, preparei-o como uma biblioteca de scripts do Google Apps. Você pode usá-lo diretamente em seu próprio projeto ou copiar e colar os scripts em seu projeto do Google Apps Script se preferir não usar a biblioteca.

Veja como usar o exemplo como uma biblioteca. Instale a biblioteca usando as etapas a seguir.

Crie um projeto GAS.
- Você pode usar esta biblioteca para o projeto GAS dos tipos de script autônomo e vinculado a contêiner.
Instale esta biblioteca.
- A chave do projeto da biblioteca é 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. Vinculando o projeto Google Cloud Platform ao projeto de script do Google Apps para novo IDE

Neste caso, você pode ver como fazer isso no meu repositório.

Além disso, habilite a API Generative Language no console da API.

Após a configuração acima, o script de exemplo a seguir pode ser usado.

3. Escopos

Esta biblioteca usa os 2 escopos a seguir.

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

Quando esta biblioteca é instalada, os escopos acima são instalados automaticamente em seu projeto do Google Apps Script.

5. Prepare uma pasta

Crie uma nova pasta no seu Google Drive.

Se você já possui algumas imagens, coloque-as nesta pasta.

4. Roteiro

Copie e cole o script a seguir no editor de script do seu projeto do Google Apps Script. E defina o ID da pasta criada como folderId na função init_ .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}

5. Implante aplicativos da web

Esta biblioteca é usada com aplicativos da Web. Portanto, implante aplicativos da Web da seguinte maneira. As informações detalhadas podem ser conferidas no documento oficial.

Defina isso usando o editor de script do seu projeto do Google Apps Script.

No editor de script, no canto superior direito do editor de script, clique em "clique em Implantar" -> "Nova implantação".
Por favor clique em "Selecionar tipo" -> "Web App".
Insira as informações sobre o Web App nos campos em "Configuração de implantação".
Selecione "Eu" para "Executar como" .
Selecione "Qualquer pessoa" para "Quem tem acesso ao aplicativo:" .
Clique no botão "Implantar".
No editor de script, no canto superior direito do editor de script, clique em "clique em Implantar" -> "Testar implantações".
Copie o URL dos aplicativos da Web. É como https://script.google.com/macros/s/###/exec .

Ao modificar o script do Google Apps de aplicativos da Web, modifique a implantação como uma nova versão. Com isso, o script modificado é refletido nos aplicativos da Web. Por favor, tenha cuidado com isso.
Você pode ver os detalhes disso em meu relatório "Reimplantando aplicativos da Web sem alterar a URL dos aplicativos da Web para o novo IDE".

6. Teste

Antes de continuar, se sua pasta contiver imagens, execute a função putImageDescriptionsToCorpus . Isso gera descrições para suas imagens e as adiciona ao corpus.

Para usar esta biblioteca: