ImageBotApp

ImageBotApp

MIT-Lizenz

Überblick

Dies ist der Image-Bot, der Gemini mit Google Apps Script und Google Drive verwendet.

Beschreibung

Die jüngste Veröffentlichung von Gemini als zugängliche API auf Vertex AI und Google AI Studio ermöglicht es Entwicklern, seine umfangreichen Funktionen in ihre Anwendungen zu integrieren und so Bereiche wie Bildung, Gesundheitswesen und Wirtschaft möglicherweise zu revolutionieren. Durch die Hinzufügung noch leistungsfähigerer Funktionen mit dem kürzlich angekündigten Gemini 1.5 verspricht dieses Tool eine noch größere Wirkung. Ref und Ref Ich glaube, dass Gemini das Potenzial für vielfältige Anwendungen in verschiedenen Bereichen erheblich erweitert. Um sein Potenzial zu demonstrieren, stellt dieser Bericht einen Image-Bot vor, der Gemini mit Google Apps Script und Google Drive verwendet. Dies ist nur ein Beispiel für die vielen überzeugenden Anwendungsfälle, die Entwickler mit Gemini erstellen können.

Prinzip

Dieses Bild veranschaulicht den Arbeitsablauf dieses Bild-Bots.

Als Voraussetzung wird davon ausgegangen, dass einige Bilder in einem Ordner Ihres Google Drive abgelegt werden und die Beschreibungen der einzelnen Bilder in einem Korpus abgelegt werden.

1. Der Benutzer stellt eine Frage.
2. Google Apps Script sendet eine Anfrage an die Gemini API.
3. Die Gemini API identifiziert eine geeignete Funktion anhand der Argumente innerhalb des Google Apps Script-Projekts.
4. Google Apps Script führt die ausgewählte Funktion mit den angegebenen Argumenten aus. Und Google Apps Script analysiert den Korpus der Bildbeschreibungen mithilfe der semantischen Suche, um relevante Bilder zu finden.
5. Die in Google Apps Script ausgeführte Funktion gibt einen Antwortwert zurück.
6. Google Apps Script überträgt den Antwortwert zurück an die Gemini-API.
7. Google Apps Script führt die Antwort der Funktion mit den Erkenntnissen von Gemini zusammen und generiert so eine umfassende Antwort.
8. Die endgültige Antwort wird über die Image-Bot-Schnittstelle an den Benutzer zurückgesendet.

Als zusätzliche Information nutzt diese Bild-Bot-Anwendung Funktionsaufrufe mit Gemini, um Bilder effizient zu analysieren und zu verarbeiten. Wie in meinem vorherigen Bericht „Leitfaden zum Funktionsaufruf mit Gemini und Google Apps Script“ beschrieben: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45“ ermöglicht dieser Ansatz eine nahtlose Integration der Gemini-Funktionen in die Google Apps Script-Umgebung und ermöglicht so leistungsstarke Bildverarbeitungsfunktionen.

Verwendung

1. Bibliothek installieren

Ich befürchte, dass das Google Apps Script-Projekt in diesem Fall etwas komplex sein könnte. Um das Testen zu vereinfachen, habe ich es als Google Apps Script-Bibliothek vorbereitet. Sie können es direkt in Ihrem eigenen Projekt verwenden oder die Skripte kopieren und in Ihr Google Apps Script-Projekt einfügen, wenn Sie die Bibliothek lieber nicht verwenden möchten.

So verwenden Sie das Beispiel als Bibliothek. Installieren Sie die Bibliothek mit den folgenden Schritten.

1. Erstellen Sie ein GAS-Projekt.

   • Sie können diese Bibliothek für das GAS-Projekt sowohl für den eigenständigen als auch für den Container-gebundenen Skripttyp verwenden.

2. Installieren Sie diese Bibliothek.

   • Der Projektschlüssel der Bibliothek lautet 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. Verknüpfen des Google Cloud Platform-Projekts mit dem Google Apps Script-Projekt für eine neue IDE

In diesem Fall können Sie in meinem Repository sehen, wie das geht.

Bitte aktivieren Sie außerdem die Generative Language API in der API-Konsole.

Nach der obigen Einstellung kann das folgende Beispielskript verwendet werden.

3. Geltungsbereiche

Diese Bibliothek verwendet die folgenden zwei Bereiche.

• https://www.googleapis.com/auth/script.external_request
• https://www.googleapis.com/auth/generative-language.retriever
• https://www.googleapis.com/auth/drive

Wenn diese Bibliothek installiert wird, werden die oben genannten Bereiche automatisch in Ihrem Google Apps Script-Projekt installiert.

5. Bereiten Sie einen Ordner vor

Bitte erstellen Sie einen neuen Ordner in Ihrem Google Drive.

Wenn Sie bereits über einige Bilder verfügen, legen Sie diese bitte in diesem Ordner ab.

4. Skript

Bitte kopieren Sie das folgende Skript und fügen Sie es in den Skripteditor Ihres Google Apps Script-Projekts ein. Und setzen Sie bitte die Ordner-ID Ihres erstellten Ordners in der Funktion init_ auf folderId .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} 

5. Web-Apps bereitstellen

Diese Bibliothek wird mit Web-Apps verwendet. Stellen Sie Web-Apps daher bitte wie folgt bereit. Die detaillierten Informationen können dem offiziellen Dokument entnommen werden.

Bitte legen Sie dies mit dem Skripteditor Ihres Google Apps Script-Projekts fest.

1. Klicken Sie im Skripteditor oben rechts im Skripteditor auf „Klicken Sie auf „Bereitstellen““ -> „Neue Bereitstellung“.
2. Klicken Sie bitte auf „Typ auswählen“ -> „Web-App“.
3. Bitte geben Sie die Informationen zur Web-App in die Felder unter „Bereitstellungskonfiguration“ ein.
4. Bitte wählen Sie „Ich“ für „Ausführen als“ aus .
5. Bitte wählen Sie „Jeder“ für „Wer hat Zugriff auf die App:“ aus.
6. Bitte klicken Sie auf die Schaltfläche „Bereitstellen“.
7. Klicken Sie im Skripteditor oben rechts im Skripteditor auf „Klicken Sie auf „Bereitstellen““ -> „Bereitstellungen testen“.
8. Web-Apps-URL kopieren. Es ist wie https://script.google.com/macros/s/###/exec .

• Wenn Sie das Google Apps-Skript von Web Apps ändern, ändern Sie bitte die Bereitstellung als neue Version. Dadurch wird das geänderte Skript in Web Apps widergespiegelt. Bitte seien Sie diesbezüglich vorsichtig.

• Einzelheiten dazu finden Sie in meinem Bericht „Reploying Web Apps without Changing URL of Web Apps for new IDE“.

6. Testen

Wenn Ihr Ordner Bilder enthält, führen Sie bitte vor dem Fortfahren die Funktion putImageDescriptionsToCorpus aus. Dadurch werden Beschreibungen für Ihre Bilder generiert und dem Korpus hinzugefügt.

Um diese Bibliothek zu verwenden:

• Öffnen Sie die Web-Apps-URL in Ihrem Browser. Oben auf der Seite sehen Sie ein Demonstrationsbild, genau wie in diesem Beitrag.

Derzeit können Sie nach Beispielbildern suchen und diese hochladen.

Notiz

• Dies ist eine einfache Anwendung mit Gemini. Ich glaube jedoch, dass es den Benutzern helfen wird, Gemini zu verstehen.

---

Lizenz

MIT

Autor

Tanaike

Spenden

Update-Verlauf

• v1.0.0 (22. Februar 2024)

  1. Erstveröffentlichung.

SPITZE