圖像機器人應用程式

麻省理工學院許可證

概述

這是使用 Gemini 以及 Google Apps 腳本和 Google Drive 的圖像機器人。

描述

最近發布的 Gemini 作為 Vertex AI 和 Google AI Studio 上的可訪問 API，使開發人員能夠將其豐富的功能整合到他們的應用程式中，這可能會徹底改變教育、醫療保健和商業等領域。最近發布的 Gemini 1.5 增加了更強大的功能，該工具有望產生更大的影響。參考與參考我相信 Gemini 顯著擴展了各個領域的多樣化應用的潛力。為了展示其潛力，本報告介紹了一個使用 Gemini 以及 Google Apps 腳本和 Google Drive 的圖像機器人。這只是開發人員可以使用 Gemini 建立的許多引人注目的用例之一。

原則

此圖說明了此影像機器人的工作流程。

作為先決條件，它假設一些圖像已放入 Google Drive 的資料夾中，並且每個圖像的描述已放入語料庫中。

用戶提出問題。
Google Apps 腳本向 Gemini API 發送請求。
Gemini API 使用 Google Apps 腳本專案中的參數來辨識適當的函數。
Google Apps 腳本使用給定的參數執行所選函數。而且，Google Apps 腳本使用語義搜尋來分析圖像描述語料庫以尋找相關圖像。
在 Google Apps 腳本中執行的函數會傳回一個回應值。
Google Apps 腳本將回應值傳回 Gemini API。
Google Apps 腳本將函數的回應與 Gemini 的見解結合，產生全面的答案。
最終響應透過圖像機器人介面傳回給用戶。

作為附加訊息，該圖像機器人應用程式利用 Gemini 的函數呼叫來有效地分析和處理圖像。正如我之前的報告《Gemini 和Google Apps 腳本函數呼叫指南》中所述：https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script - 0e058d472f45”，這種方法允許在 Google Apps 腳本環境中無縫整合 Gemini 的功能，從而實現強大的影像處理功能。

用法

1.安裝庫

我擔心本例中的 Google Apps 腳本專案可能有點複雜。為了簡化測試，我將其準備為 Google Apps 腳本庫。您可以直接在自己的專案中使用它，如果您不想使用該程式庫，您也可以將腳本複製並貼上到您的 Google Apps 腳本專案中。

以下是如何將該範例用作庫。使用以下步驟安裝庫。

建立一個 GAS 專案。
- 您可以將此程式庫用於獨立腳本類型和容器綁定腳本類型的 GAS 專案。
安裝這個庫。
- 庫的項目金鑰是1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q 。

2. 將 Google Cloud Platform 專案連結到新 IDE 的 Google Apps 腳本項目

在這種情況下，您可以在我的存儲庫中了解如何執行此操作。

另外，請在 API 控制台啟用生成語言 API。

經過上述設定後，就可以使用下面的範例腳本了。

3.範圍

該庫使用以下 2 個範圍。

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

安裝此程式庫後，上述範圍會自動安裝到您的 Google Apps 腳本專案中。

5.準備一個資料夾

請在您的 Google 雲端硬碟中建立一個新資料夾。

如果您已經有一些圖像，請將它們放入此資料夾中。

4. 腳本

請將以下腳本複製並貼上到您的 Google Apps 腳本專案的腳本編輯器中。並且，請在函數init_中將您建立的資料夾的資料夾ID設定為folderId 。

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}