ImageBotApp

图像机器人应用程序

麻省理工学院许可证

概述

这是使用 Gemini 以及 Google Apps 脚本和 Google Drive 的图像机器人。

描述

最近发布的 Gemini 作为 Vertex AI 和 Google AI Studio 上的可访问 API，使开发人员能够将其丰富的功能集成到他们的应用程序中，这可能会彻底改变教育、医疗保健和商业等领域。最近发布的 Gemini 1.5 添加了更强大的功能，该工具有望产生更大的影响。参考和参考 我相信 Gemini 显着扩展了各个领域的多样化应用的潜力。为了展示其潜力，本报告介绍了一个使用 Gemini 以及 Google Apps 脚本和 Google Drive 的图像机器人。这只是开发人员可以使用 Gemini 构建的许多引人注目的用例之一。

原则

此图说明了该图像机器人的工作流程。

作为先决条件，它假设一些图像已放入 Google Drive 的文件夹中，并且每个图像的描述已放入语料库中。

1. 用户提出问题。
2. Google Apps 脚本向 Gemini API 发送请求。
3. Gemini API 使用 Google Apps 脚本项目中的参数识别合适的函数。
4. Google Apps 脚本使用给定的参数执行所选函数。而且，Google Apps 脚本使用语义搜索来分析图像描述语料库以查找相关图像。
5. 在 Google Apps 脚本中运行的函数返回一个响应值。
6. Google Apps 脚本将响应值传输回 Gemini API。
7. Google Apps 脚本将函数的响应与 Gemini 的见解相结合，生成全面的答案。
8. 最终响应通过图像机器人界面传回给用户。

作为附加信息，该图像机器人应用程序利用 Gemini 的函数调用来有效地分析和处理图像。正如我之前的报告《Gemini 和 Google Apps 脚本函数调用指南》中所述：https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45”，这种方法允许在 Google Apps 脚本环境中无缝集成 Gemini 的功能，从而实现强大的图像处理功能。

用法

1.安装库

我担心本例中的 Google Apps 脚本项目可能有点复杂。为了简化测试，我将其准备为 Google Apps 脚本库。您可以直接在自己的项目中使用它，如果您不想使用该库，也可以将脚本复制并粘贴到您的 Google Apps 脚本项目中。

以下是如何将该示例用作库。使用以下步骤安装库。

1. 创建一个 GAS 项目。

   • 您可以将此库用于独立脚本类型和容器绑定脚本类型的 GAS 项目。

2. 安装这个库。

   • 库的项目密钥是1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q 。

2. 将 Google Cloud Platform 项目链接到新 IDE 的 Google Apps 脚本项目

在这种情况下，您可以在我的存储库中了解如何执行此操作。

另外，请在 API 控制台启用生成语言 API。

经过上述设置后，就可以使用下面的示例脚本了。

3.范围

该库使用以下 2 个范围。

• https://www.googleapis.com/auth/script.external_request
• https://www.googleapis.com/auth/generative-language.retriever
• https://www.googleapis.com/auth/drive

安装此库后，上述范围会自动安装到您的 Google Apps 脚本项目中。

5.准备一个文件夹

请在您的 Google 云端硬盘中创建一个新文件夹。

如果您已经有一些图像，请将它们放入此文件夹中。

4. 脚本

请将以下脚本复制并粘贴到您的 Google Apps 脚本项目的脚本编辑器中。并且，请在函数init_中将您创建的文件夹的文件夹ID设置为folderId 。

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} 

5. 部署Web应用程序

该库与 Web 应用程序一起使用。因此，请按如下方式部署 Web Apps。详细信息可以看官方文档。

请使用您的 Google Apps 脚本项目的脚本编辑器进行设置。

1. 在脚本编辑器中，请在脚本编辑器的右上角单击“单击部署”->“新建部署”。
2. 请点击“选择类型”->“Web App”。
3. 请在“部署配置”下的字段中输入有关Web应用程序的信息。
4. 请为“执行为”选择“我” 。
5. 请为“谁有权访问该应用程序：”选择“任何人” 。
6. 请点击“部署”按钮。
7. 在脚本编辑器中，请在脚本编辑器的右上角单击“单击部署”->“测试部署”。
8. 复制 Web 应用程序 URL。就像https://script.google.com/macros/s/###/exec 。

• 当您修改Web Apps的Google Apps脚本时，请将部署修改为新版本。这样，修改后的脚本就会反映在Web Apps中。请注意这一点。

• 您可以在我的报告“重新部署 Web 应用程序而不更改新 IDE 的 Web 应用程序的 URL”中查看详细信息。

6. 测试

在继续之前，如果您的文件夹包含图像，请运行putImageDescriptionsToCorpus函数。这会生成图像的描述并将其添加到语料库中。

要使用该库：

• 在浏览器中打开 Web 应用程序 URL。您将在页面顶部看到演示图像，就像本文中一样。

目前，您可以搜索并上传图片作为示例。

笔记

• 这是一个使用 Gemini 的简单应用程序。不过，我相信这将有助于用户了解Gemini。

---

执照

麻省理工学院

作者

田池

捐

更新历史

• v1.0.0（2024 年 2 月 22 日）

  1. 初次发布。

顶部