ImageBotApp

画像ボットアプリ

MITライセンス

概要

これは、Gemini と Google Apps Script および Google Drive を使用した画像ボットです。

説明

最近リリースされた Gemini は、Vertex AI および Google AI Studio 上のアクセス可能な API として、開発者がその膨大な機能をアプリケーションに統合できるようになり、教育、医療、ビジネスなどの分野に革命を起こす可能性があります。最近発表された Gemini 1.5 にさらに強力な機能が追加されたこのツールは、さらに大きな効果を約束します。 Ref と Ref Gemini は、さまざまな分野にわたる多様なアプリケーションの可能性を大幅に拡大すると信じています。このレポートでは、その可能性を示すために、Gemini と Google Apps Script および Google Drive を使用した画像ボットを紹介します。これは、開発者が Gemini を使用して構築できる多くの魅力的なユースケースのうちの 1 つの例にすぎません。

原理

この画像は、この画像ボットのワークフローを示しています。

前提条件として、いくつかの画像が Google ドライブのフォルダーに置かれ、各画像の説明がコーパスに入れられていると仮定します。

1. ユーザーが質問をします。
2. Google Apps Script は Gemini API にリクエストを送信します。
3. Gemini API は、Google Apps Script プロジェクト内の引数を使用して適切な関数を識別します。
4. Google Apps Script は、指定された引数を使用して選択された関数を実行します。また、Google Apps Script は、セマンティック検索を使用して画像説明のコーパスを分析し、関連する画像を見つけます。
5. Google Apps Script で実行される関数は応答値を返します。
6. Google Apps Script は応答値を Gemini API に送り返します。
7. Google Apps Script は、関数の応答と Gemini の洞察を結合し、包括的な答えを生成します。
8. 最終的な応答は、画像ボット インターフェイスを通じてユーザーに返されます。

追加情報として、この画像ボット アプリケーションは、Gemini による関数呼び出しを活用して、画像を効率的に分析および処理します。以前のレポート「Gemini と Google Apps Script を使用した関数呼び出しガイド: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script-」で概説したように、 0e058d472f45"、このアプローチにより、Google Apps Script 環境内で Gemini の機能をシームレスに統合でき、強力な画像処理機能が可能になります。

使用法

1. ライブラリをインストールする

この場合の Google Apps Script プロジェクトは少し複雑になるのではないかと心配しています。テストを簡単にするために、Google Apps Script ライブラリとして準備しました。ライブラリを使用したくない場合は、独自のプロジェクト内で直接使用することも、スクリプトをコピーして Google Apps Script プロジェクトに貼り付けることもできます。

サンプルをライブラリとして使用する方法を説明します。次の手順に従ってライブラリをインストールします。

1. GAS プロジェクトを作成します。

   • このライブラリは、スタンドアロン スクリプト タイプとコンテナ バインド スクリプト タイプの両方の GAS プロジェクトに使用できます。

2. このライブラリをインストールします。

   • ライブラリのプロジェクト キーは1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Qです。

2. Google Cloud Platform プロジェクトを新しい IDE 用の Google Apps Script プロジェクトにリンクする

この場合、これを行う方法は私のリポジトリで確認できます。

また、API コンソールで Generative Language API を有効にしてください。

上記設定後、以下のサンプルスクリプトが利用可能になります。

3. スコープ

このライブラリでは以下の 2 つのスコープを使用します。

• https://www.googleapis.com/auth/script.external_request
• https://www.googleapis.com/auth/generative-language.retriever
• https://www.googleapis.com/auth/drive

このライブラリをインストールすると、上記のスコープが Google Apps Script プロジェクトに自動的にインストールされます。

5. フォルダーを準備する

Google ドライブに新しいフォルダーを作成してください。

すでに画像をお持ちの場合は、このフォルダーに入れてください。

4. スクリプト

次のスクリプトをコピーして、Google Apps Script プロジェクトのスクリプト エディタに貼り付けてください。そして、作成したフォルダーのフォルダーIDを関数init_のfolderIdに設定してください。

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} 

5. Web アプリの展開

このライブラリは Web アプリで使用されます。したがって、次のように Web Apps をデプロイしてください。詳細な情報は公式ドキュメントで確認できます。

Google Apps Script プロジェクトのスクリプト エディタを使用して設定してください。

1. スクリプトエディターの右上にある「デプロイをクリック」→「新規デプロイメント」をクリックしてください。
2. 「タイプの選択」→「Webアプリ」をクリックしてください。
3. 「展開構成」の下のフィールドに Web アプリに関する情報を入力してください。
4. 「実行名」は「自分」を選択してください。
5. 「アプリにアクセスできる人:」で「誰でも」を選択してください。
6. 「デプロイ」ボタンをクリックしてください。
7. スクリプトエディターの右上にある「デプロイをクリック」→「デプロイメントのテスト」をクリックしてください。
8. Web アプリの URL をコピーします。 https://script.google.com/macros/s/###/execのようなものです。

• Web AppsのGoogle Apps Scriptを変更する場合は、新しいバージョンとしてデプロイを変更してください。これにより、変更したスクリプトがWeb Appsに反映されます。ご注意ください。

• この詳細については、私のレポート「新しい IDE の Web アプリの URL を変更せずに Web アプリを再デプロイする」を参照してください。

6. テスト

続行する前に、フォルダーに画像が含まれている場合は、 putImageDescriptionsToCorpus関数を実行してください。これにより、画像の説明が生成され、コーパスに追加されます。

このライブラリを使用するには:

• ブラウザで Web アプリの URL を開きます。この投稿と同じように、ページの上部にデモ画像が表示されます。

現在、サンプルとして画像を検索してアップロードできます。

注記

• これは Gemini を使用したシンプルなアプリケーションです。しかし、ユーザーが Gemini を理解するのに役立つと信じています。

---

ライセンス

マサチューセッツ工科大学

著者

棚池

寄付する

更新履歴

• v1.0.0 (2024 年 2 月 22 日)

  1. 初期リリース。

トップ