ImageBotApp
v1.0.0
Лицензия MIT
Это графический бот, использующий Gemini с Google Apps Script и Google Drive.
Недавний выпуск Gemini в качестве доступного API для Vertex AI и Google AI Studio дает разработчикам возможность интегрировать его обширные возможности в свои приложения, что потенциально совершит революцию в таких областях, как образование, здравоохранение и бизнес. Добавляя еще более мощные функции в недавно анонсированную версию Gemini 1.5, этот инструмент обещает еще больший эффект. Ref и Ref Я считаю, что Gemini значительно расширяет возможности разнообразных приложений в различных областях. Чтобы продемонстрировать его потенциал, в этом отчете представлен графический бот, использующий Gemini с Google Apps Script и Google Drive. Это лишь один из многих интересных вариантов использования, которые разработчики могут реализовать с помощью Gemini.
Это изображение иллюстрирует рабочий процесс этого графического бота.
В качестве предварительного условия предполагается, что некоторые изображения помещены в папку вашего Google Диска, а описания каждого изображения помещены в корпус.
В качестве дополнительной информации это приложение-бот для изображений использует вызов функций с помощью Gemini для эффективного анализа и обработки изображений. Как указано в моем предыдущем отчете «Руководство по вызову функций с помощью Gemini и скрипта Google Apps: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45", этот подход обеспечивает плавную интеграцию возможностей Gemini со средой Google Apps Script, обеспечивая мощные функции обработки изображений.
Меня беспокоит, что проект Google Apps Script в этом случае может оказаться немного сложным. Чтобы упростить тестирование, я подготовил его как библиотеку сценариев Google Apps. Вы можете использовать ее непосредственно в своем собственном проекте или скопировать и вставить сценарии в свой проект сценариев Google Apps, если вы предпочитаете не использовать библиотеку.
Вот как можно использовать образец в качестве библиотеки. Установите библиотеку, выполнив следующие действия.
Создайте проект GAS.
Установите эту библиотеку.
1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q . В этом случае вы можете посмотреть, как это сделать, в моем репозитории.
Также включите API генеративного языка на консоли API.
После вышеуказанной настройки можно использовать следующий пример сценария.
Эта библиотека использует следующие две области видимости.
https://www.googleapis.com/auth/script.external_requesthttps://www.googleapis.com/auth/generative-language.retrieverhttps://www.googleapis.com/auth/driveПри установке этой библиотеки указанные выше области автоматически устанавливаются в ваш проект Google Apps Script.
Пожалуйста, создайте новую папку на вашем Google Диске.
Если у вас уже есть изображения, поместите их в эту папку.
Скопируйте и вставьте следующий скрипт в редактор скриптов вашего проекта Google Apps Script. И, пожалуйста, установите идентификатор папки, созданной вами, folderId в функции init_ .
function init_ ( ) {
// Please set the folder ID of the folder including images.
const folderId = "###" ;
const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
return { folderId , newCorpusName , newDocumentName } ;
}
// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;
// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} Эта библиотека используется с веб-приложениями. Поэтому разверните веб-приложения следующим образом. Подробную информацию можно увидеть в официальном документе.
Установите это значение с помощью редактора сценариев вашего проекта Google Apps Script.
https://script.google.com/macros/s/###/exec .При изменении сценария Google Apps для веб-приложений измените развертывание как новую версию. При этом измененный сценарий отображается в веб-приложениях. Пожалуйста, будьте осторожны с этим.
Подробности об этом можно увидеть в моем отчете «Переразвертывание веб-приложений без изменения URL-адресов веб-приложений для новой IDE».
Прежде чем продолжить, если ваша папка содержит изображения, запустите функцию putImageDescriptionsToCorpus . При этом создаются описания для ваших изображений и добавляются в корпус.
Чтобы использовать эту библиотеку:
В настоящее время вы можете искать и загружать изображения в качестве образца.
Массачусетский технологический институт
Танаике
Пожертвовать
v1.0.0 (22 февраля 2024 г.)
ВЕРШИНА
