ImageBotApp

이미지봇앱

MIT 라이센스

개요

Google Apps Script 및 Google Drive와 함께 Gemini를 사용하는 이미지 봇입니다.

설명

Vertex AI 및 Google AI Studio에서 액세스 가능한 API로 최근 출시된 Gemini는 개발자가 방대한 기능을 애플리케이션에 통합하여 교육, 의료, 비즈니스와 같은 분야에 혁신을 일으킬 수 있는 역량을 제공합니다. 최근 발표된 Gemini 1.5에 더욱 강력한 기능을 추가한 이 도구는 훨씬 더 큰 효과를 약속합니다. Ref 및 Ref 저는 Gemini가 다양한 분야에 걸쳐 다양한 애플리케이션의 잠재력을 크게 확장한다고 믿습니다. 잠재력을 보여주기 위해 이 보고서에서는 Google Apps Script 및 Google Drive와 함께 Gemini를 사용하는 이미지 봇을 소개합니다. 이는 개발자가 Gemini를 사용하여 구축할 수 있는 수많은 매력적인 사용 사례 중 하나의 예일 뿐입니다.

원칙

이 이미지는 이 이미지 봇의 워크플로를 보여줍니다.

전제조건으로 일부 이미지가 구글 드라이브 폴더에 들어가고, 각 이미지에 대한 설명이 코퍼스에 들어있다고 가정합니다.

1. 사용자가 질문을 합니다.
2. Google Apps Script는 Gemini API에 요청을 보냅니다.
3. Gemini API는 Google Apps Script 프로젝트 내의 인수로 적합한 함수를 식별합니다.
4. Google Apps Script는 주어진 인수를 사용하여 선택한 함수를 실행합니다. 그리고 Google Apps Script는 의미 검색을 통해 이미지 설명 모음을 분석하여 관련 이미지를 찾습니다.
5. Google Apps Script에서 실행되는 함수는 응답 값을 반환합니다.
6. Google Apps Script는 응답 값을 Gemini API로 다시 전송합니다.
7. Google Apps Script는 함수의 응답을 Gemini의 통찰력과 병합하여 포괄적인 답변을 생성합니다.
8. 최종 응답은 이미지 봇 인터페이스를 통해 사용자에게 다시 전달됩니다.

추가 정보로, 이 이미지 봇 애플리케이션은 Gemini를 사용한 함수 호출을 활용하여 이미지를 효율적으로 분석하고 처리합니다. 이전 보고서 "Gemini 및 Google Apps Script를 사용한 함수 호출 가이드: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script-"에 설명된 대로 0e058d472f45", 이 접근 방식을 사용하면 Google Apps Script 환경 내에서 Gemini의 기능을 원활하게 통합하여 강력한 이미지 처리 기능을 사용할 수 있습니다.

용법

1. 라이브러리 설치

이 경우 Google Apps Script 프로젝트가 약간 복잡할 수 있다는 점이 걱정됩니다. 테스트를 단순화하기 위해 Google Apps Script 라이브러리로 준비했습니다. 라이브러리를 사용하지 않으려면 자신의 프로젝트 내에서 직접 사용하거나 Google Apps Script 프로젝트에 스크립트를 복사하여 붙여넣을 수 있습니다.

샘플을 라이브러리로 사용하는 방법은 다음과 같습니다. 다음 단계에 따라 라이브러리를 설치하십시오.

1. GAS 프로젝트를 생성합니다.

   • 독립 실행형 및 컨테이너 바인딩 스크립트 유형 모두의 GAS 프로젝트에 이 라이브러리를 사용할 수 있습니다.

2. 이 라이브러리를 설치하세요.

   • 라이브러리의 프로젝트 키는 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q 입니다.

2. 새로운 IDE를 위해 Google Cloud Platform 프로젝트를 Google Apps Script 프로젝트에 연결

이 경우 내 저장소에서 이 작업을 수행하는 방법을 확인할 수 있습니다.

또한 API 콘솔에서 Generative Language API를 활성화하세요.

위 설정 후 다음 샘플 스크립트를 사용할 수 있습니다.

3. 범위

이 라이브러리는 다음 2가지 범위를 사용합니다.

• https://www.googleapis.com/auth/script.external_request
• https://www.googleapis.com/auth/generative-language.retriever
• https://www.googleapis.com/auth/drive

이 라이브러리가 설치되면 위 범위가 Google Apps Script 프로젝트에 자동으로 설치됩니다.

5. 폴더 준비

Google 드라이브에 새 폴더를 만드세요.

이미 이미지가 있다면 이 폴더에 넣어주세요.

4. 스크립트

다음 스크립트를 복사하여 Google Apps Script 프로젝트의 스크립트 편집기에 붙여넣으세요. 그리고 init_ 함수에서 생성된 폴더의 폴더 ID를 folderId 로 설정하세요.

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} 

5. 웹 앱 배포

이 라이브러리는 Web Apps와 함께 사용됩니다. 따라서 다음과 같이 Web Apps를 배포하시기 바랍니다. 자세한 내용은 공식 문서에서 확인할 수 있다.

Google Apps Script 프로젝트의 스크립트 편집기를 사용하여 이를 설정하세요.

1. 스크립트 편집기에서 오른쪽 상단의 "배포 클릭" -> "새 배포"를 클릭하세요.
2. '유형 선택' -> '웹 앱'을 클릭하세요.
3. "배포 구성" 아래의 필드에 웹 앱에 대한 정보를 입력하십시오.
4. "다음으로 실행" 에서 "나"를 선택하십시오.
5. "앱에 액세스할 수 있는 사람:" 에 대해 "누구나"를 선택하세요.
6. "배포" 버튼을 클릭해주세요.
7. 스크립트 편집기의 오른쪽 상단에서 "배포 클릭" -> "배포 테스트"를 클릭하세요.
8. 웹 앱 URL을 복사합니다. https://script.google.com/macros/s/###/exec 와 같습니다.

• Web Apps의 Google Apps Script를 수정하는 경우 새 버전으로 배포를 수정하세요. 이로써 수정된 스크립트가 Web Apps에 반영됩니다. 이에 주의하시기 바랍니다.

• 이에 대한 자세한 내용은 내 보고서 "새 IDE에 대한 웹 앱의 URL을 변경하지 않고 웹 앱 재배포"에서 확인할 수 있습니다.

6. 테스트

계속하기 전에 폴더에 이미지가 포함되어 있는 경우 putImageDescriptionsToCorpus 함수를 실행하세요. 이렇게 하면 이미지에 대한 설명이 생성되어 코퍼스에 추가됩니다.

이 라이브러리를 사용하려면:

• 브라우저에서 Web Apps URL을 엽니다. 이 게시물과 마찬가지로 페이지 상단에 데모 이미지가 표시됩니다.

현재는 이미지를 샘플로 검색하고 업로드할 수 있습니다.

메모

• Gemini를 이용한 간단한 애플리케이션입니다. 하지만 사용자들이 Gemini를 이해하는 데 도움이 될 것이라고 믿습니다.

---

특허

MIT

작가

다나이케

기부

업데이트 기록

• v1.0.0(2024년 2월 22일)

  1. 최초 출시.

맨 위