Aplikasi ImageBot

Lisensi MIT

Ringkasan

Ini adalah bot gambar menggunakan Gemini dengan Google Apps Script dan Google Drive.

Keterangan

Peluncuran Gemini baru-baru ini sebagai API yang dapat diakses di Vertex AI dan Google AI Studio memberdayakan pengembang untuk mengintegrasikan kemampuannya yang luas ke dalam aplikasi mereka, yang berpotensi merevolusi bidang seperti pendidikan, layanan kesehatan, dan bisnis. Menambahkan fitur yang lebih canggih dengan Gemini 1.5 yang baru diumumkan, alat ini menjanjikan dampak yang lebih besar. Ref dan Ref Saya yakin Gemini secara signifikan memperluas potensi penerapan beragam di berbagai bidang. Untuk menunjukkan potensinya, laporan ini memperkenalkan bot gambar menggunakan Gemini dengan Google Apps Script dan Google Drive. Ini hanyalah salah satu contoh dari banyak kasus penggunaan menarik yang dapat dibangun oleh pengembang dengan Gemini.

Prinsip

Gambar ini mengilustrasikan alur kerja bot gambar ini.

Sebagai prasyaratnya, diasumsikan beberapa gambar dimasukkan ke dalam folder Google Drive Anda, dan deskripsi setiap gambar telah dimasukkan ke dalam korpus.

Pengguna memberikan pertanyaan.
Google Apps Script mengirimkan permintaan ke Gemini API.
Gemini API mengidentifikasi fungsi yang sesuai dengan argumen dalam proyek Google Apps Script.
Google Apps Script menjalankan fungsi yang dipilih dengan argumen yang diberikan. Dan, Google Apps Script menganalisis kumpulan deskripsi gambar menggunakan penelusuran semantik untuk menemukan gambar yang relevan.
Fungsi yang berjalan di Google Apps Script mengembalikan nilai respons.
Google Apps Script mengirimkan nilai respons kembali ke API Gemini.
Google Apps Script menggabungkan respons fungsi dengan wawasan Gemini, sehingga menghasilkan jawaban yang komprehensif.
Respons akhir dikirimkan kembali ke pengguna melalui antarmuka bot gambar.

Sebagai tambahan informasi, aplikasi bot gambar ini memanfaatkan pemanggilan fungsi dengan Gemini untuk menganalisis dan memproses gambar secara efisien. Sebagaimana diuraikan dalam laporan saya sebelumnya "Panduan Panggilan Fungsi dengan Gemini dan Skrip Google Apps: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45", pendekatan ini memungkinkan integrasi kemampuan Gemini dengan lancar dalam lingkungan Google Apps Script, sehingga memungkinkan fungsi pemrosesan gambar yang canggih.

Penggunaan

1. Instal perpustakaan

Saya khawatir proyek Google Apps Script dalam kasus ini mungkin agak rumit. Untuk menyederhanakan pengujian, saya telah menyiapkannya sebagai perpustakaan Google Apps Script. Anda dapat menggunakannya langsung dalam proyek Anda sendiri atau menyalin dan menempelkan skrip ke proyek Google Apps Script jika Anda memilih untuk tidak menggunakan perpustakaan.

Berikut cara menggunakan sampel sebagai perpustakaan. Instal perpustakaan menggunakan langkah-langkah berikut.

Buat proyek GAS.
- Anda dapat menggunakan pustaka ini untuk proyek GAS dari jenis skrip mandiri dan terikat kontainer.
Instal perpustakaan ini.
- Kunci proyek perpustakaan adalah 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. Menautkan Proyek Google Cloud Platform ke Proyek Skrip Google Apps untuk IDE Baru

Dalam hal ini, Anda dapat melihat cara melakukannya di repositori saya.

Selain itu, harap aktifkan API Bahasa Generatif di konsol API.

Setelah pengaturan di atas, contoh skrip berikut dapat digunakan.

3. Lingkup

Perpustakaan ini menggunakan 2 cakupan berikut.

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

Saat perpustakaan ini dipasang, cakupan di atas secara otomatis dipasang ke proyek Google Apps Script Anda.

5. Siapkan mapnya

Silakan buat folder baru di Google Drive Anda.

Jika Anda sudah memiliki beberapa gambar, silakan masukkan ke dalam folder ini.

4. Naskah

Silakan salin dan tempel skrip berikut ke editor skrip proyek Google Apps Script Anda. Dan, silakan atur ID folder dari folder yang Anda buat ke folderId dalam fungsi init_ .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}

5. Terapkan Aplikasi Web

Perpustakaan ini digunakan dengan Aplikasi Web. Jadi, silakan terapkan Aplikasi Web sebagai berikut. Informasi detailnya dapat dilihat di dokumen resmi.

Harap setel ini menggunakan editor skrip proyek Google Apps Script Anda.

Pada editor skrip, di kanan atas editor skrip, silakan klik "klik Deploy" -> "New deployment".
Silakan klik "Pilih jenis" -> "Aplikasi Web".
Silakan masukkan informasi tentang Aplikasi Web di kolom di bawah "Konfigurasi penerapan".
Silakan pilih "Saya" untuk "Jalankan sebagai" .
Silakan pilih "Siapa saja" untuk "Siapa yang memiliki akses ke aplikasi:" .
Silakan klik tombol "Terapkan".
Pada editor skrip, di kanan atas editor skrip, silakan klik "klik Deploy" -> "Test deployments".
Salin URL Aplikasi Web. Ini seperti https://script.google.com/macros/s/###/exec .

Saat Anda memodifikasi Skrip Google Apps pada Web Apps, harap ubah penerapannya sebagai versi baru. Dengan ini, skrip yang dimodifikasi tercermin dalam Aplikasi Web. Harap berhati-hati tentang hal ini.
Anda dapat melihat detailnya di laporan saya "Menerapkan Ulang Aplikasi Web tanpa Mengubah URL Aplikasi Web untuk IDE baru".

6. Pengujian

Sebelum melanjutkan, jika folder Anda berisi gambar, jalankan fungsi putImageDescriptionsToCorpus . Ini menghasilkan deskripsi untuk gambar Anda dan menambahkannya ke korpus.

Untuk menggunakan perpustakaan ini: