ImageBotApp

ImageBotApp

ใบอนุญาตเอ็มไอที

ภาพรวม

นี่คือบอทรูปภาพที่ใช้ Gemini กับ Google Apps Script และ Google Drive

คำอธิบาย

Gemini ที่เป็น API ที่เข้าถึงได้ล่าสุดบน Vertex AI และ Google AI Studio ช่วยให้นักพัฒนาสามารถรวมความสามารถอันหลากหลายเข้ากับแอปพลิเคชันของตน ซึ่งอาจปฏิวัติวงการต่างๆ เช่น การศึกษา การดูแลสุขภาพ และธุรกิจ การเพิ่มคุณสมบัติที่ทรงพลังยิ่งขึ้นด้วย Gemini 1.5 ที่เพิ่งประกาศเมื่อเร็ว ๆ นี้ เครื่องมือนี้ให้ผลลัพธ์ที่ดียิ่งขึ้นไปอีก Ref and Ref ฉันเชื่อว่า Gemini ช่วยขยายศักยภาพสำหรับการใช้งานที่หลากหลายในสาขาต่างๆ ได้อย่างมาก เพื่อแสดงศักยภาพ รายงานนี้แนะนำบอทรูปภาพที่ใช้ Gemini กับ Google Apps Script และ Google Drive นี่เป็นเพียงตัวอย่างหนึ่งของกรณีการใช้งานที่น่าสนใจมากมายที่นักพัฒนาสามารถสร้างด้วย Gemini

หลักการ

รูปภาพนี้แสดงให้เห็นขั้นตอนการทำงานของบอทรูปภาพนี้

ตามข้อกำหนดเบื้องต้น ระบบจะถือว่าภาพบางภาพถูกใส่ไว้ในโฟลเดอร์ของ Google Drive ของคุณ และคำอธิบายของแต่ละภาพได้ใส่ไว้ในคลังข้อมูลแล้ว

1. ผู้ใช้ให้คำถาม
2. สคริปต์ของ Google Apps ส่งคำขอไปยัง Gemini API
3. Gemini API ระบุฟังก์ชันที่เหมาะสมพร้อมกับอาร์กิวเมนต์ภายในโครงการ Google Apps Script
4. สคริปต์ของ Google Apps ดำเนินการฟังก์ชันที่เลือกด้วยอาร์กิวเมนต์ที่กำหนด และ Google Apps Script จะวิเคราะห์คลังข้อมูลของคำอธิบายรูปภาพโดยใช้การค้นหาเชิงความหมายเพื่อค้นหารูปภาพที่เกี่ยวข้อง
5. ฟังก์ชันที่ทำงานใน Google Apps Script จะส่งคืนค่าตอบกลับ
6. สคริปต์ของ Google Apps จะส่งค่าตอบกลับกลับไปยัง Gemini API
7. Google Apps Script ผสานการตอบสนองของฟังก์ชันเข้ากับข้อมูลเชิงลึกของ Gemini ทำให้เกิดคำตอบที่ครอบคลุม
8. การตอบสนองสุดท้ายจะถูกส่งกลับไปยังผู้ใช้ผ่านทางอินเทอร์เฟซของบอทรูปภาพ

ข้อมูลเพิ่มเติม แอปพลิเคชันบอทรูปภาพนี้ใช้ประโยชน์จากการเรียกใช้ฟังก์ชันกับ Gemini เพื่อวิเคราะห์และประมวลผลรูปภาพอย่างมีประสิทธิภาพ ตามที่ระบุไว้ในรายงานก่อนหน้าของฉัน "คำแนะนำเกี่ยวกับการเรียกใช้ฟังก์ชันด้วย Gemini และ Google Apps Script: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45" วิธีการนี้ช่วยให้สามารถบูรณาการความสามารถของ Gemini ภายในสภาพแวดล้อมสคริปต์ของ Google Apps ได้อย่างราบรื่น ทำให้เกิดฟังก์ชันการประมวลผลภาพที่มีประสิทธิภาพ

การใช้งาน

1. ติดตั้งไลบรารี่

ฉันกังวลว่าโครงการ Google Apps Script ในกรณีนี้อาจซับซ้อนเล็กน้อย เพื่อให้การทดสอบง่ายขึ้น ฉันได้เตรียมมันเป็นไลบรารี Google Apps Script คุณสามารถใช้สคริปต์นี้ได้โดยตรงภายในโครงการของคุณเอง หรือคัดลอกและวางสคริปต์ลงในโครงการ Google Apps Script หากคุณไม่ต้องการใช้ไลบรารี

ต่อไปนี้เป็นวิธีใช้ตัวอย่างเป็นไลบรารี ติดตั้งไลบรารีโดยใช้ขั้นตอนต่อไปนี้

1. สร้างโครงการ GAS

   • คุณสามารถใช้ไลบรารีนี้สำหรับโปรเจ็กต์ GAS ได้ทั้งประเภทสคริปต์แบบสแตนด์อโลนและแบบผูกกับคอนเทนเนอร์

2. ติดตั้งไลบรารีนี้

   • รหัสโครงการของห้องสมุดคือ 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q

2. การเชื่อมโยงโครงการ Google Cloud Platform กับโครงการสคริปต์ Google Apps สำหรับ IDE ใหม่

ในกรณีนี้ คุณสามารถดูวิธีการได้ที่พื้นที่เก็บข้อมูลของฉัน

นอกจากนี้ โปรดเปิดใช้งาน Generative Language API ที่คอนโซล API

หลังจากการตั้งค่าข้างต้น คุณสามารถใช้สคริปต์ตัวอย่างต่อไปนี้ได้

3. ขอบเขต

ไลบรารีนี้ใช้ 2 ขอบเขตต่อไปนี้

• https://www.googleapis.com/auth/script.external_request
• https://www.googleapis.com/auth/generative-language.retriever
• https://www.googleapis.com/auth/drive

เมื่อติดตั้งไลบรารีนี้แล้ว ขอบเขตด้านบนจะถูกติดตั้งในโครงการ Google Apps Script ของคุณโดยอัตโนมัติ

5. เตรียมโฟลเดอร์

โปรดสร้างโฟลเดอร์ใหม่ใน Google Drive ของคุณ

หากคุณมีภาพบางส่วนอยู่แล้ว กรุณาใส่ไว้ในโฟลเดอร์นี้

4. สคริปต์

โปรดคัดลอกและวางสคริปต์ต่อไปนี้ลงในโปรแกรมแก้ไขสคริปต์ของโครงการ Google Apps Script ของคุณ และโปรดตั้งค่า ID โฟลเดอร์ของโฟลเดอร์ที่คุณสร้างเป็น folderId ในฟังก์ชัน init_

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
} 

5. ปรับใช้เว็บแอป

ไลบรารีนี้ใช้กับ Web Apps ดังนั้นโปรดปรับใช้ Web Apps ดังต่อไปนี้ ข้อมูลโดยละเอียดสามารถดูได้ในเอกสารอย่างเป็นทางการ

โปรดตั้งค่านี้โดยใช้โปรแกรมแก้ไขสคริปต์ของโครงการ Google Apps Script ของคุณ

1. ในตัวแก้ไขสคริปต์ ที่ด้านบนขวาของตัวแก้ไขสคริปต์ โปรดคลิก "คลิกปรับใช้" -> "การปรับใช้ใหม่"
2. กรุณาคลิก "เลือกประเภท" -> "Web App"
3. โปรดป้อนข้อมูลเกี่ยวกับ Web App ในช่องใต้ "การกำหนดค่าการปรับใช้"
4. โปรดเลือก "ฉัน" สำหรับ "ดำเนินการในฐานะ"
5. โปรดเลือก "ทุกคน" สำหรับ "ใครมีสิทธิ์เข้าถึงแอป:"
6. กรุณาคลิกปุ่ม "ปรับใช้"
7. ในตัวแก้ไขสคริปต์ ที่ด้านบนขวาของตัวแก้ไขสคริปต์ โปรดคลิก "คลิกปรับใช้" -> "ทดสอบการปรับใช้"
8. คัดลอก URL ของเว็บแอป มันเหมือนกับ https://script.google.com/macros/s/###/exec

• เมื่อคุณแก้ไขสคริปต์ Google Apps ของ Web Apps โปรดแก้ไขการใช้งานเป็นเวอร์ชันใหม่ ด้วยเหตุนี้ สคริปต์ที่แก้ไขจะสะท้อนให้เห็นใน Web Apps โปรดใช้ความระมัดระวังเกี่ยวกับเรื่องนี้

• คุณสามารถดูรายละเอียดนี้ได้ในรายงานของฉัน "การปรับใช้ Web Apps อีกครั้งโดยไม่ต้องเปลี่ยน URL ของ Web Apps สำหรับ IDE ใหม่"

6. การทดสอบ

ก่อนดำเนินการต่อ หากโฟลเดอร์ของคุณมีรูปภาพ โปรดเรียกใช้ฟังก์ชัน putImageDescriptionsToCorpus สิ่งนี้จะสร้างคำอธิบายสำหรับรูปภาพของคุณและเพิ่มลงในคลังข้อมูล

หากต้องการใช้ไลบรารีนี้:

• เปิด URL ของ Web Apps ในเบราว์เซอร์ของคุณ คุณจะเห็นภาพสาธิตที่ด้านบนของหน้า เช่นเดียวกับในโพสต์นี้

ขณะนี้คุณสามารถค้นหาและอัปโหลดรูปภาพเป็นตัวอย่างได้

บันทึก

• นี่เป็นแอปพลิเคชั่นง่าย ๆ ที่ใช้ราศีเมถุน อย่างไรก็ตาม ฉันเชื่อว่ามันจะช่วยให้ผู้ใช้เข้าใจราศีเมถุนได้

---

ใบอนุญาต

เอ็มไอที

ผู้เขียน

ทานาอิเก

บริจาค

อัปเดตประวัติ

• เวอร์ชัน 1.0.0 (22 กุมภาพันธ์ 2567)

  1. การเปิดตัวครั้งแรก

สูงสุด