ImageBotApp

رخصة معهد ماساتشوستس للتكنولوجيا

ملخص

هذا هو روبوت الصور الذي يستخدم Gemini مع Google Apps Script وGoogle Drive.

وصف

يعمل الإصدار الأخير من Gemini كواجهة برمجة تطبيقات يمكن الوصول إليها على Vertex AI وGoogle AI Studio على تمكين المطورين من دمج إمكاناتها الواسعة في تطبيقاتهم، مما قد يؤدي إلى إحداث ثورة في مجالات مثل التعليم والرعاية الصحية والأعمال. وبإضافة المزيد من الميزات القوية مع Gemini 1.5 الذي تم الإعلان عنه مؤخرًا، تعد هذه الأداة بتأثير أكبر. المرجع والمرجع أعتقد أن Gemini يوسع بشكل كبير إمكانات التطبيقات المتنوعة عبر مختلف المجالات. ولعرض إمكاناته، يقدم هذا التقرير روبوتًا مصورًا يستخدم Gemini مع Google Apps Script وGoogle Drive. هذا مجرد مثال واحد على العديد من حالات الاستخدام المقنعة التي يمكن للمطورين إنشاؤها باستخدام Gemini.

مبدأ

توضح هذه الصورة سير عمل روبوت الصورة هذا.

كمتطلبات أساسية، يفترض أن يتم وضع بعض الصور في مجلد على Google Drive الخاص بك، وتم وضع أوصاف كل صورة في مجموعة نصية.

المستخدم يعطي سؤالا.
يرسل Google Apps Script طلبًا إلى Gemini API.
تحدد واجهة برمجة تطبيقات Gemini وظيفة مناسبة باستخدام الوسائط الموجودة في مشروع Google Apps Script.
ينفذ Google Apps Script الوظيفة المختارة باستخدام الوسائط المحددة. ويقوم Google Apps Script بتحليل مجموعة أوصاف الصور باستخدام البحث الدلالي للعثور على الصور ذات الصلة.
تقوم الوظيفة التي تعمل في Google Apps Script بإرجاع قيمة استجابة.
يرسل Google Apps Script قيمة الاستجابة مرة أخرى إلى Gemini API.
يدمج Google Apps Script استجابة الوظيفة مع رؤى Gemini، مما يؤدي إلى إنشاء إجابة شاملة.
يتم تسليم الاستجابة النهائية مرة أخرى إلى المستخدم من خلال واجهة image bot.

كمعلومات إضافية، يعمل تطبيق روبوت الصور هذا على تعزيز استدعاء الوظائف مع Gemini لتحليل الصور ومعالجتها بكفاءة. كما هو موضح في تقريري السابق "دليل الاتصال الوظيفي باستخدام Gemini وGoogle Apps Script: https://medium.com/google-cloud/guide-to-function-calling-with-gemini-and-google-apps-script- 0e058d472f45"، يتيح هذا الأسلوب التكامل السلس لإمكانيات Gemini داخل بيئة Google Apps Script، مما يتيح وظائف معالجة الصور القوية.

الاستخدام

1. تثبيت المكتبة

أشعر بالقلق من أن مشروع Google Apps Script في هذه الحالة قد يكون معقدًا بعض الشيء. لتبسيط الاختبار، قمت بإعداده كمكتبة لبرامج Google Apps. يمكنك استخدامه مباشرة ضمن مشروعك الخاص أو نسخ البرامج النصية ولصقها في مشروع Google Apps Script الخاص بك إذا كنت تفضل عدم استخدام المكتبة.

فيما يلي كيفية استخدام العينة كمكتبة. قم بتثبيت المكتبة باستخدام الخطوات التالية.

إنشاء مشروع غاز.
- يمكنك استخدام هذه المكتبة لمشروع GAS لكل من أنواع البرامج النصية المستقلة والمرتبطة بالحاوية.
قم بتثبيت هذه المكتبة.
- مفتاح مشروع المكتبة هو 1qdq-ey6H3-HkG0AF4Tp4ZVEAUx-YryHXB5ZPW7oE-BeXN-wH2-b1PT_Q .

2. ربط مشروع Google Cloud Platform بمشروع Google Apps Script لـ IDE الجديد

في هذه الحالة، يمكنك رؤية كيفية القيام بذلك في مستودعي.

يرجى أيضًا تمكين Geneative Language API في وحدة تحكم API.

بعد الإعداد أعلاه، يمكن استخدام نموذج البرنامج النصي التالي.

3. النطاقات

تستخدم هذه المكتبة النطاقين التاليين.

https://www.googleapis.com/auth/script.external_request
https://www.googleapis.com/auth/generative-language.retriever
https://www.googleapis.com/auth/drive

عند تثبيت هذه المكتبة، يتم تثبيت النطاقات المذكورة أعلاه تلقائيًا على مشروع Google Apps Script الخاص بك.

5. قم بإعداد مجلد

يرجى إنشاء مجلد جديد في Google Drive الخاص بك.

إذا كان لديك بالفعل بعض الصور، يرجى وضعها في هذا المجلد.

4. البرنامج النصي

الرجاء نسخ ولصق النص البرمجي التالي في محرر النصوص البرمجية لمشروع Google Apps Script. ويرجى تعيين معرف المجلد للمجلد الذي قمت بإنشائه على folderId في الوظيفة init_ .

 function init_ ( ) {
  // Please set the folder ID of the folder including images.
  const folderId = "###" ;

  const newCorpusName = { name : "corpora/sample-corpus-1" , displayName : "sample corpus 1" } ;
  const newDocumentName = { name : ` ${ newCorpusName . name } /documents/sample-document-1` , displayName : "sample document 1" } ;
  return { folderId , newCorpusName , newDocumentName } ;
}

// This is a main function. This is used from the library.
const doGet = e => ImageBotApp . main ( { ... e , ... init_ ( ) } ) ;

// This is used for putting the existing images in the folder to the corpus.
function putImageDescriptionsToCorpus ( ) {
  const res = ImageBotApp . putImageDescriptionsToCorpus ( init_ ( ) ) ;
  console . log ( JSON . stringify ( res . map ( r => JSON . parse ( r . getContentText ( ) ) ) ) ) ;
}

5. نشر تطبيقات الويب

يتم استخدام هذه المكتبة مع تطبيقات الويب. لذا، يرجى نشر تطبيقات الويب على النحو التالي. يمكن الاطلاع على المعلومات التفصيلية في الوثيقة الرسمية.

الرجاء تعيين هذا باستخدام محرر البرامج النصية لمشروع Google Apps Script الخاص بك.

في محرر البرامج النصية، في الجزء العلوي الأيمن من محرر البرامج النصية، يرجى النقر فوق "انقر فوق نشر" -> "نشر جديد".
الرجاء النقر فوق "تحديد النوع" -> "تطبيق الويب".
يرجى إدخال المعلومات حول تطبيق الويب في الحقول الموجودة ضمن "تكوين النشر".
الرجاء تحديد "أنا" لـ "التنفيذ باسم" .
الرجاء تحديد "أي شخص" في "من لديه حق الوصول إلى التطبيق:" .
الرجاء الضغط على زر "نشر".
في محرر البرامج النصية، في الجزء العلوي الأيمن من محرر البرامج النصية، يرجى النقر فوق "انقر فوق نشر" -> "اختبار عمليات النشر".
انسخ عنوان URL لتطبيقات الويب. إنه مثل https://script.google.com/macros/s/###/exec .

عند تعديل البرنامج النصي لتطبيقات Google لتطبيقات الويب، يرجى تعديل النشر كإصدار جديد. وبهذا، ينعكس النص المعدل في تطبيقات الويب. يرجى توخي الحذر بشأن هذا.
يمكنك الاطلاع على تفاصيل ذلك في تقريري "إعادة نشر تطبيقات الويب دون تغيير عنوان URL لتطبيقات الويب لـ IDE الجديد".

6. الاختبار

قبل المتابعة، إذا كان المجلد الخاص بك يحتوي على صور، فيرجى تشغيل وظيفة putImageDescriptionsToCorpus . يؤدي هذا إلى إنشاء أوصاف لصورك وإضافتها إلى المجموعة.

لاستخدام هذه المكتبة: