VSA

مساعد البحث عن الرؤية: تمكين نماذج لغة الرؤية كمحركات بحث متعددة الوسائط

[صفحة المشروع] [؟الورقة] [؟مساحة تعانق الوجه] [حديقة الحيوان النموذجية] [مقدمة] [؟فيديو]

؟ يطلق

• [2024/10/29] أصدرنا الكود الخاص بالعرض التوضيحي المحلي.
• [2024/10/29] تم إصدار Vision Search Assistant على arxiv.

يثبت

1. انسخ هذا المستودع وانتقل إلى مجلد VSA.

 git clone https://github.com/cnzzx/VSA.git
cd VSA

2. إنشاء بيئات كوندا.

 conda create -n vsa python=3.10
conda activate vsa

3. قم بتثبيت LLaVA.

 cd models/LLaVA
pip install -e .

4. تثبيت المتطلبات الأخرى.

 pip install -r requirements.txt

التجريبي المحلي

يعتمد العرض التوضيحي المحلي على التدرج، ويمكنك ببساطة تشغيله باستخدام:

 python app.py

تشغيل الاستدلال

• في واجهة المستخدم "تشغيل"، يمكنك تحميل صورة واحدة في لوحة "إدخال الصورة"، وكتابة سؤالك في لوحة "مطالبة إدخال النص". ثم انقر فوق إرسال وانتظر استنتاج النموذج.
• يمكنك أيضًا تخصيص فئات الكائنات للكشف عنها في لوحة "الفئات الأرضية". يرجى الفصل بين كل فصل بفواصل (متبوعة بمسافة)، مثل "حقيبة يد، حقيبة ظهر، حقيبة سفر".
• على اليمين توجد مخرجات مؤقتة. تعرض "مخرجات الاستعلام" الاستعلامات التي تم إنشاؤها للبحث، بينما تعرض "مخرجات البحث" معرفة الويب المتعلقة بكل كائن.

حاول مع العينات

نحن نقدم لك بعض العينات لتبدأ بها. في واجهة مستخدم "النماذج"، يمكنك تحديد واحدة في لوحة "النماذج"، ثم انقر فوق "تحديد هذا النموذج"، وستجد أن نموذج الإدخال قد تم ملؤه بالفعل في واجهة المستخدم "تشغيل".

؟ استنتاج CLI

يمكنك أيضًا الدردشة مع Vision Search Assistant الخاص بنا في الجهاز عن طريق التشغيل.

 python cli.py 
    --vlm-model "liuhaotian/llava-v1.6-vicuna-7b" 
    --ground-model "IDEA-Research/grounding-dino-base" 
    --search-model "internlm/internlm2_5-7b-chat" 
    --vlm-load-4bit

ثم اختر صورة واكتب سؤالك.

رخصة

تم إصدار هذا المشروع بموجب ترخيص Apache 2.0.

شكر وتقدير

إن Vision Search Assistant مستوحى بشكل كبير من المساهمات البارزة التالية في مجتمع المصادر المفتوحة: GroundingDINO، LLaVA، MindSearch.

الاقتباس

إذا وجدت هذا المشروع مفيدًا في بحثك، فيرجى مراعاة الاستشهاد بـ:

 @article{zhang2024visionsearchassistantempower,
  title={Vision Search Assistant: Empower Vision-Language Models as Multimodal Search Engines},
  author={Zhang, Zhixin and Zhang, Yiyuan and Ding, Xiaohan and Yue, Xiangyu},
  journal={arXiv preprint arXiv:2410.21220},
  year={2024}
}