colpali cookbooks
v0.3.1
[محرك ColPali] [معيار ViDoRe]
من خلال نموذجنا الجديد ColPali ، نقترح الاستفادة من VLMs لإنشاء عمليات تضمين فعالة متعددة المتجهات في المساحة المرئية لاسترجاع المستندات. من خلال تغذية تصحيحات إخراج ViT من PaliGemma-3B إلى إسقاط خطي، نقوم بإنشاء تمثيل متعدد المتجهات للمستندات. نقوم بتدريب النموذج لتعظيم التشابه بين تضمينات المستندات هذه وتضمينات الاستعلام، باتباع طريقة ColBERT.
يؤدي استخدام ColPali إلى إزالة الحاجة إلى التعرف على التخطيطات المعقدة والهشة وخطوط أنابيب التعرف الضوئي على الحروف (OCR) بنموذج واحد يمكنه أن يأخذ في الاعتبار كلاً من المحتوى النصي والمرئي (التخطيط، المخططات، ...) للمستند.
يحتوي هذا المستودع على دفاتر ملاحظات للتعرف على مجموعة نماذج ColVision، وضبطها لتناسب حالة الاستخدام المحددة الخاصة بك، وإنشاء خرائط تشابه لتفسير تنبؤاتها، والمزيد! ؟
| مهمة | دفتر | وصف |
|---|---|---|
| القابلية للتفسير | ColPali: إنشاء خرائط التشابه الخاصة بك؟ | أنشئ خرائط التشابه الخاصة بك لتفسير تنبؤات ColPali. |
| الكون المثالى | صقل ColPali | قم بضبط ColPali باستخدام LoRA والتكميم الاختياري 4 بت/8 بت. |
| القابلية للتفسير | ColQwen2: قم بإنشاء خرائط التشابه الخاصة بك؟ | أنشئ خرائط التشابه الخاصة بك لتفسير تنبؤات ColQwen2. |
| خرقة | ColQwen2: نموذج واحد لخط أنابيب RAG بالكامل مع خاصية التبديل السريع للمهايئ | احفظ VRAM باستخدام VLM فريد لخط أنابيب RAG بأكمله. يعمل حتى على وحدة معالجة الرسومات T4 المجانية من Colab! |
أسهل طريقة لاستخدام دفاتر الملاحظات هي فتحها من دليل examples والنقر على زر Colab أدناه:
سيؤدي هذا إلى فتح دفتر الملاحظات في Google Colab، حيث يمكنك تشغيل التعليمات البرمجية وتجربة النماذج.
إذا كنت تفضل تشغيل دفاتر الملاحظات محليًا، فيمكنك استنساخ المستودع وفتح دفاتر الملاحظات في Jupyter Notebook أو في IDE الخاص بك.
ColPali: استرجاع المستندات بكفاءة باستخدام نماذج لغة الرؤية
المؤلفون: مانويل فايس *، هيوغ سيبيل *، توني وو *، بلال عمراني، غوتييه فيود، سيلين هوديلوت، بيير كولومبو (* تشير إلى مساهمة متساوية)
@misc{faysse2024colpaliefficientdocumentretrieval,
title={ColPali: Efficient Document Retrieval with Vision Language Models},
author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
year={2024},
eprint={2407.01449},
archivePrefix={arXiv},
primaryClass={cs.IR},
url={https://arxiv.org/abs/2407.01449},
}
