Awesome Foundation Models

نماذج التأسيس رهيبة

نموذج الأساس هو نموذج على نطاق واسع قبل أن يكون (على سبيل المثال ، BERT ، DALL-E ، GPT-3) يمكن تكييفه مع مجموعة واسعة من التطبيقات المصب. تم تعميم هذا المصطلح لأول مرة من قبل معهد ستانفورد للذكاء الاصطناعي الذي يركز على الإنسان. يحافظ هذا المستودع على قائمة منسقة من نماذج الأساس لمهام الرؤية واللغة. لا يتم تضمين أوراق البحث بدون رمز.

استطلاع

2024

• وكلاء اللغة (من أطروحة دكتوراه برينستون شونيو ياو. بلوق 1 ، بلوق 2)
• مسح منهجي عن نماذج اللغة الكبيرة لتصميم الخوارزمية (من جامعة مدينة هونغ كونغ)
• تجزئة الصور في عصر نموذج الأساس: دراسة استقصائية (من معهد بكين للتكنولوجيا)
• نحو نموذج المؤسسة الجغرافية ذات اللغة الرؤية: دراسة استقصائية (من جامعة نانيانغ التكنولوجية)
• مقدمة لنمذجة اللغة (من التعريف)
• تطور البنية النموذجية متعددة الوسائط (من جامعة بوردو)
• نماذج لغة كبيرة متعددة الوسائط فعالة: مسح (من Tencent)
• نماذج مؤسسة لفهم الفيديو: دراسة استقصائية (من جامعة Aalborg)
• هل سورا محاكاة العالم؟ دراسة استقصائية شاملة حول نماذج العالم العام وما بعدها (من Gigaai)
• دور محتمل لنماذج الأساس في تقدم المركبات المستقلة (من جامعة تونغجي)
• صقل دقيق للمعلمة للنماذج الكبيرة: مسح شامل (من جامعة نورث إيسترن)
• مراجعة على الخلفية والتكنولوجيا والقيود وفرص نماذج الرؤية الكبيرة (من ليهاي)
• عوامل متعددة الوسائط كبيرة: مسح (من Cuhk)
• وادي Uncanny: تحليل شامل لنماذج الانتشار (من MILA)
• تطبيقات الروبوت في العالم الحقيقي لنماذج الأساس: مراجعة (من جامعة طوكيو)
• من GPT-4 إلى Gemini وما بعده: تقييم المشهد MLLMs على التعميم ، والثقة والسببية من خلال أربع طرائق (من مختبر شنغهاي AI)
• نحو توحيد نموذج الأساس البصري التوليدي والتمييزي: مسح (من JHU)

قبل 2024

• النماذج الأساسية في التصوير الطبي: مسح شامل ورؤية مستقبلية (من SDSU)
• نماذج مؤسسة متعددة الوسائط: من المتخصصين إلى المساعدين للأغراض العامة (من Microsoft)
• نحو نموذج الأساس العام للأشعة (من SJTU)
• النماذج التأسيسية التي تحدد حقبة جديدة في الرؤية: دراسة استقصائية وتوقعات (من جامعة MBZ في الذكاء الاصطناعي)
• تجاه العمومي الطبية الحيوية (من Google)
• مسح منهجي للهندسة السريعة على نماذج مؤسسة Language (من أكسفورد)
• نماذج متعددة الوسائط كبيرة: ملاحظات على برنامج CVPR 2023 التعليمي (من Chunyuan Li ، Microsoft)
• دراسة استقصائية عن نماذج اللغة الكبيرة متعددة الوسائط (من USTC و Tencent)
• نماذج لغة الرؤية لمهام الرؤية: دراسة استقصائية (من جامعة نانيانغ التكنولوجية)
• نماذج مؤسسة للذكاء الاصطناعي الطبي العام (من ستانفورد)
• دراسة استقصائية شاملة حول نماذج الأساس المسبق: تاريخ من بيرت إلى شاتغبت
• دراسة استقصائية شاملة للمحتوى الناتج عن الذكاء الاصطناعى (AIGC): تاريخ من الذكاء الاصطناعي من GAN إلى ChatGPT
• ما قبل التدريب اللغوي في الرؤية: الأساسيات ، التطورات الحديثة ، والاتجاهات المستقبلية
• حول فرص ومخاطر نماذج الأساس (تعج هذا الاستطلاع أولاً مفهوم نموذج الأساس ؛ من Standford)

أوراق حسب التاريخ

2024

• [11/14] قوانين التحجيم للدقة (من هارفارد)
• [11/13] NeuralFeels مع الحقول العصبية: تصور Visuotactile للتلاعب في اليد (من التعريف)
• [11/07] Dino-WM: تتيح النماذج العالمية على الميزات المرئية التي تم تدريبها مسبقًا التخطيط الصفري (من جامعة نيويورك)
• [10/31] Project SID: العديد من عمليات محاكاة العميل تجاه حضارة الذكاء الاصطناعي (من Altera.al)
• [10/33
• [10/30] توسيط المكافآت (من ريتشارد سوتون ، جامعة ألبرتا)
• [10/21] ذاكرة طويلة الأجل: أساس التطور الذاتي لمنظمة العفو الدولية (من معهد تيانقياو وكرسي تشن)
• [10/10] توسيع نطاق نواةك: تصميم kernel الكبير في مقاطعات نحو التمثيلات العالمية (من Cuhk)
• [10/04] فيلم GEN: A Past of Media Foundation Models (من META)
• [10/02] هل كان كل ما نحتاجه؟ (من ميلا)
• [10/01] NGPT: محول طبيعي مع تعلم التمثيل على الفائق (من NVIDIA)
• [09/33
• [09/27] EMU3: التنبؤ المقبل هو كل ما تحتاجه (من Baai)
• [09/25] Molmo و Pixmo: أوزان مفتوحة وبيانات مفتوحة لنماذج متعددة الوسائط الحديثة (من Allen AI)
• [09/18] QWEN2-VL: تعزيز تصور نموذج النموذج الرؤية للعالم في أي قرار (من Alibaba)
• [09/18] Moshi: نموذج مؤسسة الكلام لنص الحوار في الوقت الفعلي (من Kyutai)
• [08/27] نماذج الانتشار هي محركات ألعاب في الوقت الفعلي (من Google)
• [08/22] العاقل: أساس نماذج الرؤية البشرية (من التعريف)
• [08/14] Imagen 3 (من Google DeepMind)
• [07/31] قطيع Llama 3 من النماذج (من التعريف)
• [07/29] سام 2: قطاع أي شيء في الصور ومقاطع الفيديو (من التعريف)
• [07/24] PartGlee: نموذج أساس للتعرف على أي كائنات (من Hust و Bytedance)
• [07/17] حواء: كشف النقاب عن نماذج لغة الرؤية الخالية من التشفير (من باي)
• [07/12] طبقات المحولات كرسامين (من ساكانا AI)
• [06/24] Cambrian-1: استكشاف مفتوح تمامًا يركز على الرؤية لـ LLMs متعددة الوسائط (من جامعة نيويورك)
• [06/13] 4M-21: نموذج رؤية لأي شخص لعشرات المهام والطرائق (من EPFL و Apple)
• [06/10] ميرلين: نموذج مؤسسة لغة الرؤية للتصوير المقطعي ثلاثي الأبعاد (من ستانفورد. رمز سيكون متاحًا.)
• [06/06] Vision-LSTM: XLSTM كعمود خارجي في الرؤية العامة (من مؤلفي LSTM)
• [05/31] Meshxl: مجال الإحداثيات العصبية لنماذج الأساس ثلاثية الأبعاد (من Fudan)
• [05/25] Moeut: Mixture-Of-Experts Universal Transformers (من ستانفورد)
• [05/22] الانتباه كـ RNN (من Mila & Borealis AI)
• [05/22] Gigapath: نموذج الأساس المنزلق بأكمله لعلم الأمراض الرقمي من البيانات الواقعية (من الطبيعة)
• [05/21] BiomedParse: نموذج الأساس الطبي الحيوي لتحليل الصور الطبية الحيوية (من Microsoft. Version Journal)
• [05/20] OCTO: سياسة روبوت عامة مفتوحة المصدر (من جامعة كاليفورنيا في بيركلي)
• [05/17] قوانين التحجيم الرصدية وقدرة التنبؤ بأداء نموذج اللغة (FRO Standford)
• [05/14] فهم فجوة الأداء بين خوارزميات المحاذاة عبر الإنترنت وخوارزميات (من Google)
• [05/09] Lumina-T2X: تحويل النص إلى أي طريقة ، دقة ، ومدة من خلال محولات الانتشار الكبيرة القائمة على التدفق (من مختبر شنغهاي AI)
• [05/08] أنت فقط ذاكرة التخزين المؤقت مرة واحدة: بنية Decoder-DecoDer لنماذج اللغة
• [05/07] XLSTM: ذاكرة طويلة الأجل طويلة (من Sepp Hochreiter ، مؤلف كتاب LSTM.)
• [05/06] تقدم القدرات الطبية متعددة الوسائط للجوزاء (من Google)
• [05/04] U-Dits: Downsample Tokens في محولات الانتشار على شكل حرف U (من جامعة بكين)
• [05/03] Vibe-Eval: مجموعة تقييم ثابت لقياس التقدم في نماذج اللغة متعددة الوسائط
• [04/30] KAN: شبكات Kolmogorov-Arnold (بدائل واعدة لـ MLPs. من MIT)
• [04/26] إلى أي مدى نحن إلى GPT-4V؟ سد الفجوة إلى نماذج متعددة الوسائط التجارية مع أجنحة مفتوحة المصدر (InternVL 1.5. من مختبر شنغهاي AI)
• [04/14] Transformerfam: انتباه ردود الفعل هو الذاكرة العاملة (من Google. اهتمام فعال.)
• [04/10] لا تترك أي سياق وراء: محولات سياق غير محدودة فعالة مع الالتحاق اللانهائي (من Google)
• [04/02] Octopus V2: نموذج لغة على الجهاز لـ Super Agent (من ستانفورد)
• [04/02] مزيج من العمق: تخصيص الحساب ديناميكيًا في نماذج اللغة القائمة على المحولات (من Google)
• [03/22] Internvideo2: تحجيم نماذج أساس الفيديو لفهم الفيديو متعدد الوسائط (من Shanghai AI Lab)
• [03/18] ARC2FACE: نموذج أساس للوجوه البشرية (من كلية إمبريال لندن)
• [03/14] MM1: الأساليب ، التحليل والرؤى من التدريب متعدد الوسائط LLM (معلمات 30B من Apple)
• [03/09] Unigradicon: نموذج الأساس لتسجيل الصور الطبية (من UNC-Chapel Hill)
• [03/05] تحجيم محولات التدفق المصححة لتوليف الصورة عالي الدقة (انتشار مستقر 3. من الاستقرار الذكاء)
• [03/01] التعلم والاستفادة من نماذج العالم في تعلم التمثيل البصري (من التعريف)
• [03/01] Visionllama: واجهة Llama موحدة لمهام الرؤية (من Meituan)
• [02/28] CLLMS: نماذج لغة كبيرة التناسق (من SJTU)
• [02/27] نشر طبقة الصورة الشفافة باستخدام الشفافية الكامنة (من Standford)
• [02/22] Mobilellm: تحسين نماذج لغة المعلمة الفرعية للمليون لحالات استخدام الجهاز (من التعريف)
• [02/21] وراء A ∗: تخطيط أفضل مع المحولات عبر Bootstrapping Dynamics (من التعريف)
• [02/20] نشر الشبكة العصبية (توليد معلمات الشبكة عبر نماذج الانتشار. من NUS)
• [02/20] التصنيف بالفيديو: تشفير مرئي أساسي لفهم الفيديو (من Google)
• [02/19] الملاءمة: محول رؤية مرن لنموذج الانتشار (من مختبر شنغهاي AI)
• [02/06] MobileVLM V2: خط أساسي أسرع وأقوى لنموذج لغة الرؤية (من Meituan)
• [01/30] Yolo-World: الكشف عن كائن Vocabulary في الوقت الفعلي (من Tencent و Hust)
• [01/23] Lumiere: نموذج نشر للفضاء لتوليد الفيديو (من Google)
• [01/22] Chexagent: نحو نموذج الأساس لتفسير الأشعة السينية الصدر (من ستانفورد)
• [01/19] عمق أي شيء: إطلاق العنان لقوة البيانات غير المسماة على نطاق واسع (من Tiktok)
• [01/16] SIT: استكشاف النماذج التوليدية المستندة إلى التدفق والنشر مع محولات متداخلة قابلة للتطوير (من جامعة نيويورك)
• [01/15] InstantId: جيل محافظة على الهوية صفرية في ثوانٍ (من Xiaohongshu)

2023

• Bioclip: نموذج أساس رؤية لشجرة الحياة (CVPR 2024 أفضل ورقة طالب)
• Mamba: نمذجة تسلسل الوقت الخطي مع مساحات حالة انتقائية (يبدو أن Mamba يتفوق على المحولات ذات الحجم المماثل أثناء التحجيم خطيًا بطول التسلسل. من CMU)
• Foundation Foundation: تقدير موحد 6D وتتبع الأشياء الجديدة (من NVIDIA)
• تتبع كل شيء في كل مكان مرة واحدة (من كورنيل ، ICCV 2023 أفضل ورقة طالب)
• نماذج أساس للذكاء الاصطناعي الجغرافي المكاني (من IBM و NASA)
• Llama 2: Open Foundation ونماذج الدردشة التي تم ضبطها (من Meta)
• internlm-xcomposer: نموذج كبير باللغة الرؤية لفهم صورة النص المتقدمة وتكوينها (من مختبر شنغهاي AI)
• مشروع All-Coning: نحو الاعتراف البصري البصري وفهم العالم المفتوح (من مختبر شنغهاي AI)
• التحول الوطني: إطار موحد للتعلم متعدد الوسائط (من مختبر Cuhk و Shanghai AI)
• شبكة الاحتفاظ: خليفة للمحول لنماذج اللغة الكبيرة (من Microsoft و Tsinghua)
• نماذج العالم العصبي لرؤية الكمبيوتر (أطروحة دكتوراه أنتوني هو من جامعة كامبريدج)
• تعرف على أي شيء: نموذج قوي لعلامات الصور (نموذج أساس قوي لعلامة الصور. من OPPO)
• نحو نماذج الأساس المرئي للمشاهد المادية (يصف الخطوة الأولى نحو تعلم التمثيلات المرئية للأغراض العامة للمشاهد المادية باستخدام تنبؤ الصورة فقط كمعيار تدريب ؛ من AWS)
• ليما: أقل من ذلك بالنسبة للمحاذاة (65B معلمات ، من META)
• التقرير الفني Palm 2 (من Google)
• ImageBind: مساحة تضمين واحدة لربطهم جميعًا (من التعريف)
• ضبط التعليمات المرئية (LLAVA ، من U of Wisconsin-Madison و Microsoft)
• يبدو: تقسيم كل شيء في كل مكان مرة واحدة (من جامعة ويسكونسن ماديسون ، هونكست ، وميكروسوفت)
• سام: قطاع أي شيء (نموذج الأساس الأول لتجزئة الصور ؛ من التعريف)
• Seggpt: تقسيم كل شيء في السياق (من Baai و Zju و PKU)
• الصور تتحدث في الصور: رسام عمومي للتعلم البصري داخل السياق (من Baai و Zju و PKU)
• Unidector: اكتشاف كل شيء في العالم المفتوح: نحو اكتشاف الكائنات العالمية (CVPR ، من Tsinghua و Bnrist)
• معلم غير مقنعة: نحو نماذج مؤسسة الفيديو الموفرة للتدريب (من الأكاديمية الصينية للعلوم ، جامعة أكاديمية العلوم الصينية ، مختبر شنغهاي AI)
• تتبع المرحاض متعددة الوسائط (من جامعة داليان للتكنولوجيا ومختبر بينغ تشنغ)
• نحو بناء نماذج مؤسسة عامة لمهام فهم اللغة والرؤية واللغة الرؤية (من bytedance)
• Eva-Clip: تقنيات التدريب المحسنة للمقطع على نطاق واسع (من Baai و Hust)
• EVA-02: تمثيل بصري لتكوين النيون (من Baai و Hust)
• EVA-01: استكشاف حدود التمثيل البصري المقنع على نطاق واسع (CVPR ، من Baai و Hust)
• لاما: نماذج لغة أساس مفتوحة وفعالة (مجموعة من نماذج لغة الأساس تتراوح بين 7 ب إلى 65 ب ؛ من ميتا)
• فعالية MAE مسبقًا للاحتيال على المليار
• Bloomberggpt: نموذج لغة كبير للتمويل (50 مليار معلمة ؛ من بلومبرج)
• Bloom: نموذج لغة متعددة اللغات مفتوحًا 176B المعلمة (تم تنسيق هذا العمل من خلال BigScience الذي يهدف إلى ديمقراطية LLMs.)
• Flip: تحجيم صورة لغة ما قبل التدريب عبر التقنيع (من التعريف)
• BLIP-2: صورة لغوية اللغات قبل التدريب مع تشفير الصور المجمد ونماذج اللغة الكبيرة (من أبحاث Saleforce)
• التقرير الفني GPT-4 (من Openai)
• Visual Chatgpt: الحديث والرسم والتحرير مع نماذج الأساس المرئي (من Microsoft Research Asia)
• Uninext: إدراك مثيل عالمي كاكتشاف الكائن واسترجاعه (نموذج موحد لمهام إدراك مثيل 10 ؛ CVPR ، من bytedance)
• Internvideo: نماذج مؤسسة الفيديو العامة عبر التعلم التوليدي والتمييزي (من مختبر شنغهاي AI)
• Internimage: استكشاف نماذج مؤسسة الرؤية واسعة النطاق مع ملحقات مشوهة (CVPR ، من مختبر شنغهاي AI)
• Bridgetower: بناء الجسور بين المشفرات في تعلم تمثيل لغة الرؤية (من معهد هاربين للتكنولوجيا و Microsoft Research Asia)

2022

• Bevt: Bert Pretring of Video Transformers (CVPR ، من مختبر Shanghai Key لمعالجة المعلومات الذكية)
• محولات الأساس (من Microsoft)
• عميل عام (يعرف باسم GATO ، وهو عامل عام متعدد الوسائط ، متعدد المهام ، متعددة الأطباء ؛ من DeepMind)
• الألياف: التدريب قبل التدريب على الرؤية الخشنة مع الانصهار في العمود الفقري (من Microsoft و UCLA وجامعة نيويورك)
• Flamingo: نموذج لغة مرئية للتعلم قليلًا (من DeepMind)
• المعادن: نماذج اللغة هي واجهات للأغراض العامة (من Microsoft)
• النقطة-E: نظام لإنشاء غيوم النقطة ثلاثية الأبعاد من مطالبات معقدة (توليد كائنات ثلاثية الأبعاد فعالة باستخدام نموذج نشر من نص إلى صورة ؛ من Openai)
• تجزئة الصور باستخدام مطالبات النص والصورة (CVPR ، من جامعة غوتنغن)
• توحيد التدفق والاستريو والعمق (نموذج موحد لثلاث مهام تصور الحركة ثلاثية الأبعاد ؛ من eth zurich)
• Pali: نموذج صورة لغوية متعددة اللغات مشترك (من Google)
• Videomae: أجهزة الترميز التلقائي المقنعة هي متعلمين فعالين للبيانات للبيئة التي يتم إشرافها على الفيديو المسبق (Neupips ، من جامعة نانجينغ ، تينسنت ، وشنغهاي AI Lab)
• Slip: الإشراف الذاتي يلتقي على صورة اللغة قبل التدريب (ECCV ، من UC Berkeley و Meta)
• GLIPV2: توحيد توحيد وفهم VL (Neupips'22 ، من UW و Meta و Microsoft و UCLA)
• Glip: صورة لغوية مسبقة التدريب (CVPR ، من UCLA و Microsoft)
• blip: صورة لغوية اللغات قبل التدريب لفهم وتوليد اللغة الموحدة (من أبحاث Salesforce)
• Nuwa-Infinity: Autoregression على توليد الانحدار التلقائي للتخليق البصري اللانهائي (من Microsoft)
• النخيل: نمذجة لغة التحجيم مع مسارات (من Google)
• كوكا: التسميات التوضيحية المتناقضة هي نماذج مؤسسة نص الصور (من Google)
• Parti: تحجيم نماذج الانحدار التلقائي لتوليد النص إلى صورة غني بالمحتوى (من Google)
• واجهة تسلسل موحدة لمهام الرؤية (من Google Research ، Brain Team)
• Imagen: نماذج نشر نصية واقعية مع فهم اللغة العميقة (من Google)
• انتشار مستقر: تخليق الصور عالي الدقة مع نماذج الانتشار الكامن (CVPR ، من الاستقرار والمدرج)
• ما وراء لعبة التقليد: قياس واستقراء إمكانيات نماذج اللغات (Big-Bench: معايير صعبة للغاية ومتنوعة للغاية لـ LLMS ، 444 مؤلفًا من 132 مؤسسة)
• كريس: تجزئة الصور المرجعية التي تحركها القصاصة (من جامعة سيدني و OPPO)
• أجهزة الترميز التلقائي المقنعة كمتعلمين مكانيين (امتداد لـ MAE إلى مقاطع الفيديو ؛ Neups ، من meta)
• أجهزة الترميز التلقائي المقنعة هي متعلمين في الرؤية القابلة للتطوير (CVPR 2022 ، من Fair)
• instructGPT: نماذج لغة التدريب لمتابعة التعليمات مع التعليقات البشرية (تدرب على البشر في الحلقة ؛ من Openai)
• واجهة تسلسل موحدة لمهام الرؤية (Neurips 2022 ، من Google)
• Dall-E2: توليد الصور الهرمي للتشمل مع مقطع لاتنة (من Openai)
• التصوير الطبي القوي والفعال مع الإشراف الذاتي (من Google و Georgia Tech و Northwestern University)
• محول Swin Video (CVPR ، من Microsoft Research Asia)
• OFA: توحيد البنية والمهام والطرائق من خلال إطار تعليمي بسيط تسلسل إلى تسلسل (ICML 2022. من Alibaba.)
• Mask2Former: محول قناع الالتقاء ملثمين لتجزئة الصور العالمية (CVPR 2022 ، من Fair و UIUC)
• فلافا: نموذج محاذاة اللغة والرؤية (CVPR ، من Facebook AI Research)
• نحو الذكاء العام الاصطناعي عبر نموذج الأساس متعدد الوسائط (الاتصالات الطبيعة ، من جامعة رينمين في الصين)
• FILIP: صورة اللغة التفاعلية ذات الحبيبات الدقيقة قبل التدريب (ICLR ، من Huawei و HKUST)
• SIMVLM: نموذج اللغة البسيطة البسيطة قبل الإشراف الضعيف (ICLR ، من CMU و Google)
• Glide: نحو توليد الصور الواقعية والتحرير مع نماذج الانتشار الموجهة النصية (من Openai)

2021

• توحيد مهام الرؤية واللغة عبر توليد النص (من UNC-Chapel Hill)
• محاذاة: توسيع نطاق التعلم التمثيل البصري ولغة الرؤية مع الإشراف على النص الصاخبة (PMLR ، من Google)
• الوحدة: التعلم متعدد الوسائط متعدد الوسائط مع محول موحد (ICCV ، من Fair)
• وينلان: سد الرؤية واللغة من خلال التدريب على نطاق واسع متعدد الوسائط (تعرض هذه الورقة أول نموذج صيني متعدد الوسائط مسبقًا يسمى Brivl ؛ من جامعة رينمين الصين)
• المخطوطة: تقييم نماذج اللغة الكبيرة المدربة على الكود (نموذج لغة GPT تم تحريكه على الكود العام من Github ، من Openai و Anthropic AI)
• فلورنسا: نموذج أساس جديد لرؤية الكمبيوتر (من Microsoft)
• Dall-E: توليد نص إلى صورة صفر (من Openai)
• مقطع: تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية (من Openai)
• التعلم متعدد الوسائط قليلًا مع نماذج اللغة المجمدة (Neupips ، من DeepMind)
• محول Swin: محول الرؤية الهرمي باستخدام Windows المتحول (ICCV ، من Microsoft Research Asia)
• تبلغ قيمة الصورة 16 × 16: محولات للتعرف على الصور على نطاق (المقياس الأول (أول الرؤية عبر كتل الاهتمام الذاتي الخالصة ؛ ICLR ، من Google)

قبل 2021

• GPT-3: نماذج اللغة هي متعلمين قليلة (معلمات 175b) ؛ يسمح بالتعلم داخل السياق مقارنة مع GPT-2
• Uniter: تعلم تمثيل النص الشامل (من Microsoft)
• T5: استكشاف حدود التعلم النقل مع محول نص إلى نص موحد (من Google)
• GPT-2: نماذج اللغة متعلمين غير خاضعين للإشراف على المهام المتعددة (معلمات 1.5B ؛ من Openai)
• LXMERT: تعلّم تمثيلات تشفير العوامل المتقاطعة من المحولات (EMNLP ، من UNC-Chapel Hill)
• بيرت: قبل تدريب محولات ثنائية الاتجاه العميقة لفهم اللغة (من لغة Google AI)
• GPT: تحسين فهم اللغة من خلال التدريب قبل التدريب (من Openai)
• الانتباه هو كل ما تحتاجه (Neupips ، من Google و UOT)

أوراق حسب الموضوع

طرازات لغة كبيرة/متعددة الوسائط

• LLAVA: ضبط التعليمات البصرية (من جامعة ويسكونسن ماديسون)
• MINIGPT-4: تعزيز فهم لغة الرؤية مع نماذج اللغة الكبيرة المتقدمة (من KAUST)
• التقرير الفني GPT-4 (من Openai)
• GPT-3: نماذج اللغة هي متعلمين قليلة (معلمات 175b) ؛ يسمح بالتعلم داخل السياق مقارنة مع GPT-2
• GPT-2: نماذج اللغة متعلمين غير خاضعين للإشراف على المهام المتعددة (معلمات 1.5B ؛ من Openai)
• GPT: تحسين فهم اللغة من خلال التدريب قبل التدريب (من Openai)
• Llama 2: Open Foundation ونماذج الدردشة التي تم ضبطها (من Meta)
• لاما: نماذج لغة الأساس المفتوحة والفعالة (نماذج تتراوح من 7 ب إلى 65 ب ؛ من ميتا)
• T5: استكشاف حدود التعلم النقل مع محول نص إلى نص موحد (من Google)

الاهتمام الخطي

• Flashattention-2: اهتمام أسرع مع التوازي الأفضل وتقسيم العمل
• Flashattention: اهتمام سريع وفعال الذاكرة مع الوعي IO

معايير كبيرة

• Ophnet: معيار فيديو واسع النطاق لفهم سير العمل الجراحي للعيون (معيار فيديو مشروح على نطاق واسع لجراحة العيون. من Monash ، 2024)
• MMT-BENCER: معيار متعدد الوسائط شامل لتقييم نماذج كبيرة باللغة في الرؤية نحو المهام المتعددة AGI (من Shanghai AI Lab ، 2024)
• Blink: يمكن أن ترى نماذج اللغة الكبيرة متعددة الوسائط ولكنها لا تتصور (معيار متعدد الوسائط. من جامعة بنسلفانيا ، 2024)
• CAD-ESTATE: تعليق توضيحي على نطاق واسع في مقاطع فيديو RGB (مقاطع فيديو RGB مع شرح CAD. من Google 2023)
• ImageNet: قاعدة بيانات صور هرمية واسعة النطاق (معايير الرؤية. من ستانفورد ، 2009)

ما قبل الرؤية

• Flip: تحجيم صورة لغة ما قبل التدريب عبر التقنيع (من التعريف)
• BLIP-2: تمهيد صورة اللغة قبل التدريب مع تشفير الصور المجمدة ونماذج اللغة الكبيرة (تقترح استراتيجية VLP عامة وفعالة تعتمد على الرؤية واللغة المجمدة من Salesforce) من أبحاث Salesforce)
• blip: صورة لغوية اللغات قبل التدريب لفهم وتوليد اللغة الموحدة (من أبحاث Salesforce)
• Slip: الإشراف الذاتي يلتقي على صورة اللغة قبل التدريب (ECCV ، من UC Berkeley و Meta)
• Glip: صورة لغوية مسبقة التدريب (CVPR ، من UCLA و Microsoft)
• محاذاة: توسيع نطاق التعلم التمثيل البصري ولغة الرؤية مع الإشراف على النص الصاخبة (PMLR ، من Google)
• regionclip: صورة اللغة القائمة على المنطقة قبل
• مقطع: تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية (من Openai)

مهام التصور: الكشف ، تجزئة ، وتقدير

• سام 2: شريحة أي شيء في الصور ومقاطع الفيديو (من التعريف)
• Foundation Foundation: تقدير موحد 6D وتتبع الأشياء الجديدة (من NVIDIA)
• يبدو: تقسيم كل شيء في كل مكان مرة واحدة (من جامعة ويسكونسن ماديسون ، هونكست ، وميكروسوفت)
• سام: قطاع أي شيء (نموذج الأساس الأول لتجزئة الصور ؛ من التعريف)
• Seggpt: تقسيم كل شيء في السياق (من Baai و Zju و PKU)

كفاءة التدريب

• Green AI (يقدم مفهوم AI Red Vs Green AI)
• فرضية تذكرة اليانصيب: العثور على الشبكات العصبية القابلة للدرار (فرضية تذكرة اليانصيب ، من معهد ماساتشوستس للتكنولوجيا)

نحو الذكاء العام الاصطناعي (AGI)

• نحو AGI في رؤية الكمبيوتر: الدروس المستفادة من GPT ونماذج اللغة الكبيرة (من Huawei)

سلامة ومسؤولية الذكاء الاصطناعي

• محصورة احتمال الضرر من الذكاء الاصطناعى لإنشاء الدرابزين (مدونة من Yoshua Bengio)
• إدارة مخاطر الذكاء الاصطناعي المتطرف وسط التقدم السريع (من العلوم ، مايو 2024)

مستودعات رهيبة ذات صلة

• نماذج الانتشار الرائعة
• رهيبة النماذج الانتشار
• أساليب تحرير الصورة القائمة على النموذج
• رهيبة-CV-foundations
• نماذج رهيبة للرعاية
• رهيبة large-multimodal العوامل
• رؤية الكمبيوتر في البرية (CVINW)