الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

ضبط التعليمات لنماذج اللغات الكبيرة: دراسة استقصائية

يحتوي هذا المستودع على الموارد المشار إليها في الورقة Instruction Tuning for Large Language Models: A Survey.

إذا وجدت هذا المستودع مفيدًا، فيرجى ذكر ما يلي: 

@article{zhang2023instruction,
  title={Instruction Tuning for Large Language Models: A Survey},
  author={Zhang, Shengyu and Dong, Linfeng and Li, Xiaoya and Zhang, Sen and Sun, Xiaofei and Wang, Shuhe and Li, Jiwei and Hu, Runyi and Zhang, Tianwei and Wu, Fei and others},
  journal={arXiv preprint arXiv:2308.10792},
  year={2023}
}

؟ أخبار

ابقوا متابعين! سيتم تحديث المزيد من الأعمال ذات الصلة!

  • [16 أكتوبر، 2024] نقوم بتحديث العمل (الأوراق والمشاريع) المتعلقة بمقاييس التقييم والمواءمة السطحية.
  • [12 مارس، 2024] نقوم بتحديث العمل (الأوراق البحثية والمشاريع) المتعلقة بالنماذج الكبيرة متعددة الوسائط.
  • [11 مارس، 2024] نقوم بتحديث العمل (الأوراق البحثية والمشاريع) المتعلقة بتوليد البيانات الاصطناعية وتوليد النصوص والصور.
  • [07 سبتمبر، 2023] تم إنشاء المستودع.
  • [21 أغسطس، 2023] نصدر النسخة الأولى من الورقة.

جدول المحتويات

  • ضبط التعليمات لنماذج اللغات الكبيرة: دراسة استقصائية
    • ؟ أخبار
    • جدول المحتويات
    • ملخص
    • ضبط التعليمات
      • مجموعات البيانات
      • نماذج
    • ضبط تعليمات متعددة الوسائط
      • مجموعات البيانات
      • نماذج
    • ضبط التعليمات الخاصة بالمجال
    • تقنيات ضبط فعالة
    • التقييمات
    • مراجع
      • ضبط التعليمات (مجموعات البيانات)
      • ضبط التعليمات (النماذج)
      • ضبط التعليمات متعددة الوسائط (مجموعات البيانات)
      • ضبط التعليمات متعددة الوسائط (النماذج)
      • ضبط التعليمات الخاصة بالمجال
      • تقنيات ضبط فعالة
      • التقييمات
      • محاذاة سطحية
    • اتصال

ملخص

يشير ضبط التعليمات (IT) إلى عملية التدريب الإضافي لنماذج اللغة الكبيرة (LLMs) على مجموعة بيانات تتكون من أزواج (instruction, output) بطريقة خاضعة للإشراف، مما يسد الفجوة بين هدف التنبؤ بالكلمة التالية لـ LLMs والمستخدمين. الهدف هو جعل LLMs يلتزمون بالتعليمات البشرية. يظهر المسار العام لضبط التعليمات في ما يلي: مشروع

في هذه الورقة، نقوم بإجراء مراجعة منهجية للأدبيات، بما في ذلك المنهجية العامة لتكنولوجيا المعلومات، وبناء مجموعات بيانات تكنولوجيا المعلومات، وتدريب نماذج تكنولوجيا المعلومات، والتطبيقات على طرائق ومجالات وتطبيقات مختلفة، إلى جانب تحليل الجوانب التي تؤثر على نتائج تكنولوجيا المعلومات (على سبيل المثال، توليد مخرجات التعليمات، وحجم مجموعة بيانات التعليمات، وما إلى ذلك). نقوم أيضًا بمراجعة المخاطر المحتملة لتكنولوجيا المعلومات إلى جانب الانتقادات الموجهة إليها، إلى جانب الجهود التي تشير إلى أوجه القصور الحالية في الاستراتيجيات الحالية واقتراح بعض السبل لإجراء بحث مثمر. تصنيف الورقة هو كما يلي:

ضبط التعليمات

مجموعات البيانات

يكتب اسم مجموعة البيانات ورق مشروع # من التعليمات # لانج بناء مفتوح المصدر
صنع الإنسان ضمان الجودة الموحد [1] ورق مشروع 750 ألف أون من صنع الإنسان نعم
الموحدة [2] ورق مشروع 0.8 م أون من صنع الإنسان نعم
تعليمات طبيعية [3] ورق مشروع 193 ألف أون من صنع الإنسان نعم
تعليمات خارقة للطبيعة [4] ورق مشروع 5 م 55 لانج من صنع الإنسان نعم
ص3 [5] ورق مشروع 12 م أون من صنع الإنسان نعم
اكس بي 3 [6] ورق مشروع 81 م 46 لانج من صنع الإنسان نعم
فلان 2021 [7] ورق مشروع 4.4 م أون من صنع الإنسان نعم
كويج [8] ورق مشروع - - - نعم
إنستركت جي بي تي [9] ورق - 13 ك متعدد من صنع الإنسان لا
دوللي [10] ورق مشروع 15 ألف أون من صنع الإنسان نعم
ليما [11] ورق مشروع 1 ك أون من صنع الإنسان نعم
تشات جي بي تي [12] ورق - - متعدد من صنع الإنسان لا
مساعد مفتوح [13] ورق مشروع 161,443 متعدد من صنع الإنسان نعم
البيانات الاصطناعية (التقطير) مكتب المفتش العام [14] - مشروع 43 م أون ChatGPT (لا توجد تقارير تقنية) نعم
تعليمات غير طبيعية [3] ورق مشروع 240 ألف أون تم إنشاء InstructGPT نعم
إنستركتوايلد [15] - مشروع 104 ك - تم إنشاء ChatGPT نعم
Evol-Instruct / WizardLM [16] ورق مشروع 52 ألف أون تم إنشاء ChatGPT نعم
الألبكة [17] - مشروع 52 ألف أون تم إنشاء InstructGPT نعم
لوجيكوت [18] ورق مشروع - أون تم إنشاء GPT-4 نعم
جي بي تي-4-ماجستير [19] ورق مشروع 52 ألف إن&ز تم إنشاء GPT-4 نعم
فيكونا [20] - مشروع 70 ألف أون محادثات المستخدم الحقيقي-ChatGPT لا
بايز الإصدار 1 [21] ورق مشروع 111.5 ألف أون تم إنشاء ChatGPT نعم
الترا تشات [22] ورق مشروع 675 ألف إن&ز GPT 3/4-مولد نعم
جواناكو [23] - مشروع 534,530 متعدد GPT (إصدار غير معروف)-تم إنشاؤه نعم
أوركا [24] ورق مشروع 1.5 م أون جي بي تي 3.5/4-مولد نعم
مشاركةGPT - مشروع 90 ألف متعدد محادثات المستخدم الحقيقي-ChatGPT نعم
WildChat - مشروع 150 ألف متعدد محادثات المستخدم الحقيقي-ChatGPT نعم
ويزاردكودر [25] ورق - - شفرة LLaMa 2-Generated لا
ماجيكودر [26] ورق مشروع 75 ألف/110 ألف شفرة تم إنشاء GPT-3.5 نعم
ويف كودر [27] ورق - - شفرة GPT 4-مولد لا
فاي-1 [28] ورق مشروع رموز 6B كود س و أ تم إنشاء GPT-3.5 نعم
فاي-1.5 [29] ورق - - كود س و أ تم إنشاء GPT-3.5 لا
رحيق [30] ورق مشروع ~183 ألف أون GPT 4-مولد نعم
البيانات الاصطناعية (التحسين الذاتي) التعليم الذاتي [31] ورق مشروع 52 ألف أون تم إنشاء InstructGPT نعم
الترجمة العكسية للتعليمات [32] ورق - 502 ك أون LLaMa تم إنشاؤها لا
تدور [33] ورق مشروع 49.8 ألف أون زفير ولدت نعم

نماذج

اسم النموذج #بارامس ورق مشروع النموذج الأساسي مجموعة قطار التعليمات
بناء الذات اسم مقاس
إنستركت جي بي تي [9] 176 ب ورق - جي بي تي-3 [36] نعم - -
بلومز [34] 176 ب ورق مشروع بلوم [37] لا xP3 -
فلان-T5 [35] 11 ب ورق مشروع ت5 [38] لا فلان 2021 -
الألبكة [17] 7 ب - مشروع لاما [39] نعم - 52 ألف
فيكونا [20] 13 ب - مشروع لاما [39] نعم - 70 ألف
جي بي تي-4-ماجستير [19] 7 ب ورق مشروع لاما [39] نعم - 52 ألف
كلود [40] - ورق - - نعم - -
معالج LM [16] 7 ب ورق مشروع لاما [39] نعم تطور التعليمات 70 ألف
الدردشةGLM2 [41] 6 ب ورق مشروع جي إل إم[41] نعم - 1.1 الرموز
ليما [11] 65 ب ورق مشروع لاما [39] نعم 1 ك
الأراضي الفلسطينية المحتلة-IML [42] 175 ب ورق مشروع الأراضي الفلسطينية المحتلة [43] لا - -
دوللي 2.0 [44] 12 ب - مشروع بيثيا [45] لا - 15 ألف
فالكون إنستركت [46] 40 ب ورق مشروع فالكون [46] لا - -
جواناكو [23] 7 ب - مشروع لاما [39] نعم - 586 ألف
مينوتور [47] 15 ب - مشروع ستاركودر بلس [48] لا - -
نوس هيرميس [49] 13 ب - مشروع لاما [39] لا - 300 ألف+
تولو [50] 6.7 ب ورق مشروع الأراضي الفلسطينية المحتلة [43] لا مختلط -
يولان-شات [51] 13 ب - مشروع لاما [39] نعم - 250 ألف
موس [52] 16 ب - مشروع - نعم - -
ايروبوروس [53] 13 ب - مشروع لاما [39] نعم - -
ألترا إل إم [22] 13 ب ورق مشروع لاما [39] نعم - -

ضبط تعليمات متعددة الوسائط

مجموعات البيانات

اسم مجموعة البيانات ورق مشروع الطرائق # المهام
زوج الطريقة # مثال
تعليمات متعددة [54] ورق مشروع صورة نص 5K إلى 5M لكل مهمة 62
PMC-VQA [55] ورق مشروع صورة نص 227 ألف 9
لام [56] ورق مشروع صورة نص 186 ألف 9
نقطة سحابة النص 10 ألف 3
رؤية فلان [57] ورق مشروع أزواج متعددة ~ 1 م 200+
اللافا [58] ورق مشروع صورة نص 1.4 م 2
شاركGPT4V [59] ورق مشروع صورة نص 1.2 م 2

نماذج

اسم النموذج #بارامس ورق مشروع الطريقة النموذج الأساسي مجموعة القطار
اسم النموذج #بارامس بناء الذات مقاس
إنستراكبيكس2بيكس [60] 983 م ورق مشروع صورة نص انتشار مستقر [62] 983 م نعم 450 ألف
لافا [61] 13 ب ورق مشروع صورة نص مقطع [63] 400 م نعم 158 ألف
لاما [39] 7 ب
لاما [39] 7 ب
فيديو اللاما [64] - ورق مشروع الصورة والنص والفيديو والصوت بليب-2 [65] - لا -
إيماج بيند [66] -
فيكونا[20] 7ب/13ب
إنستراكبليب [67] 12 ب ورق مشروع صورة نص فيديو بليب-2 [65] - لا -
قضاعة [68] - ورق مشروع صورة نص فيديو أوبن فلامنغو [69] 9 ب نعم 2.8 م
متعدد الوسائط-GPT [70] - ورق مشروع صورة نص فيديو أوبن فلامنغو [69] 9 ب لا -

ضبط التعليمات الخاصة بالمجال

اِختِصاص اسم النموذج #بارامس ورق مشروع النموذج الأساسي حجم القطار
طبي الأشعة-GPT [71] 7 ب ورق مشروع الألبكة[17] 122 ألف
تشات دكتور [72] 7 ب ورق مشروع لاما [39] 122 ألف
ChatGLM-Med [73] 6 ب - مشروع شات جي إل إم [41] -
كتابة كتابة الألبكة [74] 7 ب ورق - لاما [39] -
قسم تكنولوجيا المعلومات [75] 11 ب ورق مشروع فلان-T5 [7] 82 ألف
كوبويت [76] 11 ب ورق مشروع ت5[38] -
توليد الكود ويزاردكودر [25] 15 ب ورق مشروع ستاركودر [48] 78 ألف
تحليل المشاعر تكنولوجيا المعلومات-MTL [77] 220 م ورق مشروع ت5[38] -
حسابي الماعز [78] 7 ب ورق مشروع لاما [39] 1.0 م
استخراج المعلومات إنستروكوي [79] 11 ب ورق مشروع فلان-T5 [7] 1.0 م

تقنيات ضبط فعالة

اسم ورق مشروع
لورا [80] ورق مشروع
تلميح [81] ورق مشروع
كلورا [82] ورق مشروع
لومو [83] ورق مشروع
ضبط دلتا [84] ورق مشروع

التقييمات

التقييمات المغلقة ورق مشروع
فهم لغة المهام المتعددة (MMLU) [85] ورق مشروع
الرياضيات [86] ورق مشروع
جي إس إم 8 كيه [87] ورق مشروع
مقعد كبير صلب (BBH) [88] ورق مشروع
هيومن ايفال [89] ورق مشروع
إيفال [90] ورق مشروع
التقييمات المستندة إلى GPT ورق مشروع
الألبكة إيفال [91] - مشروع
تقييم الألبكة الذي يتم التحكم فيه بالطول [92] ورق مشروع
مقعد MT [93] ورق مشروع
وايلد بنش [94] ورق مشروع

مراجع

ضبط التعليمات (مجموعات البيانات)

[1] خشابي، دانيال، سيون مين، توشار خوت، أشيش سابهاروال، أويفيند تافجورد، بيتر كلارك، وهانانا هاجيشيرزي. Unifiedqa: عبور حدود التنسيق بنظام ضمان واحد . طبعة arXiv المسبقة arXiv:2005.00700 (2020). ورق

[2] تيانباو شيه، تشين هنري وو، بينج شي، رويكي تشونغ، تورستن شولاك، ميتشيهيرو ياسوناجا، شين شينج وو، مينغ تشونغ، بينج تشينج يين، سيدا آي وانج، فيكتور تشونغ، بايلين وانغ، تشنغزو لي، كونور بويل، أنسونج ني، زيو ياو، دراغومير آر راديف، كايمينغ شيونغ، لينغبينغ كونغ، روي تشانغ، نوح أ. سميث، لوك زيتلموير، وتاو يو. Unifiedskg: أسس معرفية منظمة موحدة ومتعددة المهام باستخدام نماذج لغة تحويل النص إلى نص . في مؤتمر الأساليب التجريبية في معالجة اللغات الطبيعية، 2022. ورقة

[3] ميشرا، سواروب وخشابي، دانيال وبارال، شيتا وهاجيشيرزي، حنانه. تعليمات غير طبيعية: ضبط نماذج اللغة بدون (تقريبًا) أي عمل بشري . arXiv طبعة أولية arXiv:2212.09689، 2022. ورق

[3] أو هونوفيتش، توماس سكيلوم، عمر ليفي، وتيمو شيك. تعليمات غير طبيعية: ضبط نماذج اللغة بدون (تقريبًا) أي عمل بشري . arXiv طبعة أولية arXiv:2212.09689، 2022. ورق

[4] ييزونغ وانغ، سواروب ميشرا، بيجاه عليبورمولاباشي، يجانيه كوردي، أمير رضا ميرزاي، أنجانا أرونكومار، أرجون أشوك، أروت سيلفان داناسيكاران، أثارفا نايك، ديفيد ستاب، وآخرون. تعليمات خارقة للطبيعة: التعميم عبر التعليمات التصريحية على أكثر من 1600 مهمة . في EMNLP، 2022. ورقة

[5] فيكتور سانه، ألبرت ويبسون، كولن رافيل، ستيفن إتش باخ، لينتانج سوتويكا، زيد اليافعي، أنطوان شافين، أرنو ستيجلر، تيفن لو سكاو، آرون راجا، وآخرون. يتيح التدريب الموجه للمهام المتعددة تعميم المهام بدون إطلاق النار . arXiv طبعة أولية arXiv:2110.08207، 2021. ورق

[6] نيكلاس مونيجوف، توماس وانج، لينتانج سوتويكا، آدم روبرتس، ستيلا بيدرمان، تيفين لو سكاو، إم سيف باري، شنغ شين، زينج شين يونج، هايلي شولكوبف، وآخرون. التعميم عبر اللغات من خلال ضبط المهام المتعددة . arXiv طبعة أولية arXiv:2211.01786، 2022. ورق

[7] شاين لونجبري، لو هو، تو فو، ألبرت ويبسون، هيونغ وون تشونغ، يي تاي، ديني تشو، كووك في لو، باريت زوف، جيسون وي، وآخرون. مجموعة فلان: تصميم البيانات والأساليب لضبط التعليمات الفعالة arXiv طبعة أولية arXiv:2301.13688، 2023. ورق

[8] جي تشانغ، يمين شي، رويبو ليو، رويبين يوان، ييزي لي، سيوي دونغ، يو شو، تشاوكون لي، زيكون وانغ، تشينغهوا لين، وين-فين هوانغ، وجي فو. اختصاصي التعليمات المفتوحة الصينية: إصدار أولي ArXiv، abs/2304.07987، 2023. ورق

[9] لونغ أويانغ، جيفري وو، شو جيانغ، ديوغو ألميدا، كارول وينرايت، باميلا ميشكين، تشونغ تشانغ، ساندهيني أغاروال، كاتارينا سلاما، أليكس راي، وآخرون. تدريب النماذج اللغوية على اتباع التعليمات مع ردود الفعل البشرية . التقدم في أنظمة معالجة المعلومات العصبية، 35:27730-27744، 2022. ورقة

[10] مايك كونوفر، مات هايز، أنكيت ماثور، شيانغروي منغ، جيانوي شيه، جون وان، سام شاه، علي قدسي، باتريك ويندل، ماتي زاهريا، وآخرون. دوللي مجانية: تقديم أول دراسة مضبوطة للتعليمات المفتوحة حقًا في العالم ، 2023. ورق

[11] تشونتينج تشو، بينجفي ليو، بوكسين شو، سريني آير، جياو صن، يونينج ماو، زويزهي ما، أفيا إفرات، بينج يو، إل يو، سوزان تشانغ، جارجي غوش، مايك لويس، لوك زيتليموير، وعمر ليفي. ليما: الأقل هو الأكثر للمواءمة . ArXiv، abs/2305.11206، 2023. ورق

[12] أوبن إيه آي. تقديم chatgpt . منشور المدونة openai.com/blog/chatgpt، 2022. ورقة

[13] أندرياس كوبف، يانيك كيلشر، ديمتري فون روتي، سوتيريس أناجنوستيديس، زهي-روي تام، كيث ستيفنز، عبد الله برهوم، نغوين مينه دوك، أوليفر ستانلي، ريتشارد ناجيفي، وآخرون. المحادثات المفتوحة المساعدة – إضفاء الطابع الديمقراطي على محاذاة نماذج اللغة الكبيرة . arXiv طبعة أولية arXiv:2304.07327، 2023. ورق

[14] لايون.ai. أويج: مجموعة البيانات العامة للتعليمات المفتوحة ، 2023.

[15] فوزهاو شيويه، كبير جاين، ماهر هيتيش شاه، زانغوي تشينغ، ويانغ يو. التعليمات في البرية: مجموعة بيانات التعليمات القائمة على المستخدم github.com/XueFuzhao/InstructionWild,2023 .

[16] كان شو، كينغفنغ صن، كاي زينج، شيوبو قنغ، بو تشاو، جيازهان فنغ، تشونغيانغ تاو، وداكسين جيانغ. Wizardlm: تمكين نماذج اللغات الكبيرة من اتباع التعليمات المعقدة ، 2023. ورقة

[17] روهان تاوري، إيشان جولراجاني، تياني تشانغ، يان دوبوا، شيوتشن لي، كارلوس جيسترين، بيرسي ليانج، وتاتسونوري بي هاشيموتو. الألبكة: نموذج قوي وقابل للتكرار لمتابعة التعليمات . مركز ستانفورد لأبحاث نماذج الأساس. https://crfm.stanford.edu/2023/03/13/alpaca.html ، 3(6):7، 2023.

[18] هانمينغ ليو، زيانغ تنغ، ليانغ كوي، تشاولي تشانغ، تشيجي تشو، ويوي تشانغ. Logicot: مجموعة بيانات ضبط تعليمات سلسلة التفكير المنطقية باستخدام gpt-4 . ArXiv، abs/2305.12147، 2023. ورق

[19] باولين بينغ، تشونيوان لي، بينجتشنغ هي، ميشيل جالي، وجيانفينج جاو. ضبط التعليمات باستخدام gpt-4 . arXiv طبعة أولية arXiv:2304.03277، 2023. ورق

[20] وي لين شيانغ، تشوهان لي، زي لين، ينغ شينغ، تشانغهاو وو، هاو تشانغ، ليانمين تشنغ، سيوان تشوانغ، يونغهاو تشوانغ، جوزيف إي غونزاليس وآخرون. Vicuna: برنامج chatbot مفتوح المصدر يثير إعجاب gpt-4 بجودة chatgpt بنسبة 90٪ . انظر https://vicuna.lmsys.org (تم الوصول إليه في 14 أبريل 2023)، 2023.

[21] كانوين شو ودايا جو ونان دوان وجوليان ماكولي. Baize: نموذج دردشة مفتوح المصدر مع ضبط فعال للمعلمات على بيانات الدردشة الذاتية . ورق

[22] نينغ دينغ، ويولين تشن، وبوكاي شو، ويوجيا تشين، وزهي تشنغ، وشنغ دينغ هو، وزي يوان ليو، وماوسونغ صن، وبوين تشو. تعزيز نماذج لغة الدردشة من خلال توسيع نطاق المحادثات التعليمية عالية الجودة . arXiv طبعة أولية arXiv:2305.14233، 2023. ورق

[23] جوزيفوس تشيونغ. جواناكو: مساعد عالمي توليدي للمخرجات متعددة اللغات المتكيفة مع سياق اللغة الطبيعية ، 2021.

[24] سوبهابراتا موخرجي، أريندام ميترا، غانيش جواهر، ساهاج أغاروال، حميد بالانجي، وأحمد عوض الله. 2023. Orca: التعلم التدريجي من آثار التفسير المعقدة لـ gpt-4. arXiv الطباعة المسبقة arXiv:2306.02707. ورق

[25] زيانغ لوه، كان شو، بو تشاو، كينغفنغ صن، شيوبو قنغ، وينكسيانغ هو، تشونغيانغ تاو، جينغ ما، كينغوي لين، وداكسين جيانغ. 2023. Wizardcoder: تمكين نماذج اللغات الكبيرة ذات التعليمات البرمجية من خلال تعليمات التطور. ورق

[26] يوشيانغ وي، زهي وانغ، جياوي ليو، يفنغ دينغ، ولينجمينغ تشانغ. 2023ب. Magicoder: كود المصدر هو كل ما تحتاجه. arXiv الطباعة المسبقة arXiv:2312.02120. ورق

[27] تشاوجيان يو، شين تشانغ، نينغ شانغ، يانغيو هوانغ، كان شو، ييشوجي تشاو، وينكسيانغ هو، وكيوفنغ يين. 2023. Wavecoder: ضبط تعليمات محسّن واسع النطاق ومتعدد الاستخدامات مع توليد بيانات محسّن. arXiv الطباعة المسبقة arXiv:2312.14187. ورق

[28] سوريا جوناسيكار، يي تشانغ، جيوتي أنيجا، كايو سيزار تيودورو مينديز، ألي ديل جيورنو، سيفاكانث جوبي، موجان جافاهريبي، بييرو كوفمان، جوستافو دي روزا، أولي ساريكيفي، وآخرون. 2023. الكتب المدرسية هي كل ما تحتاجه. arXiv الطباعة المسبقة arXiv:2306.11644. ورق

[29] يوانزي لي، سيباستيان بوبيك، رونين إلدان، ألي ديل جيورنو، سوريا جوناسيكار، ويين تات لي. 2023ح. الكتب المدرسية هي كل ما تحتاجه II: التقرير الفني phi-1.5. arXiv الطباعة المسبقة arXiv:2309.05463. ورق

[30] بانغهوا تشو، إيفان فريك، تيانهاو وو، هانلين تشو، وجيانتاو جياو. 2023 أ. Starling-7b: تحسين فائدة الدراسة وعدم ضررها باستخدام rlaif. ورق

[31] ييزونغ وانغ، يجانه كوردي، سواروب ميشرا، أليسا ليو، نوح سميث، دانييل خشابي، وهانانا حاجشيرزي. التعليم الذاتي: محاذاة نموذج اللغة مع التعليمات المولدة ذاتيًا . arXiv طبعة أولية arXiv:2212.10560، 2022. ورق

[32] شيان لي، بينج يو، تشونتينج تشو، تيمو شيك، لوك زيتلموير، عمر ليفي، جيسون ويستون، ومايك لويس. 2023 جرام. المحاذاة الذاتية مع الترجمة العكسية للتعليمات. arXiv الطباعة المسبقة arXiv:2308.06259. ورق

[33] زيكسيانج تشين، وييخه دينج، وهويزهو يوان، وكايشوان جي، وكوانكوان جو. 2024. يؤدي الضبط الدقيق للعب الذاتي إلى تحويل نماذج اللغة الضعيفة إلى نماذج لغة قوية. arXiv الطباعة المسبقة arXiv:2401.01335. ورق

ضبط التعليمات (النماذج)

[34] نيكلاس مونيجوف، توماس وانج، لينتانج سوتويكا، آدم روبرتس، ستيلا بيدرمان، تيفين لو سكاو، إم سيف باري، شنغ شين، زينج شين يونج، هيلي شولكوبف، وآخرون. 2022. التعميم عبر اللغات من خلال ضبط المهام المتعددة. arXiv الطباعة المسبقة arXiv:2211.01786. ورق

[35] هيونغ وون تشونغ، لي هو، إس. لونجبري، باريت زوف، يي تاي، ويليام فيدوس، إريك لي، زويزهي وانغ، مصطفى دهغاني، سيدهارتا براهما، ألبرت ويبسون، شيشيانغ شين جو، زويون داي، ميراك سوزجون، زينيون تشين. ، أكانكشا شودري، داشا فالتر، شاران نارانغ، غوراف ميشرا، آدامز وي يو، فنسنت تشاو، ويانبينج هوانغ، وأندرو إم داي، وهونجكون يو، وسلاف بيتروف، وإد هواي هسين تشي، وجيف دين، وجاكوب ديفلين، وآدم روبرتس، وديني تشو، وكوك في. لي، وجيسون وي. توسيع نطاق نماذج اللغة المضبوطة للتعليم . ArXiv، abs/2210.11416، 2022. ورق

[36] توم بي براون، بنجامين مان، نيك رايدر، ميلاني سوبيا، جاريد كابلان، برافولا داريوال، أرفيند نيلاكانتان، براناف شيام، جيريش ساستري، أماندا أسكيل، ساندهيني أغاروال، أرييل هربرت فوس، جريتشن كروجر، تي جي هينيغان، ريون. الطفل، أديتيا راميش، دانييل إم زيغلر، جيف وو، كليمنس وينتر، كريستوفر هيس، مارك تشين، إريك سيجلر، ماتيوس ليتوين، سكوت جراي، بنيامين تشيس، جاك كلارك، كريستوفر بيرنر، سام ماكاندليش، أليك رادفورد، إيليا سوتسكيفر، وداريو أمودي. نماذج اللغة هي عدد قليل من المتعلمين . ArXiv، abs/2005.14165، 2020. ورقة

[37] سكاو، تيفن لو، أنجيلا فان، كريستوفر أكيكي، إيلي بافليك، سوزانا إيليتش، دانييل هيسلو، رومان كاستاني وآخرون. بلوم: نموذج لغة متعدد اللغات مفتوح الوصول ذو 176 ب . arXiv طبعة أولية arXiv:2211.05100 (2022). ورق

[38] كولين رافيل، نعوم م. شازير، آدم روبرتس، كاثرين لي، شاران نارانغ، مايكل ماتينا، يانكي تشو، وي لي، وبيتر جيه ليو. استكشاف حدود نقل التعلم باستخدام محول نص إلى نص موحد . ArXiv، abs/1910.10683، 2019. ورقة

[39] هوغو توفرون، تيبو لافريل، غوتييه إيزاكارد، كزافييه مارتينيه، ماري آن لاشو، تيموثي لاكروا، بابتيست روزيير، نامان جويال، إريك هامبرو، فيصل أزهر، أورليان رودريغيز، أرماند جولين، إدوارد جريف، وغيوم لامبل. اللاما: نماذج لغة أساسية مفتوحة وفعالة . ArXiv، abs/2302.13971، 2023. ورق

[40] يونتاو باي، سوراف كادافاث، سانديبان كوندو، أماندا أسكيل، جاكسون كيرنيون، آندي جونز، آنا تشين، آنا جولدي، أزاليا ميرهوسيني، كاميرون ماكينون، وآخرون. منظمة العفو الدولية الدستورية: عدم الضرر من ردود الفعل منظمة العفو الدولية . arXiv طبعة أولية arXiv:2212.08073، 2022. ورق

[41] زينجشياو دو، يوجي تشيان، شياو ليو، مينغ دينغ، جيزونغ تشيو، تشيلين يانغ، وجي تانغ. Glm: التدريب المسبق على نموذج اللغة العامة مع ملء الفراغات التلقائية . في وقائع الاجتماع السنوي الستين لجمعية اللغويات الحاسوبية (المجلد الأول: أوراق طويلة)، الصفحات 320-335، 2022. ورقة

[42] سرينيفاس آير، شياوجوان لين، راماكانث باسونورو، تودور ميهايلوف، دانييل سيميج، بينج يو، كورت شوستر، تيانلو وانج، تشينغ ليو، بونيت سينغ كورا، زيان لي، بريان أوهورو، غابرييل بيريرا، جيف وانغ، كريستوفر ديوان. وأسلي سيليكيلماز ولوك زيتليموير وفيسيلين ستويانوف. Opt-iml: توسيع نطاق التعلم الفوقي لتعليم نموذج اللغة من خلال عدسة التعميم . ArXiv، abs/2212.12017، 2022. ورقة

[43] سوزان تشانغ، ستيفن رولر، نامان جويال، ميكيل أرتيتكسي، مويا تشين، شوهوي تشين، كريستوفر ديوان، منى تي دياب، شيان لي، شي فيكتوريا لين، تودور ميهايلوف، مايل أوت، سام شلايفر، كيرت شوستر، دانييل سيميج. وبونيت سينغ كورا وأنجالي سريدهار وتيانلو وانغ ولوك زيتليموير. 2022 أ. اختيار: فتح نماذج لغة المحولات المدربة مسبقًا. أركايف، عبس/2205.01068. ورق

[44] مايك كونوفر، مات هايز، أنكيت ماثور، شيانغروي منغ، جيانوي شيه، جون وان، سام شاه، علي قدسي، باتريك ويندل، ماتي زاهريا، وآخرون. دوللي مجانية: تقديم أول دراسة في العالم تم ضبطها للتعليمات المفتوحة حقًا ، 2023.

[45] ستيلا روز بيدرمان، هيلي شولكوبف، كوينتن ج. أنتوني، هيربي برادلي، كايل أوبراين، إريك هالاهان، محمد أفلح خان، شيفانشو بوروهيت، يو إس في إس إن ساي براشانث، إدوارد راف، أفيا سكورون، لينتانج سوتويكا، وأوسكار فان دير. وول. Pythia: مجموعة لتحليل نماذج اللغة الكبيرة عبر التدريب والقياس . ArXiv، abs/2304.01373، 2023. ورق

[46] ابتسام المزروعي، حمزة العبيدلي، عبد العزيز الشامسي، أليساندرو كابيلي، روكساندرا كوجوكارو، مروان دبة، إتيان جوفينيت، دانييل هيسلو، جوليان لوناي، كوينتين مالارتيك، بدر الدين نون، بابتيست بانييه، وجيلهيرم بينيدو. Falcon-40B: نموذج لغة كبير ومفتوح بأداء متطور . 2023. ورق

[47] مجموعة OpenAccess AI الجماعية . البرنامج: Huggingface.co/openaccess-ai-collective/minotaur-15b, 2023.

[48] ​​ريموند لي، لبنى بن علال، يانغتيان زي، نيكلاس مونيجوف، دينيس كوسيتكوف، تشنغهاو مو، مارك مارون، كريستوفر أكيكي، جيا لي، جيني شيم، وآخرون. Starcoder: نرجو أن يكون المصدر معك ! arXiv طبعة أولية arXiv:2305.06161، 2023. ورق

[49] نوس ريسيرتش . البرنامج: Huggingface.co/NousResearch/Nous-Hermes-13b، 2023.

[50] ييزونغ وانغ، هاميش إيفيسون، براديب داسيغي، جاك هيسيل، توشار خوت، كياثي راغافي تشاندو، ديفيد وادن، كيلسي ماكميلان، نوح أ. سميث، إيز بلتاجي، وهانا حاجشيرزي. إلى أي مدى يمكن أن تذهب الجمال؟ استكشاف حالة ضبط التعليمات على الموارد المفتوحة . ArXiv، abs/2306.04751، 2023. ورق

[51] فريق يولان للدردشة. Yulan-chat: برنامج دردشة ثنائي اللغة مفتوح المصدر . github.com/RUC-GSAI/YuLan-Chat، 2023.

[52] صن تيانشيانغ وتشيو شيبينج. موس . منشور المدونة txsun1997.github.io/blogs/moss.html، 2023.

[53] جون دوربين. ايروبوروس . البرنامج: github.com/jondurbin/airoboros، 2023.

ضبط التعليمات متعددة الوسائط (مجموعات البيانات)

[54] زيانج شو، ويينج شين، وليفو هوانج. Multiinstruct: تحسين التعلم الصفري متعدد الوسائط من خلال ضبط التعليمات . ArXiv، abs/2212.10773، 2022. ورقة

[55] شياومان تشانغ، تشاوي وو، زيهينغ تشاو، ويكسيونغ لين، يا تشانغ، يان فنغ وانغ، وويدي شيه. Pmc-vqa: ضبط التعليمات المرئية للإجابة على الأسئلة البصرية الطبية أركايف، أبس/2305.10415. 2023. ورق

[56] زينفي يين، جيونغ وانغ، جيانجيان كاو، زيلون شي، دينغنينغ ليو، موكاي لي، لو شنغ، لي باي، شياوشوي هوانغ، زيونغ وانغ، وانلي أويانغ، وجينغ شاو. لام: مجموعة بيانات ضبط التعليمات متعددة الوسائط بمساعدة اللغة، والإطار، والمعيار . ArXiv، abs/2306.06687، 2023. ورق

[57] زيانغ شو، تشاو فنغ، رولين شاو، تريفور أشبي، ينغ شين، دي جين، يو تشينغ، كيفان وانغ، وليفو هوانغ. 2024. Vision-flan: توسيع نطاق المهام التي يطلق عليها الإنسان في ضبط التعليمات المرئية. arXiv الطباعة المسبقة arXiv:2402.11690. ورق

[58] غيمينغ هاردي تشين، شونيان تشين، رويفي زانغ، جونينغ تشن، شيانغبو وو، زيي زانغ، زيهونغ تشن، جيانكوان لي، شيانغ وان، وبينيو وانغ. 2024 أ. Allava: تسخير البيانات المركبة gpt4v لنموذج لغة الرؤية البسيط. arXiv الطباعة المسبقة arXiv:2402.11684. ورق

[59] لين تشن، جيسونغ لي، شياويى دونغ، بان تشانغ، كونغوي هي، جياكي وانغ، فنغ تشاو، وداهوا لين. 2023 أ. Sharegpt4v: تحسين النماذج الكبيرة متعددة الوسائط مع تسميات توضيحية أفضل. arXiv الطباعة المسبقة arXiv:2311.12793. ورق

ضبط التعليمات متعددة الوسائط (النماذج)

[60] تيم بروكس، ألكسندر هولنسكي، وأليكسي أ. إفروس. Instructpix2pix: تعلم اتباع تعليمات تحرير الصور . ArXiv، abs/2211.09800، 2022. ورق

[61] هاوتيان ليو، تشونيوان لي، تشينغيانغ وو، ويونغ جاي لي. ضبط التعليمات المرئية . ArXiv، abs/2304.08485، 2023. ورق

[62] روبن رومباخ، وأندرياس بلاتمان، ودومينيك لورينز، وباتريك إيسر، وبيورن أومير. تركيب صور عالية الدقة باستخدام نماذج الانتشار الكامنة . في وقائع مؤتمر IEEE/CVF حول رؤية الكمبيوتر والتعرف على الأنماط، الصفحات 10684-10695، 2022. ورقة

[63] أليك رادفورد، جونغ ووك كيم، كريس هالاسي، أديتيا راميش، غابرييل جوه، ساندهيني أغاروال، جيريش ساستري، أماندا أسكيل، باميلا ميشكين، جاك كلارك، جريتشن كروجر، وإيليا سوتسكيفر. تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية . في المؤتمر الدولي للتعلم الآلي 2021. ورقة

[64] هانغ تشانغ، وشين لي، وليدونغ بينج. فيديو اللاما: نموذج لغة سمعية وبصرية مضبوط للتعليمات لفهم الفيديو . arXiv طبعة أولية arXiv:2306.02858، 2023. ورق

[65] جونان لي، ودونجكسو لي، وسيلفيو سافاريزي، وستيفن هوي. BLIP-2: التدريب المسبق على الصور اللغوية باستخدام برامج تشفير الصور المجمدة ونماذج اللغة الكبيرة . في ICML، 2023. ورقة

[66] روهيت جيردار، علاء الدين النوبي، زوانغ ليو، منات سينغ، كاليان فاسوديف الوالا، أرماند جولين، وإيشان ميسرا. Imagebind: مساحة تضمين واحدة لربطهم جميعًا . في CVPR، 2023. ورقة

[67] وينليانغ داي، جونان لي، دونجكسو لي، أنتوني منغ هوات تيونغ، جونكي تشاو، ويشينغ وانغ، بويانغ لي، باسكال فونغ، وستيفن هوي. Instructblip: نحو نماذج لغة الرؤية للأغراض العامة مع ضبط التعليمات . ArXiv، abs/2305.06500، 2023. ورق

[68] بو لي، ويوانهان تشانغ، وليانغيو تشين، وجينغاو وانغ، وجينغكانغ يانغ، وزيوي ليو. Otter: نموذج متعدد الوسائط مع ضبط التعليمات في السياق . ArXiv، abs/2305.03726، 2023. ورق

[69] أنس عوض الله، إيرينا جاو، جوشوا جاردنر، جاك هيسيل، يوسف حنفي، وانرونج تشو، كالياني ماراث، يوناتان بيتون، سمير جادري، جينيا جيتسيف، وآخرون. اوبن فلامينجو 2023.

[70] تاو جونج، تشينجكي ليو، شيلونج تشانج، يودونج وانج، مياو زينج، تشيانمينجكي تشاو، كويكون ليو، وينوي تشانج، بينج لوه، وكاي تشين. Multimodal-gpt: نموذج الرؤية واللغة للحوار مع البشر . ArXiv، abs/2305.04790، 2023. ورق

ضبط التعليمات الخاصة بالمجال

[71] تشنغ ليو، أوكسياو تشونغ، يوي لي، لونغتاو يانغ، تشاو جو، زيهاو وو، تشونغ ما، بينج شو، تشينغ تشين، سيكيون كيم، هايكسينغ داي، لين تشاو، داجيانغ تشو، جون ليو، وي ليو، دينغانغ شين وشيانغ لي وكوانتشن لي وتيانمينغ ليو. Radiology-gpt: نموذج لغة كبير للأشعة . 2023. ورق

[72] يونكسيانج لي، زيهان لي، كاي زانج، رويلونج دان، ويو زانج. Chatdoctor: نموذج دردشة طبي تم ضبطه على نموذج اللاما باستخدام المعرفة بالمجال الطبي . ArXiv، abs/2303.14070، 2023. ورق

[73] سيندونغ تشاو بينج تشين تينغ ليو هاوتشون وانغ، تشي ليو. Chatglm-med. github.com/SCIR- HI/Med-ChatGLM , 2023.

[74] يوي تشانغ، ليانغ كوي، دينغ كاي، زينتينغ هوانغ، تاو فانغ، ووي بي. 2023د. ضبط تعليمات متعددة المهام للاما لسيناريوهات محددة: دراسة أولية حول المساعدة في الكتابة. أركايف، عبس/2305.13225. ورق

[75] فيبول راهيجا، دروف كومار، ريان كو، ودونجيب كانغ. 2023. Coedit: تحرير النص عن طريق ضبط التعليمات الخاصة بالمهمة. أرخايف، عبس/2305.09857. ورق

[76] توهين تشاكرابارتي، فيشاك بادماكومار، وهينجكسينج هي. 2022. ساعدني في كتابة ضبط تعليمات القصيدة كوسيلة لكتابة الشعر التعاوني. أركايف، عبس/2210.13669. ورق

[77] سيدهارت فاريا، شواي وانغ، كيشالوي هالدر، روبرت فاكاريانو، ميغيل باليستيروس، ياسين بنجيبة، نيها آن جون، ريشيتا أنوبهاي، سماراندا موريسان، ودان روث. 2022. ضبط التعليمات لتحليل المشاعر على أساس الجوانب. أركايف، عبس/2210.06629. ورق

[78] تيدونغ ليو وبريان كيان هسيانغ. الماعز: يتفوق اللاما المضبوط بدقة على gpt-4 في المهام الحسابية . arXiv طبعة أولية arXiv:2305.14201، 2023. ورق

[79] شياو وانغ، وي تشو، كان زو، هان شيا، تيانزي تشن، يوان تشانغ، روي تشنغ، جونجي يي، تشي تشانغ، تاو غوي، جيهوا كانغ، جيه يانغ، سيوان لي، وتشونساي دو. التعليمات: ضبط التعليمات متعددة المهام لاستخراج المعلومات الموحدة . ArXiv، abs/2304.08085، 2023. ورق

تقنيات ضبط فعالة

[80] إدوارد جي هو، ييلونج شين، فيليب واليس، زيوان ألين تشو، يوانزي لي، شين وانج، لو وانج، وويتشو تشين. 2021. لورا: تكيف منخفض الرتبة لنماذج اللغات الكبيرة . arXiv الطباعة المسبقة arXiv:2106.09685. ورق

[81] هاميش إيفيسون، أكشيتا باجيا، ييزونغ وانغ، هانانا حاجشيرزي، وماثيو إي. بيترز. 2022. تلميح: ضبط تعليمات الشبكة الفائقة لتعميم صفر الطلقة بكفاءة . أركايف، أبس/2212.10315. ورق

[82] تيم ديتميرز، أرتيدورو باجنوني، آري هولتزمان، ولوك زيتليموير. 2023. Qlora: الضبط الدقيق للمواد الكمية . arXiv الطباعة المسبقة arXiv:2305.14314. ورق

[83] كاي إل في، يو تشينغ يانغ، تينغشياو ليو، تشي جي جاو، كيبنغ غو، وشيبنغ تشيو. 2023. الضبط الدقيق للمعلمات بالكامل لنماذج اللغات الكبيرة ذات الموارد المحدودة . ورق

[84] ويز تشين، وجينغ يي، وويلين تشاو، وشياوزهي وانغ، وتشييوان ليو، وهايتاو تشنغ، وجيانفي تشين، وي. ليو، وجي تانغ، وخوانزي لي، وماوسونغ صن. 2023ب. الضبط الدقيق الفعال للمعلمات لنماذج اللغة المدربة مسبقًا على نطاق واسع . طبيعة آلة الذكاء، 5: 220-235. ورق

التقييمات

[85] هندريكس، دان وبيرنز، كولين وباسارت، ستيفن وزو، آندي ومزيكا، مانتاس وسونغ، دون وستينهاردت، جاكوب. 2020أ. قياس فهم اللغة متعدد المهام بشكل كبير . أرخايف:2009.03300. ورق

[86] هندريكس، دان وبيرنز، كولين وكادافاث، سوراف وأرورا، أكول وباسارت، ستيفن وتانغ، إريك وسونغ، دون وستينهاردت، جاكوب. 2021. قياس حل المسائل الرياضية باستخدام مجموعة البيانات الرياضية . arXiv الطباعة المسبقة arXiv:2103.03874. ورق

[87] كارل كوبي وفينيت كوساراجو ومحمد بافاريان ومارك تشين وهيوو جون ولوكاس كايزر وماتياس بلابيرت وجيري توريك وجاكوب هيلتون وريتشيرو ناكانو وكريستوفر هيس وجون شولمان. 2021. تدريب المدققين على حل المسائل اللفظية الرياضية . ورق

[88] سوزجون، ميراك وسكيلز، ناثان وشارلي، نثنائيل وغيرمان، سيباستيان وتاي، يي وتشونغ، هيونغ وون وتشودري، أكانكشا ولي، كووك في وتشي، إد إتش وتشو، ديني وغيرها 2022a. المهام الصعبة ذات المقاعد الكبيرة وما إذا كانت سلسلة الأفكار يمكنها حلها أرخايف:2210.09261 ورقة

[89] تشين، مارك وتوريك، جيري وجون، هيوو ويوان، تشيمينغ وبينتو، هنريك بوند دي أوليفيرا وكابلان، جاريد وإدواردز، هاري وبوردا، يوري وجوزيف، نيكولاس وبروكمان، جريج وآخرون. 2021 أ. تقييم النماذج اللغوية الكبيرة المدربة على الكود . arXiv ما قبل الطباعة arXiv:2107.03374 ورقة

[90] تشو، جيفري ولو، تيانجيان وميشرا، سواروب وبراهما، سيدهارتا وباسو، سوجوي ولوان، يي وتشو، ديني وهو، لو. 2023ب. تقييم متابعة التعليمات لنماذج اللغات الكبيرة . arXiv ما قبل الطباعة arXiv:2311.07911 ورقة

[91] شيويتشن لي وتياني تشانغ ويان دوبوا وروهان تاوري وإيشان جولراجاني وكارلوس جيسترين وبيرسي ليانج وتاتسونوري بي هاشيموتو. 2023ح. AlpacaEval: مقيم تلقائي للنماذج التي تتبع التعليمات . مستودع جيثب جيثب

[92] دوبوا، يان وجلامبوسي، بالز وليانج، بيرسي وهاشيموتو، تاتسونوري ب. 2024. تقييم الألبكة الذي يتم التحكم فيه بالطول: طريقة بسيطة لمقيمي ديبياس الآليين . arXiv ما قبل الطباعة arXiv:2404.04475 ورقة

[93] تشنغ، وليانمين وتشيانغ، ووي لين وشنغ، ويينغ وتشوانغ، وسيوان ووو، وزانغهاو وتشوانغ، ويونغهاو ولين، وزي ولي، وتشوهان ولي، وداتشنغ وشينغ، وإريك وآخرين. 2023. التحكيم في ماجستير العلوم من خلال منصة mt-bench وساحة chatbot . التقدم في ورقة نظم معالجة المعلومات العصبية

[94] لين، بيل يوشين ودنغ، يونتيان وتشاندو، خياتي وبراهمان، فايز ورافيشاندر، أبهيلاشا وبياتكين، فالنتينا ودزيري، نوها وبراس، رونان لو وتشوي، يجين. 2024. WILDBENCH: قياس مستوى ماجستير إدارة الأعمال من خلال المهام الصعبة من مستخدمين حقيقيين في البرية . arXiv ما قبل الطباعة arXiv:2406.04770 ورقة

محاذاة سطحية

[95] بو نين كونغ ونانيون بينغ. 2023. هل تتعلم العارضات حقًا اتباع التعليمات؟ دراسة تجريبية لضبط التعليمات . الرباط الصليبي الأمامي. ورق

[96] تشونتينج تشو وبنغفي ليو وبوكسين شو وسريني آير وجياو صن ويونينغ ماو وزويزي ما وأفيا إفرات وبينج يو وإل يو وسوزان تشانغ وجارجي غوش ومايك لويس ولوك زيتليموير وعمر ليفي. 2023 أ. ليما: الأقل هو الأكثر للمحاذاة . نيوربيس 2023. ورق

[97] لين، بيل يوشين ورافيشاندر، أبهيلاشا ولو، شيمينغ ودزيري، نوها وسكلار، ميلاني وتشاندو، خياتي وبهاغافاتولا، شاندرا وتشوي، ييجين. 2023 أ. تعويذة الفتح في المواد الأساسية: إعادة التفكير في المحاذاة من خلال التعلم في السياق ICLR 2024. ورقة

اتصال

إذا كان لديك أي أسئلة أو اقتراحات، فلا تتردد في إنشاء مشكلة أو إرسال بريد إلكتروني إلى [email protected] .

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل