awesome language model analysis

تحليل نموذج اللغة الرائع

تركز قائمة الأوراق هذه على التحليل النظري والتجريبي لنماذج اللغة، وخاصة نماذج اللغات الكبيرة (LLMs). تبحث الأوراق الواردة في هذه القائمة في سلوك التعلم، والقدرة على التعميم، والخصائص الأخرى لنماذج اللغة من خلال التحليل النظري، أو التحليل التجريبي، أو مزيج من الاثنين معًا.

نطاق هذه القائمة:

• حاليًا، تركز هذه القائمة على النماذج المعتمدة على المحولات .
• نأمل أن نجمع أوراقًا تركز فقط على التحليل النظري والتجريبي لنماذج اللغة، بدلاً من الأوراق التي تهدف إلى تحسين أداء نماذج اللغة.

حدود هذه القائمة:

• هذه القائمة ليست شاملة، وقد تفوتنا بعض الأوراق المهمة جدًا.
• هذه القائمة ليست منظمة بشكل جيد بعد، وقد نحتاج إلى إعادة تنظيم القائمة في المستقبل.
• لم تتم تغطية بعض المواضيع الشائعة بشكل جيد بعد، مثل الهندسة الميكانيكية، والسبر، وقابلية التفسير.

إحصائيات هذه القائمة الورقية:

• إجمالي عدد الأوراق المختلفة: 550
• للحصول على إحصائيات أكثر تفصيلاً، يرجى الرجوع إلى نهاية هذه الصفحة.

إذا كان لديك أي اقتراحات أو تريد المساهمة، فلا تتردد في فتح مشكلة أو طلب سحب.

للحصول على تفاصيل حول كيفية المساهمة، يرجى الرجوع إلى إرشادات المساهمة.

يمكنك أيضًا مشاركة أفكارك ومناقشتها مع الآخرين في المناقشات.

ملحوظة

للحصول على نسخة غير مصنفة، يرجى الرجوع إلى هنا.

جدول المحتويات

• تحليل نموذج اللغة الرائع
• جدول المحتويات
  • الظواهر ذات الاهتمام
    • التعلم في السياق
    • سلسلة الفكر
    • هلوسة
    • لعنة عكسية
    • قوانين التوسع / القدرات الناشئة / التزايد / إلخ.
    • آليات المعرفة / الذاكرة
    • ديناميكيات التدريب / المناظر الطبيعية / التحسين / الضبط الدقيق / إلخ.
    • التعلم / التعميم / الاستدلال / التعميم الضعيف إلى القوي
    • ظواهر / اكتشافات أخرى
  • القدرة التمثيلية
    • ماذا يمكن أن يفعل المحول؟ / خصائص المحولات
    • ما الذي لا يستطيع المحول فعله؟ / الحد من المحولات
  • الفعالية المعمارية
    • تطبيع الطبقة
    • الترميز / التضمين
    • الاهتمام الخطي / نماذج مساحة الحالة / نماذج اللغة المتكررة / الخ.
  • نماذج التدريب
  • الهندسة الميكانيكية / التحقيق / القابلية للتفسير
  • متنوعات

الظواهر ذات الاهتمام

^ back to top ^

الفئات التي تركز على الظواهر والخصائص والسلوكيات المختلفة التي تمت ملاحظتها في نماذج اللغة الكبيرة (LLMs) والنماذج القائمة على المحولات.

التعلم في السياق

^ back to top ^

أوراق تركز على التحليل النظري والتجريبي للتعلم في السياق في نماذج اللغة الكبيرة.

قائمة الورق (انقر لطي / تتكشف)

• التعلم في السياق الذي يمكن إثباته باستخدام المحولات: دراسة حالة عن الانحدار الخطي [رابط ورقي] 2024-11-04
  داك بو؛ وي هوانغ؛ آندي هان؛ أتسوشي نيتاندا؛ تايجي سوزوكي؛ كينغفو تشانغ؛ هاو سان وونغ

• يتعلم المحول المدرب مسبقًا بكفاءة وظائف الهدف منخفضة الأبعاد في السياق [رابط ورقي] 2024-11-04
  كازوساتو أوكو؛ يوجين سونغ؛ تايجي سوزوكي؛ ديني وو

• نحو فهم التعلم في السياق مقابل التعلم القائم على الوزن [رابط ورقي] 2024-10-30
  بريان تشان؛ شينيى تشن؛ أندراس جيورجي؛ ديل شورمانز

• حول دور العمق والتكرار في التعلم داخل السياق مع تنوع المهام [رابط ورقي] 2024-10-29
  خشاير جاتميري؛ نيكونج ساونشي؛ ساشانك جي ريدي؛ ستيفاني جيجيلكا؛ سانجيف كومار

• آليات معالجة الرموز للتعلم في السياق في شبكات المحولات [رابط ورقي] 2024-10-23
  بول سمولينسكي؛ رولاند فرنانديز؛ تشنغهاو هربرت تشو؛ ماتيا أوبر؛ جيان فنغ جاو

• هل يمكن للمحولات في السياق أن تتعلم سلوك النظام الديناميكي الخطي؟ [رابط الورق] 2024-10-21
  عثمان أكرم؛ هاريس فيكالو

• قوانين القياس الافتراضية للتعلم في السياق [رابط ورقي] 2024-10-21
  أريامان أرورا؛ دان جورافسكي؛ كريستوفر بوتس؛ نوح د. جودمان

• التعلم في السياق الذي يمكن إثباته لمزيج من الانحدارات الخطية باستخدام المحولات [رابط ورقي] 2024-10-18
  يانهاو جين؛ كريشناكومار بالاسوبرامانيان؛ ليفينج لاي

• التعلم في السياق ونصل أوكام [رابط الورقة] 2024-10-17
  إريك الموزنينو؛ توم مارتي؛ تيجاس كاسيتي؛ ليو غانيون؛ سارثاك ميتال؛ ماهان فتحي؛ دانيا سريدهار؛ غيوم لاجوي

• قياس السياق مقابل قياس المهام في التعلم في السياق [رابط الورقة] 2024-10-16
  أميرهسام عبد السلطان؛ أديتيانارايانان راداكريشنان؛ جينجفينج وو؛ ميخائيل بلكين

• تجاوز التبعية الأسية: المحولات الحلقية تتعلم بكفاءة في السياق من خلال الهبوط المتدرج متعدد الخطوات [رابط ورقي] 2024-10-15
  بو تشن؛ شياويو لي؛ ينجيو ليانغ؛ تشنمي شي؛ تشاو سونغ

• كيف تقوم المحولات بتنفيذ الرؤوس الحثية: تحليل التقريب والتحسين [رابط ورقي] 2024-10-15
  مينجزي وانغ؛ روكسى يو؛ وينان إي . لي وو

• حول التقارب التدريبي للمحولات للتصنيف في السياق [رابط ورقي] 2024-10-15
  وي شين؛ رويدا تشو؛ جينغ يانغ؛ كونغ شين

• يتعلم المحولون سلاسل ماركوف ذات الترتيب المتغير في السياق [رابط ورقي] 2024-10-07
  رويدا تشو؛ تشاو تيان؛ سوهاس ديجافي

• إعادة النظر في دائرة استدلال التعلم في السياق في نماذج اللغات الكبيرة [رابط ورقي] 2024-10-06
  هاكازي تشو؛ ماريكو كاتو؛ يوشيهيرو ساكاي؛ ناويا إينوي

• تقوم مصنفات المحولات المدربة بتعميم وعرض التراكب الحميد في السياق [رابط ورقي] 2024-10-02
  سبنسر فراي؛ جال فاردي

• تتعامل المحولات مع التجانس الداخلي في الانحدار الخطي في السياق [رابط ورقي] 2024-10-02
  هاودونغ ليانغ؛ كريشناكومار بالاسوبرامانيان؛ ليفينج لاي

• الكشف عن الرؤوس التعريفية: ديناميكيات التدريب التي يمكن إثباتها وتعلم الميزات في المحولات [رابط ورقي] 2024-09-10
  سيو تشين؛ هيجون شين؛ تيانهاو وانغ؛ زوران يانغ

• التعلم مقابل الاسترجاع: دور الأمثلة في السياق في الانحدار مع ماجستير إدارة الأعمال [رابط ورقي] 2024-09-06
  علي أكبر نفار؛ كريستين برنت فينابل؛ باريسا كوردجامشيدي

• المحولات هي Minimax الأمثل للمتعلمين غير المعلميين في السياق [رابط ورقي] 2024-08-22
  جونو كيم؛ تاي ناكاماكي؛ تايجي سوزوكي

• الحفظ في التعلم ضمن السياق [رابط ورقي] 2024-08-21
  شهريار جولشين؛ ميهاي سورديانو؛ ستيفن بيتارد؛ إدواردو بلانكو؛ إلين ريلوف

• التعلم في السياق مع التمثيلات: التعميم السياقي للمحولات المدربة [رابط ورقي] 2024-08-19
  تونغ يانغ؛ يو هوانغ؛ ينجبين ليانج؛ يويجي تشي

• إسناد مجموعة بيانات التدريب السريع عبر التعلم في السياق [رابط ورقي] 2024-08-14
  ميلاد فتوحي؛ محمد طه بهادوري؛ أولواسي فييسيتان؛ بايمان عربشاهي؛ ديفيد هيكرمان

• كيف يستفيد المحولون من الاهتمام متعدد الرؤوس في التعلم داخل السياق؟ دراسة حالة عن الانحدار الخطي المتفرق [رابط ورقي] 2024-08-08
  شينغ وو تشن؛ لي تشاو؛ ديفان زو

• المحولون هم متعلمون عالميون في السياق [رابط ورقي] 2024-08-02
  تاكاشي فورويا؛ مارتن ف. دي هوب؛ غابرييل بيريه

• الانحدار متعدد الحدود كمهمة لفهم التعلم في السياق من خلال الضبط الدقيق والمواءمة [رابط ورقي] 2024-07-27
  ماكس ويلكسون؛ مورتن سفندجارد؛ ريا دوشي؛ ديلان ديفيس؛ ريا فير؛ أنانت ساهي

• الكشف عن التعلم في السياق: نظام إحداثي لفهم آلية عمله [رابط ورقي] 2024-07-24
  أنهاو تشاو؛ فانغوا يي؛ جينلان فو؛ شياويو شين

• من المؤكد أن المحول ذو الطبقة الواحدة يتعلم أقرب جار في السياق [رابط ورقي] 2024-07-24
  زيهاو لي؛ يوان كاو؛ تشنغ جاو؛ يهان هو؛ هان ليو؛ جيسون إم كلوسوفسكي؛ جيانكينج فان؛ منجدي وانغ

• متى يمكن للمحولات التعميم التركيبي في السياق؟ [رابط الورق] 2024-07-17
  سيجين كوباياشي؛ سيمون شوغ؛ ياسر أكرم؛ فلوريان ريدهاردت؛ يوهانس فون أوزوالد؛ رازفان باسكانو؛ غيوم لاجوي؛ جواو ساكرامنتو

• التعلم داخل السياق باستخدام العمليات العصبية المحولة [رابط ورقي] 2024-06-19
  ماثيو أشمان؛ كريستيانا دياكونو؛ أدريان ويلر؛ ريتشارد إي تورنر

• استكشاف حدود القرار للتعلم في سياق التعلم في نماذج اللغات الكبيرة [رابط ورقي] 2024-06-17
  سيان تشاو؛ تونغ نجوين؛ أديتيا جروفر

• حساء الدولة: تعلم المهارات في السياق واسترجاعها ومزجها [رابط ورقي] 2024-06-12
  ماسيج بيورو؛ ماسيج وولتشيك؛ رازفان باسكانو؛ يوهانس فون أوزوالد؛ جواو ساكرامنتو

• تقدير معدل الهلوسة للذكاء الاصطناعي التوليدي [رابط ورقي] 2024-06-11
  أندرو جيسون؛ نيكولاس بلتران فيليز؛ كوينتين تشو؛ سويتا كارليكار؛ يانيك كوسين؛ يارين غال؛ جون ب. كننغهام؛ ديفيد بلي

• BERTs هم متعلمون منتجون في السياق [رابط ورقي] 2024-06-07
  ديفيد صموئيل

• تعزيز أداء التعلم في السياق من خلال تقليم الوزن القائم على SVD فقط: منظور نظري [رابط ورقي] 2024-06-06
  شينهاو ياو؛ شياو لين هو؛ شنزي يانغ؛ يونغ ليو

• ماذا تتعلم نماذج اللغة في السياق؟ فرضية المهمة المنظمة [رابط الورقة] 2024-06-06
  جياودا لي؛ ييفان هوى؛ مرينمايا ساشان؛ ريان كوتريل

• التحويل الدقيق للتعلم في السياق إلى أوزان نموذجية في محولات الانتباه الخطية [رابط ورقي] 2024-06-05
  بريان ك تشين؛ تيانيانغ هو؛ هوي جين؛ هوي كوان لي؛ كينجي كاواجوتشي

• تعلم التلاعب: ظهور التعلم في السياق وتكوين المهارات في المهام الحسابية المعيارية [رابط ورقي] 2024-06-04
  تيانيو هو؛ دارشيل دوشي؛ أريترا داس؛ أندريه جروموف

• لماذا تقوم نماذج اللغة الأكبر حجمًا بالتعلم في السياق بشكل مختلف؟ [رابط الورقة] 2024-05-30
  تشنمي شي؛ جونيي وي؛ تشويان شو؛ ينغيو ليانغ

• هل التعلم في السياق كافٍ للتعليمات التالية في ماجستير إدارة الأعمال؟ [رابط الورقة] 2024-05-30
  هاو تشاو؛ ماكسيم أندريوشينكو؛ فرانشيسكو كروس؛ نيكولا فلاماريون

• هل تعلم المتغيرات الكامنة الصحيحة يؤدي بالضرورة إلى تحسين التعلم في السياق؟ [رابط الورق] 2024-05-29
  سارثاك ميتال؛ إريك الموزنينو؛ ليو غانيون؛ سانجني بهاردواج؛ دانيا سريدهار؛ غيوم لاجوي

• نظرية التعلم في السياق في المحولات [رابط ورقي] 2024-05-29
  ييفي وانغ؛ يويانغ وو؛ زيمينج وي؛ ستيفاني جيجيلكا؛ يسين وانغ

• حول تحسين Mesa في المحولات المدربة على الانحدار الذاتي: الظهور والقدرة [رابط ورقي] 2024-05-27
  تشينيو تشنغ؛ وي هوانغ؛ رونغ تشن وانغ؛ قوه تشيانغ وو؛ جون تشو؛ تشونغ شيوان لي

• التعلم في سياق المحولات للبيانات الفئوية [رابط ورقي] 2024-05-27
  آرون تي وانغ؛ ريكاردو هيناو؛ لورانس كارين

• التكيف التلقائي للمجال بواسطة المحولات في التعلم داخل السياق [رابط ورقي] 2024-05-27
  ريويشيرو هاتايا؛ كوتا ماتسوي؛ ماساكي إيمايزومي

• توحيد اختيار العرض التوضيحي والضغط للتعلم في السياق [رابط ورقي] 2024-05-27
  جون جاو

• حول متانة التعلم داخل السياق من أجل إنشاء النصوص [رابط ورقي] 2024-05-27
  هونغفو جاو؛ فيبينج تشانغ؛ وينيو جيانغ؛ جون شو؛ فنغ تشنغ؛ هونغشين وي

• MLPs يتعلمون في السياق [رابط ورقي] 2024-05-24
  وليام ل. تونغ؛ جنكيز بهليفان

• نحو فهم أفضل للقدرة على التعلم في السياق من خلال القياس الكمي لعدم اليقين في السياق [رابط ورقي] 2024-05-24
  شانغ ليو؛ تشونغزي كاي؛ غوانتينغ تشين؛ شياو تشنغ لي

• هل يمكن للمحولات الحلقية أن تتعلم كيفية تنفيذ الانحدار المتدرج متعدد الخطوات للتعلم في السياق؟ [رابط الورق] 2024-05-02
  خشاير جاتميري؛ نيكونج ساونشي؛ ساشانك جي ريدي؛ ستيفاني جيجيلكا؛ سانجيف كومار

• تم الكشف عن التعلم في السياق حول فئات الوظائف للمحولات [رابط ورقي] 2024-05-02
  زيجي وانغ؛ بو جيانغ؛ شواي لي

• التعلم في السياق باستخدام نماذج السياق الطويل: استكشاف متعمق [رابط ورقي] 2024-04-30
  أماندا بيرتش؛ ماور إيفجي؛ أوري ألون؛ جوناثان بيرانت؛ ماثيو ر. جورملي؛ جراهام نيوبيج

• ما الذي يجب أن يسير بشكل صحيح للحصول على رأس تحريضي؟ دراسة آلية لدوائر التعلم السياقية وتكوينها [رابط ورقي] 2024-04-10
  أديتيا ك. سينغ؛ تيد موسكوفيتش؛ فيليكس هيل؛ ستيفاني سي واي تشان؛ أندرو م. ساكس

• هل الاهتمام مطلوب لـ ICL؟ استكشاف العلاقة بين الهندسة المعمارية النموذجية والقدرة على التعلم في السياق [رابط ورقي] 2024-04-01
  إيفان لي؛ نان جيانغ؛ تايلور بيرج كيركباتريك

• ديناميكيات تدريب اهتمام Softmax متعدد الرؤوس للتعلم في السياق: الظهور والتقارب والأفضلية [رابط ورقي] 2024-02-29
  سيو تشين؛ هيجون شين؛ تيانهاو وانغ؛ زوران يانغ

• كيف تتعلم المحولات البنية السببية من خلال النسب المتدرج [رابط ورقي] 2024-02-22
  ايشان نيشاني؛ أليكس داميان؛ جيسون د. لي

• التعلم في السياق لكتلة المحولات الخطية: فوائد مكون MLP وتهيئة GD بخطوة واحدة [رابط ورقي] 2024-02-22
  رويكي تشانغ؛ جينجفينج وو؛ بيتر إل بارتليت

• تحديد رؤوس الاستقراء الدلالي لفهم التعلم في السياق [رابط ورقي] 2024-02-20
  جي رن؛ كيبينج قوه؛ هانغ يان؛ دونجروي ليو؛ شيبينج تشيو؛ داهوا لين

• كيف يقوم المحولون بإجراء التعلم الانحداري التلقائي في السياق؟ [رابط الورق] 2024-02-08
  مايكل إي ساندر؛ رجا جريس؛ تايجي سوزوكي؛ ماتيو بلونديل؛ غابرييل بيريه

• هل تستطيع مامبا أن تتعلم كيف تتعلم؟ دراسة مقارنة حول مهام التعلم في السياق [رابط ورقي] 2024-02-06
  جونغهو بارك؛ حديقة جايسونغ؛ زيانغ شيونغ؛ نايونج لي؛ جايونج تشو؛ ساميت أويماك؛ كانجووك لي؛ ديميتريس بابيليوبولوس

• التحليل النظري للمعلومات للتعلم في السياق [رابط ورقي] 2024-01-28
  هونغ جون جيون؛ جايسون د. لي؛ تشي لي؛ بنيامين فان روي

• الطبيعة العابرة للتعلم الناشئ في السياق في المحولات [رابط ورقي] 2023-12-11
  أديتيا ك. سينغ؛ ستيفاني سي واي تشان؛ تيد موسكوفيتش؛ إيرين جرانت؛ أندرو م. ساكس؛ فيليكس هيل

• وظائف التعلم في السياق مع عدد متفاوت من الحد الأدنى [رابط ورقي] 2023-11-21
  ديفيد أونياني؛ يانشان وانغ

• استكشاف العلاقة بين التعلم في السياق وضبط التعليمات [رابط ورقي] 2023-11-17
  هانيو دوان؛ ييشوان تانغ؛ يي يانغ؛ أحمد عباسي؛ كار يان تام

• متى يفشل التعلم في السياق ولماذا؟ دراسة عن المواصفات-المهام الثقيلة [رابط ورقي] 2023-11-15
  هاو بنغ؛ شياوزهي وانغ؛ جيانهوي تشن؛ ويكاي لي؛ يونجيا تشي؛ زيمو وانغ؛ تشيلي وو؛ كايشينج تسنغ؛ بن شو؛ لي هو؛ خوانزي لي

• التعلم في السياق يعمم، ولكن ليس دائمًا بقوة: حالة بناء الجملة [رابط ورقي] 2023-11-13
  آرون مولر؛ ألبرت ويبسون؛ جاكسون بيتي؛ تال لينزن

• يتعلم المحولون كيفية تنفيذ النسب المتدرج المشروط للتعلم في السياق [رابط ورقي]2023-11-09
  كوانججون آهن؛ شيانغ تشينغ؛ هادي دانشمند؛ سوفريت سرا

• يتعلم المحولون أساليب التحسين ذات الترتيب العالي للتعلم في السياق: دراسة باستخدام النماذج الخطية [رابط ورقي] 2023-10-26
  ديقينغ فو؛ تيان تشي تشين؛ روبن جيا؛ فاتسال شاران

• التعلم في السياق ينشئ نواقل المهام [رابط ورقي] 2023-10-24
  روي هندل؛ مور جيفا؛ أمير جلوبرسون

• ناقلات الوظائف في النماذج اللغوية الكبيرة [رابط ورقي] 2023-10-23
  إريك تود؛ ميليسنت إل لي؛ أرناب سين شارما؛ آرون مولر؛ بايرون سي والاس؛ ديفيد باو

• التعلم في السياق باستخدام المحول يعادل حقًا نمط التعلم المتباين [رابط ورقي] 2023-10-19
  رويفينج رن؛ يونغ ليو

• يتعلم المحولون المدربون النماذج الخطية في السياق [رابط ورقي] 2023-10-19
  رويكي تشانغ؛ سبنسر فراي؛ بيتر إل بارتليت

• كيف يتعلم المحولون في سياق ما يتجاوز الوظائف البسيطة؟ دراسة حالة عن التعلم باستخدام التمثيلات [رابط ورقي] 2023-10-16
  تيانيو قوه؛ وي هو؛ سونغ مي؛ هوان وانغ؛ كايمينغ شيونغ؛ سيلفيو سافاريزي؛ يو باي

• فهم التعلم في السياق في المحولات والماجستير في القانون من خلال تعلم تعلم الوظائف المنفصلة [رابط الورقة] 2023-10-13
  ساتويك بهاتاميشرا؛ أركيل باتل؛ فيل بلونسوم؛ فارون كانادي

• ما هو عدد مهام التدريب المسبق اللازمة للتعلم في سياق الانحدار الخطي؟ [رابط الورق] 2023-10-13
  جينجفينج وو؛ ديفان زو؛ زيكسيانج تشن؛ فلاديمير برافرمان؛ كوانكوان جو؛ بيتر بارتليت

• التعلم في السياق يتعلم علاقات التسمية ولكنه ليس تعلمًا تقليديًا [رابط ورقي] 2023-10-13
  يانيك كوسين؛ يارين غال؛ توم رينفورث

• تقارب المحولات في السياق [رابط ورقي] 2023-10-13
  يو هوانغ؛ يوان تشنغ؛ ينجبين ليانج

• التعلم في السياق من خلال المنشور البايزي [رابط ورقي] 2023-10-13
  مادور بانوار؛ كبير أهوجا؛ نافين جويال

• هل المتحولون المدربون مسبقًا يتعلمون حقًا في السياق من خلال نزول التدرج؟ [رابط الورق] 2023-10-12
  لينجفينج شين؛ عيوش ميشرا؛ دانيال الخشابي

• ماذا وكيف يتعلم التعلم في السياق؟ نموذج بايزي للمتوسط ​​والمعلمات والتعميم [رابط ورقي] 2023-10-10
  يوفينغ تشانغ؛ فينغتشو تشانغ؛ زوران يانغ؛ زاوران وانغ

• شرح التعلم الناشئ في السياق باعتباره انحدار النواة [رابط ورقي] 2023-10-05
  تشي هان؛ زيكي وانغ؛ هان تشاو؛ هنغ جي

• CausalLM ليس الأمثل للتعلم في السياق [رابط ورقي] 2023-09-02
  نان دينغ؛ تومر ليفينبويم؛ جيالين وو؛ سيباستيان جودمان؛ رادو سوريكوت

• من المؤكد أن خطوة واحدة من الهبوط المتدرج هي المتعلم الأمثل في السياق مع طبقة واحدة من الاهتمام الذاتي الخطي [رابط ورقي] 2023-07-07
  أرفيند ماهانكالي؛ تاتسونوري بي هاشيموتو؛ تنغيو ما

• المحولون كإحصائيين: التعلم في السياق الذي يمكن إثباته مع اختيار الخوارزميات في السياق [رابط ورقي] 2023-07-06
  يو باي؛ فان تشين؛ هوان وانغ؛ كايمينغ شيونغ؛ سونغ مي

• المتحولون يتعلمون في السياق عن طريق النزول المتدرج [رابط ورقي] 2023-06-15
  يوهانس فون أوزوالد؛ إيفيند نيكلاسون؛ إيتوري راندازو؛ جواو سكرامنتو؛ ألكسندر موردفينتسيف؛ أندريه زموجينوف؛ ماكس فلاديميروف

• تقارب التعلم في السياق وتغيير الوزن لانحدار Softmax [رابط ورقي] 2023-04-26
  شواي لي؛ تشاو سونغ؛ يو شيا؛ تونغ يو؛ تياني تشو

• نظرية التعلم الناشئ في السياق كتحريض للبنية الضمنية [رابط ورقي] 2023-03-14
  مايكل هان؛ نافين جويال

• قابلية التعلم في سياق التعلم [رابط ورقي] 2023-03-14
  نعوم ويز؛ يوآف ليفين؛ أمنون شاشوع

• ما الذي يمكن أن يتعلمه المحولون في السياق؟ دراسة حالة لفئات الدوال البسيطة [رابط ورقي] 2023-01-14
  شيفام جارج؛ ديميتريس تسيبراس؛ بيرسي ليانغ؛ غريغوري فاليانت

• تعمم المحولات بشكل مختلف عن المعلومات المخزنة في السياق مقابل في الأوزان [رابط ورقي] 2022-10-13
  ستيفاني سي واي تشان؛ إيشيتا داسغوبتا؛ جونكيونج كيم؛ دارشان كوماران؛ أندرو ك. لامبينن؛ فيليكس هيل

• رؤساء التعلم والتعريف في السياق [رابط ورقي] 2022-09-24
  كاثرين أولسون؛ نيلسون الحاج؛ نيل ناندا؛ نيكولاس جوزيف؛ نوفا داس سارما؛ توم هينيغان؛ بن مان؛ أماندا أسكيل؛ يونتاو باي؛ آنا تشين؛ توم كونرلي؛ هجرة الفجر؛ جانجولي العميق؛ زاك هاتفيلد دودز؛ داني هيرنانديز؛ سكوت جونستون؛ آندي جونز؛ جاكسون كيرنيون؛ ليان لوفيت؛ كمال ندوسة؛ داريو أمودي؛ توم براون؛ جاك كلارك؛ جاريد كابلان؛ سام ماكاندليش؛ كريس أولاه

سلسلة الفكر

^ back to top ^

أوراق تحلل ظاهرة سلسلة الأفكار في نماذج اللغة الكبيرة، وتستكشف وجهات النظر النظرية والتجريبية.

قائمة الورق (انقر لطي / تتكشف)

• ماذا حدث في طبقات ماجستير القانون عند التدريب على التفكير السريع مقابل التفكير البطيء: منظور متدرج [رابط ورقي] 2024-10-31
  مينغ لي؛ يانهونغ لي؛ تياني تشو

• الفهم النظري لسلسلة الفكر: الاستدلال المتماسك والتوضيح المدرك للخطأ [رابط ورقي] 2024-10-21
  ينغقيان كوي؛ بنغفي هو؛ شيانفنغ تانغ؛ تشى هو؛ تشين لوه؛ جيليانج تانغ؛ يو شينغ

• من الاعتماد المتناثر إلى الاهتمام المتناثر: الكشف عن كيفية تعزيز سلسلة الفكر لكفاءة عينة المحولات [رابط ورقي] 2024-10-07
  كايو ون؛ هواكينغ تشانغ؛ هونغتشو لين؛ جينغ تشاو تشانغ

• تدريب المحولات غير الخطية على استدلال تسلسل الأفكار: تحليل التعميم النظري [رابط ورقي] 2024-10-03
  هونغ كانغ لي؛ منغ وانغ؛ سونغتاو لو؛ شياو دونغ كوي؛ بين يو تشين

• الانحدار الذاتي + سلسلة الفكر (CoT) ≃ التكرار: دور التكرار في نماذج اللغة ومراجعة المحولات المتكررة [رابط ورقي] 2024-09-14
  شيانغ تشانغ؛ محمد عبد المجيد؛ لاكس ضد لاكشمانان

• الكشف عن الأسس الإحصائية لأساليب تحفيز سلسلة الفكر [رابط ورقي] 2024-08-25
  شينيانغ هو؛ فينغتشو تشانغ؛ سيو تشين؛ زوران يانغ

• فك رموز العوامل المؤثرة على فعالية سلسلة الفكر: الاحتمال والحفظ والاستدلال الصاخب [رابط ورقي] 2024-07-01
  أكشارا برابهاكار؛ توماس ل. غريفيث؛ ر. توماس مكوي

• حول القدرة التمثيلية لنماذج اللغة العصبية مع منطق سلسلة الأفكار [رابط ورقي] 2024-06-20
  فرانز نواك؛ أنيج سفيت؛ ألكسندرا بوتوي؛ ريان كوتريل

• رأس التكرار: دراسة آلية لسلسلة الأفكار [رابط ورقي] 2024-06-04
  فيفيان كابان؛ تشارلز أرنال؛ وسيم بوعزيز؛ أليس يانغ؛ فرانسوا شارتون؛ جوليا كيمبي

• دعونا نفكر نقطة بنقطة: الحساب المخفي في نماذج لغة المحولات [رابط ورقي] 2024-04-24
  جاكوب بفاو؛ وليام ميريل؛ صموئيل ر. بومان

• سلسلة الفكر تمكّن المحولات من حل المشكلات التسلسلية بطبيعتها [رابط ورقي] 2024-02-20
  تشييوان لي؛ هونغ ليو؛ ديني تشو؛ تنغيو ما

• نحو كشف لغز السلسلة الفكرية: منظور نظري [رابط ورقي] 2023-12-22
  جوهاو فنغ؛ بوهانج تشانغ؛ يونتيان جو؛ هاوتيان يي؛ دي هو؛ ليوي وانغ

• لماذا تستطيع النماذج اللغوية الكبيرة توليد سلسلة أفكار صحيحة؟ [رابط الورق] 2023-10-20
  رسول توتونوف؛ أنطوان غروسنيت؛ جوليوس زيوميك؛ جون وانغ؛ هيثم بو عمار

• كيف تنفذ النماذج اللغوية الكبيرة سلسلة التفكير؟ [رابط الورق] 2023-10-13
  يكوين وانغ؛ شيلي هو؛ يونغ قانغ تشانغ؛ شيانغ تيان؛ شيوسونغ ليو؛ ياوو تشين؛ شو شين؛ جيبينج يي

• القوة التعبيرية للمحولات بسلسلة الأفكار [رابط ورقي] 2023-10-13
  وليام ميريل؛ اشيش سابهاروال

هلوسة

^ back to top ^

أبحاث تتناول ظاهرة الهلوسة في النماذج اللغوية، بما في ذلك التحليل النظري والتجريبي.

قائمة الورق (انقر لطي / تتكشف)

• لا يوجد غداء مجاني: الحدود الأساسية لتعلم النماذج التوليدية غير المهلوسة [رابط ورقي] 2024-10-24
  تشانغ لونغ وو؛ أنانث جراما؛ فويتسيك شبانكوفسكي

• الخيال المشترك: طلاب ماجستير القانون يهلوسون على حد سواء [رابط ورقي] 2024-07-23
  ييلون تشو؛ كايمينغ شيونغ؛ سيلفيو سافاريزي؛ شين شنغ وو

• تقدير معدل الهلوسة للذكاء الاصطناعي التوليدي [رابط ورقي] 2024-06-11
  أندرو جيسون؛ نيكولاس بلتران فيليز؛ كوينتين تشو؛ سويتا كارليكار؛ يانيك كوسين؛ يارين غال؛ جون ب. كننغهام؛ ديفيد بلي

• هل يؤدي ضبط ماجستير إدارة الأعمال على المعرفة الجديدة إلى تشجيع الهلوسة؟ [رابط الورق] 2024-05-09
  زوريك جخمان؛ جال يونا؛ روعي أهاروني؛ ماتان إيال؛ أمير فيدر؛ روي رايشارت؛ جوناثان هيرزيج

• آليات الهلوسة غير الواقعية في النماذج اللغوية [رابط ورقي] 2024-03-26
  لي يو؛ منغ كاو؛ جاكي تشي كيت تشيونغ؛ يو دونغ

• أمثلة غير مألوفة للضبط الدقيق تتحكم في كيفية هلوسة النماذج اللغوية [رابط ورقي] 2024-03-08
  كاتي كانغ؛ إريك والاس؛ كلير توملين؛ أفيرال كومار؛ سيرجي ليفين

• الحدة في السياق كتنبيهات: منظور التمثيل الداخلي للتخفيف من الهلوسة [رابط ورقي] 2024-03-05
  شيكي تشين؛ مياو شيونغ؛ جونتنغ ليو؛ زينغشوان وو؛ تنغ شياو؛ سيانج جاو؛ جونكسيان ه

• نماذج اللغة المعايرة يجب أن تهلوس [رابط ورقي] 2023-11-24
  آدم تومان كالاي؛ سانتوش س. فيمبالا

• الحالة الغريبة لعدم القدرة على الإجابة على الهلوسة: العثور على الحقائق في الحالات المخفية لنماذج اللغات الكبيرة المفرطة في الثقة [رابط ورقي] 2023-10-18
  أفيف سلوبودكين؛ عمر جولدمان؛ آفي كاسيولارو؛ ايدو داغان؛ شاولي راففوغل

لعنة عكسية

^ back to top ^

الأوراق التي تحلل ظاهرة لعنة الانعكاس في نماذج اللغة الكبيرة.

قائمة الورق (انقر لطي / تتكشف)

• نحو فهم نظري لـ "لعنة الانقلاب" عبر ديناميكيات التدريب [رابط ورقي] 2024-05-07
  هانلين تشو؛ بايهي هوانغ؛ شاولون تشانغ؛ مايكل جوردان؛ جيانتاو جياو؛ يواندونغ تيان؛ ستيوارت راسل

• لعنة الانعكاس: طلاب ماجستير القانون المدربون على "A is B" يفشلون في تعلم "B is A" [رابط ورقي] 2024-04-04
  لوكاس بيرجلوند؛ ميج تونج؛ ماكس كوفمان؛ ميكيتا باليسني؛ آسا كوبر ستيكلاند؛ توماسز كورباك؛ أوين إيفانز

• تحقيق في عدم كفاءة ماجستير إدارة الأعمال في فهم العلاقات العكسية [رابط ورقي] 2023-12-01
  تشنغوين تشي؛ بوين لي؛ بينيوان هوي؛ بايلين وانغ؛ جينيانج لي؛ جينوانغ وو؛ يوانجون ليلي

• فيزياء النماذج اللغوية: الجزء 3.2، التلاعب بالمعرفة [رابط ورقي] 2023-09-25
  زيوان ألين تشو؛ يوانزي لي

• لعنة الانعكاس: ما هي الرموز التي تتوقعها والتي تكمن وراء لعنة التخصيم والمزيد [رابط ورقي] 2023-06-07
  وائل كيتوني؛ نيكلاس نولتي؛ ديان بوشاكور؛ أدينا ويليامز؛ مايك رباط؛ مارك ابراهيم

قوانين التوسع / القدرات الناشئة / التزايد / إلخ.

^ back to top ^

تستكشف الأوراق كيفية قياس أداء النموذج مع حجم النموذج، أو حجم البيانات، أو الموارد الحسابية، وظهور قدرات غير متوقعة.

قائمة الورق (انقر لطي / تتكشف)

• كشف النظرية الكامنة وراء توسيع نطاق الشبكات العصبية ذات 1 بت [رابط ورقي] 2024-11-03
  ماجد الدليري؛ تشاو سونغ؛ تشيون يانغ

• كيف يتم قياس حجم الدفعة الحرجة في مرحلة ما قبل التدريب؟ [رابط الورقة] 2024-10-29
  هانلين تشانغ؛ ديبن مرواني؛ نيخيل فياس؛ جينجفينج وو؛ ديفان زو؛ عديا غاي؛ دين فوستر؛ شام ككادي

• نظرية معلومات حول قياس الحجم الأمثل للحوسبة والنشوء والثبات في نماذج اللغة [رابط ورقي] 2024-10-15
  أنوج ك. ناياك؛ لاف ر.فارشني

• دليل المسافر لتوسيع نطاق تقدير القانون [رابط ورقي] 2024-10-15
  ليشم جوشين؛ يانغ تشانغ؛ جاكوب أندرياس

• توسيع نطاق القوانين عبر البنى النموذجية: تحليل مقارن لنماذج الكثافة ونماذج MoE في نماذج اللغات الكبيرة [رابط ورقي] 2024-10-08
  سيكي وانغ؛ زينغيو تشين؛ باي لي؛ كيكينغ هو؛ مين تشانغ؛ جينغانغ وانغ

• Grokking على حافة الانفصال الخطي [رابط ورقي] 2024-10-06
  ألون بيك؛ نعوم ليفي؛ يوهاي بار سيناء

• دراسة تجريبية لقوانين القياس للتحويل [رابط ورقي] 2024-08-30
  ماثيو بارنيت

• نموذج الترشيح للنشوء: تحليل المحولات المدربة على لغة رسمية [رابط ورقي] 2024-08-22
  إكديب سينغ لوبانا؛ كيوجو كاواجوتشي؛ روبرت ب. ديك؛ هيدينوري تاناكا

• قانون القياس مع التلدين بمعدل التعلم [رابط ورقي] 2024-08-20
  هاو الأنسجة. فينوس وانغ؛ لو وانغ

• قانون أداء نماذج اللغات الكبيرة [رابط ورقي] 2024-08-19
  تشوهان وو؛ رويمينج تانغ

• تكشف مقاييس التقدم النظري للمعلومات أن جروكينج هو مرحلة انتقالية ناشئة [رابط ورقي] 2024-08-16
  كينزو كلاو؛ سيباستيانو ستراماليا؛ دانييلي مارينازو

• قرود اللغة الكبيرة: قياس حساب الاستدلال باستخدام العينات المتكررة [رابط ورقي] 2024-07-31
  برادلي براون؛ جوردان جورافسكي؛ ريان إيرليك؛ رونالد كلارك؛ كووك في لو؛ كريستوفر ري؛ أزاليا ميرحسيني

• الظهور في النماذج غير العصبية: الحساب المعياري عبر متوسط ​​الناتج الخارجي المتدرج [رابط ورقي] 2024-07-29
  نيل مالينار؛ دانيال بيجلهول؛ ليبين تشو؛ أديتيانارايانان راداكريشنان؛ بارث بانديت؛ ميخائيل بلكين

• استكشاف اتجاهات التوسع في متانة LLM [رابط ورقي] 2024-07-25
  نيكولاس هاو؛ ميشال زاجاك؛ إيان ماكنزي؛ أوسكار هولينزورث؛ توم تسينج؛ بيير لوك بيكون؛ آدم جليف

• فهم التفاعل بين المقياس والبيانات والتحيز في نماذج اللغة: دراسة حالة مع بيرت [رابط ورقي] 2024-07-25
  محمد علي؛ سويتاسودها باندا؛ تشينلان شين؛ مايكل ويك؛ آري كوبرين

• توسيع نطاق القوانين باستخدام المفردات: النماذج الأكبر حجمًا تستحق مفردات أكبر [رابط ورقي] 2024-07-18
  شوفان تاو؛ تشيان ليو؛ لونجشو دو؛ نيكلاس مونيجوف؛ تشونغوي وان؛ بينج لوه؛ مين لين؛ نجاي وونج

• لماذا تغرك؟ تحليل نظري للإضافة المعيارية لـ Grokking [رابط ورقي] 2024-07-17
  محمد أمين محمدي؛ تشييوان لي؛ لي وو؛ دانيكا جيه ساذرلاند

• التنبؤ بالقدرات الناشئة عن طريق الضبط الدقيق [رابط ورقي] 2024-07-10
  تشارلي فيكتور سنيل؛ إريك والاس؛ دان كلاين؛ سيرجي ليفين

• حل التناقضات في القياس الأمثل للحوسبة لنماذج اللغة [رابط ورقي] 2024-06-25
  تومر بوريان؛ ميتشل وورتسمان؛ جينيا جيتسيف؛ لودفيج شميدت؛ يائير كارمون

• قوانين القياس لنماذج اللغة ذات التعقيد الخطي [رابط ورقي] 2024-06-24
  شويانغ شين؛ دونغ لي؛ رويتاو لينغ؛ تشن تشين؛ ويجاو صن؛ ييران تشونغ

• قوانين القياس لحفظ الحقائق لنماذج اللغة الكبيرة [رابط ورقي] 2024-06-22
  شينغيو لو؛ شياونان لي؛ كينيوان تشنغ؛ كاي دينغ؛ شوانجينغ هوانغ؛ شيبينج تشيو

• التوفيق بين قوانين قياس كابلان وشينشيلا [رابط ورقي] 2024-06-12
  تيم بيرس؛ أغنية جينيوب

• البحث العميق: هل يمكن تعميم الشبكات العصبية العميقة بشكل أفضل؟ [رابط الورق] 2024-05-29
  سيمين فان؛ رازفان باسكانو؛ مارتن جاجي

• الانهيار اللغوي: الانهيار العصبي في النماذج اللغوية (الكبيرة) [رابط ورقي] 2024-05-28
  روبرت وو؛ فاردان بابيان

• توسيع نطاق القوانين والتدريب الأمثل على الحوسبة بما يتجاوز فترات التدريب الثابتة [رابط ورقي] 2024-05-28
  ألكسندر هاجيل؛ إيلي البكوش؛ أتلي كوسون؛ لبنى بن علال؛ لياندرو فون ويرا؛ مارتن جاجي

• يتنبأ gzip بقوانين القياس المعتمدة على البيانات [رابط ورقي] 2024-05-26
  روهان باندي

• ظهور مرحلة التجريد عالية الأبعاد في محولات اللغة [رابط ورقي] 2024-05-24
  إميلي تشينغ؛ دييغو دويمو؛ كورنتين كيرفاديك؛ إيوري ماكوكو؛ اليشم يو. أليساندرو لايو؛ ماركو باروني

• الأساس المنطقي من منظور التردد للتلاعب في تدريب الشبكة العصبية [رابط ورقي] 2024-05-24
  تشانغتشن تشو؛ ياويو تشانغ؛ تشى تشين جون شو

• المحولات Grokked هي الأسباب الضمنية: رحلة ميكانيكية إلى حافة التعميم [رابط ورقي] 2024-05-23
  بوشي وانغ؛ شيانغ يو؛ يو سو؛ هوان صن

• أصبح خلط البيانات فعالاً: قانون القياس ثنائي المتغير للتدريب المسبق على نموذج اللغة [رابط ورقي] 2024-05-23
  سي جي؛ زيجيان ما؛ داويوان تشن؛ ياليانغ لي؛ بولين دينغ

• 4+3 مراحل قوانين القياس العصبي الأمثل [رابط ورقي] 2024-05-23
  إليوت باكيت؛ كورتني باكيت؛ ليتشاو شياو؛ جيفري بنينجتون

• عبيد قانون الأعداد الكبيرة: خاصية التوازن المقارب للحيرة في نماذج اللغة التوليدية [رابط ورقي] 2024-05-22
  راغو مودومباي؛ تايلر بيل

• قياس الظهور في نماذج اللغات الكبيرة [رابط ورقي] 2024-05-21
  هانغ تشين؛ شينيو يانغ؛ جياينج تشو؛ وينيا وانغ

• ما وراء قوانين القياس: فهم أداء المحولات مع الذاكرة الترابطية [رابط ورقي] 2024-05-14
  شيويان نيو؛ بو باي؛ لي دينغ؛ وي هان

• المزيد من الحوسبة هي ما تحتاجه [رابط ورقي] 2024-04-30
  تشن قوه

• نموذج قابل للحل تمامًا لقوانين الظهور والقياس [رابط ورقي] 2024-04-26
  يونسو نام؛ نايارا فونسيكا؛ سيوك هيونج لي؛ أرد لويس

• لماذا يكون أداء النماذج اللغوية الصغيرة ضعيفًا؟ دراسة تشبع نموذج اللغة عبر عنق الزجاجة Softmax [رابط ورقي] 2024-04-11
  ناثان جودي؛ إريك دي لا كليرجيري؛ بينوا ساغوت

• استكشاف واسع النطاق ل $مو$ -تحويل [رابط ورقي] 2024-04-08
  لوكاس لينجل

• القدرات الناشئة في نماذج اللغة التوليدية ذات النطاق المنخفض [رابط ورقي] 2024-04-02
  شيرين مكاتيرا؛ فيجيتا ديشباندي؛ فلاديسلاف ليالين؛ آنا رومشيسكي

• فهم القدرات الناشئة لنماذج اللغة من منظور الخسارة [رابط ورقي] 2024-03-23
  تشنغشياو دو؛ أوهان تسنغ؛ يوشياو دونغ؛ جي تانغ

• كشف سر قوانين القياس: الجزء الأول [رابط ورقي] 2024-03-21
  هوي سو؛ تشى تيان؛ شياويو شين؛ شونليانغ كاي

• تتوسع نماذج اللغة بشكل موثوق من خلال التدريب الزائد والمهام النهائية [رابط ورقي] 2024-03-13
  سمير اسحق قادر؛ جورجيوس سميرنيس؛ فايشال شانكار؛ سوشين جورورانجان؛ ميتشل وورتسمان؛ رولين شاو؛ جان ميركات؛ أليكس فانغ؛ جيفري لي؛ سيدريك كيه؛ روي شين؛ ماريانا نيزورينا؛ إيجور فاسيليفيتش؛ جينيا جيتسيف؛ ألكسندروس جي ديماكيس؛ غابرييل إلهاركو؛ أغنية شوران؛ توماس كولار؛ يائير كارمون؛ أشال ديف؛ رينهارد هيكل؛ نيكلاس مونيجوف؛ لودفيج شميدت

• عندما يلتقي القياس مع ضبط LLM: تأثير البيانات والنموذج وطريقة الضبط الدقيق [رابط ورقي] 2024-02-26
  بياو تشانغ؛ تشونغتاو ليو؛ كولين شيري؛ أورهان فرات

• تفسير المحولات Grokked في الحساب المعياري المعقد [رابط ورقي] 2024-02-26
  هيروكي فوروتا؛ جوكي مينيجيشي؛ يوسوكي إيواساوا؛ يوتاكا ماتسو

• قصة ذيول: انهيار النموذج كتغيير في قوانين القياس [رابط ورقي] 2024-02-10
  إلفيس دوهماتوب؛ يونشن فنغ؛ بو يانغ؛ فرانسوا شارتون؛ جوليا كيمبي

• قياس نماذج اللغة المقيدة بالبيانات [رابط ورقي] 2023-10-25
  نيكلاس مونيجوف؛ ألكسندر إم راش؛ بوعز باراك؛ تيفين لو سكاو؛ ألكسندرا بيكتوس؛ نعمان التازي؛ سامبو بيسالو؛ توماس وولف؛ كولن رافيل

• تكلفة نماذج اللغة المصغرة: تتدهور عملية تذكر الحقائق قبل التعلم داخل السياق [رابط ورقي] 2023-10-06
  تيان جين؛ نولان كليمنت؛ شين دونغ؛ فايشناف ناجاراجان؛ مايكل كاربين؛ جوناثان راجان كيلي؛ جينتاري كارولينا دزيوجايتي

• هل القدرات الناشئة للنماذج اللغوية الكبيرة سراب؟ [رابط الورق] 2023-04-28
  ريلان شيفر؛ براندو ميراندا؛ سانمي كويجو

• تدريب نماذج اللغات الكبيرة على الحوسبة الأمثل [رابط ورقي] 2022-03-29
  جوردان هوفمان؛ سيباستيان بورجود؛ آرثر مينش؛ إيلينا بوشاتسكايا؛ تريفور كاي؛ إليزا رذرفورد؛ دييغو دي لاس كاساس؛ ليزا آن هندريكس؛ يوهانس ويلبل؛ ايدان كلارك؛ توم هينيجان؛ إريك نولاند؛ كاتي ميليكان؛ جورج فان دن دريش؛ بوجدان داموك؛ أوريليا جاي؛ سيمون أوسينديرو؛ كارين سيمونيان؛ إريك إلسن؛ جاك دبليو راي؛ أوريول فينيالس؛ لوران سيفر

• قوانين القياس لنماذج اللغة العصبية [رابط ورقي] 2020-01-22
  جاريد كابلان؛ سام ماكاندليش؛ توم هينيغان؛ توم بي براون؛ بنيامين الشطرنج. ريون تشايلد؛ سكوت جراي؛ أليك رادفورد؛ جيفري وو؛ داريو أمودي

آليات المعرفة / الذاكرة

^ back to top ^

أوراق تركز على كيفية قيام النماذج اللغوية الكبيرة بتخزين المعرفة واسترجاعها واستخدامها، وتحليل آليات الذاكرة المعنية.

قائمة الورق (انقر لطي / تتكشف)

• إطار هندسي لفهم الحفظ في النماذج التوليدية [رابط ورقي] 2024-10-31
  بريندان لي روس؛ حميد رضا كامكاري؛ تونجزي وو؛ راسا حسين زاده؛ تشاويان ليو؛ جورج شتاين؛ جيسي سي كريسويل؛ غابرييل لويزا غانم

• القدرة على الحفظ الأمثل للمحولات [رابط ورقي] 2024-09-26
  طوكيو كاجيتسوكا؛ عيسى ساتو

• ذاكرة شرودنجر: نماذج اللغات الكبيرة [رابط ورقي] 16-09-2024
  وي وانغ؛ تشينغ لي

• الاهتمام الذاتي يحد من سعة الذاكرة العاملة للنماذج القائمة على المحولات [رابط ورقي] 2024-09-16
  دونجيو قونغ؛ هانتاو تشانغ

• ذاكرة رائعة وتفكير سطحي: حدود kNN-LMs [رابط ورقي] 2024-08-21
  شانجي جينج؛ وينتينج تشاو؛ ألكسندر إم راش

• ذكرى في التعلم في السياق [رابط الورق] 2024-08-21
  شاهريار جولشين ميهاي سورديانو ؛ ستيفن بيثارد إدواردو بلانكو ؛ إلين ريلوف

• التعميم أولا ، الاحتفاظ الثاني؟ توطين الاحتفالات لمهام تصنيف اللغة الطبيعية [رابط الورق] 2024-08-09
  فيرنا دانكرز إيفان تيتوف

• فهم الاحتفاظ في LLMS: الديناميات ، والعوامل المؤثرة ، والآثار [رابط الورق] 2024-07-27
  حتى speicher محمد عفلا خان ؛ Qinyuan Wu ؛ فيدانت ناندا ؛ Soumi das ؛ Bishwamittra Ghosh ؛ كريشنا ب. جومادي ؛ إيفيماريا تيرزي

• إزالة الغموض الحرفي في نماذج اللغة الكبيرة [رابط الورق] 2024-07-25
  جينغ هوانغ ديي يانغ كريستوفر بوتس

• من الصراع الداخلي إلى التكيف السياقي لنماذج اللغة [رابط الورق] 2024-07-24
  سارة فيرا مارجانوفيتش ؛ هايون يو ؛ بيبا أتاناسوفا ؛ ماريا مايسترو كريستينا ليوما إيزابيل أوغنشتاين

• التعميم مقابل الحفظ: إمكانيات تتبع نماذج لغة العودة إلى بيانات ما قبلها [رابط الورق] 2024-07-20
  أنتونيس أنتونياديس ؛ Xinyi Wang ؛ ياناي elazar ألفونسو أمويويلاس ؛ ألون ألبالاك Kexun Zhang ؛ وليام يانغ وانغ

• فيزياء نماذج اللغة: الجزء 3.1 ، تخزين المعرفة واستخراجها [رابط الورق] 2024-07-16
  زيوان ألين زيو ؛ يوانزهي لي

• رؤساء الحث كآلية أساسية لمطابقة الأنماط في التعلم في السياق [رابط الورق] 2024-07-09
  J. Crosbie ؛ E. sthova

• هل تحلم LLMS بالفيلة (عندما قيل لا)؟ جمعية المفاهيم الكامنة والذاكرة الترابطية في المحولات [رابط الورق] 2024-06-26
  ييبو جيانغ غوثام راجندران براديب رافيكومار بريون أراجام

• قوانين التحجيم لحفظ النماذج اللغوية الكبيرة [رابط الورق] 2024-06-22
  Xingyu Lu ؛ شيايونان لي ؛ Qinyuan Cheng كاي دينغ Xuanjing Huang ؛ xipeng qiu

• توصيل النقاط: يمكن أن يستنتج LLMs البنية الكامنة وتشويهها من بيانات التدريب المتباينة [رابط الورق] 2024-06-20
  يوهانس تريوتلين ؛ دامي تشوي جان بيتلي CEM أنيل صموئيل ماركس روجر بيكر جروس. أوين إيفانز

• الكشف عن الذكريات الكامنة: تقييم أنماط تسرب البيانات وأنماط الحفظ في نماذج اللغة الكبيرة [رابط الورق] 2024-06-20
  مشمس دوان ميكايل خونا أبيرام آير ؛ ريلان شيفر Ila r fiete

• فهم Finetuning لاستخراج المعرفة الواقعية [رابط الورق] 2024-06-20
  غوراف غوسال Tatsunori Hashimoto ؛ أديتي راغوناثان

• تقدير المعرفة في نماذج اللغة الكبيرة دون توليد رمز واحد [رابط الورق] 2024-06-18
  دانييلا جوتسمان ؛ مور جيفا

• كيف تكتسب نماذج اللغة الكبيرة معرفة واقعية أثناء التدريب؟ [رابط الورق] 2024-06-17
  هويون تشانغ حديقة جينهو Seonghyeon ye ؛ سوهي يانغ SEO Youngkyung Du-Seong Chang ؛ مينجون سيو

• كن مثل سمكة ذهبية ، لا تحفظ! التخفيف من الحفظ في LLMs [رابط الورق] 2024-06-14
  أبهيمانيو هانز يوكسين ون ؛ نيل جاين جون كيرشنباور حميد كازيمي براجوال سينغانيا ؛ سيدهارث سينغ Gowthami Somepalli ؛ جوناس جيبينغ أبهيناف بهاتيلي ؛ توم جولدشتاين

• دوائر المعرفة في المحولات المسبق [رابط الورق] 2024-05-28
  يونزهي ياو ؛ Ningyu Zhang ؛ Zekun XI ؛ مينجرو وانغ زيوين شو ؛ شومين دنغ هواجون تشن

• حدود سعة الذاكرة العلوية والسفلية للمحولات للتنبؤ بالكرات القادمة [رابط الورق] 2024-05-22
  ليام مادن كورتيس فوكس كريستوس ثوبوليديس

• تحليل متعدد المنظور للحفظ في نماذج اللغة الكبيرة [رابط الورق] 2024-05-19
  بوين تشن نامجي هان ؛ يوسوكي مياو

• فيزياء نماذج اللغة: الجزء 3.3 ، قوانين قياس قدرة المعرفة [رابط الورق] 2024-04-08
  زيوان ألين زيو ؛ يوانزهي لي

• قدرة حفظ الاهتمام متعدد الرأس في المحولات [رابط الورق] 2024-03-02
  Sadegh Mahdavi ؛ رينجي لياو ؛ كريستوس ثوبوليديس

• ولادة محول: وجهة نظر الذاكرة [رابط الورق] 2023-11-06
  ألبرتو بيتي ؛ فيفيان كابان. ديان بوشاكورت هيرف جيجو. ليون بوتو

• فيزياء نماذج اللغة: الجزء 3.2 ، معالجة المعرفة [رابط الورق] 2023-09-25
  زيوان ألين زيو ؛ يوانزهي لي

• هل يمكن ترجمة حفظ الشبكة العصبية؟ [رابط الورق] 2023-07-18
  Pratyush Maini ؛ مايكل سي. هاني سيدغي زكاري سي. ليبتون ؛ J. Zico Kolter ؛ تشيوان تشانغ

• تحديد الكميات عبر نماذج اللغة العصبية [رابط الورق] 2022-02-15
  نيكولاس كارلين. دافني إيبوليتو ؛ ماثيو جاجيلسكي ؛ كاثرين لي Florian Tramer تشيوان تشانغ

ديناميات التدريب / المناظر الطبيعية / التحسين / الضبط / الخ.

^ back to top ^

الأوراق التي تناقش جوانب مختلفة من عملية التدريب ، بما في ذلك التحسين ، والضبط ، والمناظر الطبيعية التدريبية لنماذج اللغة الكبيرة.

قائمة الورق (انقر للطي / تتكشف)

• التقارب العالمي في تدريب المحولات على نطاق واسع [رابط الورق] 2024-10-31
  تشنغ جاو يوان تساو زيهاو لي ؛ yihan هو ؛ منغدي وانغ ؛ هان ليو جيسون ماثيو كلوسوفسكي ؛ مروحة جيانكينغ

• ما حدث في طبقات LLMS عند تدريبه على التفكير الصيام مقابل التفكير البطيء: منظور التدرج [الرابط الورقي] 2024-10-31
  مينغ لي. يانهونغ لي ؛ تيانيي تشو

• التعلم ونقل bigrams السياقية المتفرقة مع المحولات الخطية [رابط الورق] 2024-10-30
  يونوي رن ؛ Zixuan Wang ؛ جيسون دي لي

• التعلم المفاجئ في المحولات: دراسة حالة عن إكمال المصفوفة [رابط الورق] 2024-10-29
  بولكيت جوبالاني ؛ إيكديب سينغ لوبانا ؛ وي هو

• Lora vs Full Fine Tuning: وهم من التكافؤ [رابط الورق] 2024-10-28
  Reece Shuttleworth ؛ يعقوب أندرياس أنطونيو توريلبا ؛ براتيوشا شارما

• تحيز بساطة التوزيعات في ديناميات التعلم للمحولات [رابط الورق] 2024-10-25
  ريكاردو ريندي فيديريكا جيراس أليساندرو لاو ؛ سيباستيان جولت

• رؤساء الانتباه النشط: إزالة الغموض ميكانيكيا الظواهر المتطرفة في LLMS [رابط الورق] 2024-10-17
  تيانيو قوه دروف باي ؛ يو باي جيانتو جياو ؛ مايكل إ. الأردن ؛ أغنية مي

• كيف تنفذ المحولات رؤوس الحث: التقريب وتحليل التحسين [رابط الورق] 2024-10-15
  Mingze Wang ؛ Ruoxi Yu ؛ وينان ه ؛ لي وو

• ماذا يعني أن تكون محولًا؟ رؤى من تحليل Hessian النظري [رابط الورق] 2024-10-14
  Weronika Ormaniec ؛ فيليكس دانغل سيداك بال سينغ

• Odyssey Odyssey في LLMS: لماذا يفشل الإضافات الإضافية في بعض الأحيان في التحسن؟ [رابط الورق] 2024-10-08
  fırat Öncel ؛ ماتياس بيثج. بيزا إرميس ؛ مركو رافانيلي ؛ CEM Subakan çağatay Yıldız

• حول تحسين وتعميم المحولات ثنائية الطبقة مع النسب المتدرج [رابط الورق] 2024-10-07
  Bingrui لي ؛ وي هوانغ أندي هان Zhanpeng Zhou ؛ تايجي سوزوكي ؛ جون تشو جيانفي تشن

• فهم معدلات التعلم الثابتة للاحماء: منظور المناظر الطبيعية لخسارة وادي النهر [رابط الورق] 2024-10-07
  Kaiyue Wen ؛ تشايوان لي ؛ جيسون وانغ ديفيد هول بيرسي ليانغ Tengyu ما

• تدريب المحولات غير الخطية لسلسلة الفكر: تحليل تعميم نظري [رابط الورق] 2024-10-03
  هونغكانغ لي ؛ منغ وانغ Songtao lu ؛ Xiaodong CUI ؛ دبوس يو تشن

• الرؤى النظرية في آلية الانتباه الدقيقة: التعميم والتحسين [رابط الورق] 2024-10-03
  Xinhao Yao ؛ هونغجين تشيان شياوولين هو ؛ Gengze Xu ؛ يونغ ليو

• تعميم مصنفات المحولات المدربة وتعرض الزائفة الحميدة في السياق [الرابط الورقي] 2024-10-02
  سبنسر فري. غال فاردي

• نحو الفهم النظري للبيانات الاصطناعية في LLM بعد التدريب: منظور عكسي Bottleneck [الرابط الورقي] 2024-10-02
  زيو غان يونغ ليو

• التحقيق في تأثير تعقيد النموذج في نماذج اللغة الكبيرة [رابط الورق] 2024-10-01
  جينغ لو هويوان وانغ ؛ Weiran Huang

• Benigh أو غير مسببة في التحديد المميز لآلية الانتباه [رابط الورق] 2024-09-26
  كيتارو ساكاموتو عيسى ساتو

• التقارب غير المصارم لمحولات التدريب للتنبؤ القادم [رابط الورق] 2024-09-25
  Ruiquan Huang ؛ Yingbin Liang ؛ جينغ يانغ

• قوانين التحسين المفرطة للمعلمة لنماذج اللغة الكبيرة [رابط الورق] 2024-09-07
  Xingyu Xie ؛ Kuangyu دينغ شويتشنغ يان ؛ كيم تشوان توه تيانوين وي

• محسن Ademamix: أفضل ، أسرع ، أقدم [رابط الورق] 2024-09-05
  ماتيو باجليارديني ؛ بيير أبلين ديفيد جرانجييه

• التجميع والمحاذاة: فهم ديناميات التدريب في الإضافة المعيارية [رابط الورق] 2024-08-18
  Tiberiu Musat

• التقارب العالمي في تدريب المحولات على نطاق واسع [رابط الورق] 2024-08
  تشنغ جاو يوان تساو زيهاو لي ؛ yihan هو ؛ منغدي وانغ ؛ هان ليو جيسون م. كلوسوفسكي ؛ مروحة جيانكينغ

• على تقارب المحولات الضحلة للتشفير فقط [رابط الورق] 2024-08
  Yongtao Wu ؛ فانغوي ليو ؛ Grigorios G Chrysos ؛ فولكان سيفر

• صقل دقيق للمعلمة للتعلم المستمر: منظور نواة الظل العصبي [رابط الورق] 2024-07-24
  جينغن ليو ؛ تشونغ جي ؛ Yunlong Yu ؛ جيال تساو ؛ يانوي بانج يونغونج هان Xuelong LI

• ديناميات التعلم لـ LLM Finetuning [رابط الورق] 2024-07-15
  يي رن. دانيكا ج. ساذرلاند

• تفكيك ما يجعل مُحسّنًا جيدًا لنماذج اللغة [رابط الورق] 2024-07-10
  روزي تشاو ديبن مورواني ديفيد برانفرنبرن ؛ نيخيل فياس شام كاكادي

• تعميم الصفر أثناء ضبط التعليمات: رؤى من التشابه والتحسينات [رابط الورق] 2024-06-17
  بينغشيانغ هو ؛ نينغ دينغ تشنغ تشيان جيا دنغ جانك كوي ؛ لايفان يوان Huan-ang Gao ؛ هومين تشن Zhiyuan Liu ؛ موسونج صن

• فهم التحقيق الخطي ثم نماذج لغة التكييف من منظور NTK [رابط الورق] 2024-05-27
  أكيوشي توميهاري ؛ عيسى ساتو

• حدود غير محدودة لديناميات المحولات متعددة الرأس [رابط الورق] 2024-05-24
  بليك بوردلون حمزة طاهر تشودري ؛ Cengiz Pehlevan

• نحو فهم نظري لـ "لعنة الانعكاس" عبر ديناميات التدريب [رابط الورق] 2024-05-07
  هانلين تشو ؛ Baihe Huang ؛ شاوون تشانغ مايكل جوردان جيانتو جياو ؛ يوانونج تيان ؛ ستيوارت راسل

• السيطرة على النهج النظري في صقل ونقل التعلم [رابط الورق] 2024-04-16
  إركان بايرام ؛ شنيو ليو محمد ألي بيلاباس ؛ تامر باشار

• انظر إلى النص: تعتبر نماذج اللغة التي يتم ضبطها تعليماً أكثر قوة مختارين من الاختيار من متعدد مما تعتقد [رابط الورق] 2024-04-12
  Xinpeng Wang ؛ Chengzhi Hu ؛ بولي ما ؛ بول روتجر ؛ باربرا بلانك

• على بيانات التدريب تأثير نماذج GPT [رابط الورق] 2024-04-11
  تشينجي ليو ؛ yekun chai شوهوان وانغ. يو الشمس كيزي وانغ هوا وو

• أفضل الممارسات والدروس المستفادة على البيانات الاصطناعية لنماذج اللغة [رابط الورق] 2024-04-11
  رويبو ليو جيري وي ؛ فانجيو ليو ؛ تشنغلي سي ؛ يانزه تشانغ ؛ Jinmeng Rao ستيفن تشنغ دايي بينغ ديي يانغ ديني تشو أندرو م. داي

• ما مدى سوء التدريب على البيانات الاصطناعية؟ تحليل إحصائي لانهيار نموذج اللغة [رابط الورق] 2024-04-07
  محمد أمين سيدديك ؛ Suei-Wen Chen ؛ Soufiane Hayou ؛ بيير يوسف ؛ ميروان ديباه

• كشف النقاب عن قوة تعميم نماذج اللغة الكبيرة التي تم ضبطها [رابط الورق] 2024-03-14
  هوران يانغ Yumeng Zhang ؛ Jiaqi Xu ؛ Hongyuan Lu ؛ فنغ آن هنغ ؛ واي لام

• المحولات تصبح مستقرة: نظرية انتشار الإشارات من طرف إلى طرف لنماذج اللغة [رابط الورق] 2024-03-14
  أخيل كيديا محمد عباس زيدي ؛ سوشيل خيالييا جونغو يونغ هارشيث جوكا هايجون لي

• الاهتمام الخطي هو (ربما) كل ما تحتاجه (لفهم تحسين المحولات) [رابط الورق] 2024-03-13
  Kwangjun Ahn ؛ شيانغ تشنغ أغنية مينهاك تشولهي يون ؛ علي جادباباي ؛ Suvrit Sra

• العلامات المميزة لمسارات التحسين في الشبكات العصبية و LLMS: أطوال ، الانحناءات ، والأطراف المسدودة [رابط الورق] 2024-03-12
  سيداك بال سينغ ؛ بوبي هو ؛ توماس هوفمان ؛ بيرنهارد شولكوبف

• النواة الإرشادية: فهم تعميم الشبكات الفرعية في نماذج اللغة المسبقة [رابط الورق] 2024-03-06
  adithya bhaskar ؛ دان فريدمان دانكي تشن

• ديناميات التدريب من الاهتمام متعدد الرأس من Softmax للتعلم داخل السياق: الظهور ، التقارب ، والحساب [الرابط الورقي] 2024-02-29
  سيو تشن هيهون شين تيانهاو وانغ تشوران يانغ

• كيف تتعلم المحولات الهيكل السببي مع نزول التدرج [رابط الورق] 2024-02-22
  إيشان نيكاني ؛ أليكس داميان جيسون دي لي

• تدريب Lora في نظام NTK ليس لديه الحد الأدنى المحلي الزائف [الرابط الورقي] 2024-02-19
  Uijeong Jang ؛ جيسون دي لي ؛ إرنست ك. ريو

• حول ظهور خطية المداخن في النموذج المسبق للتمويل [رابط الورق] 2024-02-06
  Zhanpeng Zhou ؛ زيجون تشن يلان تشن بو تشانغ Junchi يان

• يتعلم المحولات من خلال زيادة الترتيب التدريجي [رابط الورق] 2023-12-10
  Enric Boix-Adsera ؛ etai littwin. إيمانويل آبي ؛ سامي بنجيو جوشوا سوسكيند

• تحليل ميكانيكيا آثار الضبط الدقيق على المهام المحددة من الناحية الإجرائية [رابط الورق] 2023-11-21
  سامياك جاين روبرت كيرك إيكديب سينغ لوبانا ؛ روبرت ب. ديك ؛ هيدنوري تاناكا ؛ إدوارد جرينستتيت ؛ تيم روكتشيل ؛ ديفيد سكوت كروجر

• توصيل نموذج اللغة قبل المدربة ومهمة المصب عبر خصائص التمثيل [رابط الورق] 2023-11-02
  تشنوي وو ؛ هولدن لي رونغ جي

• المسح الضوئي والالتقاط: فهم ديناميات التدريب وتكوين الرمز المميز في محول طبقة واحدة [رابط الورق] 2023-07-02
  يوانونج تيان ؛ ييبنغ وانغ. بيدي تشن سيمون دو

• عرض قائم على kernel لنموذج اللغة الدقيق [الرابط الورقي] 2023-06-15
  Sadhika Malladi ألكساندر ويتيج ؛ دينغلي يو ؛ دانكي تشن سانجيف أرورا

• تحليل ثبات لضبط النموذج الذي تم تدريبه مسبقًا [رابط الورق] 2023-01-24
  زيهاو فو أنتوني مان تشو SO ؛ نايجل كولير

التعلم / التعميم / التفكير / الضعيف إلى تعميم قوي

^ back to top ^

الأوراق التي تحلل قدرات التعلم وأداء تعميم نماذج اللغة ، من التعميم الضعيف إلى القوي.

قائمة الورق (انقر للطي / تتكشف)

• الحدود التعميم والمخاطر للشبكات العصبية المتكررة [رابط الورق] 2024-11-05
  Xuewei Cheng ؛ Ke Huang شوجي ما

• تعميم طول يمكن إثباته في التنبؤ بالتسلسل عبر الترشيح الطيفي [رابط الورق] 2024-11-01
  آني مارسدن إيفان دوجاريو نامان أغاروال Xinyi Chen دانييل سو عداد حزان

• RL-Star: التحليل النظري لأطر التعلم المعززة للعقلاني الذي يدرس ذاتيًا [رابط الورق] 2024-10-31
  فو-تشين تشانغ يو تينغ لي ؛ Hui-ing shih ؛ بي يوان وو

• مزيج من الببغاوات: الخبراء يحسنون الحفظ أكثر من التفكير [الرابط الورقي] 2024-10-24
  سامي جيلاسي ؛ كلارا موهري ديفيد برانفرنبرن ؛ أليكس غو نيخيل فياس نيخيل أناند ديفيد ألفاريز-ميليس ؛ يوانزي لي ؛ شام م. كاكادي ؛ إيران ملاش

• كيف تؤثر الدقة العددية على قدرات التفكير الرياضي لـ LLMS [رابط الورق] 2024-10-17
  جوهاو فنغ كاي يانغ يونتيان غو Xinyue AI ؛ Shengjie Luo ؛ Jiacheng Sun ؛ دي هو تشنغو لي ؛ ليوي وانغ

• على حدود خطأ التعميم المعتمد على الرتبة للمحولات [رابط الورق] 2024-10-15
  LAN V. Truong

• الحميد المفرط في الاهتمام المفرد [رابط الورق] 2024-10-10
  روي ماجن Shuning Shang. Zhiwei Xu ؛ سبنسر فري. وي هو. غال فاردي

• ديناميات تعلم المفاهيم والتعميم التكويني [رابط الورق] 2024-10-10
  يونغي يانغ ؛ Core Francisco Park ؛ إيكديب سينغ لوبانا ؛ مايا أوكاوا وي هو. هيدنوري تاناكا

• الحميد من أجل الانحدار مع شبكات RELU من طبقتين مدربين [رابط الورق] 2024-10-08
  حديقة Junhyung باتريك بلوبوم شيفا براساد كاسيفيسواناثان

• التعميم الضعيف إلى القوي من خلال الزائد الحميد [رابط الورق] 2024-10-06
  ديفيد X. وو ؛ أنانت ساهاي

• إطار رسمي لفهم تعميم الطول في المحولات [رابط الورق] 2024-10-03
  XINTING HUANG ؛ آندي يانغ ساتويك بهاتاميشرا ؛ ياش ساروف أندرياس كريبس هاتي تشو ؛ preetum nakkiran مايكل هان

• تعميم مصنفات المحولات المدربة وتعرض الزائفة الحميدة في السياق [الرابط الورقي] 2024-10-02
  سبنسر فري. غال فاردي

• خطوط التفكير في نماذج اللغة الكبيرة [رابط الورق] 2024-10-02
  Raphaël Sarfati ؛ توني جي بي ليو ؛ نيكولاس بوللي كريستوفر ج. إيرلز

• التحقيق في تأثير تعقيد النموذج في نماذج اللغة الكبيرة [رابط الورق] 2024-10-01
  جينغ لوو Huiyuan Wang ؛ Weiran Huang

• حميدة أو غير مسببة في الاختيار الرمزي لآلية الانتباه [رابط الورق] 2024-09-26
  كيتارو ساكاموتو عيسى ساتو

• فهم تحيز البساطة تجاه التعيينات التركيبية عبر ديناميات التعلم [رابط الورق] 2024-09-15
  يي رن. دانيكا ج. ساذرلاند

• تعميم لا ينسى في نماذج اللغة [رابط الورق] 2024-09-03
  إريك تشانغ ؛ اختار Leshem ؛ يعقوب أندرياس

• وجوه العديدة من التعلم الضعيف إلى القوي الأمثل [رابط الورق] 2024-08-30
  Mikael Møller Høgsgaard ؛ Kasper Green Larsen ؛ Markus Engelund Mathiasen

• فيزياء نماذج اللغة: الجزء 2.2 ، كيفية التعلم من الأخطاء في مشاكل الرياضيات في المدرسة الدراسية [رابط الورق] 2024-08-29
  تيان يي ؛ زيشنغ شو ؛ يوانزي لي ؛ زيوان ألين زيو

• تعميم التوزيع عبر التكوين: عدسة من خلال رؤوس الحث في المحولات [رابط الورق] 2024-08-18
  أغنية جياجون Zhuoyan Xu ؛ Yiqiao Zhong

• حول تعميم تعلم التفضيل مع DPO [رابط الورق] 2024-08-06
  شون yixuan li

• استقرائي أم استنتاجي؟ إعادة التفكير في قدرات التفكير الأساسي لـ LLMS [رابط الورق] 2024-07-31
  كيوي تشنغ Jingfeng Yang ؛ Haoming Jiang ؛ Zhengyang وانغ. Binxuan Huang ؛ Ruirui li ؛ شيانغ لي ؛ تشنغ لي ؛ ييفان جاو شيان لي ؛ بنغ يين يزو صن