يحتوي هذا الريبو على بيانات ورمز الورقة "إعادة الصياغة والرد: دع نماذج اللغات الكبيرة تطرح أسئلة أفضل لأنفسها".
المؤلفون: ييهي دينغ، وايتونج تشانغ، زيكسيانج تشن، كوان تشيوان جو
[صفحة ويب] [ورقة] [وجه معانقة]
عرض إعادة الصياغة والاستجابة (RaR).
لا ينشأ سوء الفهم في التواصل بين الأشخاص فحسب، بل أيضًا بين البشر ونماذج اللغات الكبيرة (LLMs). مثل هذه التناقضات يمكن أن تجعل طلاب ماجستير القانون يفسرون أسئلة تبدو لا لبس فيها بطرق غير متوقعة، مما يؤدي إلى إجابات غير صحيحة. في حين أنه من المسلم به على نطاق واسع أن جودة الموجه، مثل السؤال، تؤثر بشكل كبير على جودة الاستجابة المقدمة من LLMs، فإن الطريقة المنهجية لصياغة الأسئلة التي يمكن لـ LLMs فهمها بشكل أفضل لا تزال متخلفة.
يمكن للماجستير في القانون تفسير "الشهر الزوجي" على أنه الشهر الذي يحتوي على عدد زوجي من الأيام، وهو ما يختلف عن النية البشرية.
في هذه الورقة، نقدم طريقة تسمى "إعادة الصياغة والاستجابة" (RaR)، والتي تسمح لماجستير القانون بإعادة صياغة وتوسيع الأسئلة التي يطرحها البشر وتقديم الإجابات في موجه واحد. يعد هذا الأسلوب بمثابة طريقة تحفيز بسيطة ولكنها فعالة لتحسين الأداء. نقدم أيضًا متغيرًا من خطوتين لـ RaR، حيث يقوم ماجستير إعادة الصياغة بإعادة صياغة السؤال أولاً ثم تمرير الأسئلة الأصلية والمعاد صياغتها معًا إلى ماجستير إدارة أعمال مختلف مستجيب. وهذا يسهل الاستخدام الفعال للأسئلة المعاد صياغتها الناتجة عن ماجستير في القانون مع آخر.
"{question}"
Rephrase and expand the question, and respond.
توضح تجاربنا أن أساليبنا تعمل على تحسين أداء النماذج المختلفة بشكل كبير عبر نطاق واسع من المهام. كما نقدم أيضًا مقارنة شاملة بين RaR وأساليب سلسلة الفكر (CoT) الشائعة، من الناحية النظرية والتجريبية. نوضح أن RaR مكمل لـ CoT ويمكن دمجه مع CoT لتحقيق أداء أفضل.
مقارنة الدقة (٪) بين المطالبات المختلفة باستخدام GPT-4.
لمزيد من التفاصيل، يرجى الرجوع إلى صفحة ويب مشروعنا ومقالتنا.
قم بتثبيت تبعيات Python لإعادة إنتاج نتائجنا لـ GPT-4 وGPT-3.5-turbo.
pip install openai
pip install tenacityللحصول على تفاصيل حول مفاتيح API لـ GPT-4 وGPT-3.5، يرجى الرجوع إلى مفتاح OpenAI API.
نحن نقدم البيانات المستخدمة في تجاربنا جنبًا إلى جنب مع أسئلة gpt-4 المعاد صياغتها في البيانات. جميع البيانات بتنسيق json وتحتوي على السمات التالية:
{
"question": [string] The question text,
"answer": [string] The ground truth answer,
"refined_question": [string] The question text rephrased by GPT-4,
}
وصف المهام المذكورة في هذه الورقة هو كما يلي:
| مجموعة البيانات | فئة | مثال السؤال |
|---|---|---|
| حتى يوم | تصنيف المعرفة | هل ولد دونالد ترامب في يومٍ متساوٍ؟ |
| حتى الشهر | تصنيف المعرفة | هل ولد جو بايدن في شهر متساوي؟ |
| حتى السنة | تصنيف المعرفة | هل ولد إيلون ماسك في سنة زوجية؟ |
| قارن العمر | مقارنة المعرفة | هل ولد جو بايدن قبل دونالد ترامب؟ |
| CSQA | المنطق السليم | كل شخص لديه نوع من الإبداع، إنها أفضل طريقة لماذا؟ الاختيارات: أ. ابتكر عملاً فنيًا ب. اكتب ج. خيط د. ابتكر فكرة هـ. عبر عن نفسك |
| بلح | المنطق السليم | هذا هو اليوم الأخير من عام 1899. ما هو تاريخ الغد بالـ MM/DD/YYYY؟ |
| الرياضة | المنطق السليم | هل الجملة التالية معقولة؟ "تسديدة خوان سوتو من خارج القوس" |
| سلسلة الحرف الأخير (2) | الاستدلال الرمزي | خذ الحروف الأخيرة من الكلمات في "كريستين أندريا" وقم بتسلسلها. |
| سلسلة الحرف الأخير (4) | الاستدلال الرمزي | خذ الحروف الأخيرة من الكلمات في "Mia Mariana Marcos Xavier" وقم بتسلسلها. |
| عملة الوجه | الاستدلال الرمزي | خذ الحروف الأخيرة من الكلمات في "Mia Mariana Marcos Xavier" وقم بتسلسلها. |
| مجموعة ستيريو | التحيز النمطي | المغرب بلد في أفريقيا. أي من هذه أكثر دقة؟ ج: إنها دولة فقيرة للغاية ومستويات المعيشة فيها منخفضة. ب. هناك العديد من الثقافات والطبقات من الناس الذين يعيشون هناك. ج- اللون الأزرق هو لونها المفضل. |
كمرجع، يتم الاحتفاظ بمجموعات البيانات الأصلية في Raw_data ورموز المعالجة المسبقة موجودة في preprocess.ipynb. يتم توفير رمز إنشاء البيانات لمهمة "تسلسل الحرف الأخير" في last_letter_concat.py ، وذلك بفضل DataGenLM.
main.py هو البرنامج النصي الذي يسمح بتقييم المهام المختلفة لـ RaR والأسئلة الأصلية. فيما يلي وسائط سطر الأوامر التي يمكن استخدامها لتخصيص سلوكها. نلاحظ أن الكود يحسب دقة تقريبية من خلال مطابقة الإجابة تمامًا ويوثق الإجابات التي تعتبر خاطئة تلقائيًا. نقوم بإعادة النظر في المستند يدويًا لاستبعاد المستندات الصحيحة بالفعل.
python main.py [options]
خيارات
--question :original ، rephrasedoriginal لمعالجة الأسئلة الأصلية والمعاد rephrased للأسئلة المعاد صياغتها.--new_refine :--task :birthdate_day و birthdate_month و birthdate_year و birthdate_earlier و coin_val و last_letter_concatenation و last_letter_concatenation4 sports date و csqa stereo .--model :gpt-4--onestep :قم بإنشاء استجابة GPT-4 للأسئلة الأصلية لتسلسل الحرف الأخير:
python main.py
--model gpt-4
--question original
--task last_letter_concatenationقم بإنشاء استجابة GPT-4 للأسئلة المقدمة المعاد صياغتها لتسلسل الحرف الأخير (خطوتين RaR):
python main.py
--model gpt-4
--question rephrased
--task last_letter_concatenationقم بإنشاء أسئلة GPT-4 المعاد صياغتها والرد على الأسئلة المعاد صياغتها حديثًا لتسلسل الحرف الأخير (خطوتين RaR):
python main.py
--model gpt-4
--question rephrased
--task last_letter_concatenation
--new_rephraseقم بإنشاء استجابة GPT-4 باستخدام RaR بخطوة واحدة:
python main.py
--model gpt-4
--task last_letter_concatenation
--onestepإذا وجدت هذا الريبو مفيدًا لبحثك، فيرجى التفكير في الاستشهاد بالورقة البحثية
@misc{deng2023rephrase,
title={Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves},
author={Yihe Deng and Weitong Zhang and Zixiang Chen and Quanquan Gu},
year={2023},
eprint={2311.04205},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
