PIXIU
1.0.0
ورقة Pixiu |. FinBen المتصدرين
تنصل
يتم توفير هذا المستودع ومحتوياته للأغراض الأكاديمية والتعليمية فقط . ولا تشكل أي من المواد نصيحة مالية أو قانونية أو استثمارية، ولا يتم تقديم أي ضمانات، صريحة أو ضمنية، فيما يتعلق بدقة المحتوى أو اكتماله أو فائدته والمساهمون ليسوا مسؤولين عن أي أخطاء أو سهو أو أي عواقب تنشأ عن استخدام المعلومات الواردة هنا. يجب على المستخدمين ممارسة حكمهم الخاص واستشارة المتخصصين قبل اتخاذ أي قرارات مالية أو قانونية أو استثمارية الواردة في هذا المستودع هو بالكامل على مسئولية المستخدم الخاصة.
باستخدام المعلومات الموجودة في هذا المستودع أو الوصول إليها، فإنك توافق على تعويض المؤلفين والمساهمين وأي منظمات أو أشخاص تابعين لها والدفاع عنهم وحمايتهم من أي وجميع المطالبات أو الأضرار.
تحديث (التاريخ: 22-09-2023)
يسعدنا أن نعلن أن ورقتنا البحثية، "PIXIU: معيار شامل ومجموعة بيانات التعليمات ونموذج لغة كبير للتمويل"، قد تم قبولها من قبل NeurIPS 2023 Track Datasets and Benchmarks!
تحديث (التاريخ: 2023-08-10)
نحن فخورون بمشاركة الإصدارات المحسنة من FinBen، والتي تدعم الآن اللغتين الصينية والإسبانية!
تحديث (التاريخ: 20-02-2024)
يسعدنا أن نعلن أن ورقتنا البحثية، "FinBen: معيار مالي شامل لنماذج اللغات الكبيرة"، متاحة الآن في FinBen.
تحديث (التاريخ: 05-02-2024)
يسعدنا دعوتك لحضور تحدي IJCAI2024، "التحديات المالية في نماذج اللغات الكبيرة - FinLLM"، مجموعة الأدوات الأولية متاحة في Starter-kit.
نقاط التفتيش:
اللغات
أوراق
التقييمات :
تحليل المشاعر
تصنيف
استخراج المعرفة
فهم الرقم
تلخيص النص
تسجيل الائتمان
التنبؤ
مرحبًا بكم في مشروع PIXIU ! تم تصميم هذا المشروع لدعم تطوير وضبط وتقييم نماذج اللغات الكبيرة (LLMs) في المجال المالي، وهو خطوة مهمة نحو فهم وتسخير قوة LLMs في المجال المالي .
يتم تنظيم المستودع في عدة مكونات رئيسية، يخدم كل منها غرضًا فريدًا في مسار البرمجة اللغوية العصبية المالية:
FinBen : معيارنا لتقييم فهم اللغة المالية والتنبؤ بها، يعمل FinBen كمجموعة تقييم لطلاب الماجستير في القانون المالي، مع التركيز على مهام الفهم والتنبؤ عبر سياقات مالية مختلفة.
FIT : مجموعة بيانات التعليمات المالية الخاصة بنا هي مجموعة بيانات تعليمات متعددة المهام ومتعددة الوسائط مصممة خصيصًا للمهام المالية، وهي بمثابة قاعدة تدريب لضبط ماجستير إدارة الأعمال لهذه المهام.
FinMA : يعد نموذج اللغة المالية الكبيرة (LLM) الخاص بنا هو جوهر مشروعنا، حيث يوفر قوة التعلم والتنبؤ بمهامنا المالية.
الموارد المفتوحة : توفر PIXIU بشكل علني شهادة LLM المالية وبيانات ضبط التعليمات ومجموعات البيانات المضمنة في معيار التقييم لتشجيع البحث المفتوح والشفافية.
المهام المتعددة : تغطي بيانات ضبط التعليمات والمعيار في PIXIU مجموعة متنوعة من المهام المالية، بما في ذلك أربع مهام البرمجة اللغوية العصبية المالية ومهمة واحدة للتنبؤ المالي.
متعدد الوسائط : تتكون بيانات ضبط تعليمات PIXIU ومعيارها من بيانات مالية متعددة الوسائط، بما في ذلك بيانات السلاسل الزمنية من مهمة التنبؤ بحركة الأسهم، وهي تغطي أنواعًا مختلفة من النصوص المالية، بما في ذلك التقارير والمقالات الإخبارية والتغريدات والملفات التنظيمية.
التنوع : على عكس المعايير السابقة التي تركز بشكل أساسي على مهام البرمجة اللغوية العصبية المالية، يتضمن معيار التقييم الخاص بـ PIXIU مهام التنبؤ المالي المهمة المتوافقة مع سيناريوهات العالم الحقيقي، مما يجعلها أكثر صعوبة.
في هذا القسم، نقدم تحليلًا تفصيليًا لأداء FinMA مقارنة بالنماذج الرائدة الأخرى، بما في ذلك ChatGPT وGPT-4 وBloombergGPT et al. بالنسبة لهذا التحليل، اخترنا مجموعة من المهام والمقاييس التي تغطي جوانب مختلفة من الشؤون المالية معالجة اللغات الطبيعية والتنبؤ المالي يمكن العثور على جميع نتائج نموذج FinBen على لوحة المتصدرين لدينا!
| بيانات | مهمة | خام | أنواع البيانات | الطرائق | رخصة | ورق |
|---|---|---|---|---|---|---|
| FPB | تحليل المشاعر | 4,845 | أخبار | نص | سي سي بي-سا 3.0 | [1] |
| FIQA-SA | تحليل المشاعر | 1,173 | عناوين الأخبار، تويت | نص | عام | [2] |
| TSA | تحليل المشاعر | 561 | عناوين الأخبار | نص | سي سي بي-إن سي-سا 4.0 | [3] |
| اللجنة الفيدرالية للسوق المفتوحة | تصنيف الصقور الحمائم | 496 | نصوص اللجنة الفيدرالية للسوق المفتوحة | نص | سي سي بي-نك 4.0 | [4] |
| العناوين | تصنيف عناوين الأخبار | 11,412 | عناوين الأخبار | نص | سي سي بي-سا 3.0 | [5] |
| FinArg-ECC-Task1 | تصنيف وحدة الحجة | 969 | مكالمة جماعية للأرباح | نص | سي سي بي-إن سي-سا 4.0 | [6] |
| FinArg-ECC-Task2 | تصنيف علاقة الحجة | 690 | مكالمة جماعية للأرباح | نص | سي سي بي-إن سي-سا 4.0 | [6] |
| ملتيفين إن | تصنيف متعدد الطبقات | 546 | عناوين المقالات | نص | عام | [7] |
| عمليات الاندماج والاستحواذ | تصنيف اكتمال الصفقة | 500 | المقالات الإخبارية، تويت | نص | عام | [8] |
| مليسجين | تحديد مشكلة ESG | 300 | مقالات إخبارية | نص | CC BY-NC-ND | [9] |
| نر | التعرف على الكيان المسمى | 1,366 | الاتفاقيات المالية | نص | سي سي بي-سا 3.0 | [10] |
| أدق أورد | التعرف على الكيان المسمى | 1,080 | مقالات إخبارية | نص | سي سي بي-نك 4.0 | [11] |
| فينريد | استخراج العلاقة | 1,070 | كسب معاملات المكالمات | نص | عام | [12] |
| مهمة FinCausual 20201 | التصنيف السببي | 8,630 | المقالات الإخبارية، المجلس الأعلى للتعليم | نص | سي سي بي 4.0 | [13] |
| مهمة FinCausual 20202 | الكشف السببي | 226 | المقالات الإخبارية، المجلس الأعلى للتعليم | نص | سي سي بي 4.0 | [13] |
| FinQA | الإجابة على السؤال | 8,281 | تقارير الأرباح | النص، الجدول | رخصة معهد ماساتشوستس للتكنولوجيا | [14] |
| tQA | الإجابة على السؤال | 1,670 | التقارير المالية | النص، الجدول | رخصة معهد ماساتشوستس للتكنولوجيا | [15] |
| فكسل | وضع العلامات الرقمية | 318 | ثانية | نص | عام | [16] |
| FSRL | تصنيف رمزي | 97 | مقالات إخبارية | نص | رخصة معهد ماساتشوستس للتكنولوجيا | [17] |
| إكتسوم | تلخيص النص | 495 | كسب معاملات المكالمات | نص | عام | [18] |
| إدتسوم | تلخيص النص | 2000 | مقالات إخبارية | نص | عام | [19] |
| الألمانية | التهديف الائتماني | 1000 | سجلات الائتمان | طاولة | سي سي بي 4.0 | [20] |
| استرالية | التهديف الائتماني | 690 | سجلات الائتمان | طاولة | سي سي بي 4.0 | [واحد وعشرون] |
| نادي الإقراض | التهديف الائتماني | 1,3453 | المعلومات المالية | طاولة | CC0 1.0 | [إثنان وعشرون] |
| البيانات الكبيرة22 | التنبؤ بحركة الأسهم | 7,164 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | عام | [ثلاثة وعشرين] |
| دوري أبطال آسيا18 | التنبؤ بحركة الأسهم | 27,053 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | رخصة معهد ماساتشوستس للتكنولوجيا | [أربعة وعشرون] |
| سيكم18 | التنبؤ بحركة الأسهم | 4,967 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | عام | [25] |
| ConvFinQA | الإجابة على الأسئلة متعددة المنعطفات | 1,490 | تقارير الأرباح | النص، الجدول | رخصة معهد ماساتشوستس للتكنولوجيا | [26] |
| الاحتيال على بطاقة الائتمان | كشف الاحتيال | 11,392 | المعلومات المالية | طاولة | (دبكل) v1.0 | [إثنان وعشرون] |
| ccFraud | كشف الاحتيال | 10,485 | المعلومات المالية | طاولة | عام | [إثنان وعشرون] |
| بولندي | تحديد الضائقة المالية | 8,681 | ميزات الوضع المالي | طاولة | سي سي بي 4.0 | [إثنان وعشرون] |
| مجلة تايوان الاقتصادية | تحديد الضائقة المالية | 6,819 | ميزات الوضع المالي | طاولة | سي سي بي 4.0 | [إثنان وعشرون] |
| بورتو سيجورو | تحليل المطالبة | 11,904 | المطالبة والمعلومات المالية | طاولة | عام | [إثنان وعشرون] |
| تأمين السفر | تحليل المطالبة | 12,665 | المطالبة والمعلومات المالية | طاولة | (ODbL) v1.0 | [إثنان وعشرون] |
1. بيكا مالو، أنكور سينها، بيكا كورهونين، جيركي فالينيوس، وبيري تاكالا 2014. الديون الجيدة أو الديون المعدومة: الكشف عن التوجهات الدلالية في النصوص الاقتصادية، مجلة جمعية علوم وتكنولوجيا المعلومات 65، 4 (2014)، 782 -796.
2. ماسيدو مايا، وسيغفريد هاندشوه، وأندريه فريتاس، وبريان ديفيس، وروس ماكديرموت، ومانيل زروق، وألكسندرا بالاهور. 2018. التحدي المفتوح لـ WW'18: استخراج الرأي المالي والإجابة على الأسئلة في الإجراءات المصاحبة لمؤتمر الويب 2018. 1941 -1942.
3. كيث كورتيس، أندريه فريتاس، توبياس داوديرت، مانويلا هويرلمان، مانيل زروق، سيغفريد هاندشوه، وبريان ديفيس 2017. SemEval-2017 المهمة 5: تحليل المشاعر الدقيقة حول المدونات الصغيرة والأخبار المالية في وقائع ورشة العمل الدولية الحادية عشرة في التقييم الدلالي (SemEval-2017) صفحات 519-535، فانكوفر، كندا.
4. أغام شاه، سوفان باتوري، وسودهير تشافا. 2023. كلمات تريليون دولار: مجموعة بيانات مالية جديدة، تحليل المهام والسوق في وقائع الاجتماع السنوي الحادي والستين لجمعية اللغويات الحاسوبية (المجلد الأول: أوراق طويلة) ، الصفحات. 6664–6679، تورونتو، كندا.
5. أنكور سينها وتانماي خانديت. 2021. تأثير الأخبار على سوق السلع الأساسية: مجموعة البيانات والنتائج في التقدم في مجال المعلومات والاتصالات: وقائع مؤتمر مستقبل المعلومات والاتصالات لعام 2021 (FICC)، المجلد 2. سبرينغر، 589- 601.
6. Chen CC، Lin CY، Chiu CJ، وآخرون نظرة عامة على مهمة NTCIR-17 FinArg-1: فهم الحجج الدقيقة في التحليل المالي [C] // وقائع مؤتمر NTCIR السابع عشر لتقييم تقنيات الوصول إلى المعلومات ، طوكيو، اليابان 2023.
7. راسموس يورجنسن، أوليفر براندت، ماريك هارتمان، شيانغ داي، كريستيان إيجل، وديزموند إليوت. 2023. MultiFin: مجموعة بيانات للبرمجة اللغوية العصبية المالية متعددة اللغات في نتائج جمعية اللغويات الحاسوبية: EACL 2023 ، الصفحات 894-909، دوبروفنيك. ، كرواتيا. رابطة اللغويات الحاسوبية.
8. Yang, L., Kenny, EM, Ng, TL, Yang, Y., Smyth, B., & Dong, R. (2020). توليد تفسيرات معقولة مضادة للمحولات العميقة في تصنيف النصوص المالية. المؤتمر الدولي للحسابات اللغويات .
9. تشونغ تشي تشين، يو مين تسينغ، جويون كانغ، أناييس لويسير، مين يوه داي، تينغ تساي تو، وهسين هسي تشين 2023. تحديد القضايا البيئية والاجتماعية والحوكمة متعدد اللغات في وقائع ورشة العمل الخامسة التكنولوجيا المالية ومعالجة اللغات الطبيعية (FinNLP) والذكاء الاصطناعي الثاني متعدد الوسائط للتنبؤ المالي (Muffin) .
10. جوليو سيزار ساليناس ألفارادو، كارين فيرسبور، وتيموثي بالدوين. 2015. تكييف المجال للتعرف على الكيانات المسماة لدعم تقييم مخاطر الائتمان. في وقائع ورشة عمل جمعية تكنولوجيا اللغة الأسترالية 2015. 84-90.
11. شاه أ، فيثاني آر، جولابالي أ، وآخرون: مجموعة بيانات التعرف على الكيانات المالية ونموذج الإشراف الضعيف [J].
12. شارما، سمية وآخرون "FinRED: مجموعة بيانات لاستخراج العلاقات في المجال المالي." وقائع مؤتمر الويب 2022 (2022): ص.
13. دومينيك ماريكو، حنا أبي عقل، إستل لابيدوري، ستيفان دورفورت، هيوز دي مازانكورت، ومحمود الحاج 2020. المهمة المشتركة للكشف عن سببية المستندات المالية (FinCausal 2020). المعالجة والتلخيص المالي المتعدد ، الصفحات 23-32، برشلونة، اسبانيا (اون لاين).
14. زيو تشين، وينهو تشين، تشاريس سمايلي، سامينا شاه، إيانا بوروفا، ديلان لانغدون، ريما موسى، مات بين، تينغ هاو هوانغ، بريان آر روتليدج، وآخرون 2021. FinQA: مجموعة بيانات للاستدلال العددي على البيانات المالية في وقائع مؤتمر 2021 حول الأساليب التجريبية في معالجة اللغات الطبيعية. 3697-3711.
15. تشو، فنغبين، وينكيانغ لي، يوتشنغ هوانغ، تشاو وانغ، شو تشانغ، جيانتشينغ إل في، فولي فنغ وتات-سينغ تشوا "TAT-QA: سؤال يجيب على المعيار المرجعي بشأن مزيج من المحتوى الجدولي والنص في التمويل". ArXiv abs/2105.07624 (2021): ن.
16. سمية شارما، سوبهيندو خاتويا، مانجوناث هيغدي، أفرين شيخ، كوستوف داسجوبتا، باوان جويال، ونيلوي جانجولي 2023. العلامات المالية الرقمية المتطرفة: مجموعة بيانات وقياس الأداء في نتائج جمعية اللغويات الحاسوبية: ACL 2023 ، الصفحات 3550. -3561، تورونتو، كندا اللغويات.
17. ماثيو لام، أرون تشاجانتي، كريستوفر د. مانينغ، دان جورافسكي، وبيرسي ليانغ. 2018. تحليل القياس النصي: ما تمت مشاركته وما يمكن مقارنته بين الحقائق المماثلة في وقائع مؤتمر 2018 حول الأساليب التجريبية في معالجة اللغات الطبيعية ، الصفحات. 82-92، بروكسل، بلجيكا. رابطة اللغويات الحاسوبية.
18. راجديب موخيرجي، أبهيناف بوهرا، أكاش بانيرجي، سمية شارما، مانجوناث هيغدي، أفرين شيخ، شيفاني شريفاستافا، كوستوف داسغوبتا، نيلوي جانجولي، سابتارشي غوش، وباوان جويال 2022. ECTSum: مجموعة بيانات مرجعية جديدة لتلخيص النقاط الطويلة نصوص مكالمات الأرباح وقائع مؤتمر 2022 حول الأساليب التجريبية في معالجة اللغات الطبيعية ، الصفحات 10893-10906، أبو ظبي، الإمارات العربية المتحدة.
19. زيهان تشو، وليكيان ما، وهان ليو. 2021. تداول الحدث: الكشف عن أحداث الشركات للتجارة القائمة على الأحداث في نتائج جمعية اللغويات الحاسوبية: ACL-IJCNLP 2021 ، الصفحات 2114-2124، عبر الإنترنت. جمعية اللغويات الحاسوبية.
20. هوفمان، هانز (1994). السجل الإحصائي (بيانات الائتمان الألمانية).
21. كوينلان، روس Statlog (الموافقة على الائتمان الأسترالي). مستودع التعلم الآلي التابع لشركة UCI.
22. دوانيو فنغ، يونغفو داي، جيمين هوانغ، ييفانغ تشانغ، تشيان تشيان شيه، ويجوانج هان، أليخاندرو لوبيز ليرا، هاو وانغ. 2023. تمكين الكثيرين، وتحيز القليل: تسجيل الائتمان العام من خلال نماذج اللغة الكبيرة. 2023): ن.
23. يجون سون، جايمين يو، مينيونج تشو، جيهيونج جيون، ويو كانج 2022. التنبؤ الدقيق لحركة الأسهم مع التعلم الخاضع للإشراف الذاتي من التغريدات المزعجة المتفرقة في مؤتمر IEEE الدولي لعام 2022 بشأن البيانات الضخمة (IEEE، 1691). -1700.
24. يومو شو وشاي بي كوهين 2018. التنبؤ بحركة الأسهم من التغريدات والأسعار التاريخية. في وقائع الاجتماع السنوي السادس والخمسين لجمعية اللغويات الحاسوبية (المجلد 1: أوراق طويلة 1970-1979).
25. Huizhe Wu، Wei Zhang، Weiwei Shen، and Jun Wang. 2018. النمذجة التسلسلية العميقة الهجينة للتنبؤ بالأسهم الاجتماعية المستندة إلى النص. في وقائع المؤتمر الدولي السابع والعشرين لـ ACM حول إدارة المعلومات والمعرفة 1627-1630.
26. Zhiyu Chen، Shiyang Li، Charese Smiley، Zhiqiang Ma، Sameena Shah، وWilliam Yang Wang. 2022. ConvFinQA: استكشاف سلسلة التفكير العددي في الإجابة على أسئلة المحادثة المالية في وقائع مؤتمر 2022 حول الأساليب التجريبية في اللغة الطبيعية تجهيز، الصفحات 6279-6292، أبوظبي، جمعية الإمارات العربية المتحدة للغويات الحاسوبية.
git clone https://github.com/The-FinAI/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd src/financial-evaluation
pip install -e .[multilingual]sudo bash scripts/docker_run.sh يبدأ الأمر أعلاه حاوية عامل إرساء، ويمكنك تعديل docker_run.sh ليناسب بيئتك. نحن نقدم صورة مدمجة مسبقًا عن طريق تشغيل sudo docker pull tothemoon/pixiu:latest
docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864
--network host
--env https_proxy= $https_proxy
--env http_proxy= $http_proxy
--env all_proxy= $all_proxy
--env HF_HOME= $hf_home
-it [--rm]
--name pixiu
-v $pixiu_path : $pixiu_path
-v $hf_home : $hf_home
-v $ssh_pub_key :/root/.ssh/authorized_keys
-w $workdir
$docker_user /pixiu: $tag
[--sshd_port 2201 --cmd " echo 'Hello, world!' && /bin/bash " ]توضح الحجج:
[] يعني الحجج التي يمكن تجاهلهاHF_HOME : عنوان ذاكرة التخزين المؤقت للوجهsshd_port : منفذ sshd للحاوية، يمكنك تشغيل ssh -i private_key -p $sshd_port root@$ip للاتصال بالحاوية، الافتراضي هو 22001--rm : قم بإزالة الحاوية عند الخروج من الحاوية (على سبيل المثال CTRL + D ) قبل التقييم، يرجى تنزيل نقطة تفتيش BART إلى src/metrics/BARTScore/bart_score.pth .
للتقييم الآلي، يرجى اتباع التعليمات التالية:
تعانق محول الوجه
لتقييم نموذج مستضاف على HuggingFace Hub (على سبيل المثال، finma-7b-full)، استخدم هذا الأمر:
python eval.py
--model " hf-causal-llama "
--model_args " use_accelerate=True,pretrained=TheFinAI/finma-7b-full,tokenizer=TheFinAI/finma-7b-full,use_fast=False "
--tasks " flare_ner,flare_sm_acl,flare_fpb "يمكن العثور على مزيد من التفاصيل في وثائق lm_eval.
يرجى ملاحظة أنه بالنسبة لمهام مثل NER، يعتمد التقييم الآلي على نمط محدد، وقد يفشل هذا في استخراج المعلومات ذات الصلة في إعدادات اللقطة الصفرية، مما يؤدي إلى أداء أقل نسبيًا مقارنة بالنتائج السابقة التي تم شرحها بواسطة الإنسان.
export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py
--model gpt-4
--tasks flare_ner,flare_sm_acl,flare_fpbلتشغيل الواجهة الخلفية للاستدلال:
bash scripts/run_interface.shيرجى ضبط run_interface.sh وفقًا لمتطلبات البيئة الخاصة بك.
للتقييم:
python data/ * /evaluate.pyيتضمن إنشاء مهمة جديدة لـ FinBen إنشاء مجموعة بيانات Huggingface وتنفيذ المهمة في ملف Python. يرشدك هذا الدليل خلال كل خطوة من خطوات إعداد مهمة جديدة باستخدام إطار عمل FinBen.
يجب إنشاء مجموعة البيانات الخاصة بك بالتنسيق التالي:
{
"query" : "..." ,
"answer" : "..." ,
"text" : "..."
}بهذا التنسيق:
query : مزيج من المطالبة والنصanswer : التسمية الخاصة بكللمهام متعددة المنعطفات (مثل )
بالنسبة لمهام التصنيف (مثل FPB (FinBen_fpb))، يجب تحديد مفاتيح إضافية:
choices : مجموعة من التسمياتgold : فهرس التسمية الصحيحة في الاختيارات (يبدأ من 0)بالنسبة لمهام التصنيف التسلسلي (مثل Finer Ord (FinBen_finer_ord))، يجب تحديد مفاتيح إضافية:
label : قائمة التسميات الرمزية
token : قائمة الرموز
بالنسبة لمهام التلخيص الاستخراجي (مثل ECTSUM (FinBen_ectsum)))، يجب تحديد مفاتيح إضافية:
label : قائمة تسميات الجملةبالنسبة لمهام التلخيص التجريدي والإجابة على الأسئلة (مثل EDTSUM (FinBen_edtsum)))، لا ينبغي تحديد مفاتيح إضافية
بمجرد أن تصبح مجموعة البيانات الخاصة بك جاهزة، يمكنك البدء في تنفيذ مهمتك، ويجب تحديد مهمتك ضمن فئة جديدة في Flare.py أو أي ملف Python آخر موجود داخل دليل المهام.
لتلبية مجموعة من المهام، نحن نقدم العديد من الفئات الأساسية المتخصصة، بما في ذلك Classification ، SequentialLabeling ، RelationExtraction ، ExtractiveSummarization ، AbstractiveSummarization ، وضمان QA .
على سبيل المثال، إذا كنت تشرع في مهمة تصنيف، فيمكنك الاستفادة بشكل مباشر من فئة Classification الأساسية الخاصة بنا. تسمح هذه الفئة بإنشاء مهمة فعالة وبديهية لتوضيح ذلك بشكل أفضل، دعنا نتعمق في مثال لصياغة مهمة تسمى FinBen-FPB الفئة الأساسية Classification :
class flareFPB ( Classification ):
DATASET_PATH = "flare-fpb" وهذا كل شيء! بمجرد إنشاء فئة المهمة الخاصة بك، فإن الخطوة التالية هي تسجيلها في الملف src/tasks/__init__.py للقيام بذلك، قم بإضافة سطر جديد يتبع التنسيق "task_name": module.ClassName . وإليكم كيف يتم ذلك:
TASK_REGISTRY = {
"flare_fpb" : flare . FPB ,
"your_new_task" : your_module . YourTask , # This is where you add your task
}| مهمة | متري | توضيح |
|---|---|---|
| تصنيف | دقة | يمثل هذا المقياس نسبة الملاحظات المتوقعة بشكل صحيح إلى إجمالي الملاحظات ويتم حسابها على أنها (الإيجابيات الحقيقية + السلبيات الحقيقية) / إجمالي الملاحظات. |
| تصنيف | نقاط F1 | تمثل درجة F1 المتوسط التوافقي للدقة والتذكر، وبالتالي تخلق توازنًا بين هذين العاملين، وتثبت أنها مفيدة بشكل خاص في السيناريوهات التي يكون فيها لأحد العوامل أهمية أكبر من الآخر والتذكير، و0 يشير إلى أسوأ الحالات، علاوة على ذلك، فإننا نقدم كلا الإصدارين "المرجح" و"الكلي" من درجة F1. |
| تصنيف | النسبة المفقودة | يحسب هذا المقياس نسبة الاستجابات التي لا يتم فيها إرجاع أي خيارات من الاختيارات المحددة في المهمة. |
| تصنيف | معامل ارتباط ماثيوز (MCC) | يعد مركز عملائي (MCC) مقياسًا يقيم جودة التصنيفات الثنائية، وينتج درجة تتراوح من -1 إلى +1. تشير درجة +1 إلى التنبؤ المثالي، وتشير 0 إلى توقع ليس أفضل من الصدفة العشوائية، وتشير -1 إلى عكس تمامًا. تنبؤ. |
| وضع العلامات التسلسلية | نتيجة F1 | في سياق مهام التصنيف التسلسلي، نستخدم درجة F1 كما تم حسابها بواسطة مكتبة seqeval ، وهو مقياس تقييم قوي على مستوى الكيان. يتطلب هذا المقياس تطابقًا تامًا بين نطاق الكيان ونوعه بين كيانات الحقيقة المتوقعة وكيانات الحقيقة الأساسية تمثل الإيجابيات الحقيقية (TP) الكيانات المتوقعة بشكل صحيح، وتشير الإيجابيات الكاذبة (FP) إلى الكيانات المتوقعة بشكل غير صحيح أو الكيانات ذات النطاقات/الأنواع غير المتطابقة، وتشير السلبيات الكاذبة (FN) إلى الكيانات المفقودة من ويتم بعد ذلك حساب الحقيقة الأساسية، والاستدعاء، ودرجة F1 باستخدام هذه الكميات، حيث تمثل درجة F1 المتوسط التوافقي للدقة والاستدعاء. |
| وضع العلامات التسلسلية | تسمية النتيجة F1 | يقوم هذا المقياس بتقييم أداء النموذج استنادًا فقط إلى صحة التسميات المتوقعة، دون مراعاة نطاقات الكيانات. |
| استخراج العلاقة | دقة | تقيس الدقة نسبة العلاقات المتوقعة بشكل صحيح من بين جميع العلاقات المتوقعة. ويتم حسابها على أنها عدد الإيجابيات الحقيقية (TP) مقسومًا على مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة (FP). |
| استخراج العلاقة | يتذكر | يقيس الاستدعاء نسبة العلاقات المتوقعة بشكل صحيح من بين جميع العلاقات الفعلية، ويتم حسابه على أنه عدد الإيجابيات الحقيقية (TP) مقسومًا على مجموع الإيجابيات الحقيقية والسلبية الكاذبة (FN). |
| استخراج العلاقة | نتيجة F1 | درجة F1 هي المتوسط التوافقي للدقة والتذكر، وتوفر التوازن بين هذين المقياسين. تكون درجة F1 في أفضل حالاتها عند 1 (الدقة المثالية والتذكر) والأسوأ عند 0. |
| التلخيص الاستخراجي والتجريدي | روج-ن | يقيس هذا تداخل N-grams (تسلسل متجاور من N من العناصر من عينة معينة من النص) بين الملخص الذي أنشأه النظام والملخص المرجعي الذي يمكن أن يكون 1 أو 2 أو أكثر، مع ROUGE-1 و يتم استخدام ROUGE-2 بشكل شائع لتقييم تداخلات unigram وbigram على التوالي. |
| التلخيص الاستخراجي والتجريدي | روج-L | يقوم هذا المقياس بتقييم أطول تسلسل فرعي مشترك (LCS) بين النظام والملخصات المرجعية. ويأخذ LCS في الاعتبار تشابه بنية مستوى الجملة بشكل طبيعي ويحدد أطول عدد من الجرام المتزامنة تلقائيًا. |
| إجابة السؤال | إيماكك | يقوم EMACC بتقييم التطابق التام بين الاستجابة التي ينشئها النموذج والإجابة المرجعية. وبعبارة أخرى، تعتبر الاستجابة التي ينشئها النموذج صحيحة فقط إذا كانت تطابق الإجابة المرجعية تمامًا، كلمة بكلمة. |
بالإضافة إلى ذلك، يمكنك تحديد ما إذا كان يجب أن تكون التسميات بأحرف صغيرة أثناء عملية المطابقة عن طريق تحديد
LOWER_CASEفي تعريف الفصل الدراسي الخاص بك، حيث تتم مطابقة التسميات بناءً على مظهرها في المخرجات التي تم إنشاؤها لمهام مثل الاختبارات حيث تكون التسميات مجموعة محددة للأحرف الكبيرة مثل "A" و"B" و"C"، يجب عادةً تعيين هذا على False.
تم تصميم مجموعة بيانات التعليمات الخاصة بنا بشكل فريد لمجال LLM وFinMA الخاص، وقد تم تجميع مجموعة البيانات هذه بدقة لضبط نموذجنا في مجموعة متنوعة من المهام المالية، وهي تتميز ببيانات متعددة المهام ومتعددة الوسائط متاحة للجمهور العديد من مجموعات البيانات المالية المفتوحة.
مجموعة البيانات متعددة الأوجه، وتتضمن مهام تشمل تحليل المشاعر، وتصنيف عناوين الأخبار، والتعرف على الكيانات المسماة، والإجابة على الأسئلة، والتنبؤ بحركة الأسهم، وهي تغطي كلاً من طرائق البيانات النصية والسلاسل الزمنية، مما يوفر مجموعة متنوعة غنية من البيانات المالية تم تصميم تعليمات محددة لكل مهمة بعناية من قبل خبراء المجال.
يلخص الجدول أدناه المهام المختلفة والطرائق المقابلة لها وأنواع النصوص وأمثلة للتعليمات المستخدمة لكل مهمة:
| مهمة | الطرائق | أنواع النص | تعليماتأمثلة |
|---|---|---|---|
| تحليل المشاعر | نص | عناوين الأخبار، تويت | "قم بتحليل المشاعر الواردة في هذا البيان المستخرج من مقالة إخبارية مالية. قدم إجابتك إما سلبية أو إيجابية أو محايدة. على سبيل المثال، "انخفضت أسهم الشركة بعد الفضيحة." سيتم تصنيفها على أنها سلبية." |
| تصنيف عناوين الأخبار | نص | عناوين الأخبار | "فكر فيما إذا كان العنوان يذكر سعر الذهب. هل هناك سعر أم لا في سوق السلع الذهبية المشار إليه في عنوان الأخبار؟ يرجى الإجابة بنعم أو لا." |
| التعرف على الكيان المسمى | نص | الاتفاقيات المالية | "في الجمل المستخرجة من الاتفاقيات المالية في إيداعات هيئة الأوراق المالية والبورصات الأمريكية، حدد الكيانات المسماة التي تمثل شخصًا ('PER')، أو منظمة ('ORG')، أو موقعًا ('LOC'). تنسيق الإجابة المطلوب هو: "اسم الكيان، نوع الكيان". على سبيل المثال، في "إعلان Elon Musk، الرئيس التنفيذي لشركة SpaceX، عن الإطلاق من كيب كانافيرال." ستكون الكيانات: "Elon Musk, PER, ORG"؛ |
| إجابة السؤال | نص | تقارير الأرباح | "في سياق هذه السلسلة من الاستفسارات المترابطة المتعلقة بالتمويل والمعلومات الإضافية التي توفرها الذريعة، وبيانات الجدول، والنص المنشور من الإيداعات المالية للشركة، يرجى تقديم إجابة على السؤال الأخير. وقد يتطلب هذا استخراج معلومات من السياق وإجراء الحسابات الرياضية، يرجى مراعاة المعلومات المقدمة في الأسئلة السابقة وإجاباتها عند صياغة إجابتك:" |
| التنبؤ بحركة الأسهم | النص، السلاسل الزمنية | تغريدات، أسعار الأسهم | "قم بتحليل المعلومات ومنشورات وسائل التواصل الاجتماعي لتحديد ما إذا كان سعر إغلاق {tid} سيرتفع أو ينخفض عند {point} . يرجى الرد إما بالارتفاع أو الانخفاض." |
تحتوي مجموعة البيانات على كمية كبيرة من عينات بيانات التعليمات (136 ألفًا)، مما يسمح لـ FinMA بالتقاط الفروق الدقيقة في المهام المالية المتنوعة. يوفر الجدول أدناه التفاصيل الإحصائية لمجموعة بيانات التعليمات:
| بيانات | مهمة | خام | تعليمات | أنواع البيانات | الطرائق | رخصة | الورق الأصلي |
|---|---|---|---|---|---|---|---|
| FPB | تحليل المشاعر | 4,845 | 48,450 | أخبار | نص | سي سي بي-سا 3.0 | [1] |
| فيكا-SA | تحليل المشاعر | 1,173 | 11,730 | عناوين الأخبار، تويت | نص | عام | [2] |
| العنوان | تصنيف عناوين الأخبار | 11,412 | 11,412 | عناوين الأخبار | نص | سي سي بي-سا 3.0 | [3] |
| نر | التعرف على الكيان المسمى | 1,366 | 13,660 | الاتفاقيات المالية | نص | سي سي بي-سا 3.0 | [4] |
| FinQA | الإجابة على السؤال | 8,281 | 8,281 | تقارير الأرباح | النص، الجدول | رخصة معهد ماساتشوستس للتكنولوجيا | [5] |
| ConvFinQA | الإجابة على السؤال | 3,892 | 3,892 | تقارير الأرباح | النص، الجدول | رخصة معهد ماساتشوستس للتكنولوجيا | [6] |
| البيانات الكبيرة22 | التنبؤ بحركة الأسهم | 7,164 | 7,164 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | عام | [7] |
| دوري أبطال آسيا18 | التنبؤ بحركة الأسهم | 27,053 | 27,053 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | رخصة معهد ماساتشوستس للتكنولوجيا | [8] |
| سيكم18 | التنبؤ بحركة الأسهم | 4,967 | 4,967 | تغريدات وأسعار تاريخية | النص، سلسلة زمنية | عام | [9] |
عند العمل مع مجموعة بيانات التعليمات المالية (FIT)، فمن الضروري اتباع التنسيق المحدد لنماذج التدريب والاختبار.
يجب أن يبدو التنسيق كما يلي:
{
"id" : " unique id " ,
"conversations" : [
{
"from" : " human " ,
"value" : " Your prompt and text "
},
{
"from" : " agent " ,
"value" : " Your answer "
}
],
"text" : " Text to be classified " ,
"label" : " Your label "
}إليك ما يعنيه كل حقل:
المنعطف الأول في قائمة "المحادثات" يجب أن يكون دائمًا من "الإنسان"، ويحتوي على الموجه الخاص بك والنص، ويجب أن يكون المنعطف الثاني من "الوكيل"، ويحتوي على إجابتك.
يسعدنا أن نقدم الإصدار الأول من FinMA، بما في ذلك ثلاثة نماذج FinMA-7B وFinMA-7B-full وFinMA-30B، تم ضبطها بدقة على LLaMA 7B وLLaMA-30B وFinMA-30B بيانات تعليمات البرمجة اللغوية العصبية، بينما يتم تدريب FinMA-7B-full باستخدام بيانات التعليمات الكاملة من FIT التي تغطي مهام البرمجة اللغوية العصبية ومهام التنبؤ.
يتوفر الآن الإصدار 0.1 من FinMA على Huggingface للاستخدام العام. ونحن نتطلع إلى المساهمات القيمة التي ستقدمها هذه النسخة الأولية في مجال البرمجة اللغوية العصبية المالية ونشجع المستخدمين على تطبيقها على المهام والسيناريوهات المالية المختلفة، كما ندعو إلى تقديم التعليقات والمشاركة الخبرات للمساعدة في تحسين الإصدارات المستقبلية.
قريباً.
FinMem هو إطار وكيل جديد قائم على LLM تم تصميمه لاتخاذ القرارات المالية، ويشمل ثلاث وحدات أساسية: تحديد السمات، لتحديد خصائص الوكيل؛ والذاكرة، مع معالجة الطبقات، لمساعدة الوكيل في استيعاب البيانات المالية الهرمية الواقعية وصنع القرار؛ ، لتحويل الرؤى المكتسبة من الذكريات إلى قرارات استثمارية، حاليًا، يمكن لـ FinMem تداول الأسهم الفردية ذات العوائد المرتفعة بعد عملية تمهيد بسيطة للوضع، فيما يلي بداية سريعة لإطار عمل الإصدار المُرسى، مع نموذج TSLA مدخل.
الخطوة 1: قم بتعيين المتغيرات البيئية في .env وأضف HUGGINGFACE TOKEN وOPENAI API KEY حسب الحاجة.
OPENAI_API_KEY = " <Your OpenAI Key> "
HF_TOKEN = " <Your HF token> " الخطوة 2: تعيين عنوان URL لنقطة النهاية في config.toml استخدم عنوان URL لنقطة النهاية لنشر النماذج بناءً على النموذج المختار (OPENAI، وGemini، والنماذج مفتوحة المصدر على HuggingFace، وما إلى ذلك). بالنسبة للنماذج مفتوحة المصدر على HuggingFace، هناك خيار واحد لإنشاء TGI نقاط النهاية من خلال RunPod.
[chat]
model = " tgi "
end_point = " <set the your endpoint address> "
tokenization_model_name = " <model name> "
...الخطوة 3: إنشاء صورة وحاوية Docker
docker build -t test-finmem .devcontainer/. بداية الحاوية:
docker run -it --rm -v $( pwd ) :/finmem test-finmem bashالخطوة 4: ابدأ المحاكاة!
Usage: run.py sim [OPTIONS]
Start Simulation
╭─ Options ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ --market-data-path -mdp TEXT The environment data pickle path [default: data/06_input/subset_symbols.pkl] │
│ --start-time -st TEXT The training or test start time [default: 2022-06-30 For Ticker ' TSLA ' ] │
│ --end-time -et TEXT The training or test end time [default: 2022-10-11] │
│ --run-model -rm TEXT Run mode: train or test [default: train] │
│ --config-path -cp TEXT config file path [default: config/config.toml] │
│ --checkpoint-path -ckp TEXT The checkpoint save path [default: data/10_checkpoint_test] │
│ --result-path -rp TEXT The result save path [default: data/11_train_result] │
│ --trained-agent-path -tap TEXT Only used in test mode, the path of trained agent [default: None. Can be changed to data/05_train_model_output OR data/06_train_checkpoint] │
│ --help Show this message and exit. │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
مثال للاستخدام:
python run.py sim --market-data-path data/03_model_input/tsla.pkl --start-time 2022-06-30 --end-time 2022-10-11 --run-model train --config-path config/tsla_tgi_config.toml --checkpoint-path data/06_train_checkpoint --result-path data/05_train_model_outputهناك أيضًا وظائف نقاط التفتيش لمزيد من التفاصيل، يرجى زيارة مستودع FinMem مباشرة.
إذا كنت تستخدم PIXIU في عملك، فيرجى الاستشهاد بمقالتنا.
@misc{xie2023pixiu,
title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance},
author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
year={2023},
eprint={2306.05443},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{xie2024FinBen,
title={The FinBen: An Holistic Financial Benchmark for Large Language Models},
author={Qianqian Xie and Weiguang Han and Zhengyu Chen and Ruoyu Xiang and Xiao Zhang and Yueru He and Mengxi Xiao and Dong Li and Yongfu Dai and Duanyu Feng and Yijing Xu and Haoqiang Kang and Ziyan Kuang and Chenhan Yuan and Kailai Yang and Zheheng Luo and Tianlin Zhang and Zhiwei Liu and Guojun Xiong and Zhiyang Deng and Yuechen Jiang and Zhiyuan Yao and Haohang Li and Yangyang Yu and Gang Hu and Jiajia Huang and Xiao-Yang Liu and Alejandro Lopez-Lira and Benyou Wang and Yanzhao Lai and Hao Wang and Min Peng and Sophia Ananiadou and Jimin Huang},
year={2024},
eprint={2402.12659},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
PIXIU مرخصة بموجب [MIT]. لمزيد من التفاصيل، يرجى الاطلاع على ملف MIT.
