PIXIU
1.0.0
กระดาษปี่เซียะ |. กระดานผู้นำ FinBen
ข้อสงวนสิทธิ์
พื้นที่เก็บข้อมูลนี้และเนื้อหามีไว้เพื่อ วัตถุประสงค์ทางวิชาการและการศึกษาเท่านั้น ไม่มีเนื้อหาใดที่ถือเป็นคำแนะนำทางการเงิน กฎหมาย หรือการลงทุน ไม่มีการรับประกันทั้งโดยชัดแจ้งหรือโดยนัยเกี่ยวกับความถูกต้อง ความสมบูรณ์ หรือประโยชน์ของเนื้อหา และผู้มีส่วนร่วมจะไม่รับผิดชอบต่อข้อผิดพลาด การละเว้น หรือผลที่ตามมาใด ๆ ที่เกิดขึ้นจากการใช้ข้อมูลในที่นี้ ผู้ใช้ควรใช้วิจารณญาณของตนเองและปรึกษาผู้เชี่ยวชาญก่อนตัดสินใจทางการเงิน กฎหมาย หรือการลงทุน ที่มีอยู่ในคลังนี้ก็คือ ผู้ใช้ต้องยอมรับความเสี่ยงเองทั้งหมด
การใช้หรือการเข้าถึงข้อมูลในพื้นที่เก็บข้อมูลนี้ แสดงว่าคุณตกลงที่จะชดใช้ ปกป้อง และไม่ทำอันตรายต่อผู้เขียน ผู้มีส่วนร่วม และองค์กรหรือบุคคลในเครือใด ๆ จากการเรียกร้องหรือความเสียหายใด ๆ และทั้งหมด
? อัพเดต (วันที่: 09-22-2023)
เรารู้สึกตื่นเต้นที่จะประกาศว่ารายงานของเรา "PIXIU: A Comprehensive Benchmark, Instruction Dataset and Large Language Model for Finance" ได้รับการยอมรับจาก NeurIPS 2023 Track Datasets and Benchmarks แล้ว!
? อัพเดต (วันที่: 10-08-2023)
? เราภูมิใจที่จะแบ่งปันว่า FinBen เวอร์ชันปรับปรุง ซึ่งขณะนี้รองรับทั้งภาษาจีนและสเปน!
? อัพเดต (วันที่: 02-20-2024)
เรามีความยินดีที่จะแบ่งปันว่ารายงานของเราเรื่อง "The FinBen: An Holistic Financial Benchmark for Large Language Models" มีให้บริการแล้วที่ FinBen
? อัพเดต (วันที่: 05-02-2024)
? เรามีความยินดีที่จะเชิญคุณเข้าร่วมการแข่งขัน IJCAI2024 "ความท้าทายทางการเงินในโมเดลภาษาขนาดใหญ่ - FinLLM" ชุดเริ่มต้นมีจำหน่ายที่ Starter-kit
จุดตรวจ:
ภาษา
เอกสาร
การประเมินผล :
การวิเคราะห์ความรู้สึก
การจำแนกประเภท
การสกัดความรู้
ความเข้าใจเรื่องจำนวน
การสรุปข้อความ
การให้คะแนนเครดิต
การพยากรณ์
ยินดีต้อนรับสู่โครงการ PIXIU โครงการนี้ออกแบบมาเพื่อสนับสนุนการพัฒนา การปรับแต่ง และการประเมินโมเดลภาษาขนาดใหญ่ (LLM) ในโดเมนทางการเงิน PIXIU เป็นก้าวสำคัญในการทำความเข้าใจและควบคุมพลังของ LLM ในโดเมนทางการเงิน .
พื้นที่เก็บข้อมูลถูกจัดระเบียบเป็นองค์ประกอบหลักหลายประการ โดยแต่ละองค์ประกอบมีจุดประสงค์เฉพาะในไปป์ไลน์ NLP ทางการเงิน:
FinBen : เกณฑ์มาตรฐานการประเมินความเข้าใจและการทำนายภาษาทางการเงินของเรา FinBen ทำหน้าที่เป็นชุดการประเมินผลสำหรับ LLM ทางการเงิน โดยมุ่งเน้นที่การทำความเข้าใจและการคาดการณ์งานในบริบททางการเงินต่างๆ
FIT : ชุดข้อมูลคำสั่งทางการเงินของเรา FIT เป็นชุดข้อมูลคำสั่งแบบหลายงานและหลายรูปแบบที่ออกแบบมาโดยเฉพาะสำหรับงานทางการเงิน
FinMA : โมเดลภาษาขนาดใหญ่ทางการเงิน (LLM) ของเรา FinMA เป็นแกนหลักของโครงการของเรา ซึ่งมอบพลังการเรียนรู้และการทำนายสำหรับงานทางการเงินของเรา
ทรัพยากรแบบเปิด : PIXIU เปิดเผย LLM ทางการเงิน ข้อมูลการปรับแต่งคำสั่ง และชุดข้อมูลที่รวมอยู่ในเกณฑ์มาตรฐานการประเมิน เพื่อส่งเสริมการวิจัยแบบเปิดและความโปร่งใส
หลายงาน : ข้อมูลการปรับแต่งคำสั่งและเกณฑ์มาตรฐานใน PIXIU ครอบคลุมชุดงานทางการเงินที่หลากหลาย รวมถึงงาน NLP ทางการเงินสี่งานและงานทำนายทางการเงินหนึ่งงาน
หลากหลายรูปแบบ : ข้อมูลการปรับแต่งคำสั่งและเกณฑ์มาตรฐานของ PIXIU ประกอบด้วยข้อมูลทางการเงินแบบหลายรูปแบบ รวมถึงข้อมูลอนุกรมเวลาจากงานทำนายการเคลื่อนไหวของหุ้น ซึ่งครอบคลุมข้อความทางการเงินประเภทต่างๆ รวมถึงรายงาน บทความข่าว ทวีต และการยื่นตามกฎระเบียบ
ความหลากหลาย : แตกต่างจากเกณฑ์มาตรฐานก่อนหน้านี้ที่เน้นไปที่งาน NLP ทางการเงินเป็นหลัก เกณฑ์การประเมินของ PIXIU ประกอบด้วยงานคาดการณ์ทางการเงินที่สำคัญซึ่งสอดคล้องกับสถานการณ์ในโลกแห่งความเป็นจริง ซึ่งทำให้มีความท้าทายมากขึ้น
ในส่วนนี้ เราจะให้การวิเคราะห์ประสิทธิภาพโดยละเอียดของ FinMA เมื่อเปรียบเทียบกับโมเดลชั้นนำอื่นๆ รวมถึง ChatGPT, GPT-4 และ BloombergGPT และคณะ สำหรับการวิเคราะห์นี้ เราได้เลือกงานและตัวชี้วัดที่หลากหลายซึ่งครอบคลุมแง่มุมต่างๆ ทางการเงิน การประมวลผลภาษาธรรมชาติและการทำนายทางการเงิน ผลลัพธ์ของแบบจำลองทั้งหมดของ FinBen สามารถพบได้บนกระดานผู้นำของเรา!
| ข้อมูล | งาน | ดิบ | ประเภทข้อมูล | รังสี | ใบอนุญาต | กระดาษ |
|---|---|---|---|---|---|---|
| สสส | การวิเคราะห์ความรู้สึก | 4,845 | ข่าว | ข้อความ | ซีซี BY-SA 3.0 | [1] |
| FiQA-SA | การวิเคราะห์ความรู้สึก | 1,173 | หัวข้อข่าวทวีต | ข้อความ | สาธารณะ | [2] |
| ทีเอสเอ | การวิเคราะห์ความรู้สึก | 561 | หัวข้อข่าว | ข้อความ | ซีซี BY-NC-SA 4.0 | [3] |
| เอฟโอเอ็มซี | การจำแนกประเภทเหยี่ยว - โดวิช | 496 | ใบรับรองผลการเรียน FOMC | ข้อความ | ซีซี BY-NC 4.0 | [4] |
| หัวข้อข่าว | การจัดหมวดหมู่พาดหัวข่าว | 11,412 | หัวข้อข่าว | ข้อความ | ซีซี BY-SA 3.0 | [5] |
| FinArg-ECC-งาน1 | การจำแนกหน่วยอาร์กิวเมนต์ | 969 | การประชุมทางโทรศัพท์เพื่อรับรายได้ | ข้อความ | ซีซี BY-NC-SA 4.0 | [6] |
| FinArg-ECC-Task2 | การจำแนกความสัมพันธ์อาร์กิวเมนต์ | 690 | การประชุมทางโทรศัพท์เพื่อรับรายได้ | ข้อความ | ซีซี BY-NC-SA 4.0 | [6] |
| มัลติฟิน TH | การจำแนกประเภทหลายชั้น | 546 | หัวข้อข่าวของบทความ | ข้อความ | สาธารณะ | [7] |
| การควบรวมกิจการ | การจำแนกความสมบูรณ์ของข้อตกลง | 500 | บทความข่าวทวีต | ข้อความ | สาธารณะ | [8] |
| เมลสเกน | การระบุปัญหา ESG | 300 | บทความข่าว | ข้อความ | CC BY-NC-ND | [9] |
| เนอ | การรับรู้เอนทิตีที่มีชื่อ | 1,366 | ข้อตกลงทางการเงิน | ข้อความ | ซีซี BY-SA 3.0 | [10] |
| ปลีกย่อย | การรับรู้เอนทิตีที่มีชื่อ | 1,080 | บทความข่าว | ข้อความ | ซีซี BY-NC 4.0 | [11] |
| ฟินเรด | การสกัดความสัมพันธ์ | 1,070 | รับธุรกรรมการโทร | ข้อความ | สาธารณะ | [12] |
| งาน FinCausual 20201 | การจำแนกสาเหตุ | 8,630 | บทความข่าว ก.ล.ต | ข้อความ | ซีซี BY 4.0 | [13] |
| FinCausual 2020 งานที่ 2 | การตรวจจับสาเหตุ | 226 | บทความข่าว ก.ล.ต | ข้อความ | ซีซี BY 4.0 | [13] |
| ฟินคิวเอ | ตอบคำถาม | 8,281 | รายงานรายได้ | ข้อความ ตาราง | ใบอนุญาตเอ็มไอที | [14] |
| tQA | ตอบคำถาม | 1,670 | รายงานทางการเงิน | ข้อความ ตาราง | ใบอนุญาตเอ็มไอที | [15] |
| เอฟเอ็กซ์แอล | การติดฉลากตัวเลข | 318 | วินาที | ข้อความ | สาธารณะ | [16] |
| FSRL | การจำแนกโทเค็น | 97 | บทความข่าว | ข้อความ | ใบอนุญาตเอ็มไอที | [17] |
| ECTSUM | การสรุปข้อความ | 495 | รับธุรกรรมการโทร | ข้อความ | สาธารณะ | [18] |
| เอดซึ่ม | การสรุปข้อความ | 2000 | บทความข่าว | ข้อความ | สาธารณะ | [19] |
| เยอรมัน | การให้คะแนนเครดิต | 1,000 | บันทึกเครดิต | โต๊ะ | ซีซี BY 4.0 | [20] |
| ชาวออสเตรเลีย | การให้คะแนนเครดิต | 690 | บันทึกเครดิต | โต๊ะ | ซีซี BY 4.0 | [ยี่สิบเอ็ด] |
| ชมรมให้ยืม | การให้คะแนนเครดิต | 1,3453 | ข้อมูลทางการเงิน | โต๊ะ | ซีซี0 1.0 | [ยี่สิบสอง] |
| บิ๊กดาต้า22 | ทำนายการเคลื่อนไหวของหุ้น | 7,164 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | สาธารณะ | [ยี่สิบสาม] |
| ACL18 | ทำนายความเคลื่อนไหวของหุ้น | 27,053 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | ใบอนุญาตเอ็มไอที | [ยี่สิบสี่] |
| ซีไอเคเอ็ม18 | ทำนายการเคลื่อนไหวของหุ้น | 4,967 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | สาธารณะ | [25] |
| ConvFinQA | การตอบคำถามหลายรอบ | 1,490 | รายงานรายได้ | ข้อความ ตาราง | ใบอนุญาตเอ็มไอที | [26] |
| การฉ้อโกงบัตรเครดิต | การตรวจจับการฉ้อโกง | 11,392 | ข้อมูลทางการเงิน | โต๊ะ | (DbCL) v1.0 | [ยี่สิบสอง] |
| ซีซีฉ้อโกง | การตรวจจับการฉ้อโกง | 10,485 | ข้อมูลทางการเงิน | โต๊ะ | สาธารณะ | [ยี่สิบสอง] |
| ขัด | การระบุความทุกข์ทางการเงิน | 8,681 | คุณสมบัติสถานะทางการเงิน | โต๊ะ | ซีซี BY 4.0 | [ยี่สิบสอง] |
| วารสารเศรษฐกิจไต้หวัน | การระบุความทุกข์ทางการเงิน | 6,819 | คุณสมบัติสถานะทางการเงิน | โต๊ะ | ซีซี BY 4.0 | [ยี่สิบสอง] |
| ปอร์โต้เซกูโร่ | การวิเคราะห์การเรียกร้อง | 11,904 | การเรียกร้องและข้อมูลทางการเงิน | โต๊ะ | สาธารณะ | [ยี่สิบสอง] |
| ประกันการเดินทาง | การวิเคราะห์การเรียกร้อง | 12,665 | การเรียกร้องและข้อมูลทางการเงิน | โต๊ะ | (ODbL) v1.0 | [ยี่สิบสอง] |
1. Pekka Malo, Ankur Sinha, Pekka Korhonen, Jyrki Wallenius และ Pyry Takala 2014. หนี้ดีหรือหนี้เสีย: การตรวจจับการวางแนวความหมายในตำราเศรษฐศาสตร์ 65, 4 (2014), 782 –796.
2. Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk และ Alexandra Balahur 2018 ความท้าทายแบบเปิดของ WW'18: การขุดความคิดเห็นทางการเงินและการตอบคำถามในการดำเนินการประชุมทางเว็บปี 2018 –1942.
3. Keith Cortis, André Freitas, Tobias Daudert, Manuela Huerlimann, Manel Zarrouk, Siegfried Handschuh และ Brian Davis 2017 SemEval-2017 งานที่ 5: การวิเคราะห์ความรู้สึกแบบละเอียดเกี่ยวกับไมโครบล็อกและข่าวสารทางการเงิน ใน การดำเนินการของการประชุมเชิงปฏิบัติการระดับนานาชาติครั้งที่ 11 ในการประเมินความหมาย (SemEval-2017) หน้า 519–535 แวนคูเวอร์ แคนาดา สมาคมภาษาศาสตร์คอมพิวเตอร์
4. Agam Shah, Suvan Paturi และ Sudheer Chava. 2023. Trillion Dollar Words: A New Financial Dataset, Task & Market Analysis. ใน การดำเนินการประชุมประจำปีครั้งที่ 61 ของสมาคมภาษาศาสตร์คอมพิวเตอร์ (เล่มที่ 1: เอกสารยาว) , หน้า 6664–6679 โตรอนโต แคนาดา สมาคมภาษาศาสตร์คอมพิวเตอร์
5. Ankur Sinha และ Tanmay Khandait. 2021. ผลกระทบของข่าวต่อตลาดสินค้าโภคภัณฑ์: ชุดข้อมูลและผลลัพธ์. 601.
6. Chen CC, Lin CY, Chiu CJ และคณะ ภาพรวมของงาน NTCIR-17 FinArg-1: ความเข้าใจข้อโต้แย้งที่ละเอียดในการวิเคราะห์ทางการเงิน[C]//การประชุม NTCIR ครั้งที่ 17 เรื่องการประเมินเทคโนโลยีการเข้าถึงข้อมูล , โตเกียว ประเทศญี่ปุ่น 2023
7. Rasmus Jørgensen, Oliver Brandt, Mareike Hartmann, Xiang Dai, Christian Igel และ Desmond Elliott 2023 MultiFin: ชุดข้อมูลสำหรับ Multilingual Financial NLP ใน การค้นพบของ Association for Computational Linguistics: EACL 2023 , หน้า 894–909, Dubrovnik , โครเอเชีย. สมาคมภาษาศาสตร์คอมพิวเตอร์.
8. Yang, L., Kenny, EM, Ng, TL, Yang , Y., Smyth, B., & Dong, R. (2020) การสร้างคำอธิบายที่โต้แย้งที่เป็นไปได้สำหรับ Deep Transformers ในการจัดประเภทข้อความทางการเงิน ภาษาศาสตร์ .
9. Chung-Chi Chen, Yu-Min Tseng, Juyeon Kang, Anaïs Lhuissier, Min-Yuh Day, Teng-Tsai Tu และ Hsin-Hsi Chen 2023 การระบุปัญหา esg หลายภาษา ใน การดำเนินการของการประชุมเชิงปฏิบัติการครั้งที่ 5 เทคโนโลยีทางการเงินและการประมวลผลภาษาธรรมชาติ (FinNLP) และ AI ต่อเนื่องหลายรูปแบบที่สองสำหรับการพยากรณ์ทางการเงิน (มัฟฟิน)
10. Julio Cesar Salinas Alvarado, Karin Verspoor และ Timothy Baldwin. 2015. การปรับโดเมนของการรับรู้เอนทิตีที่มีชื่อเพื่อสนับสนุนการประเมินความเสี่ยงด้านเครดิต.
11. Shah A, Vithani R, Gullapalli A, และคณะ ปลีกย่อย: ชุดข้อมูลการรับรู้เอนทิตีที่มีชื่อทางการเงินและแบบจำลองการควบคุมดูแลที่อ่อนแอ[J] arXiv พิมพ์ล่วงหน้า arXiv:2302.11157, 2023
12. Sharma, Soumya และคณะ “FinRED: ชุดข้อมูลสำหรับการดึงความสัมพันธ์ในโดเมนทางการเงิน” Companion Proceeding of the Web Conference 2022 (2022): n.
13. Dominique Mariko, Hanna Abi-Akl, Estelle Labidurie, Stephane Durfort, Hugues De Mazancourt และ Mahmoud El-Haj 2020 งาน ร่วม ในการตรวจหาสาเหตุเอกสารทางการเงิน (FinCausal 2020) การประมวลผลและการสรุปทางการเงินแบบ MultiLing หน้า 23–32 บาร์เซโลนา, สเปน (ออนไลน์)
14. Zhiyu Chen, Wenhu Chen, Charese Smiley, Sameena Shah, Iana Borova, Dylan Langdon, Reema Moussa, Matt Beane, Ting-Hao Huang, Bryan R Routledge และคณะ 2021 FinQA: ชุดข้อมูลการใช้เหตุผลเชิงตัวเลขเหนือข้อมูลทางการเงิน ในการดำเนินการประชุมเกี่ยวกับวิธีการเชิงประจักษ์ในการประมวลผลภาษาธรรมชาติประจำปี 2021 3697–3711.
15. Zhu, Fengbin, Wenqiang Lei, Youcheng Huang, Chao Wang, Shuo Zhang, Jiancheng Lv, Fuli Feng และ Tat-Seng Chua “TAT-QA: เกณฑ์มาตรฐานการตอบคำถามเกี่ยวกับไฮบริดของเนื้อหาแบบตารางและข้อความในด้านการเงิน” ArXiv abs/2105.07624 (2021): n.
16. Soumya Sharma, Subhendu Khatuya, Manjunath Hegde, Afreen Shaikh, Koustuv Dasgupta, Pawan Goyal และ Niloy Ganguly. 2023. การติดฉลากตัวเลขทางการเงิน: ชุดข้อมูลและการเปรียบเทียบ ใน การค้นพบของสมาคมภาษาศาสตร์คอมพิวเตอร์: ACL 2023 , หน้า 3550 –3561 โตรอนโต แคนาดา ภาษาศาสตร์.
17. Matthew Lamm, Arun Chaganty, Christopher D. Manning, Dan Jurafsky และ Percy Liang 2018. การแยกวิเคราะห์ข้อความ: มีอะไรแบ่งปันและมีอะไรเปรียบเทียบระหว่างข้อเท็จจริงที่คล้ายคลึงกัน ใน การดำเนินการของการประชุมวิธีเชิงประจักษ์ในปี 2018 ในการประมวลผลภาษาธรรมชาติ 82–92, บรัสเซลส์, เบลเยียม.
18. Rajdeep Mukherjee, Abhinav Bohra, Akash Banerjee, Soumya Sharma, Manjunath Hegde, Afreen Shaikh, Shivani Shrivastava, Koustuv Dasgupta, Niloy Ganguly, Saptarshi Ghosh และ Pawan Goyal 2022 ECTSum: ชุดข้อมูลเกณฑ์มาตรฐานใหม่สำหรับการสรุป Bullet Point ของ Long รายได้ ใบรับรองผลการเรียนการโทร การดำเนินการของการประชุมวิธีเชิงประจักษ์ในการประมวลผลภาษาธรรมชาติปี 2022 หน้า 10893–10906 อาบูดาบี สหรัฐอาหรับเอมิเรตส์ สมาคมภาษาศาสตร์คอมพิวเตอร์
19. Zhihan Zhou, Liqian Ma และ Han Liu 2021 แลกเปลี่ยนกิจกรรม: การตรวจจับเหตุการณ์ขององค์กรสำหรับการซื้อขายที่ขับเคลื่อนด้วยเหตุการณ์ตามข่าว ใน การค้นพบของสมาคมภาษาศาสตร์คอมพิวเตอร์: ACL-IJCNLP 2021 หน้า 2114–2124 ออนไลน์ . สมาคมภาษาศาสตร์คอมพิวเตอร์.
20. Hofmann, Hans (1994) Statlog (ข้อมูลเครดิตของเยอรมัน)
21. Quinlan, Ross. (การอนุมัติเครดิตของออสเตรเลีย) แหล่งเก็บข้อมูลการเรียนรู้ของเครื่อง UCI
22. Duanyu Feng, Yongfu Dai, Jimin Huang, Yifang Zhang, Qianqian Xie, Weiguang Han, Alejandro Lopez-Lira, Hao Wang 2023 การเพิ่มขีดความสามารถ ให้ กับคนจำนวนมาก การลำเอียงเพียงเล็กน้อย: การให้คะแนนเครดิตทั่วไปผ่านโมเดลภาษาขนาดใหญ่ 2023): หน้า.
23. Yejun Soun, Jaemin Yoo, Minyong Cho, Jihyeong Jeon และ U Kang 2022 การทำนายความเคลื่อนไหวของหุ้นที่แม่นยำด้วยการเรียนรู้ด้วยตนเองจากทวีตที่มีเสียงดังเบาบางในการประชุมนานาชาติของ IEEE เรื่อง Big Data (Big Data) ปี 2022 –1700.
24. Yumo Xu และ Shay B Cohen 2018 การทำนายความเคลื่อนไหวของหุ้นจากทวีตและราคาในอดีต ในการดำเนินการประชุมประจำปีครั้งที่ 56 ของสมาคมภาษาศาสตร์คอมพิวเตอร์ (เล่มที่ 1: เอกสารยาว)
25 Huizhe Wu, Wei Zhang, Weiwei Shen และ Jun Wang 2018 การสร้างแบบจำลองลำดับเชิงลึกแบบไฮบริดสำหรับการทำนายหุ้นที่ขับเคลื่อนด้วยข้อความทางสังคม
26. Zhiyu Chen, Shiyang Li, Charese Smiley, Zhiqiang Ma, Sameena Shah และ William Yang Wang 2022 ConvFinQA: การสำรวจห่วงโซ่ของการให้เหตุผลเชิงตัวเลขในการตอบคำถามทางการเงินเชิงสนทนาในการดำเนินการของการประชุมวิธีเชิงประจักษ์ปี 2022 ในภาษาธรรมชาติ กำลังดำเนินการ หน้า 6279–6292 อาบูดาบี สหรัฐอาหรับเอมิเรตส์ สำหรับภาษาศาสตร์คอมพิวเตอร์
git clone https://github.com/The-FinAI/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd src/financial-evaluation
pip install -e .[multilingual]sudo bash scripts/docker_run.sh คำสั่งด้านบนเริ่มคอนเทนเนอร์นักเทียบท่า คุณสามารถแก้ไข docker_run.sh เพื่อให้เหมาะกับสภาพแวดล้อมของคุณได้ เราจัดเตรียมอิมเมจที่สร้างไว้ล่วงหน้าโดยการรัน sudo docker pull tothemoon/pixiu:latest
docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864
--network host
--env https_proxy= $https_proxy
--env http_proxy= $http_proxy
--env all_proxy= $all_proxy
--env HF_HOME= $hf_home
-it [--rm]
--name pixiu
-v $pixiu_path : $pixiu_path
-v $hf_home : $hf_home
-v $ssh_pub_key :/root/.ssh/authorized_keys
-w $workdir
$docker_user /pixiu: $tag
[--sshd_port 2201 --cmd " echo 'Hello, world!' && /bin/bash " ]ข้อโต้แย้งอธิบาย:
[] หมายถึงข้อโต้แย้งที่เพิกเฉยได้HF_HOME : dir แคชของ Huggingfacesshd_port : พอร์ต sshd ของคอนเทนเนอร์ คุณสามารถรัน ssh -i private_key -p $sshd_port root@$ip เพื่อเชื่อมต่อกับคอนเทนเนอร์ โดยมีค่าเริ่มต้นเป็น 22001--rm : ลบคอนเทนเนอร์เมื่อออกจากคอนเทนเนอร์ (เช่น CTRL + D ) ก่อนการประเมิน กรุณาดาวน์โหลดจุดตรวจสอบ BART ไปที่ src/metrics/BARTScore/bart_score.pth
สำหรับการประเมินอัตโนมัติ โปรดปฏิบัติตามคำแนะนำเหล่านี้:
หม้อแปลงหน้ากอด
ในการประเมินโมเดลที่โฮสต์บน HuggingFace Hub (เช่น finma-7b-full) ให้ใช้คำสั่งนี้:
python eval.py
--model " hf-causal-llama "
--model_args " use_accelerate=True,pretrained=TheFinAI/finma-7b-full,tokenizer=TheFinAI/finma-7b-full,use_fast=False "
--tasks " flare_ner,flare_sm_acl,flare_fpb "รายละเอียดเพิ่มเติมสามารถพบได้ในเอกสารประกอบ lm_eval
โปรดทราบว่าสำหรับงานต่างๆ เช่น NER การประเมินอัตโนมัติจะขึ้นอยู่กับรูปแบบเฉพาะ ซึ่งอาจล้มเหลวในการดึงข้อมูลที่เกี่ยวข้องในการตั้งค่าแบบ Zero-shot ส่งผลให้ประสิทธิภาพค่อนข้างต่ำเมื่อเทียบกับผลลัพธ์ที่มีคำอธิบายประกอบโดยมนุษย์ก่อนหน้านี้
export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py
--model gpt-4
--tasks flare_ner,flare_sm_acl,flare_fpbหากต้องการเรียกใช้แบ็กเอนด์การอนุมาน:
bash scripts/run_interface.shโปรดปรับ run_interface.sh ตามความต้องการสภาพแวดล้อมของคุณ
ในการประเมิน:
python data/ * /evaluate.pyการสร้างงานใหม่สำหรับ FinBen เกี่ยวข้องกับการสร้างชุดข้อมูล Huggingface และการใช้งานในไฟล์ Python คู่มือนี้จะอธิบายแต่ละขั้นตอนของการตั้งค่างานใหม่โดยใช้เฟรมเวิร์ก FinBen
ชุดข้อมูลของคุณควรสร้างในรูปแบบต่อไปนี้:
{
"query" : "..." ,
"answer" : "..." ,
"text" : "..."
}ในรูปแบบนี้:
query : การรวมกันของข้อความแจ้งและข้อความของคุณanswer : ป้ายกำกับของคุณสำหรับงานแบบ เลี้ยวหลายรอบ (เช่น )
สำหรับงานการ จัดประเภท (เช่น FPB (FinBen_fpb)) ควรกำหนดคีย์เพิ่มเติม:
choices : ชุดฉลากgold : ดัชนีของฉลากที่ถูกต้องในตัวเลือก (เริ่มจาก 0)สำหรับงาน Sequential Labeling (เช่น Finer Ord (FinBen_finer_ord)) ควรกำหนดคีย์เพิ่มเติม:
label : รายการป้ายกำกับโทเค็น
token : รายการโทเค็น
สำหรับงาน การสรุปแบบแยกส่วน (เช่น ECTSUM (FinBen_ectsum)) ควรกำหนดคีย์เพิ่มเติม:
label : รายการป้ายกำกับประโยคสำหรับงาน สรุปเชิงนามธรรม และ การตอบคำถาม (เช่น EDTSUM (FinBen_edtsum)) ไม่ควรกำหนดคีย์เพิ่มเติม
เมื่อชุดข้อมูลของคุณพร้อมแล้ว คุณสามารถเริ่มใช้งานของคุณได้ ควรกำหนดงานของคุณไว้ในคลาสใหม่ใน Flare.py หรือไฟล์ Python อื่น ๆ ที่อยู่ในไดเร็กทอรีงาน
เพื่อรองรับงานต่างๆ เรามีคลาสพื้นฐานพิเศษหลายคลาส รวมถึง Classification , SequentialLabeling , RelationExtraction , ExtractiveSummarization , AbstractiveSummarization และ QA
ตัวอย่างเช่น หากคุณกำลังเริ่มงานการจัดหมวดหมู่ คุณสามารถใช้ประโยชน์จากคลาสพื้นฐาน Classification ของเราได้โดยตรง คลาสฐาน Classification :
class flareFPB ( Classification ):
DATASET_PATH = "flare-fpb" เพียงเท่านี้! เมื่อคุณสร้างคลาสงานแล้ว ขั้นตอนต่อไปคือการลงทะเบียนคลาสนั้นในไฟล์ src/tasks/__init__.py หากต้องการทำสิ่งนี้ ให้เพิ่มบรรทัดใหม่ตามรูปแบบ "task_name": module.ClassName นี่คือวิธีการ:
TASK_REGISTRY = {
"flare_fpb" : flare . FPB ,
"your_new_task" : your_module . YourTask , # This is where you add your task
}| งาน | เมตริก | ภาพประกอบ |
|---|---|---|
| การจำแนกประเภท | ความแม่นยำ | ตัวชี้วัดนี้แสดงถึงอัตราส่วนของการสังเกตที่คาดการณ์อย่างถูกต้องต่อการสังเกตทั้งหมด โดยคำนวณเป็น (ผลบวกจริง + ผลลบจริง) / การสังเกตทั้งหมด |
| การจำแนกประเภท | คะแนน F1 | คะแนน F1 แสดงถึงค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการจดจำ ดังนั้นจึงสร้างสมดุลระหว่างปัจจัยทั้งสองนี้ ซึ่งพิสูจน์ได้ว่ามีประโยชน์อย่างยิ่งในสถานการณ์ที่ปัจจัยหนึ่งมีความสำคัญมากกว่าอีกปัจจัยหนึ่ง โดยที่ 1 หมายถึงความแม่นยำที่สมบูรณ์แบบ และเรียกคืน และ 0 หมายถึงกรณีที่แย่ที่สุด นอกจากนี้ เรายังให้คะแนน F1 ทั้งแบบ "ถ่วงน้ำหนัก" และ "มาโคร" |
| การจำแนกประเภท | อัตราส่วนที่ขาดหายไป | หน่วยวัดนี้จะคำนวณสัดส่วนของคำตอบโดยที่ไม่มีการส่งคืนตัวเลือกจากตัวเลือกที่กำหนดในงาน |
| การจำแนกประเภท | สัมประสิทธิ์สหสัมพันธ์แมทธิวส์ (MCC) | MCC เป็นหน่วยเมตริกที่ประเมินคุณภาพของการจัดประเภทไบนารี โดยให้คะแนนตั้งแต่ -1 ถึง +1 คะแนน +1 หมายถึงการทำนายที่สมบูรณ์แบบ 0 หมายถึงการทำนายที่ไม่ดีไปกว่าโอกาสสุ่ม และ -1 หมายถึงการทำนายที่ตรงกันข้ามโดยสิ้นเชิง การทำนาย. |
| การติดฉลากตามลำดับ | คะแนน F1 | ในบริบทของงานการติดป้ายกำกับตามลำดับ เราใช้คะแนน F1 ที่คำนวณโดยไลบรารี seqeval ซึ่งเป็นหน่วยวัดการประเมินระดับเอนทิตีที่มีประสิทธิภาพ หน่วยวัดนี้กำหนดการจับคู่ที่ตรงกันทุกประการของทั้งช่วงและประเภทของเอนทิตีระหว่างเอนทิตีที่คาดการณ์และความจริงภาคพื้นดิน การประเมินที่ถูกต้อง True Positives (TP) แสดงถึงเอนทิตีที่คาดการณ์ไว้อย่างถูกต้อง False Positives (FP) แสดงถึงเอนทิตีที่คาดการณ์อย่างไม่ถูกต้องหรือเอนทิตีที่มีช่วง/ประเภทที่ไม่ตรงกัน และ False Negatives (FN) หมายถึงเอนทิตีที่ไม่ได้รับจาก ความจริงภาคพื้นดิน ความแม่นยำ การเรียกคืน และคะแนน F1 จะถูกคำนวณโดยใช้ปริมาณเหล่านี้ โดยคะแนน F1 แสดงถึงค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการเรียกคืน |
| การติดฉลากตามลำดับ | ติดป้ายกำกับคะแนน F1 | หน่วยวัดนี้จะประเมินประสิทธิภาพของโมเดลตามความถูกต้องของป้ายกำกับที่คาดการณ์ไว้เท่านั้น โดยไม่พิจารณาถึงช่วงเอนทิตี |
| การสกัดความสัมพันธ์ | ความแม่นยำ | ความแม่นยำจะวัดสัดส่วนของความสัมพันธ์ที่ทำนายอย่างถูกต้องจากความสัมพันธ์ที่คาดการณ์ไว้ทั้งหมด โดยคำนวณจากจำนวนผลบวกที่เป็นจริง (TP) หารด้วยผลรวมของผลบวกที่เป็นจริงและผลบวกลวง (FP) |
| การสกัดความสัมพันธ์ | จำ | Recall วัดสัดส่วนของความสัมพันธ์ที่คาดการณ์ไว้อย่างถูกต้องจากความสัมพันธ์ที่แท้จริงทั้งหมด โดยคำนวณจากจำนวนผลบวกที่เป็นจริง (TP) หารด้วยผลรวมของผลบวกที่เป็นจริงและผลลบที่ผิดพลาด (FN) |
| การสกัดความสัมพันธ์ | คะแนน F1 | คะแนน F1 เป็นค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการเรียกคืน และให้ความสมดุลระหว่างคะแนน F1 ที่ดีที่สุดที่ 1 (ความแม่นยำและการเรียกคืนที่สมบูรณ์แบบ) และแย่ที่สุดที่ 0 |
| การสรุปแบบสกัดและเชิงนามธรรม | Rouge-N | วิธีนี้จะวัดการทับซ้อนของ N-grams (ลำดับที่ต่อเนื่องกันของ N รายการจากตัวอย่างข้อความที่กำหนด) ระหว่างข้อมูลสรุปที่ระบบสร้างขึ้นและการสรุปข้อมูลอ้างอิง 'N' อาจเป็น 1, 2 หรือมากกว่านั้น โดยมี ROUGE-1 และ ROUGE-2 มักใช้เพื่อประเมินการทับซ้อนกันของยูนิแกรมและบิ๊กแกรมตามลำดับ |
| การสรุปแบบสกัดและเชิงนามธรรม | Rouge-L | หน่วยวัดนี้จะประเมินลำดับย่อยร่วมที่ยาวที่สุด (LCS) ระหว่างระบบและข้อมูลสรุปอ้างอิง LCS คำนึงถึงความคล้ายคลึงกันของโครงสร้างประโยคตามธรรมชาติและระบุ n-grams ที่เกิดขึ้นร่วมที่ยาวที่สุดโดยอัตโนมัติ |
| การตอบคำถาม | อีเอ็มซี | EMACC จะประเมินการจับคู่แบบตรงทั้งหมดระหว่างการตอบสนองที่สร้างแบบจำลองและคำตอบอ้างอิง กล่าวอีกนัยหนึ่ง การตอบสนองที่สร้างแบบจำลองจะถือว่าถูกต้องก็ต่อเมื่อตรงกับคำตอบอ้างอิงทุกประการ แบบคำต่อคำ |
นอกจากนี้ คุณสามารถกำหนดได้ว่าป้ายชื่อควรเป็นตัวพิมพ์เล็กในระหว่างกระบวนการจับคู่หรือไม่ โดยระบุ
LOWER_CASEในคำจำกัดความของคลาสของคุณ เนื่องจากป้ายชื่อจะถูกจับคู่ตามรูปลักษณ์ในเอาต์พุตที่สร้างขึ้น สำหรับงานต่างๆ เช่น การตรวจสอบที่มีชุดป้ายชื่อเฉพาะ ของตัวอักษรพิมพ์ใหญ่ เช่น 'A', 'B', 'C' โดยทั่วไปควรตั้งค่าเป็น False
ชุดข้อมูลคำสั่งของเราได้รับการออกแบบมาโดยเฉพาะสำหรับ LLM เฉพาะโดเมน FinMA ชุดข้อมูลนี้ได้รับการรวบรวมอย่างพิถีพิถันเพื่อปรับแต่งโมเดลของเราในงานทางการเงินที่หลากหลาย ชุดข้อมูลทางการเงินแบบเปิดหลายชุด
ชุดข้อมูลมีหลายแง่มุม โดยมีงานต่างๆ รวมถึงการวิเคราะห์ความรู้สึก การจำแนกพาดหัวข่าว การจดจำเอนทิตีที่มีชื่อ การตอบคำถาม และการทำนายการเคลื่อนไหวของหุ้น ซึ่งครอบคลุมทั้งรูปแบบข้อมูลที่เป็นข้อความและอนุกรมเวลา ซึ่งนำเสนอข้อมูลทางการเงินที่หลากหลาย คำแนะนำเฉพาะสำหรับแต่ละงานได้รับการออกแบบอย่างระมัดระวังโดยผู้เชี่ยวชาญในโดเมน
ตารางด้านล่างสรุปงานต่างๆ รูปแบบที่สอดคล้องกัน ประเภทข้อความ และตัวอย่างคำแนะนำที่ใช้สำหรับแต่ละงาน:
| งาน | รังสี | ประเภทข้อความ | คำแนะนำตัวอย่าง |
|---|---|---|---|
| การวิเคราะห์ความรู้สึก | ข้อความ | หัวข้อข่าวทวีต | "วิเคราะห์ความรู้สึกของข้อความนี้ที่ดึงมาจากบทความข่าวทางการเงิน ให้คำตอบของคุณเป็นเชิงลบ เชิงบวก หรือเป็นกลาง ตัวอย่างเช่น 'หุ้นของบริษัทร่วงลงหลังจากเรื่องอื้อฉาวนี้จะถูกจัดประเภทเป็นเชิงลบ' |
| การจำแนกพาดหัวข่าว | ข้อความ | หัวข้อข่าว | “ให้พิจารณาว่าพาดหัวข่าวกล่าวถึงราคาทองคำ มีราคาหรือไม่ ในตลาดสินค้าโภคภัณฑ์ทองคำที่ระบุในพาดหัวข่าว โปรดตอบ ใช่ หรือ ไม่ใช่” |
| การรับรู้เอนทิตีที่มีชื่อ | ข้อความ | ข้อตกลงทางการเงิน | "ในประโยคที่ดึงมาจากข้อตกลงทางการเงินในการยื่นต่อ SEC ของสหรัฐอเมริกา ให้ระบุหน่วยงานที่มีชื่อซึ่งเป็นตัวแทนของบุคคล ('PER') องค์กร ('ORG') หรือสถานที่ตั้ง ('LOC') รูปแบบคำตอบที่ต้องการคือ: 'ชื่อเอนทิตี ประเภทเอนทิตี' ตัวอย่างเช่น ใน 'Elon Musk ซีอีโอของ SpaceX ประกาศการเปิดตัวจาก Cape Canaveral' เอนทิตีจะเป็น: 'Elon Musk, PER; SpaceX, ORG' |
| การตอบคำถาม | ข้อความ | รายงานรายได้ | "ในบริบทของชุดคำถามที่เกี่ยวข้องกับการเงินที่เชื่อมโยงถึงกันนี้ และข้อมูลเพิ่มเติมที่ได้รับจากข้ออ้าง ข้อมูลตาราง และข้อความโพสต์จากเอกสารที่ยื่นทางการเงินของบริษัท โปรดตอบคำถามสุดท้าย ซึ่งอาจจำเป็นต้องดึงข้อมูลจาก บริบทและการคำนวณทางคณิตศาสตร์ โปรดคำนึงถึงข้อมูลที่ให้ไว้ในคำถามก่อนหน้าและคำตอบเมื่อกำหนดคำตอบของคุณ:" |
| ทำนายความเคลื่อนไหวของหุ้น | ข้อความ อนุกรมเวลา | ทวีตราคาหุ้น | "วิเคราะห์ข้อมูลและโพสต์บนโซเชียลมีเดียเพื่อดูว่าราคาปิดของ {tid} จะเพิ่มขึ้นหรือลดลงที่ {point} โปรดตอบกลับว่า เพิ่มขึ้น หรือ ตก" |
ชุดข้อมูลประกอบด้วยตัวอย่างข้อมูลคำสั่งจำนวนมาก (136K) ช่วยให้ FinMA สามารถบันทึกความแตกต่างของงานทางการเงินที่หลากหลาย ตารางด้านล่างแสดงรายละเอียดทางสถิติของชุดข้อมูลคำสั่ง:
| ข้อมูล | งาน | ดิบ | คำแนะนำ | ประเภทข้อมูล | รังสี | ใบอนุญาต | กระดาษต้นฉบับ |
|---|---|---|---|---|---|---|---|
| สสส | การวิเคราะห์ความรู้สึก | 4,845 | 48,450 | ข่าว | ข้อความ | ซีซี BY-SA 3.0 | [1] |
| FiQA-SA | การวิเคราะห์ความรู้สึก | 1,173 | 11,730 | หัวข้อข่าวทวีต | ข้อความ | สาธารณะ | [2] |
| พาดหัว | การจัดหมวดหมู่พาดหัวข่าว | 11,412 | 11,412 | หัวข้อข่าว | ข้อความ | ซีซี BY-SA 3.0 | [3] |
| เนอ | การรับรู้เอนทิตีที่มีชื่อ | 1,366 | 13,660 | ข้อตกลงทางการเงิน | ข้อความ | ซีซี BY-SA 3.0 | [4] |
| ฟินคิวเอ | ตอบคำถาม | 8,281 | 8,281 | รายงานรายได้ | ข้อความ ตาราง | ใบอนุญาตเอ็มไอที | [5] |
| ConvFinQA | ตอบคำถาม | 3,892 | 3,892 | รายงานรายได้ | ข้อความ ตาราง | ใบอนุญาตเอ็มไอที | [6] |
| บิ๊กดาต้า22 | ทำนายความเคลื่อนไหวของหุ้น | 7,164 | 7,164 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | สาธารณะ | [7] |
| ACL18 | ทำนายความเคลื่อนไหวของหุ้น | 27,053 | 27,053 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | ใบอนุญาตเอ็มไอที | [8] |
| ซีไอเคเอ็ม18 | ทำนายความเคลื่อนไหวของหุ้น | 4,967 | 4,967 | ทวีตราคาย้อนหลัง | ข้อความอนุกรมเวลา | สาธารณะ | [9] |
เมื่อคุณทำงานกับชุดข้อมูลคำแนะนำทางการเงิน (FIT) สิ่งสำคัญคือต้องปฏิบัติตามรูปแบบที่กำหนดไว้สำหรับโมเดลการฝึกอบรมและการทดสอบ
รูปแบบควรมีลักษณะดังนี้:
{
"id" : " unique id " ,
"conversations" : [
{
"from" : " human " ,
"value" : " Your prompt and text "
},
{
"from" : " agent " ,
"value" : " Your answer "
}
],
"text" : " Text to be classified " ,
"label" : " Your label "
}ความหมายของแต่ละฟิลด์มีดังนี้:
เทิร์นแรกในรายการ "การสนทนา" ควรมาจาก "มนุษย์" เสมอ และประกอบด้วยข้อความแจ้งของคุณและข้อความ
เรามีความยินดีที่จะแนะนำ FinMA เวอร์ชันแรก รวมถึง FinMA-7B, FinMA-7B-full, FinMA-30B ที่ได้รับการปรับแต่งอย่างละเอียดบน LLaMA 7B และ LLaMA-30B ได้รับการฝึกอบรมเกี่ยวกับ ข้อมูลคำสั่ง NLP ในขณะที่ FinMA-7B-full ได้รับการฝึกอบรมด้วยข้อมูลคำสั่งแบบเต็มจาก FIT ซึ่งครอบคลุมทั้งงาน NLP และการทำนาย
ขณะนี้ FinMA v0.1 พร้อมใช้งานบน Huggingface เพื่อการใช้งานสาธารณะแล้ว เราหวังว่าจะได้รับความช่วยเหลืออันมีค่าจากเวอร์ชันเริ่มต้นนี้ในด้าน NLP ทางการเงิน และสนับสนุนให้ผู้ใช้นำไปใช้กับงานทางการเงินและสถานการณ์ต่างๆ เรายังขอเชิญให้ข้อเสนอแนะและแบ่งปัน ประสบการณ์เพื่อช่วยปรับปรุงเวอร์ชันในอนาคต
เร็วๆ นี้.
FinMem เป็นเฟรมเวิร์กตัวแทนที่ใช้ LLM ใหม่ซึ่งออกแบบมาเพื่อการตัดสินใจทางการเงิน โดยครอบคลุม 3 โมดูลหลัก ได้แก่ การทำโปรไฟล์เพื่อสรุปคุณลักษณะของตัวแทน หน่วยความจำพร้อมการประมวลผลแบบชั้น เพื่อช่วยตัวแทนในการดูดซึมข้อมูลทางการเงินที่มีลำดับชั้นตามความเป็นจริง และการตัดสินใจ เพื่อแปลงข้อมูลเชิงลึกที่ได้รับจากความทรงจำไปเป็นการตัดสินใจลงทุน ปัจจุบัน FinMem สามารถซื้อขายหุ้นตัวเดียวที่ให้ผลตอบแทนสูงหลังจากการวอร์มอัพโหมดง่ายๆ ด้านล่างนี้คือการเริ่มต้นอย่างรวดเร็วสำหรับเฟรมเวิร์กเวอร์ชันเทียบท่า โดยมี TSLA เป็นตัวอย่าง ป้อนข้อมูล.
ขั้นตอนที่ 1: ตั้งค่าตัวแปรสภาพแวดล้อมใน .env เพิ่ม HUGGINGFACE TOKEN และ OPENAI API KEY ตามต้องการ
OPENAI_API_KEY = " <Your OpenAI Key> "
HF_TOKEN = " <Your HF token> " ขั้นตอนที่ 2: ตั้งค่า URL ตำแหน่งข้อมูลใน config.toml ใช้ URL ตำแหน่งข้อมูลเพื่อปรับใช้โมเดลตามโมเดลที่เลือก (OPENAI, Gemini, โมเดลโอเพ่นซอร์สบน HuggingFace ฯลฯ) สำหรับโมเดลโอเพ่นซอร์สบน HuggingFace ทางเลือกหนึ่งสำหรับการสร้าง TGI จุดสิ้นสุดจะผ่าน RunPod
[chat]
model = " tgi "
end_point = " <set the your endpoint address> "
tokenization_model_name = " <model name> "
...ขั้นตอนที่ 3: สร้างอิมเมจ Docker และคอนเทนเนอร์
docker build -t test-finmem .devcontainer/. เริ่มคอนเทนเนอร์:
docker run -it --rm -v $( pwd ) :/finmem test-finmem bashขั้นตอนที่ 4: เริ่มการจำลอง!
Usage: run.py sim [OPTIONS]
Start Simulation
╭─ Options ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ --market-data-path -mdp TEXT The environment data pickle path [default: data/06_input/subset_symbols.pkl] │
│ --start-time -st TEXT The training or test start time [default: 2022-06-30 For Ticker ' TSLA ' ] │
│ --end-time -et TEXT The training or test end time [default: 2022-10-11] │
│ --run-model -rm TEXT Run mode: train or test [default: train] │
│ --config-path -cp TEXT config file path [default: config/config.toml] │
│ --checkpoint-path -ckp TEXT The checkpoint save path [default: data/10_checkpoint_test] │
│ --result-path -rp TEXT The result save path [default: data/11_train_result] │
│ --trained-agent-path -tap TEXT Only used in test mode, the path of trained agent [default: None. Can be changed to data/05_train_model_output OR data/06_train_checkpoint] │
│ --help Show this message and exit. │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
ตัวอย่างการใช้งาน:
python run.py sim --market-data-path data/03_model_input/tsla.pkl --start-time 2022-06-30 --end-time 2022-10-11 --run-model train --config-path config/tsla_tgi_config.toml --checkpoint-path data/06_train_checkpoint --result-path data/05_train_model_outputนอกจากนี้ยังมีฟังก์ชันการตรวจสอบ
หากคุณใช้ pixiu ในงานของคุณโปรดอ้างอิงกระดาษของเรา
@misc{xie2023pixiu,
title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance},
author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
year={2023},
eprint={2306.05443},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{xie2024FinBen,
title={The FinBen: An Holistic Financial Benchmark for Large Language Models},
author={Qianqian Xie and Weiguang Han and Zhengyu Chen and Ruoyu Xiang and Xiao Zhang and Yueru He and Mengxi Xiao and Dong Li and Yongfu Dai and Duanyu Feng and Yijing Xu and Haoqiang Kang and Ziyan Kuang and Chenhan Yuan and Kailai Yang and Zheheng Luo and Tianlin Zhang and Zhiwei Liu and Guojun Xiong and Zhiyang Deng and Yuechen Jiang and Zhiyuan Yao and Haohang Li and Yangyang Yu and Gang Hu and Jiajia Huang and Xiao-Yang Liu and Alejandro Lopez-Lira and Benyou Wang and Yanzhao Lai and Hao Wang and Min Peng and Sophia Ananiadou and Jimin Huang},
year={2024},
eprint={2402.12659},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Pixiu ได้รับใบอนุญาตภายใต้ [MIT] สำหรับรายละเอียดเพิ่มเติมโปรดดูไฟล์ MIT
