الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

نظام الإجابة على الأسئلة المالية القائم على BERT

في هذا المثال، نستخدم محولات Jina وPyTorch وHugging Face لإنشاء نظام إجابة للأسئلة المالية قائم على BERT جاهز للإنتاج. نقوم بتكييف نهج إعادة ترتيب المقطع من خلال استرداد أفضل 50 إجابات للمرشح أولاً، ثم إعادة ترتيب إجابات المرشحين باستخدام FinBERT-QA، وهو نموذج قائم على BERT تم ضبطه بدقة على مجموعة بيانات FiQA التي حققت أحدث النتائج.

؟ يرجى الرجوع إلى هذا البرنامج التعليمي للحصول على دليل خطوة بخطوة وشروحات مفصلة.

تحفيز

بدافع من الطلب الناشئ في الصناعة المالية على التحليل التلقائي للبيانات غير المنظمة والمهيكلة على نطاق واسع، يمكن لأنظمة ضمان الجودة أن توفر مزايا مربحة وتنافسية للشركات من خلال تسهيل عملية صنع القرار للمستشارين الماليين. الهدف من نظامنا هو البحث عن قائمة بمقاطع الإجابة ذات الصلة عند طرح سؤال. فيما يلي مثال لسؤال وإجابة حقيقية من مجموعة بيانات FiQA:

أداء

يثبت

استنساخ: 

 https://github.com/yuanbit/jina-financial-qa-search.git

سوف نستخدم jina-financial-qa-search/ كدليل العمل الخاص بنا.

ثَبَّتَ:

pip install -r requirements.txt

تنزيل البيانات والنموذج:

bash get_data.sh

إجابات الفهرس

نريد فهرسة مجموعة فرعية من مقاطع الإجابة من مجموعة بيانات FiQA، dataset/test_answers.csv : 

 398960	From  http://financial-dictionary.thefreedictionary.com/Business+Fundamentals  The  facts  that  affect  a  company's      underlying  value.  Examples  of  business      fundamentals  include  debt,  cash  flow,      supply  of  and  demand  for  the  company's      products,  and  so  forth.  For  instance,      if  a  company  does  not  have  a      sufficient  supply  of  products,  it  will      fail.  Likewise,  demand  for  the  product      must  remain  at  a  certain  level  in      order  for  it  to  be  successful.  Strong      business  fundamentals  are  considered      essential  for  long-term  success  and      stability.  See  also:  Value  Investing,      Fundamental  Analysis.  For  a  stock  the  basic  fundamentals  are  the  second  column  of  numbers  you  see  on  the  google  finance  summary  page,    P/E  ratio,  div/yeild,  EPS,  shares,  beta.      For  the  company  itself  it's  generally  the  stuff  on  the  'financials'  link    (e.g.  things  in  the  quarterly  and  annual  report,    debt,  liabilities,  assets,  earnings,  profit  etc.
19183	If  your  sole  proprietorship  losses  exceed  all  other  sources  of  taxable  income,  then  you  have  what's  called  a  Net  Operating  Loss  (NOL).  You  will  have  the  option  to  "carry  back"  and  amend  a  return  you  filed  in  the  last  2  years  where  you  owed  tax,  or  you  can  "carry  forward"  the  losses  and  decrease  your  taxes  in  a  future  year,  up  to  20  years  in  the  future.  For  more  information  see  the  IRS  links  for  NOL.  Note:  it's  important  to  make  sure  you  file  the  NOL  correctly  so  I'd  advise  speaking  with  an  accountant.  (Especially  if  the  loss  is  greater  than  the  cost  of  the  accountant...)
327002	To  be  deductible,  a  business  expense  must  be  both  ordinary  and  necessary.  An  ordinary  expense  is  one  that  is  common  and  accepted  in  your  trade  or  business.  A  necessary  expense  is  one  that  is  helpful  and  appropriate  for  your  trade  or  business.  An  expense  does  not  have  to  be  indispensable  to  be  considered  necessary.    (IRS,  Deducting  Business  Expenses)  It  seems  to  me  you'd  have  a  hard  time  convincing  an  auditor  that  this  is  the  case.    Since  business  don't  commonly  own  cars  for  the  sole  purpose  of  housing  $25  computers,  you'd  have  trouble  with  the  "ordinary"  test.    And  since  there  are  lots  of  other  ways  to  house  a  computer  other  than  a  car,  "necessary"  seems  problematic  also.

يمكنك تغيير المسار إلى answer_collection.tsv للفهرسة بمجموعة البيانات الكاملة.

يجري 

 python app.py index

في النهاية سيظهر لك ما يلي: 

 ✅ done in ⏱ 1 minute and 54 seconds ? 7.7/s
        gateway@18904[S]:terminated
    doc_indexer@18903[I]:recv ControlRequest from ctl▸doc_indexer▸⚐
    doc_indexer@18903[I]:Terminating loop requested by terminate signal RequestLoopEnd()
    doc_indexer@18903[I]:#sent: 56 #recv: 56 sent_size: 1.7 MB recv_size: 1.7 MB
    doc_indexer@18903[I]:request loop ended, tearing down ...
    doc_indexer@18903[I]:indexer size: 865 physical size: 3.1 MB
    doc_indexer@18903[S]:artifacts of this executor (vecidx) is persisted to ./workspace/doc_compound_indexer-0/vecidx.bin
    doc_indexer@18903[I]:indexer size: 865 physical size: 3.2 MB
    doc_indexer@18903[S]:artifacts of this executor (docidx) is persisted to ./workspace/doc_compound_indexer-0/docidx.bin

إجابات البحث

نحن بحاجة إلى إنشاء منفذ مخصص لإعادة ترتيب أفضل 50 إجابة للمرشح. يمكننا القيام بذلك باستخدام Jina Hub API. دعونا نتأكد من تثبيت ملحق Jina Hub:

pip install "jina[hub]"

يمكننا إنشاء Ranker المخصص، FinBertQARanker عن طريق تشغيل:

jina hub build FinBertQARanker/ --pull --test-uses --timeout-ready 60000

يجري

يمكننا الآن استخدام محرك بحث ضمان الجودة المالي الخاص بنا عن طريق تشغيل:

python app.py search

قد يستغرق Ranker بعض الوقت لحساب درجات الملاءمة لأنه يستخدم نموذجًا يستند إلى BERT. يمكنك تجربة قائمة الأسئلة هذه من مجموعة بيانات FiQA: 

 • What does it mean that stocks are “memoryless”?
• What would a stock be worth if dividends did not exist?
• What are the risks of Dividend-yielding stocks?
• Why do financial institutions charge so much to convert currency?
• Is there a candlestick pattern that guarantees any kind of future profit?
• 15 year mortgage vs 30 year paid off in 15
• Why is it rational to pay out a dividend?
• Why do companies have a fiscal year different from the calendar year?
• What should I look at before investing in a start-up?
• Where do large corporations store their massive amounts of cash?

مجتمع

  • قناة Slack - منصة تواصل للمطورين لمناقشة جينا
  • النشرة الإخبارية للمجتمع - اشترك في آخر التحديثات والإصدارات وأخبار الأحداث الخاصة بـ Jina
  • LinkedIn - تعرف على Jina AI كشركة وإيجاد فرص عمل
  • - اتبع Jina AI وتفاعل معهم باستخدام الهاشتاج #JinaSearch
  • الشركة - تعرف على المزيد عن الشركة، Jina AI ملتزمة تمامًا بالمصادر المفتوحة!

رخصة

حقوق الطبع والنشر (ج) 2021 لصديقة جينا. جميع الحقوق محفوظة.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل