الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

رسم

TAO TIE (饕餮)

دع Taotie يكون مساعدك لاستخراج المعرفة المفيدة من المعلومات الضخمة الصاخبة. يتكون من ثلاثة مكونات رئيسية:

  • المصادر : هذه هي مصادر المعلومات التي يمكن أن يشترك فيها Taotie. حاليًا ، يدعم Taotie مصادر Twitter و Github و Arxiv و HTTP.
  • المستهلكون : هؤلاء هم الوكلاء الذي يستخدمه Taotie لتلخيص المعلومات. يمكن دمج Taotie مع أي عامل نموذج لغة (LLM) ، ولا يلزم سوى غلاف رفيع لدمج الوكيل مع taotie.
  • التخزين : هذا هو المكان الذي يخزن فيه Taotie المعلومات الملخصة. حاليًا ، تدعم Taotie الفكرة ، ولكن يمكن تكوينها لاستخدام حلول تخزين أخرى أيضًا.

بنيان

فيما يلي نظرة عامة على هندسة Taotie:

رسم
هندسة تاوتي

مثال

فيما يلي مثال على كيفية استخدام Taotie للاشتراك في مصادر Twitter و Github و HTTP ، وتلخيص المعلومات باستخدام وكيل LLM ، وتخزين الملخصات في الفكرة.

يمكن العثور على رمز المثال في أمثلة/suffarize_to_notion/example.py.

يمكن رؤية موقع ويب مدعوم من Taotie من https://techtao.super.site/.

رسم
موقع المدونة بدعم من Taotie

1. قم بإعداد بيئتك

قم بإنشاء ملف .env وأضف رموز API الضرورية: 

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. بناء وتشغيل المثال:

في جذر المستودع ، قم بتشغيل الأمر التالي: 

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

عند تشغيل البرنامج ، سيتم الاشتراك في مصادر Twitter و Github و HTTP ، وتلخيص المعلومات باستخدام وكيل LLM ، وتخزين الملخصات في الفكرة. كما سيتم إعداد خادم HTTP يستمع على المنفذ 6543 لتلقي طلبات تلخيص مخصصة. على سبيل المثال ، يمكنك استخدام أمر CURL التالي لتلخيص منشور المدونة: 

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

أداة أكثر سهلة الاستخدام غير متوفرة بعد. ولكن يمكنك استخدام ساعي البريد لإرسال الطلب.

ملاحظة: يرجى تذكر إيقاف الحاوية بعد فترة. خلاف ذلك ، سوف ينمو فاتورة Openai الخاصة بك باستمرار.

الإخراج

رسم
إخراج مثال ملخص المعلومات

في مفهومك ، يمكنك رؤية المحتويات المضافة.

رسم
مرجعية مخصصة

رسم
صفحات الويب الملخصة (وظيفة متوسطة)

رسم
الاشتراك GitHub تتجه

انقر فوق الإدخال يمكن أن يعرض التفاصيل ، بما في ذلك الرسم البياني المعرفة الملخص لهذا الجزء من المعلومات.

رسم
ملخص Github-Repo (اتجاهات GitHub) تتيح لك علامة--data-sources تحديد مصادر البيانات التي سيتم استخدامها. يقبل قائمة مفصولة بفاصلة من مصادر البيانات. القيم المحتملة هي "http_service" و "github" و "arxiv" و "Twitter".

أدوات

أدوات

  1. أدوات لإنشاء التقرير بناءً على البيانات التي تم جمعها في قاعدة بيانات فكرة. 
python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog
python taotie/tools.py report --date-lookback 2 --type-filter github-repo

رسم
التقرير مثال

تنظيف صور Docker غير مستخدمة 

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل