العرض المباشر | فيديو تجريبي
| أخبار | وصف |
|---|---|
| إصدار سيناريو Kaggle | أطلقنا وكيل Kaggle ، جرب الميزات الجديدة! |
| الإصدار الرسمي لمجموعة WeChat | لقد أنشأنا مجموعة WeChat، مرحباً بك للانضمام! (؟رمز الاستجابة السريعة) |
| إصدار الديسكورد الرسمي | أطلقنا أول قناة للدردشة في Discord (؟) |
| الإصدار الأول | تم إصدار RDAgent على GitHub |
يهدف RDAgent إلى أتمتة الجوانب الأكثر أهمية وقيمة في عملية البحث والتطوير الصناعية، ونبدأ بالتركيز على السيناريوهات المستندة إلى البيانات لتبسيط عملية تطوير النماذج والبيانات. ومن الناحية المنهجية، قمنا بتحديد إطار عمل مكون من عنصرين رئيسيين: "R" لاقتراح أفكار جديدة و"D" لتنفيذها. نحن نؤمن بأن التطور التلقائي للبحث والتطوير سيؤدي إلى حلول ذات قيمة صناعية كبيرة.
البحث والتطوير هو سيناريو عام جدًا. قد يكون ظهور RDAgent هو الحل الأمثل لك
مصنع الكميات الآلي (؟فيديو تجريبي|
يوتيوب)
وكيل استخراج البيانات: اقتراح البيانات والنماذج بشكل متكرر (؟فيديو توضيحي 1|
يوتيوب) (؟ فيديو تجريبي 2|
YouTube) وتنفيذها من خلال اكتساب المعرفة من البيانات.
مساعد الطيار البحثي: قراءة الأوراق البحثية تلقائيًا (فيديو تجريبي|
يوتيوب) / التقارير المالية (؟فيديو تجريبي|
YouTube) وتنفيذ الهياكل النموذجية أو بناء مجموعات البيانات.
وكيل Kaggle: ضبط النماذج التلقائية وهندسة الميزات (سيتوفر فيديو تجريبي قريبًا...) وتنفيذها لتحقيق المزيد في المسابقات.
...
يمكنك النقر على الروابط أعلاه لعرض العرض التوضيحي. نعمل باستمرار على إضافة المزيد من الأساليب والسيناريوهات إلى المشروع لتحسين عمليات البحث والتطوير لديك وتعزيز الإنتاجية.
بالإضافة إلى ذلك، يمكنك إلقاء نظرة فاحصة على الأمثلة الموجودة في ?️ العرض التجريبي المباشر .
يمكنك تجربة العروض التوضيحية أعلاه عن طريق تشغيل الأمر التالي:
يجب على المستخدمين التأكد من تثبيت Docker قبل تجربة معظم السيناريوهات. يرجى الرجوع إلى صفحة Docker الرسمية للحصول على تعليمات التثبيت.
أنشئ بيئة كوندا جديدة باستخدام Python (تم اختبار الإصدارين 3.10 و3.11 جيدًا في CI لدينا):
conda create -n rdagent python=3.10
تفعيل البيئة:
كوندا تفعيل rdagent
يمكنك تثبيت حزمة RDAgent مباشرة من PyPI:
نقطة تثبيت rdagent
يجب عليك تكوين نموذج GPT الخاص بك في ملف .env
القط << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
يتم تنفيذ ⁉️ العرض التجريبي المباشر من خلال الأوامر التالية (كل عنصر يمثل عرضًا توضيحيًا واحدًا، يمكنك تحديد العرض الذي تفضله):
تشغيل التداول الكمي الآلي وتطور العوامل التكرارية : اقتراح عامل الحلقة الذاتية Qlib وتطبيق التنفيذ
rdagent fin_factor
تشغيل التداول الكمي الآلي وتطور النموذج التكراري : اقتراح نموذج الحلقة الذاتية Qlib وتطبيق التنفيذ
rdagent fin_model
تشغيل تطور نموذج التنبؤ الطبي الآلي : اقتراح نموذج الحلقة الذاتية الطبية وتطبيق التنفيذ
(1) التقدم بطلب للحصول على حساب في PhysioNet.
(2) طلب الوصول إلى بيانات FIDDLE المعالجة مسبقًا: مجموعة بيانات FIDDLE.
(3) ضع اسم المستخدم وكلمة المرور الخاصة بك في.env.
القط << EOF >> .envDM_USERNAME=<اسم المستخدم الخاص بك>DM_PASSWORD=EOF
rdagent med_model
تشغيل التداول الكمي الآلي واستخراج العوامل من التقارير المالية : تشغيل تطبيق استخراج وتنفيذ عامل Qlib بناءً على التقارير المالية
# 1. بشكل عام، يمكنك تشغيل هذا السيناريو باستخدام الأمر التالي:rdagent fin_factor_report --report_folder=<مسار مجلد التقارير المالية># 2. على وجه التحديد، تحتاج إلى إعداد بعض التقارير المالية أولاً. يمكنك اتباع هذا المثال الملموس:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip قم بفك ضغط all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
تشغيل مساعد الطيار للبحث والتطوير النموذجي الآلي : تطبيق استخراج النموذج وتنفيذه
# 1. بشكل عام، يمكنك تشغيل أوراقك/تقاريرك باستخدام الأمر التالي:rdagent General_model# 2. على وجه التحديد، يمكنك القيام بذلك بهذه الطريقة. لمزيد من التفاصيل والأمثلة الورقية الإضافية، استخدم `rdagent General_model -h`:rdagent General_model "https://arxiv.org/pdf/2210.09789"
قم بتشغيل ضبط نموذج Kaggle الآلي وهندسة الميزات : اقتراح نموذج الحلقة الذاتية وتطبيق تنفيذ هندسة الميزات
ملاحظة : سيقوم هذا التطبيق تلقائيًا بتنزيل بيانات مسابقة Kaggle ما لم تقم بإعداد البيانات محليًا. إذا لم تكن لديك البيانات محليًا، فستحتاج إلى تكوين واجهة برمجة تطبيقات Kaggle والموافقة على قواعد المنافسة المقابلة على موقع Kaggle الإلكتروني.
# 1. يجب أن يتطابق اسم المسابقة مع الاسم المستخدم مع واجهة برمجة التطبيقات (API) على منصة Kaggle.rdagent kaggle --competition [your-competition-name]# 2. على وجه التحديد، يمكنك ملء اسم المسابقة كما يلي:# تنزيل المسابقة ملفات الوصف إلى الدليل المحلي الخاص بك wget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# قم بفك ضغط الملفات إلى الدليل المحلي الخاص بك unzip kaggle_data.zip -d /your/local/directory/kaggle_data# set متغيرات البيئةexport LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # قم بتشغيل applicationrdagent kaggle --competition sf-crime
يمكن العثور على قائمة المسابقات المتاحة هنا.
لمزيد من التفاصيل، يمكنك الرجوع إلى دليل المثال.
يمكنك تقديم تطبيقنا التجريبي لمراقبة حلقة RD عن طريق تشغيل الأمر التالي:
rdagent ui --port 80 --log_dir <مجلد السجل الخاص بك مثل "log/">
لقد قمنا بتطبيق RD-Agent على العديد من السيناريوهات الصناعية القيمة المعتمدة على البيانات.
في هذا المشروع، نهدف إلى بناء وكيل لأتمتة البحث والتطوير المبني على البيانات
اقرأ المواد الواقعية (التقارير والأوراق البحثية وما إلى ذلك) واستخرج الصيغ الأساسية وأوصاف الميزات والنماذج المهتمة، والتي تعد المكونات الرئيسية للبحث والتطوير المبني على البيانات.
قم بتنفيذ الصيغ المستخرجة (على سبيل المثال، الميزات والعوامل والنماذج) في أكواد قابلة للتشغيل.
نظرًا لقدرة LLM المحدودة على التنفيذ مرة واحدة، قم ببناء عملية متطورة للوكيل لتحسين الأداء من خلال التعلم من التعليقات والمعرفة.
اقتراح أفكار جديدة بناءً على المعرفة والملاحظات الحالية.
في المجالين الرئيسيين للسيناريوهات المعتمدة على البيانات، تنفيذ النموذج وبناء البيانات، يهدف نظامنا إلى خدمة دورين رئيسيين: مساعد الطيار والوكيل.
يتبع مساعد الطيار التعليمات البشرية لأتمتة المهام المتكررة.
الوكيل، كونه أكثر استقلالية، يقترح بنشاط أفكارًا لتحقيق نتائج أفضل في المستقبل.
السيناريوهات المدعومة مدرجة أدناه:
| السيناريو/الهدف | تنفيذ النموذج | بناء البيانات |
|---|---|---|
| تمويل | اقتراح الأفكار والتطور بشكل متكرر | اقتراح الأفكار والتطور بشكل متكرر قراءة التقارير التلقائية وتنفيذها |
| طبي | اقتراح الأفكار والتطور بشكل متكرر | - |
| عام | قراءة الورق وتنفيذه تلقائيًا ضبط نموذج Kaggle التلقائي | هندسة ميزة Kaggle التلقائية |
خريطة الطريق : نعمل حاليًا جاهدين لإضافة ميزات جديدة إلى سيناريو Kaggle.
تختلف السيناريوهات المختلفة في المدخل والتكوين. يرجى التحقق من البرنامج التعليمي التفصيلي للإعداد في وثائق السيناريوهات.
فيما يلي معرض للاستكشافات الناجحة (تم عرض 5 آثار في ️ Live Demo ). يمكنك تنزيل أثر التنفيذ وعرضه باستخدام الأمر أدناه:
rdagent ui --port 80 --log_dir ./demo_traces
يرجى الرجوع إلى readthedocs_scen للحصول على مزيد من التفاصيل حول السيناريوهات.
تعد أتمتة عملية البحث والتطوير في علم البيانات مجالًا ذا قيمة عالية ولكنه غير مستكشف في الصناعة. نقترح إطارًا لدفع حدود هذا المجال البحثي المهم.
ويمكن تقسيم أسئلة البحث في هذا الإطار إلى ثلاث فئات رئيسية:
| منطقة البحث | قائمة الورق/العمل |
|---|---|
| قياس قدرات البحث والتطوير | المعيار |
| اقتراح الفكرة: استكشاف أفكار جديدة أو تحسين الأفكار الحالية | بحث |
| القدرة على تحقيق الأفكار: تنفيذ الأفكار وتنفيذها | تطوير |
نحن نؤمن بأن مفتاح تقديم حلول عالية الجودة يكمن في القدرة على تطوير قدرات البحث والتطوير. يجب أن يتعلم الوكلاء مثل الخبراء البشريين، وأن يعملوا باستمرار على تحسين مهاراتهم في البحث والتطوير.
المزيد من الوثائق يمكن العثور عليها في ؟ readthedocs .
نحو البحث والتطوير التلقائي المرتكز على البيانات
@misc{chen2024datacentric,title={نحو البحث والتطوير التلقائي المرتكز على البيانات},author={Haotian Chen وXinjie Shen وZeqi Ye وWenjun Feng وHaoxue Wang وXiao Yang وXu Yang وWeiqing Liu وJiang. Bian},year={2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
في عملية البحث والتطوير اليومية لخبير استخراج البيانات، يقترحون فرضية (على سبيل المثال، يمكن لبنية نموذجية مثل RNN التقاط الأنماط في بيانات السلاسل الزمنية)، وتجارب التصميم (على سبيل المثال، تحتوي البيانات المالية على سلاسل زمنية ويمكننا التحقق من الفرضية في هذا السيناريو)، قم بتنفيذ التجربة كرمز (على سبيل المثال، بنية نموذج Pytorch)، ثم قم بتنفيذ الكود للحصول على تعليقات (على سبيل المثال، المقاييس، منحنى الخسارة، وما إلى ذلك). يتعلم الخبراء من التعليقات ويتحسنون في التكرار التالي.
استنادًا إلى المبادئ المذكورة أعلاه، أنشأنا إطارًا أساسيًا للأسلوب يقترح باستمرار الفرضيات، ويتحقق منها، ويحصل على تعليقات من الممارسات الواقعية. هذا هو أول إطار لأتمتة البحث العلمي يدعم الارتباط بالتحقق في العالم الحقيقي.
لمزيد من التفاصيل، يرجى الرجوع إلى صفحتنا ?️ Live Demo .
الإستراتيجية التعاونية المتطورة للتطوير التلقائي الذي يركز على البيانات
@misc{yang2024collaborative,title={استراتيجية التطور التعاوني للتطوير التلقائي المرتكز على البيانات},المؤلف={Xu Yang وHaotian Chen وWenjun Feng وHaoxue Wang وZeqi Ye وXinjie Shen وXiao Yang وShizhao Sun وWeiqing Liu وJiang. Bian},year={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
يرحب هذا المشروع بالمساهمات والاقتراحات. المساهمة في هذا المشروع واضحة ومجزية. سواء أكان الأمر يتعلق بحل مشكلة، أو معالجة خطأ، أو تحسين الوثائق، أو حتى تصحيح خطأ مطبعي، فإن كل مساهمة تكون ذات قيمة وتساعد في تحسين RDAgent.
للبدء، يمكنك استكشاف قائمة المشكلات، أو البحث عن تعليقات TODO: في قاعدة التعليمات البرمجية عن طريق تشغيل الأمر grep -r "TODO:" .
قبل أن نصدر RD-Agent كمشروع مفتوح المصدر على GitHub، كان مشروعًا داخليًا داخل مجموعتنا. لسوء الحظ، لم يتم الحفاظ على سجل الالتزام الداخلي عندما قمنا بإزالة بعض التعليمات البرمجية السرية. ونتيجة لذلك، لم يتم تضمين بعض المساهمات من أعضاء مجموعتنا، بما في ذلك Haotian Chen وWenjun Feng وHaoxue Wang وZeqi Ye وXinjie Shen وJinhui Li، في الالتزامات العامة.
يتم توفير وكيل RD "كما هو"، دون أي ضمان من أي نوع، صريحًا أو ضمنيًا، بما في ذلك على سبيل المثال لا الحصر ضمانات القابلية للتسويق والملاءمة لغرض معين وعدم الانتهاك. يهدف وكيل RD إلى تسهيل عملية البحث والتطوير في الصناعة المالية وليس جاهزًا للاستخدام لأي استثمار أو نصيحة مالية. يجب على المستخدمين تقييم واختبار مخاطر وكيل RD بشكل مستقل في سيناريو استخدام محدد، وضمان الاستخدام المسؤول لتقنية الذكاء الاصطناعي، بما في ذلك على سبيل المثال لا الحصر، تطوير ودمج تدابير تخفيف المخاطر، والامتثال لجميع القوانين واللوائح المعمول بها في جميع القوانين المعمول بها. الولايات القضائية. لا يقدم وكيل RD آراء مالية أو يعكس آراء Microsoft، كما أنه ليس مصممًا ليحل محل دور المتخصصين الماليين المؤهلين في صياغة المنتجات المالية وتقييمها والموافقة عليها. تنتمي مدخلات ومخرجات وكيل RD إلى المستخدمين ويتحمل المستخدمون كل المسؤولية بموجب أي نظرية مسؤولية، سواء في العقد أو الأضرار أو التنظيم أو الإهمال أو مسؤولية المنتجات أو غير ذلك، المرتبطة باستخدام وكيل RD و أي مدخلات ومخرجات منها.
