الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Evalai هي منصة مفتوحة المصدر لتقييم ومقارنة خوارزميات التعلم الآلي (ML) والذكاء الاصطناعي (AI) على نطاق واسع.

في السنوات الأخيرة ، أصبح من الصعب بشكل متزايد مقارنة الخوارزمية التي تحل مهمة معينة مع الأساليب القائمة الأخرى. هذه المقارنات تعاني من اختلافات طفيفة في تنفيذ الخوارزمية ، واستخدام انقسامات مجموعة البيانات غير القياسية ومقاييس التقييم المختلفة. من خلال توفير واجهة المتصدرين وواجهة التقديم المركزية ، نجعل من السهل على الباحثين إعادة إنتاج النتائج المذكورة في الورقة وإجراء تحليل كمي موثوق ودقيق. من خلال توفير عوامل خلفية سريعة وقوية استنادًا إلى أطر عمل الخريطة التي تسرع التقييم أثناء الطيران ، تهدف Evalai إلى تسهيل على الباحثين إعادة إنتاج النتائج من الأوراق التقنية وإجراء تحليلات موثوقة ودقيقة.

سمات

  • بروتوكولات ومراحل التقييم المخصص : نسمح بإنشاء عدد تعسفي من مراحل التقييم وتقسيم مجموعة البيانات ، والتوافق باستخدام أي لغة برمجة ، ونتائج تنظيم في كل من المتصدرين العام والخاص.

  • التقييم عن بُعد : تحتاج بعض التحديات على نطاق واسع إلى قدرات حسابية خاصة للتقييم. إذا كان التحدي يحتاج إلى قوة حسابية إضافية ، فيمكن لمنظمي التحدي إضافة مجموعة من العقد الخاصة بهم بسهولة لمعالجة عمليات إرسال المشاركين أثناء رعاية استضافة التحدي ، والتعامل مع عمليات إرسال المستخدم ، والحفاظ على المتصدرين.

  • التقييم داخل البيئات : يتيح Evalai للمشاركين إرسال رمز لوكيلهم في شكل صور Docker التي يتم تقييمها مقابل بيئات الاختبار على خادم التقييم. أثناء التقييم ، يجلب العامل الصورة ، وبيئة الاختبار ، وقطعة النموذج وينتجف حاوية جديدة لإجراء التقييم.

  • دعم CLI : تم تصميم Evalai-Cli لتوسيع وظائف تطبيق Web Adalai إلى سطر الأوامر الخاص بك لجعل النظام الأساسي أكثر سهولة وصديقًا للمحطة.

  • قابلية النقل : تم تصميم evalai مع مراعاة قابلية التوسع وقابلية النقل لمثل هذا النظام من بداية الفكرة. تعتمد معظم المكونات اعتمادًا كبيرًا على تقنيات مفتوحة المصدر-Docker و Django و Node.js و PostgreSQL.

  • تقييم أسرع : نقوم بتسخين عقد العمال عند بدء التشغيل من خلال استيراد رمز التحدي وتحميل مجموعة البيانات المسبقة في الذاكرة. نقوم أيضًا بتقسيم مجموعة البيانات إلى قطع صغيرة يتم تقييمها في وقت واحد على النوى المتعددة. هذه الحيل البسيطة تؤدي إلى تقييم أسرع وتقلل من وقت التقييم بترتيب الحجم في بعض الحالات.

هدف

هدفنا النهائي هو بناء منصة مركزية لاستضافة والمشاركة والتعاون في تحديات الذكاء الاصطناعى المنظمة في جميع أنحاء العالم ونأمل أن نساعد في قياس التقدم في الذكاء الاصطناعي.

تعليمات التثبيت

من السهل حقًا إعداد Evalai على جهازك المحلي. يمكنك إعداد evalai باستخدام Docker: الخطوات هي:

  1. قم بتثبيت Docker و Docker-Corm على جهازك.

  2. احصل على الرمز المصدر إلى جهازك عبر GIT. 

    git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai

  3. بناء وتشغيل حاويات Docker. هذا قد يستغرق بعض الوقت. 

     docker-compose up --build

  4. هذا كل شيء. افتح متصفح الويب واضغط على عنوان URL http://127.0.0.1:8888. سيتم إنشاء ثلاثة مستخدمين افتراضيًا ورد أدناه -

    Superuser- اسم المستخدم: كلمة مرور admin : password
    المستخدم المضيف- اسم المستخدم: كلمة المرور host : password
    المستخدم المشارك- اسم المستخدم: كلمة مرور participant : password

إذا كنت تواجه أي مشكلة أثناء التثبيت ، فيرجى الاطلاع على أخطاءنا المشتركة أثناء صفحة التثبيت.

نقلا عن evalai

إذا كنت تستخدم Evalai لاستضافة التحديات ، فيرجى الاستشهاد بالتقرير الفني التالي: 

 @article{EvalAI,
    title   =  {EvalAI: Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

فريق

يتم الحفاظ على Evalai حاليًا من قبل Rishabh Jain ، Gunjan Chhablani. تشمل قائمة غير شاملة للمساهمين الرئيسيين الآخرين: Deshraj Yadav ، Ram Ramrakhya ، Akash Jain ، Taranjeet Singh ، Shiv Baran Singh ، Harsh Agarwal ، Prithvijit Chattopadhyay ، Devi Parikh و Dhruv Batra.

إرشادات المساهمة

إذا كنت مهتمًا بالمساهمة في Evalai ، اتبع إرشادات المساهمة الخاصة بنا.

المساهمين

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل