EvalAI
valAI Version 1.1
Evalai เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการประเมินและเปรียบเทียบการเรียนรู้ของเครื่อง (ML) และอัลกอริทึมปัญญาประดิษฐ์ (AI) ในระดับ
ในช่วงไม่กี่ปีที่ผ่านมามันยากขึ้นเรื่อย ๆ ที่จะเปรียบเทียบอัลกอริทึมในการแก้ปัญหาที่กำหนดกับวิธีการอื่น ๆ ที่มีอยู่ การเปรียบเทียบเหล่านี้ประสบความแตกต่างเล็กน้อยในการใช้อัลกอริทึมการใช้ชุดข้อมูลที่ไม่ได้มาตรฐานและตัวชี้วัดการประเมินที่แตกต่างกัน ด้วยการจัดหาอินเทอร์เฟซลีดเดอร์ลีดเดอร์และการส่งส่วนกลางเราทำให้นักวิจัยสามารถทำซ้ำผลลัพธ์ที่กล่าวถึงในกระดาษและทำการวิเคราะห์เชิงปริมาณที่เชื่อถือได้และแม่นยำ ด้วยการจัดหาแบ็กเอนด์ที่รวดเร็วและแข็งแกร่งขึ้นอยู่กับกรอบการลดแผนที่ซึ่งเพิ่มความเร็วในการประเมินผลได้ทันที Evalai มีจุดมุ่งหมายเพื่อให้นักวิจัยสามารถทำซ้ำผลลัพธ์จากเอกสารทางเทคนิคและดำเนินการวิเคราะห์ที่เชื่อถือได้และแม่นยำ
โปรโตคอลการประเมินที่กำหนดเองและขั้นตอน : เราอนุญาตให้สร้างจำนวนขั้นตอนการประเมินและการแยกชุดข้อมูลความเข้ากันได้โดยใช้ภาษาการเขียนโปรแกรมใด ๆ และการจัดระเบียบผลลัพธ์ในกระดานผู้นำทั้งภาครัฐและเอกชน
การประเมินระยะไกล : ความท้าทายขนาดใหญ่บางอย่างต้องการความสามารถในการคำนวณพิเศษสำหรับการประเมินผล หากความท้าทายต้องการพลังการคำนวณเพิ่มเติมผู้จัดงานท้าทายสามารถเพิ่มกลุ่มของคนงานของตัวเองเพื่อประมวลผลการส่งผู้เข้าร่วมในขณะที่เราดูแลการโฮสต์ความท้าทายจัดการการส่งผู้ใช้และการบำรุงรักษาลีดเดอร์บอร์ด
การประเมินผลภายในสภาพแวดล้อม : Evalai ช่วยให้ผู้เข้าร่วมส่งรหัสสำหรับตัวแทนของพวกเขาในรูปแบบของภาพนักเทียบท่าซึ่งได้รับการประเมินกับสภาพแวดล้อมการทดสอบบนเซิร์ฟเวอร์การประเมินผล ในระหว่างการประเมินผลผู้ปฏิบัติงานจะดึงภาพสภาพแวดล้อมการทดสอบและสแนปชอตแบบจำลองและหมุนคอนเทนเนอร์ใหม่เพื่อทำการประเมินผล
การสนับสนุน CLI : Evalai-CLI ได้รับการออกแบบมาเพื่อขยายการทำงานของเว็บแอปพลิเคชัน Evalai ไปยังบรรทัดคำสั่งของคุณเพื่อให้แพลตฟอร์มเข้าถึงได้ง่ายขึ้นและเป็นมิตรกับเทอร์มินัล
ความสามารถในการพกพา : Evalai ได้รับการออกแบบด้วยการรักษาความสามารถในการปรับขนาดและการพกพาของระบบดังกล่าวจากการเริ่มต้นของความคิด ส่วนประกอบส่วนใหญ่พึ่งพาเทคโนโลยีโอเพ่นซอร์สอย่างมาก-Docker, Django, Node.js และ PostgreSQL
การประเมินที่เร็วขึ้น : เราอุ่นเครื่องโหนดคนงานเมื่อเริ่มต้นโดยการนำเข้ารหัสท้าทายและโหลดชุดข้อมูลไว้ล่วงหน้าในหน่วยความจำ นอกจากนี้เรายังแบ่งชุดข้อมูลออกเป็นชิ้นเล็ก ๆ ที่ประเมินพร้อมกันในหลายคอร์ เทคนิคง่ายๆเหล่านี้ส่งผลให้การประเมินเร็วขึ้นและลดเวลาการประเมินตามลำดับความสำคัญในบางกรณี
เป้าหมายสูงสุดของเราคือการสร้างแพลตฟอร์มส่วนกลางเพื่อเป็นเจ้าภาพมีส่วนร่วมและทำงานร่วมกันในความท้าทาย AI ที่จัดขึ้นทั่วโลกและเราหวังว่าจะช่วยในการเปรียบเทียบความคืบหน้าใน AI
การตั้งค่า Evalai บนเครื่องในพื้นที่ของคุณนั้นง่ายมาก คุณสามารถตั้งค่า evalai โดยใช้ Docker: ขั้นตอนคือ:
ติดตั้ง Docker และ Docker-compose บนเครื่องของคุณ
รับซอร์สโค้ดไปยังเครื่องของคุณผ่าน Git
git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalaiสร้างและเรียกใช้คอนเทนเนอร์ Docker อาจใช้เวลาสักครู่
docker-compose up --build
แค่นั้นแค่นั้น เปิดเว็บเบราว์เซอร์และกด URL http://127.0.0.1:8888 ผู้ใช้สามคนจะถูกสร้างขึ้นโดยค่าเริ่มต้นซึ่งอยู่ในรายการด้านล่าง -
Superuser- ชื่อผู้ใช้: รหัสผ่าน admin : password
ชื่อผู้ ใช้โฮสต์ - ชื่อผู้ใช้: รหัสผ่าน host : password
ผู้ใช้ ผู้เข้าร่วมชื่อผู้ใช้ : รหัสผ่าน participant : password
หากคุณกำลังเผชิญกับปัญหาใด ๆ ในระหว่างการติดตั้งโปรดดูข้อผิดพลาดทั่วไปของเราระหว่างหน้าการติดตั้ง
หากคุณใช้ Evalai สำหรับการโฮสต์ความท้าทายโปรดอ้างอิงรายงานทางเทคนิคต่อไปนี้:
@article{EvalAI,
title = {EvalAI: Towards Better Evaluation Systems for AI Agents},
author = {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
Singh and Stefan Lee and Dhruv Batra},
year = {2019},
volume = arXiv:1902.03570
}
Evalai ปัจจุบันได้รับการดูแลโดย Rishabh Jain, Gunjan Chhablani รายชื่อผู้สนับสนุนรายใหญ่อื่น ๆ ที่ไม่ครบถ้วนรวมถึง: Deshraj Yadav, Ram Ramrakhya, Akash Jain, Taranjeet Singh, Shiv Baran Singh, Agarwal ที่รุนแรง, Prithvijit Chattopadhyay, Devi Parikh และ Dhruv Batra
หากคุณสนใจที่จะมีส่วนร่วมในการประเมินให้ปฏิบัติตามแนวทางการบริจาคของเรา
