الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل


https://datadreamer.dev

اِسْتَدْعَى. توليد البيانات الاصطناعية. النماذج قطار ومواءمة.


DataDreamer هي مكتبة Python قوية مفتوحة المصدر للدعم وتوليد البيانات الاصطناعية وسير العمل التدريبي. إنه مصمم ليكون بسيطًا وفعالًا للغاية وتجهيزًا للبحث.

تثبيت 

pip3 install datadreamer.dev
demo.py نتيجة demo.py



انظر البرنامج النصي التجريبي الكامل



انظر مجموعة البيانات الاصطناعية والنموذج المدرب

لمزيد من المظاهرات والوصفات ، انظر صفحة الجولة السريعة.

مع DataDreamer يمكنك:

  • قم بإنشاء مهام سير عمل مطالبة : قم بإنشاء وتشغيل سير العمل متعدد الخطوات ، المعقدة ، التي تدفع بسهولة مع LLMs المفتوحة المصدر المفتوح أو LLMs القائمة على API.
  • إنشاء مجموعات بيانات اصطناعية : إنشاء مجموعات بيانات اصطناعية للمهام الجديدة أو زيادة مجموعات البيانات الحالية مع LLMS.
  • نماذج القطار : محاذاة النماذج. نماذج ضبطها. نماذج ضبط التعليمات. نماذج تقطير. تدريب على البيانات الحالية أو البيانات الاصطناعية.
  • ... تعرف على المزيد حول ما هو ممكن في دليل النظرة العامة

DataDreamer هو:

  • ؟ بسيطة : بسيطة ودورة للاستخدام مع الافتراضات المعقولة ، ولكنها قوية مع دعم لتقنيات حافة النزيف.
  • ؟ البحوث الدراسية : بنيت للباحثين ، من قبل الباحثين ، ولكن في متناول الجميع. التركيز على الصواب ، وأفضل الممارسات ، والتكاثر.
  • ؟ ️ كفاءة : التخزين المؤقت العدواني وإعادة الاستئناف مدمج. دعم التقنيات مثل القياس الكمي ، والتدريب الموفرة للمعلمة (LORA) ، وأكثر من ذلك.
  • قابلة للتكرار : يمكن لمشاركة مهام سير العمل المصممة مع DataDreamer بسهولة وقابلة للتكرار وقابلة للتمديد.
  • ؟ يجعل المشاركة سهلة : نشر مجموعات البيانات والنماذج بسيطة. قم بإنشاء بطاقات البيانات وبطاقات النماذج تلقائيًا باستخدام بيانات التعريف. إنشاء قائمة بأي اقتباسات مطلوبة.
  • ... تعرف على المزيد حول حافز المبادئ والتصميم وراء Datadreamer.

اقتباس

يرجى الاستشهاد بورقة DataDreamer: 

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

اتصال

يرجى التواصل معنا عبر البريد الإلكتروني ([email protected]) أو على Discord إذا كان لديك أي أسئلة أو تعليقات أو تعليقات.


حقوق الطبع والنشر © 2024 ، Ajay Patel. صدر تحت رخصة معهد ماساتشوستس للتكنولوجيا.

شكرًا لك على المشرفين في Hugging Face و Litellm لقبول المساهمات اللازمة لـ DataDreamer وتوفير الدعم المنبع.

تمويل شكر وتقدير

ODNI ، IARPA: يتم دعم هذا البحث جزئيًا من قبل مكتب مدير الاستخبارات الوطنية (ODNI) ، نشاط مشاريع الأبحاث المتقدمة الاستخباراتية (IARPA) ، عبر عقد برنامج HIATUS #2022-2207200005. الآراء والاستنتاجات الواردة هنا هي آراء المؤلفين ويجب عدم تفسيرها على أنها تمثل بالضرورة السياسات الرسمية ، إما المعبر عنها أو الضمني ، من Odni أو IARPA أو الحكومة الأمريكية. تُسمح للحكومة الأمريكية بإعادة إنتاج وتوزيع إعادة طباعة لأغراض حكومية على الرغم من أي شرح لحقوق الطبع والنشر فيه.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل