quickdraw dataset
1.0.0
مجموعة بيانات Quick Draw عبارة عن مجموعة مكونة من 50 مليون رسم عبر 345 فئة، ساهم بها لاعبو لعبة Quick, Draw!. تم التقاط الرسومات كمتجهات ذات طابع زمني، وتم وضع علامة عليها بالبيانات الوصفية بما في ذلك ما طُلب من اللاعب رسمه وفي أي بلد يتواجد اللاعب. يمكنك تصفح الرسومات التي تم التعرف عليها على Quickdraw.withgoogle.com/data.
نحن نشاركها هنا للمطورين والباحثين والفنانين لاستكشافها ودراستها والتعلم منها. إذا قمت بإنشاء شيء ما باستخدام مجموعة البيانات هذه، فيرجى إخبارنا بذلك عبر البريد الإلكتروني أو على AI Experiments.
لقد أصدرنا أيضًا برنامجًا تعليميًا ونموذجًا لتدريب مصنف الرسم الخاص بك على Tensorflow.org.
يرجى الأخذ في الاعتبار أنه على الرغم من أن هذه المجموعة من الرسومات قد تم الإشراف عليها بشكل فردي، إلا أنها قد لا تزال تحتوي على محتوى غير لائق.
مجموعة البيانات الخام الخاضعة للإشراف
مجموعة البيانات المعالجة مسبقًا
احصل على البيانات
المشاريع التي تستخدم مجموعة البيانات
التغييرات
رخصة
البيانات الأولية متاحة كملفات ndjson مفصولة حسب الفئة، بالتنسيق التالي:
| مفتاح | يكتب | وصف |
|---|---|---|
| key_id | عدد صحيح غير موقّع 64 بت | معرف فريد عبر جميع الرسومات. |
| كلمة | خيط | الفئة التي طُلب من اللاعب رسمها. |
| معترف بها | منطقية | ما إذا كانت الكلمة قد تم التعرف عليها من خلال اللعبة. |
| الطابع الزمني | التاريخ والوقت | عندما تم إنشاء الرسم. |
| رمز البلد | خيط | رمز البلد المكون من حرفين (ISO 3166-1 alpha-2) للمكان الذي يوجد فيه المشغل. |
| رسم | خيط | مصفوفة JSON تمثل الرسم المتجه |
يحتوي كل سطر على رسم واحد. فيما يلي مثال لرسم واحد:
{ "key_id": "5891796615823360"، "كلمة": "الأنف"، "رمز البلد": "AE"، "timestamp": "2017-03-01 20:41:36.70725" UTC"،"recognized":true،"drawing":[[[129,128,129,129,130,130,131,132,132,133,133,133,133,...]]]
}تنسيق مصفوفة الرسم كما يلي:
[ [ // الضربة الأولى [x0، x1، x2، x3، ...]،[y0، y1، y2، y3، ...]،[t0، t1، t2، t3، ...] ]، [ // السكتة الدماغية الثانية[x0، x1، x2، x3، ...]،[y0، y1، y2، y3، ...]،[t0، t1، t2، t3، ...] ]، ... // ضربات إضافية]
حيث x و y هما إحداثيات البكسل، و t هو الوقت بالمللي ثانية منذ النقطة الأولى. x و y ذات قيمة حقيقية بينما t عدد صحيح. يمكن أن تحتوي الرسومات الأولية على مربعات محيطة مختلفة إلى حد كبير وعدد من النقاط نظرًا لاختلاف الأجهزة المستخدمة للعرض والإدخال.
لقد قمنا بمعالجة مجموعة البيانات مسبقًا وتقسيمها إلى ملفات وتنسيقات مختلفة لجعل تنزيلها واستكشافها أسرع وأسهل.
.ndjson ) لقد قمنا بتبسيط المتجهات، وإزالة معلومات التوقيت، ووضعنا البيانات وقياسها في منطقة 256 × 256. يتم تصدير البيانات بتنسيق ndjson بنفس البيانات التعريفية مثل التنسيق الخام. وكانت عملية التبسيط:
قم بمحاذاة الرسم إلى الزاوية العلوية اليسرى، بحيث تكون القيم الدنيا 0.
قم بقياس الرسم بشكل موحد، بحيث تصل قيمته القصوى إلى 255.
أعد تشكيل جميع الحدود بمسافة 1 بكسل.
قم بتبسيط جميع الحدود باستخدام خوارزمية Ramer-Douglas-Peucker بقيمة epsilon تبلغ 2.0.
يوجد مثال في الأمثلة/nodejs/simplified-parser.js يوضح كيفية قراءة ملفات ndjson في NodeJS.
بالإضافة إلى ذلك، يقدم مستند example/nodejs/ndjson.md تفاصيل مجموعة من أدوات سطر الأوامر التي يمكن أن تساعد في استكشاف مجموعات فرعية من هذه الملفات الكبيرة جدًا.
.bin )تتوفر أيضًا الرسومات والبيانات التعريفية المبسطة بتنسيق ثنائي مخصص للضغط والتحميل بكفاءة.
يوجد مثال في example/binary_file_parser.py يوضح كيفية تحميل الملفات الثنائية في Python.
يوجد أيضًا مثال في الأمثلة/nodejs/binary-parser.js يوضح كيفية قراءة الملفات الثنائية في NodeJS.
.npy ) تم تحويل كافة الرسومات المبسطة إلى صورة نقطية ذات تدرج رمادي مقاس 28 × 28 بتنسيق numpy .npy . يمكن تحميل الملفات باستخدام np.load() . تم إنشاء هذه الصور من البيانات المبسطة، ولكنها تمت محاذاتها إلى منتصف المربع المحيط بالرسم بدلاً من الزاوية العلوية اليسرى. انظر هنا للتعرف على مقتطف الكود المستخدم للإنشاء.
مجموعة البيانات متاحة على Google Cloud Storage كملفات ndjson مفصولة حسب الفئة. راجع قائمة الملفات الموجودة في السحابة، أو اقرأ المزيد حول الوصول إلى مجموعات البيانات العامة باستخدام طرق أخرى. على سبيل المثال، لتنزيل جميع الرسومات المبسطة بسهولة، إحدى الطرق هي تشغيل الأمر gsutil -m cp 'gs://quickdraw_dataset/full/simplified/*.ndjson' .
الملفات الخام ( .ndjson )
ملفات الرسومات المبسطة ( .ndjson )
الملفات الثنائية ( .bin )
ملفات الصور النقطية العددية ( .npy )
تُستخدم هذه البيانات أيضًا لتدريب نموذج Sketch-RNN. يتوفر تنفيذ TensorFlow لهذا النموذج مفتوح المصدر في مشروع Magenta (رابط إلى GitHub repo). يمكنك أيضًا قراءة المزيد حول هذا النموذج في منشور مدونة Google Research هذا. يتم تخزين البيانات في ملفات مضغوطة بتنسيق .npz ، بتنسيق مناسب للمدخلات في الشبكة العصبية المتكررة.
في مجموعة البيانات هذه، تم اختيار 75 ألف عينة (70 ألف تدريب، 2.5 ألف تحقق، 2.5 ألف اختبار) بشكل عشوائي من كل فئة، وتمت معالجتها بتبسيط خط RDP مع معلمة epsilon تبلغ 2.0. سيتم تخزين كل فئة في ملف .npz الخاص بها، على سبيل المثال، cat.npz .
لقد قدمنا أيضًا البيانات الكاملة لكل فئة، إذا كنت تريد استخدام أكثر من 70 ألف مثال تدريبي. يتم تخزينها بامتدادات .full.npz .
ملفات Numpy.npz
ملاحظة: بالنسبة إلى Python3، قم بتحميل ملفات npz باستخدام np.load(data_filepath, encoding='latin1', allow_pickle=True)
تتوفر تعليمات تحويل ملفات Raw ndjson إلى تنسيق npz في دفتر الملاحظات هذا.
فيما يلي بعض المشاريع والتجارب التي تستخدم مجموعة البيانات أو تعرضها بطرق مثيرة للاهتمام. هل لديك ما تضيفه؟ اسمحوا لنا أن نعرف!
المشاريع الإبداعية والفنية
كولاج الرسائل لديبورا شميدت
تجربة تتبع الوجه بواسطة نيل ميندوزا
وجوه الإنسانية عن طريق التعذيب
رسم سريع لا نهائي بواسطة kynd.info
Misfire.io بواسطة ماثيو كولير
ارسم هذا بواسطة دان ماكنيش
خطاب الخربشة من قبل Xinyue Yang
الرسم التوضيحي من قبل لينغ تشن
الحلم بالأغنام الكهربائية للدكتور إرنستو دياز أفيليس
تحليلات البيانات
كيف ترسم دائرة؟ بواسطة الكوارتز
فورما فلوينز من تأليف ماورو مارتينو وهندريك ستروبلت وأوين كورنيك
كم من الوقت يستغرق رسم كلب (سريع)؟ بواسطة جيم فالاندينجهام
العثور على رسومات طيور النحام السيئة باستخدام الشبكات العصبية المتكررة بقلم كولين موريس
الأوجه تغوص x سريعًا، ارسم! بواسطة مبادرة أبحاث People + AI (PAIR)، جوجل
استكشاف وتصور مجموعة بيانات عالمية مفتوحة بواسطة Google Research
التعلم الآلي للتصور - محادثة / مقال بقلم إيان جونسون
أوراق
التمثيل العصبي للرسومات التخطيطية لديفيد ها، دوجلاس إيك، ICLR 2018. الكود
Sketchmate: التجزئة العميقة لاسترجاع الرسومات البشرية بمليون مقياس بواسطة Peng Xu et al.، CVPR 2018.
محول متعدد الرسوم البيانية للتعرف على الرسم الحر بواسطة Peng Xu وChaitanya K Joshi وXavier Bresson وArXiv 2019. الكود
التعلم العميق للتمثيل الخاضع للإشراف الذاتي للرسم الحر بواسطة Peng Xu et al.، ArXiv 2020. الكود
SketchTransfer: مهمة جديدة صعبة لاستكشاف ثبات التفاصيل والتجريدات التي تعلمتها الشبكات العميقة بقلم Alex Lamb وSherjil Ozair وVikas Verma وDavid Ha وWACV 2020.
التعلم العميق للرسم الحر: استطلاع أجراه Peng Xu، ArXiv 2020.
نموذج جديد للتعرف على الرسومات يعتمد على الشبكات العصبية التلافيفية بقلم عبد الله طلحة كاباكوس، المؤتمر الدولي الثاني للتفاعل بين الإنسان والحاسوب، والتحسين والتطبيقات الروبوتية، الصفحات 101-106، 2020.
أدلة وبرامج تعليمية
برنامج TensorFlow التعليمي لتصنيف الرسم
تدريب نموذج في tf.keras مع Colab، وتشغيله في المتصفح مع TensorFlow.js بواسطة Zaid Alyafeai
الكود والأدوات
سريع، ارسم! واجهة برمجة تطبيقات مكونات البوليمر والبيانات بواسطة نيك جوناس
سريع، ارسم للمعالجة بواسطة كودي بن لويس
سريع، ارسم! نموذج التنبؤ بواسطة كيسوكي إيري
أداة العينة العشوائية من خلال إحصائيات التعلم رائعة
عرض SVG في مثال d3.js بواسطة Ian Johnson (اقرأ المزيد حول العملية هنا)
تصنيف Sketch-RNN بواسطة Payal Bajaj
Quickdraw.js بواسطة توماس واجينار
~ رسومات الشعار المبتكرة ~ بواسطة كريشنا سري سومبالي
Quickdraw Python API بواسطة مارتن أوهانلون
RealTime QuickDraw بواسطة أكشاي بهادور
معالجة DataFlow بواسطة Guillem Xercavins
QuickDrawGH Rhino Plugin بواسطة جيمس داليساندرو
QuickDrawBattle بواسطة أندري سون
25 مايو 2017: تم تحديث مجموعة بيانات Sketch-RNN QuickDraw، وإنشاء مجموعات تكميلية بتنسيق .full.npz .
تم توفير هذه البيانات بواسطة شركة Google, Inc. بموجب ترخيص Creative Commons Attribution 4.0 International.
يعد الجدول التالي ضروريًا لفهرسة مجموعة البيانات هذه بواسطة محركات البحث مثل Google Dataset Search.
| ملكية | قيمة | ||||||
|---|---|---|---|---|---|---|---|
| اسم | The Quick, Draw! Dataset | ||||||
| اسم بديل | Quick Draw Dataset | ||||||
| اسم بديل | quickdraw-dataset | ||||||
| عنوان URL | https://github.com/googlecreativelab/quickdraw-dataset | ||||||
| نفس | https://github.com/googlecreativelab/quickdraw-dataset | ||||||
| وصف | The Quick Draw Dataset is a collection of 50 million drawings across 345 categories, contributed by players of the game "Quick, Draw!". The drawings were captured as timestamped vectors, tagged with metadata including what the player was asked to draw and in which country the player was located.n n Example drawings:  | ||||||
| مزود |
| ||||||
| رخصة |
|
