quickdraw dataset
1.0.0
Kumpulan Data Quick Draw adalah kumpulan 50 juta gambar di 345 kategori, yang disumbangkan oleh pemain game Quick, Draw!. Gambar-gambar tersebut diambil sebagai vektor yang diberi stempel waktu, ditandai dengan metadata termasuk apa yang diminta untuk digambar oleh pemain dan di negara mana pemain tersebut berada. Anda dapat menelusuri gambar yang dikenali di quickdraw.withgoogle.com/data.
Kami membagikannya di sini agar para pengembang, peneliti, dan seniman dapat mengeksplorasi, mempelajari, dan belajar. Jika Anda membuat sesuatu dengan kumpulan data ini, harap beri tahu kami melalui email atau di Eksperimen AI.
Kami juga telah merilis tutorial dan model untuk melatih pengklasifikasi gambar Anda sendiri di tensorflow.org.
Harap diingat bahwa meskipun koleksi gambar ini dimoderasi secara individual, mungkin masih berisi konten yang tidak pantas.
Kumpulan data mentah yang dimoderasi
Kumpulan data yang telah diproses sebelumnya
Dapatkan datanya
Proyek menggunakan kumpulan data
Perubahan
Lisensi
Data mentah tersedia sebagai file ndjson yang dipisahkan berdasarkan kategori, dalam format berikut:
| Kunci | Jenis | Keterangan |
|---|---|---|
| kunci_id | Bilangan bulat 64-bit yang tidak ditandatangani | Pengidentifikasi unik di semua gambar. |
| kata | rangkaian | Kategori pemain diminta untuk menggambar. |
| dikenali | boolean | Apakah kata tersebut dikenali oleh game. |
| stempel waktu | tanggalwaktu | Saat gambar itu dibuat. |
| kode negara | rangkaian | Kode negara dua huruf (ISO 3166-1 alpha-2) tempat pemain berada. |
| menggambar | rangkaian | Array JSON yang mewakili gambar vektor |
Setiap baris berisi satu gambar. Berikut ini contoh gambar tunggal:
{ "key_id":"5891796615823360","word":"nose","kode negara":"AE","cap waktu":"01-03-2017 20:41:36.70725 UTC","diakui":benar,"gambar":[[[129,128,129,129,130,130,131,132,132,133,133,133,133,...]]]
}Format array gambarnya adalah sebagai berikut:
[ [ // Pukulan pertama [x0, x1, x2, x3, ...],[y0, y1, y2, y3, ...],[t0, t1, t2, t3, ...] ], [ // Pukulan kedua[x0, x1, x2, x3, ...],[y0, y1, y2, y3, ...],[t0, t1, t2, t3, ...] ], ... // Pukulan tambahan]
Dimana x dan y adalah koordinat piksel, dan t adalah waktu dalam milidetik sejak titik pertama. x dan y bernilai riil sedangkan t adalah bilangan bulat. Gambar mentah dapat memiliki kotak pembatas dan jumlah titik yang sangat berbeda karena perbedaan perangkat yang digunakan untuk tampilan dan masukan.
Kami telah memproses terlebih dahulu dan membagi kumpulan data ke dalam berbagai file dan format untuk membuatnya lebih cepat dan mudah untuk diunduh dan dijelajahi.
.ndjson ) Kami telah menyederhanakan vektor, menghapus informasi waktu, dan memposisikan serta menskalakan data ke dalam wilayah 256x256. Data diekspor dalam format ndjson dengan metadata yang sama dengan format mentah. Proses penyederhanaannya adalah:
Sejajarkan gambar ke sudut kiri atas, untuk mendapatkan nilai minimum 0.
Skalakan gambar secara seragam, untuk mendapatkan nilai maksimum 255.
Contoh ulang semua goresan dengan jarak 1 piksel.
Sederhanakan semua goresan menggunakan algoritma Ramer–Douglas–Peucker dengan nilai epsilon 2.0.
Ada contoh di example/nodejs/siverted-parser.js yang menunjukkan cara membaca file ndjson di NodeJS.
Selain itu, dokumen example/nodejs/ndjson.md merinci serangkaian alat baris perintah yang dapat membantu menjelajahi subset dari file yang cukup besar ini.
.bin )Gambar dan metadata yang disederhanakan juga tersedia dalam format biner khusus untuk kompresi dan pemuatan yang efisien.
Ada contoh di example/binary_file_parser.py yang menunjukkan cara memuat file biner dengan Python.
Ada juga contoh di example/nodejs/binary-parser.js yang menunjukkan cara membaca file biner di NodeJS.
.npy ) Semua gambar yang disederhanakan telah dirender menjadi bitmap skala abu-abu 28x28 dalam format numpy .npy . File dapat dimuat dengan np.load() . Gambar-gambar ini dihasilkan dari data yang disederhanakan, namun disejajarkan dengan bagian tengah kotak pembatas gambar, bukan di pojok kiri atas. Lihat di sini untuk cuplikan kode yang digunakan untuk pembuatan.
Kumpulan data tersedia di Google Cloud Storage sebagai file ndjson yang dipisahkan berdasarkan kategori. Lihat daftar file di Cloud, atau baca selengkapnya tentang mengakses kumpulan data publik menggunakan metode lain. Sebagai contoh, untuk mendownload semua gambar yang disederhanakan dengan mudah, salah satu caranya adalah dengan menjalankan perintah gsutil -m cp 'gs://quickdraw_dataset/full/simplified/*.ndjson' .
File mentah ( .ndjson )
File gambar yang disederhanakan ( .ndjson )
File biner ( .bin )
File bitmap numpy ( .npy )
Data ini juga digunakan untuk melatih model Sketch-RNN. Implementasi TensorFlow open source untuk model ini tersedia di Proyek Magenta, (tautan ke repo GitHub). Anda juga dapat membaca selengkapnya tentang model ini di postingan blog Riset Google ini. Data disimpan dalam file .npz terkompresi, dalam format yang sesuai untuk masukan ke jaringan saraf berulang.
Dalam dataset ini, 75K sampel (Pelatihan 70K, Validasi 2,5K, Tes 2,5K) telah dipilih secara acak dari setiap kategori, diproses dengan penyederhanaan garis RDP dengan parameter epsilon 2.0. Setiap kategori akan disimpan dalam file .npz sendiri, misalnya cat.npz .
Kami juga telah menyediakan data lengkap untuk setiap kategori, jika Anda ingin menggunakan lebih dari 70K contoh pelatihan. Ini disimpan dengan ekstensi .full.npz .
File .npz yang tidak banyak
Catatan: Untuk Python3, memuat file npz menggunakan np.load(data_filepath, encoding='latin1', allow_pickle=True)
Petunjuk untuk mengonversi file ndjson mentah ke format npz ini tersedia di buku catatan ini.
Berikut beberapa proyek dan eksperimen yang menggunakan atau menampilkan kumpulan data dengan cara yang menarik. Ada yang perlu ditambahkan? Beri tahu kami!
Proyek kreatif dan artistik
Kolase surat oleh Deborah Schmidt
Eksperimen pelacakan wajah oleh Neil Mendoza
Wajah Kemanusiaan dengan Tortue
QuickDraw Tak Terbatas oleh kynd.info
Misfire.io oleh Matthew Collyer
Gambar Ini oleh Dan Macnish
Mencoret-coret Pidato oleh Xinyue Yang
ilustrasi oleh Ling Chen
Memimpikan Domba Listrik oleh Dr. Ernesto Diaz-Aviles
Analisis data
Bagaimana cara menggambar lingkaran? oleh Kuarsa
Forma Fluens oleh Mauro Martino, Hendrik Strobelt dan Owen Cornec
Berapa Lama untuk (Cepat) Menggambar Anjing? oleh Jim Vallandingham
Menemukan gambar flamingo yang buruk dengan jaringan saraf berulang oleh Colin Morris
Aspek Menyelam x Cepat, Gambar! oleh Inisiatif Penelitian People + AI (PAIR), Google
Menjelajahi dan Memvisualisasikan Kumpulan Data Global Terbuka oleh Google Research
Pembelajaran Mesin untuk Visualisasi - Pembicaraan / artikel oleh Ian Johnson
Dokumen
Representasi Neural Gambar Sketsa oleh David Ha, Douglas Eck, ICLR 2018. kode
Sketchmate: Hashing mendalam untuk pengambilan sketsa manusia berskala jutaan oleh Peng Xu dkk., CVPR 2018.
Transformator multi-graf untuk pengenalan sketsa tangan bebas oleh Peng Xu, Chaitanya K Joshi, Xavier Bresson, ArXiv 2019. kode
Pembelajaran Representasi dengan Pengawasan Diri yang Mendalam untuk Sketsa Tangan Bebas oleh Peng Xu dkk., ArXiv 2020. kode
SketchTransfer: Tugas Baru yang Menantang untuk Menjelajahi Invariansi Detail dan Abstraksi yang Dipelajari oleh Deep Networks oleh Alex Lamb, Sherjil Ozair, Vikas Verma, David Ha, WACV 2020.
Pembelajaran Mendalam untuk Sketsa Tangan Bebas: Survei oleh Peng Xu, ArXiv 2020.
Model Pengenalan Sketsa Novel berdasarkan Jaringan Syaraf Konvolusional oleh Abdullah Talha Kabakus, Kongres Internasional ke-2 tentang Interaksi Manusia-Komputer, Optimasi, dan Aplikasi Robot, hal.101-106, 2020.
Panduan & Tutorial
Tutorial TensorFlow untuk klasifikasi gambar
Latih model di tf.keras dengan Colab, dan jalankan di browser dengan TensorFlow.js oleh Zaid Alyafeai
Kode dan alat
Cepat, Gambar! Komponen Polimer & API Data oleh Nick Jonas
Cepat, Gambar untuk Diproses oleh Cody Ben Lewis
Cepat, Gambar! model prediksi oleh Keisuke Irie
Alat sampel acak dengan mempelajari statistik sungguh mengagumkan
Render SVG dalam contoh d3.js oleh Ian Johnson (baca selengkapnya tentang prosesnya di sini)
Klasifikasi Sketsa-RNN oleh Payal Bajaj
quickdraw.js oleh Thomas Wagenaar
~ Pencoret-coret ~ oleh Krishna Sri Somepalli
quickdraw Python API oleh Martin O'Hanlon
QuickDraw Waktu Nyata oleh Akshay Bahadur
Pemrosesan DataFlow oleh Guillem Xercavins
Plugin Badak QuickDrawGH oleh James Dalessandro
QuickDrawBattle oleh Andri Soone
25 Mei 2017: Kumpulan data QuickDraw Sketch-RNN yang diperbarui, membuat kumpulan pelengkap .full.npz .
Data ini disediakan oleh Google, Inc. di bawah lisensi Creative Commons Attribution 4.0 International.
Tabel berikut diperlukan agar kumpulan data ini dapat diindeks oleh mesin pencari seperti Pencarian Kumpulan Data Google.
| milik | nilai | ||||||
|---|---|---|---|---|---|---|---|
| nama | The Quick, Draw! Dataset | ||||||
| nama alternatif | Quick Draw Dataset | ||||||
| nama alternatif | quickdraw-dataset | ||||||
| url | https://github.com/googlecreativelab/quickdraw-dataset | ||||||
| samaSebagai | https://github.com/googlecreativelab/quickdraw-dataset | ||||||
| keterangan | The Quick Draw Dataset is a collection of 50 million drawings across 345 categories, contributed by players of the game "Quick, Draw!". The drawings were captured as timestamped vectors, tagged with metadata including what the player was asked to draw and in which country the player was located.n n Example drawings:  | ||||||
| penyedia |
| ||||||
| lisensi |
|
