Unduh venice - Unduh kode sumber venice

venice

Kode sumber lainnya

1.0.0

Unduh

Platform Data Turunan untuk Beban Kerja Skala Planet

Venesia adalah platform penyimpanan data turunan, yang memberikan karakteristik berikut:

Penyerapan asinkron throughput tinggi dari sumber batch dan streaming (misalnya Hadoop dan Samza).
Pembacaan online dengan latensi rendah melalui kueri jarak jauh atau cache dalam proses.
Replikasi aktif-aktif antar wilayah dengan resolusi konflik berbasis CRDT.
Dukungan multi-cluster di setiap wilayah dengan penetapan cluster yang digerakkan oleh operator.
Multi-tenancy, skalabilitas horizontal, dan elastisitas dalam setiap cluster.

Hal di atas menjadikan Venesia sangat cocok sebagai komponen negara yang mendukung Feature Store, seperti Feathr. Aplikasi AI memasukkan output tugas pelatihan ML mereka ke Venesia dan kemudian mengkueri data untuk digunakan selama beban kerja inferensi online.

Ringkasan

Venesia adalah sebuah sistem yang melintasi dunia offline, nearline, dan online, seperti yang diilustrasikan di bawah ini.

Tulis Jalur

Jalur penulisan Venesia dapat dibagi menjadi tiga rincian: pertukaran kumpulan data lengkap, penyisipan banyak baris ke dalam kumpulan data yang ada, dan pembaruan beberapa kolom dari beberapa baris. Ketiga granularitas tersebut didukung oleh Hadoop dan Samza. Selain itu, layanan apa pun juga dapat menghasilkan penyisipan dan pembaruan baris tunggal secara asinkron, menggunakan pustaka Produser Online. Tabel di bawah ini merangkum operasi penulisan yang didukung oleh setiap platform:

	Hadoop	Samza	Layanan Apa Pun
Pertukaran kumpulan data penuh	✅	✅
Penyisipan beberapa baris ke dalam kumpulan data yang sudah ada	✅	✅	✅
Pembaruan pada beberapa kolom dari beberapa baris	✅	✅	✅

Toko Hibrida

Selain itu, ketiga rincian operasi tulis semuanya dapat digabungkan dalam satu kumpulan data. Himpunan data yang mendapat pertukaran himpunan data penuh selain penyisipan baris atau pembaruan baris disebut hybrid .

Sebagai bagian dari mengonfigurasi penyimpanan menjadi hybrid , konsep penting adalah waktu mundur (rewind time ), yang menentukan seberapa jauh penulisan real-time baru-baru ini harus diputar ulang dan diterapkan pada kumpulan data generasi baru yang ditukar.

Dengan memanfaatkan mekanisme ini, output dari pekerjaan pemrosesan aliran dapat ditumpangkan di atas output dari pekerjaan batch. Jika menggunakan pembaruan parsial, maka ada kemungkinan beberapa kolom diperbarui secara real-time dan beberapa lagi dalam batch, dan kedua kumpulan kolom ini dapat tumpang tindih atau terputus-putus, sesuai keinginan.

Tulis Hitung

Write Compute mencakup dua jenis operasi, yang dapat dilakukan pada nilai yang terkait dengan kunci tertentu:

Pembaruan sebagian : mengatur konten bidang dalam nilai.
Penggabungan koleksi : menambah atau menghapus entri dalam satu set atau peta.

NB: Saat ini, komputasi tulis hanya didukung bersama dengan replikasi aktif-pasif. Dukungan untuk replikasi aktif-aktif sedang dikembangkan.

Baca Jalur

Venesia mendukung API baca berikut:

Single get : mendapatkan nilai yang terkait dengan satu kunci
Batch get : mendapatkan nilai yang terkait dengan sekumpulan kunci
Baca komputasi : memproyeksikan beberapa bidang dan/atau menghitung beberapa fungsi pada bidang nilai yang terkait dengan sekumpulan kunci. Saat menggunakan DSL komputasi baca, fungsi berikut saat ini didukung:
- Perkalian titik : melakukan perkalian titik pada vektor float yang disimpan dalam bidang tertentu, terhadap vektor float lain yang disediakan sebagai parameter kueri, dan mengembalikan skalar yang dihasilkan.
- Kesamaan kosinus : melakukan kesamaan kosinus pada vektor float yang disimpan dalam bidang tertentu, terhadap vektor float lain yang disediakan sebagai parameter kueri, dan mengembalikan skalar yang dihasilkan.
- Produk Hadamard : melakukan produk Hadamard pada vektor float yang disimpan dalam bidang tertentu, terhadap vektor float lain yang disediakan sebagai parameter kueri, dan mengembalikan vektor yang dihasilkan.
- Jumlah koleksi : mengembalikan jumlah item dalam koleksi yang disimpan di bidang tertentu.

Mode Klien

Ada dua mode utama untuk mengakses data Venesia:

Venesia Klasik (tanpa kewarganegaraan): Anda dapat melakukan kueri jarak jauh terhadap layanan backend terdistribusi Venesia. Jika menggunakan operasi komputasi baca dalam mode ini, kueri akan didorong ke backend dan hanya hasil komputasi yang dikembalikan ke klien. Ada dua klien yang mampu melakukan kueri jarak jauh seperti itu:
- Thin Client : Ini adalah klien paling sederhana, yang mengirimkan permintaan ke tingkat router, yang dengan sendirinya mengirimkan permintaan ke tingkat server.
- Klien Cepat : Klien ini sadar akan partisi, dan oleh karena itu dapat mengirim permintaan langsung ke server yang benar, melewati tingkat perutean. Perhatikan bahwa klien ini masih dalam pengembangan dan mungkin tidak stabil atau memiliki kesamaan fungsi dengan Thin Client.
Da Vinci (stateful): Alternatifnya, Anda dapat memuat beberapa atau semua partisi kumpulan data dan melakukan kueri terhadap cache lokal yang dihasilkan. Pembaruan data di masa mendatang terus dialirkan dan diterapkan ke cache lokal.

Tabel di bawah ini merangkum karakteristik klien:

	Hop Jaringan	Latensi tipikal (p99)	Jejak Negara
Klien Tipis	2	<10 milidetik	Tanpa kewarganegaraan
Klien Cepat	1	< 2 milidetik	Minimal (hanya metadata perutean)
Klien Da Vinci (RAM + SSD)	0	< 1 milidetik	RAM terbatas, kumpulan data lengkap pada SSD
Klien Da Vinci (RAM lengkap)	0	<10 mikrodetik	Kumpulan data lengkap dalam RAM

Semua klien ini berbagi API baca yang sama seperti yang dijelaskan di atas. Hal ini memungkinkan pengguna untuk melakukan perubahan pada pengorbanan biaya/kinerja tanpa perlu menulis ulang aplikasi mereka.

Sumber daya

Blog Open Sourcing Venice dan pembicaraan konferensi adalah titik awal yang baik untuk mendapatkan gambaran umum tentang kasus penggunaan dan skala apa yang dapat didukung Venesia. Untuk postingan, pembicaraan, dan podcast Venesia lainnya, lihat halaman Pelajari Lebih Lanjut.

Memulai

Lihat mulai cepat Venesia untuk membuat cluster Venesia Anda sendiri dan bermain-main dengan beberapa fitur seperti membuat penyimpanan data, batch push, inkremental push, dan single get. Kami merekomendasikan untuk tetap menggunakan rilis stabil terbaru kami.