venice Download - venice Quellcode herunterladen

venice

Anderer Quellcode

1.0.0

Herunterladen

Abgeleitete Datenplattform für Workloads im globalen Maßstab

Venice ist eine abgeleitete Datenspeicherplattform, die die folgenden Eigenschaften bietet:

Asynchrone Aufnahme mit hohem Durchsatz aus Batch- und Streaming-Quellen (z. B. Hadoop und Samza).
Online-Lesevorgänge mit geringer Latenz über Remote-Abfragen oder In-Process-Caching.
Aktiv-Aktiv-Replikation zwischen Regionen mit CRDT-basierter Konfliktlösung.
Multi-Cluster-Unterstützung innerhalb jeder Region mit betreibergesteuerter Clusterzuweisung.
Mandantenfähigkeit, horizontale Skalierbarkeit und Elastizität innerhalb jedes Clusters.

Dadurch eignet sich Venice besonders gut als zustandsbehaftete Komponente, die einen Feature Store wie Feathr unterstützt. KI-Anwendungen speisen die Ergebnisse ihrer ML-Trainingsjobs in Venice ein und fragen die Daten dann zur Verwendung bei Online-Inferenz-Workloads ab.

Überblick

Venice ist ein System, das die Offline-, Nearline- und Online-Welten umfasst, wie unten dargestellt.

Pfad schreiben

Der Venice-Schreibpfad kann in drei Granularitäten unterteilt werden: vollständiger Datensatzaustausch, Einfügen vieler Zeilen in einen vorhandenen Datensatz und Aktualisierungen einiger Spalten einiger Zeilen. Alle drei Granularitäten werden von Hadoop und Samza unterstützt. Darüber hinaus kann jeder Dienst mithilfe der Online Producer-Bibliothek auch asynchron einzelne Zeileneinfügungen und -aktualisierungen erstellen. Die folgende Tabelle fasst die von jeder Plattform unterstützten Schreibvorgänge zusammen:

	Hadoop	Samza	Jeder Dienst
Vollständiger Datensatzaustausch	✅	✅
Einfügen einiger Zeilen in einen vorhandenen Datensatz	✅	✅	✅
Aktualisierungen einiger Spalten einiger Zeilen	✅	✅	✅

Hybrid-Stores

Darüber hinaus können die drei Granularitäten von Schreibvorgängen alle in einem einzigen Datensatz gemischt werden. Ein Datensatz, der neben Zeileneinfügungen oder Zeilenaktualisierungen auch vollständige Datensatzaustausche erhält, wird als Hybrid bezeichnet.

Bei der Konfiguration eines Speichers als Hybrid ist die Rückspulzeit ein wichtiges Konzept. Sie definiert, wie weit die letzten Echtzeit-Schreibvorgänge zurückgespult und auf die neue Generation des eingelagerten Datensatzes angewendet werden sollen.

Durch die Nutzung dieses Mechanismus ist es möglich, die Ausgabe eines Stream-Verarbeitungsauftrags über die eines Batch-Auftrags zu legen. Wenn Teilaktualisierungen verwendet werden, ist es möglich, einige der Spalten in Echtzeit und andere im Batch zu aktualisieren, und diese beiden Spaltensätze können je nach Wunsch entweder überlappen oder disjunkt sein.

Schreiben Sie Compute

Write Compute umfasst zwei Arten von Operationen, die für den mit einem bestimmten Schlüssel verknüpften Wert ausgeführt werden können:

Teilweise Aktualisierung : Legen Sie den Inhalt eines Felds innerhalb des Werts fest.
Sammlungszusammenführung : Einträge in einem Satz oder einer Karte hinzufügen oder entfernen.

Hinweis: Derzeit wird Schreibberechnung nur in Verbindung mit Aktiv-Passiv-Replikation unterstützt. Unterstützung für die Aktiv-Aktiv-Replikation befindet sich in der Entwicklung.

Pfad lesen

Venice unterstützt die folgenden Lese-APIs:

Single get : Ruft den Wert ab, der einem einzelnen Schlüssel zugeordnet ist
Batch-Get : Ruft die mit einem Schlüsselsatz verknüpften Werte ab
Lesen Sie „Berechnen“ : Projizieren Sie einige Felder und/oder berechnen Sie eine Funktion für die Wertefelder, die einem Satz von Schlüsseln zugeordnet sind. Bei Verwendung des Read Compute DSL werden derzeit folgende Funktionen unterstützt:
- Skalarprodukt : Führen Sie ein Skalarprodukt für den in einem bestimmten Feld gespeicherten Float-Vektor mit einem anderen Float-Vektor durch, der als Abfrageparameter bereitgestellt wird, und geben Sie den resultierenden Skalar zurück.
- Kosinusähnlichkeit : Führen Sie eine Kosinusähnlichkeit des in einem bestimmten Feld gespeicherten Gleitkommavektors mit einem anderen als Abfrageparameter bereitgestellten Gleitkommavektor durch und geben Sie den resultierenden Skalar zurück.
- Hadamard-Produkt : Führen Sie ein Hadamard-Produkt für den in einem bestimmten Feld gespeicherten Float-Vektor mit einem anderen Float-Vektor aus, der als Abfrageparameter bereitgestellt wird, und geben Sie den resultierenden Vektor zurück.
- Sammlungsanzahl : Gibt die Anzahl der Elemente in der Sammlung zurück, die in einem bestimmten Feld gespeichert sind.

Client-Modi

Es gibt zwei Hauptmodi für den Zugriff auf Venedig-Daten:

Klassisches Venedig (staatenlos): Sie können Remote-Abfragen für den verteilten Backend-Dienst von Venice durchführen. Wenn in diesem Modus Lese-Rechenvorgänge verwendet werden, werden die Abfragen an das Backend weitergeleitet und nur die Berechnungsergebnisse werden an den Client zurückgegeben. Es gibt zwei Clients, die solche Remote-Abfragen durchführen können:
- Thin Client : Dies ist der einfachste Client, der Anfragen an die Router-Ebene sendet, die wiederum Anfragen an die Server-Ebene sendet.
- Schneller Client : Dieser Client ist sich der Partitionierung bewusst und kann daher Anfragen direkt an die richtige Serverinstanz senden und die Routing-Ebene überspringen. Beachten Sie, dass sich dieser Client noch in der Entwicklung befindet und möglicherweise nicht so stabil oder funktionell gleichwertig mit dem Thin Client ist.
Da Vinci (zustandsbehaftet): Alternativ können Sie einige oder alle Partitionen des Datensatzes eifrig laden und Abfragen für den resultierenden lokalen Cache durchführen. Zukünftige Aktualisierungen der Daten werden weiterhin eingestreamt und auf den lokalen Cache angewendet.

Die folgende Tabelle fasst die Merkmale der Kunden zusammen:

	Netzwerk-Hops	Typische Latenz (S. 99)	Staatlicher Fußabdruck
Thin Client	2	< 10 Millisekunden	Staatenlos
Schneller Kunde	1	< 2 Millisekunden	Minimal (nur Routing-Metadaten)
Da Vinci-Client (RAM + SSD)	0	< 1 Millisekunde	Begrenzter RAM, vollständiger Datensatz auf SSD
Da Vinci-Client (All-in-RAM)	0	< 10 Mikrosekunden	Vollständiger Datensatz im RAM

Alle diese Clients nutzen dieselben oben beschriebenen Lese-APIs. Dadurch können Benutzer Änderungen an ihrem Kosten-Leistungs-Kompromiss vornehmen, ohne ihre Anwendungen neu schreiben zu müssen.

Ressourcen

Der Open Sourcing Venice -Blog und der Konferenzvortrag sind gute Ausgangspunkte, um sich einen Überblick darüber zu verschaffen, welche Anwendungsfälle und Größenordnungen Venice unterstützen kann. Weitere Beiträge, Vorträge und Podcasts zu Venedig finden Sie auf unserer Seite „Mehr erfahren“.

Erste Schritte

Sehen Sie sich den Venice-Schnellstart an, um Ihren eigenen Venice-Cluster zu erstellen und einige Funktionen auszuprobieren, z. B. das Erstellen eines Datenspeichers, Batch-Push, inkrementelles Push und Single Get. Wir empfehlen, bei unserer neuesten stabilen Version zu bleiben.