venice

地球規模のワークロードのための派生データ プラットフォーム

Venice は派生データ ストレージ プラットフォームであり、次の特徴を備えています。

1. バッチおよびストリーミング ソース (Hadoop や Samza など) からの高スループットの非同期取り込み。
2. リモート クエリまたはインプロセス キャッシュを介した低レイテンシのオンライン読み取り。
3. CRDT ベースの競合解決によるリージョン間のアクティブ/アクティブ レプリケーション。
4. オペレーター主導のクラスター割り当てによる各リージョン内のマルチクラスターのサポート。
5. 各クラスター内のマルチテナンシー、水平方向のスケーラビリティ、および弾力性。

上記のことから、Venice は、Feather などの機能ストアをサポートするステートフル コンポーネントとして特に適しています。 AI アプリケーションは、ML トレーニング ジョブの出力を Venice にフィードし、オンライン推論ワークロード中に使用するデータをクエリします。

概要

Venice は、以下に示すように、オフライン、ニアライン、オンラインの世界にまたがるシステムです。

書き込みパス

Venice 書き込みパスは、データセット全体のスワップ、既存のデータセットへの多数の行の挿入、および一部の行の一部の列の更新の 3 つの粒度に分類できます。 3 つの粒度はすべて、Hadoop と Samza によってサポートされています。さらに、どのサービスでも、オンライン プロデューサー ライブラリを使用して、単一行の挿入と更新を非同期に生成できます。以下の表は、各プラットフォームでサポートされる書き込み操作をまとめたものです。

	ハドゥープ	ザムザ	あらゆるサービス
完全なデータセット交換	✅	✅
既存のデータセットへのいくつかの行の挿入	✅	✅	✅
一部の行の一部の列を更新します	✅	✅	✅

ハイブリッドストア

さらに、書き込み操作の 3 つの粒度はすべて、単一のデータセット内で混合できます。行の挿入または行の更新に加えて、完全なデータセットの交換を行うデータセットは、ハイブリッドと呼ばれます。

ストアをハイブリッドに構成する一環として、重要な概念は巻き戻し時間です。これは、最近のリアルタイム書き込みをどれだけ遡って巻き戻して、スワップインされる新しい世代のデータセットに適用するかを定義します。

このメカニズムを利用すると、ストリーム処理ジョブの出力をバッチ ジョブの出力にオーバーレイすることができます。部分更新を使用する場合、一部の列をリアルタイムで更新し、一部をバッチで更新することができ、必要に応じて、これら 2 つの列のセットを重複させたり、切り離したりすることができます。

書き込みコンピューティング

Write Compute には、特定のキーに関連付けられた値に対して実行できる 2 種類の操作が含まれています。

• 部分更新: 値内のフィールドの内容を設定します。
• コレクションのマージ: セットまたはマップ内のエントリを追加または削除します。

注意: 現在、書き込みコンピューティングは、アクティブ/パッシブ レプリケーションと組み合わせた場合のみサポートされています。アクティブ/アクティブ レプリケーションのサポートは開発中です。

読み取りパス

Venice は次の読み取り API をサポートしています。

• Single get : 単一のキーに関連付けられた値を取得します
• Batch get : キーのセットに関連付けられた値を取得します
• compute を読み取ります。キーのセットに関連付けられた値のフィールドに対していくつかのフィールドを投影したり、関数を計算したりします。読み取りコンピューティング DSL を使用する場合、現在次の関数がサポートされています。
  • ドット積: クエリ パラメーターとして指定された別の浮動小数点ベクトルに対して、指定されたフィールドに格納されている浮動小数点ベクトルに対してドット積を実行し、結果のスカラーを返します。
  • コサイン類似度: クエリ パラメーターとして指定された別の浮動小数点数ベクトルに対して、指定されたフィールドに格納されている浮動小数点ベクトルのコサイン類似度を実行し、結果のスカラーを返します。
  • アダマール積: クエリ パラメータとして指定された別の浮動小数点ベクトルに対して、指定されたフィールドに格納されている浮動小数点ベクトルに対してアダマール積を実行し、結果のベクトルを返します。
  • Collection count : 指定されたフィールドに格納されているコレクション内のアイテムの数を返します。

クライアントモード

Venice データにアクセスするには、主に 2 つのモードがあります。

• Classical Venice (ステートレス): Venice の分散バックエンド サービスに対してリモート クエリを実行できます。このモードで読み取り計算操作を使用する場合、クエリはバックエンドにプッシュダウンされ、計算結果のみがクライアントに返されます。このようなリモート クエリを実行できるクライアントは 2 つあります。
  • シン クライアント: これは最も単純なクライアントで、ルーター層にリクエストを送信し、ルーター層自体がサーバー層にリクエストを送信します。
  • 高速クライアント: このクライアントはパーティショニングを認識するため、ルーティング層をスキップして、正しいサーバー インスタンスにリクエストを直接送信できます。このクライアントはまだ開発中であるため、シン クライアントほど安定しておらず、機能的にも同等ではない可能性があることに注意してください。
• Da Vinci (ステートフル): あるいは、データセットの一部またはすべてのパーティションを積極的にロードし、結果として得られるローカル キャッシュに対してクエリを実行することもできます。今後のデータの更新は引き続きストリーミングされ、ローカル キャッシュに適用されます。

以下の表は、クライアントの特徴をまとめたものです。

	ネットワークホップ	一般的なレイテンシ (p99)	州のフットプリント
シンクライアント	2	10 ミリ秒未満	ステートレス
高速クライアント	1	< 2 ミリ秒	最小限 (ルーティングメタデータのみ)
ダヴィンチクライアント (RAM + SSD)	0	1 ミリ秒未満	境界付き RAM、SSD 上の完全なデータセット
Da Vinci クライアント (オールイン RAM)	0	10 マイクロ秒未満	RAM 内の完全なデータセット

これらのクライアントはすべて、上で説明した同じ読み取り API を共有します。これにより、ユーザーはアプリケーションを書き直すことなく、コストとパフォーマンスのトレードオフを変更できるようになります。

リソース

Open Sourcing Venice のブログとカンファレンスでの講演は、Venice がどのようなユースケースと規模をサポートできるかの概要を把握するための良い出発点となります。ヴェネツィアに関するその他の投稿、講演、ポッドキャストについては、「詳細」ページをご覧ください。

はじめる

Venice クイックスタートを参照して独自の Venice クラスターを作成し、データ ストアの作成、バッチ プッシュ、増分プッシュ、単一取得などの機能を試してみましょう。最新の安定リリースを使用することをお勧めします。

コミュニティ

以下を使用して、お気軽にコミュニティに参加してください。

• Slack ワークスペース
  • Linen でアーカイブされ、公的に検索可能
• LinkedInグループ
• GitHubの問題
• 寄稿者向けガイド

ヴェネツィアのプロジェクトとコミュニティの進捗状況について詳しく知るには、私たちをフォローしてください:

• 公式ブログ
• LinkedIn ページ
• Xページ
• YouTube チャンネル