Загрузка venice - Загрузка исходного кода venice

venice

Другой исходный код

1.0.0

Скачать

Платформа производных данных для рабочих нагрузок планетарного масштаба

Venice — это производная платформа хранения данных, обладающая следующими характеристиками:

Высокопроизводительный асинхронный прием из пакетных и потоковых источников (например, Hadoop и Samza).
Оперативное чтение с низкой задержкой посредством удаленных запросов или внутрипроцессного кэширования.
Активная-активная репликация между регионами с разрешением конфликтов на основе CRDT.
Поддержка нескольких кластеров в каждом регионе с назначением кластеров под управлением оператора.
Мультиарендность, горизонтальная масштабируемость и эластичность внутри каждого кластера.

Вышеупомянутое делает Venice особенно подходящим в качестве компонента с состоянием, поддерживающего хранилище функций, такое как Feathr. Приложения искусственного интеллекта передают результаты своих заданий по обучению ML в Venice, а затем запрашивают данные для использования во время рабочих нагрузок онлайн-выводов.

Обзор

Венеция — это система, охватывающая офлайн-, ближайший и онлайн-миры, как показано ниже.

Написать путь

Путь записи в Венеции можно разбить на три этапа: полная замена набора данных, вставка множества строк в существующий набор данных и обновление некоторых столбцов некоторых строк. Все три уровня детализации поддерживаются Hadoop и Samza. Кроме того, любая служба может асинхронно производить вставки и обновления отдельных строк, используя библиотеку Online Producer. В таблице ниже приведены операции записи, поддерживаемые каждой платформой:

	Хадуп	Самза	Любая услуга
Полная замена набора данных	✅	✅
Вставка некоторых строк в существующий набор данных	✅	✅	✅
Обновления некоторых столбцов некоторых строк	✅	✅	✅

Гибридные магазины

Более того, все три степени детализации операций записи могут быть смешаны в одном наборе данных. Набор данных, который получает полную замену набора данных в дополнение к вставке или обновлению строк, называется гибридным .

В рамках настройки гибридного хранилища важной концепцией является время перемотки , которое определяет, насколько далеко назад должны быть перемотаны недавние записи в реальном времени и применены поверх подкачиваемого набора данных нового поколения.

Используя этот механизм, можно наложить выходные данные задания потоковой обработки на выходные данные пакетного задания. При использовании частичного обновления некоторые столбцы можно обновлять в режиме реального времени, а некоторые — в пакетном режиме, и эти два набора столбцов могут либо перекрываться, либо быть непересекающимися по желанию.

Написать Вычислить

Write Compute включает в себя два типа операций, которые можно выполнять со значением, связанным с данным ключом:

Частичное обновление : установите содержимое поля в значение.
Объединение коллекций : добавление или удаление записей в наборе или на карте.

Примечание. В настоящее время вычисления при записи поддерживаются только в сочетании с активно-пассивной репликацией. Поддержка репликации «активный-активный» находится в стадии разработки.

Чтение пути

Венеция поддерживает следующие API чтения:

Single get : получить значение, связанное с одним ключом.
Пакетное получение : получение значений, связанных с набором ключей.
Чтение вычислений : спроецируйте некоторые поля и/или вычислите некоторую функцию над полями значений, связанных с набором ключей. При использовании DSL для чтения и вычислений в настоящее время поддерживаются следующие функции:
- Скалярное произведение : выполнить скалярное произведение вектора с плавающей запятой, хранящегося в данном поле, против другого вектора с плавающей запятой, предоставленного в качестве параметра запроса, и вернуть полученный скаляр.
- Косинусное сходство : выполнить косинусное сходство вектора с плавающей запятой, хранящегося в данном поле, с другим вектором с плавающей запятой, предоставленным в качестве параметра запроса, и вернуть полученный скаляр.
- Произведение Адамара : выполнить произведение Адамара для вектора с плавающей запятой, хранящегося в данном поле, против другого вектора с плавающей запятой, предоставленного в качестве параметра запроса, и вернуть результирующий вектор.
- Количество коллекций : возвращает количество элементов коллекции, хранящихся в данном поле.

Клиентские режимы

Существует два основных режима доступа к данным Венеции:

Классическая Венеция (без гражданства). Вы можете выполнять удаленные запросы к распределенной серверной службе Венеции. Если в этом режиме используются операции чтения и вычисления, запросы передаются на серверную часть, а клиенту возвращаются только результаты вычислений. Есть два клиента, способные выполнять такие удаленные запросы:
- Тонкий клиент : это простейший клиент, который отправляет запросы на уровень маршрутизатора, который сам отправляет запросы на уровень сервера.
- Быстрый клиент : этот клиент поддерживает разделение и поэтому может отправлять запросы непосредственно на правильный экземпляр сервера, минуя уровень маршрутизации. Обратите внимание, что этот клиент все еще находится в стадии разработки и может быть не таким стабильным и не иметь функционального равенства с тонким клиентом.
Да Винчи (с сохранением состояния): Альтернативно вы можете сразу загрузить некоторые или все разделы набора данных и выполнить запросы к полученному локальному кешу. Будущие обновления данных продолжают передаваться в потоковом режиме и применяться к локальному кэшу.

В таблице ниже приведены характеристики клиентов:

	Сетевые переходы	Типичная задержка (p99)	Государственный след
Тонкий клиент	2	< 10 миллисекунд	Лицо без гражданства
Быстрый клиент	1	< 2 миллисекунд	Минимальный (только метаданные маршрутизации)
Клиент Да Винчи (ОЗУ + SSD)	0	< 1 миллисекунды	Ограниченная оперативная память, полный набор данных на SSD
Клиент Da Vinci (все в оперативной памяти)	0	< 10 микросекунд	Полный набор данных в оперативной памяти

Все эти клиенты используют одни и те же API чтения, описанные выше. Это позволяет пользователям вносить изменения в соотношение цены и производительности без необходимости переписывать свои приложения.

Ресурсы

Блог Open Sourcing Venice и доклад на конференции являются хорошей отправной точкой для получения обзора того, какие варианты использования и масштабы может поддерживать Venice. Дополнительные сообщения, выступления и подкасты о Венеции можно найти на нашей странице «Подробнее».

Начиная

Обратитесь к краткому руководству по Венеции, чтобы создать собственный кластер Венеции и поэкспериментировать с некоторыми функциями, такими как создание хранилища данных, пакетная передача, инкрементная передача и однократное получение. Мы рекомендуем придерживаться нашей последней стабильной версии.