DuckDB-Wasm

DuckDB — это внутрипроцессная система управления базами данных SQL OLAP.

DuckDB-Wasm позволяет использовать DuckDB в каждом браузере благодаря WebAssembly.

Duckdb-Wasm свободно говорит на Arrow, читает файлы Parquet, CSV и JSON, поддерживаемые API-интерфейсами файловой системы или HTTP-запросами, и был протестирован с Chrome, Firefox, Safari и Node.js. Узнайте больше о DuckDB-Wasm из нашей публикации VLDB или записанного выступления.

Попробуйте его на сайте shell.duckdb.org или внешнюю стороннюю вставку DuckDB-Wasm, прочитайте документацию API, ознакомьтесь с примерами веб-приложений и пообщайтесь с нами в Discord.

DuckDB и DuckDB-Wasm

DuckDB-Wasm в настоящее время основан на DuckDB v1.1.1.

Соответствующие различия:

Стек HTTP различается в собственной версии DuckDB и версии Wasm. Наиболее актуальными являются:
- Запросы всегда обновляются до HTTPS.
- Запросам нужен сервер, чтобы разрешить доступ Cross Origin к данному ресурсу.
- Реализация файловой системы (например, S3) отличается, и это может вызвать некоторые различия.
Установка расширения является ленивой, что означает, что INSTALL extension_name FROM 'https://repository.endpoint.org'; отложить получение расширения до первого LOAD extension_name; инструкция. INSTALL x FROM community; также поддерживаются сокращения.
Сборки DuckDB-Wasm оптимизированы по скорости загрузки. Основные расширения, такие как автозаполнение, JSON, Parquet и ICU, обычно входят в состав двоичных файлов DuckDB, тогда как в Duckdb-wasm они автоматически загружаются (включая их выборку) во время выполнения. В частности, автозагрузка ICU не работает корректно во всех случаях, явная LOAD icu; может потребоваться для воспроизведения того же поведения.
DuckDB-Wasm находится в песочнице и может не иметь такого же уровня поддержки внешних операций и доступа к файловой системе.
Режим DuckDB-Wasm по умолчанию — однопоточный. Многопоточность на данный момент все еще находится на стадии эксперимента.

Поддерживаемые функции DuckDB:

Файлы баз данных DuckDB совместимы для чтения из DuckDB-Wasm.
Файлы баз данных можно сделать доступными, просто выполнив следующие действия: ATTACH 'https://blobs.duckdb.org/data/test.db'; FROM db.t; демо
Пространственная поддержка с помощью LOAD spatial
DuckDB-Wasm поддерживает растущее количество расширений, как основных, так и внешних, а также сообществ.
Многопоточность работает, но она все еще экспериментальная и по умолчанию не включена.

Расширение DuckDB-Wasm и DuckDB

DuckDB является расширяемой, что позволяет делегировать функциональность расширениям.

Основные расширения доступны по адресу https://extensions.duckdb.org, а расширения сообщества — по адресу https://community-extensions.duckdb.org.

 -- - Excplicitly load extensions
LOAD icu;

-- - Or have them autoloaded when using relevant functions or settings
DESCRIBE FROM read_parquet( ' https://blobs.duckdb.org/stations.parquet ' );  -- (this autoloads JSON)

-- - Or register extensions
INSTALL h3 FROM community;
INSTALL sqlite_scanner FROM ' https://extensions.duckdb.org ' ;
INSTALL quack FROM ' https://community-extensions.duckdb.org ' ;

-- - And then load them
LOAD h3;
LOAD sqlite_scanner;
LOAD quack;

 FROM duckdb_extensions() WHERE loaded;

Покажет, что загружены h3, icu, parquet, quack и sqlite_scanner.

Вы можете попробовать демо-версию Shell с загрузкой расширений, но для этого потребуется передать по сети около 3,2 МБ сжатых файлов Wasm (при первом посещении может помочь кэширование).

Размеры расширений будут различаться в зависимости, среди прочего, от предоставляемых функций или используемого набора инструментов.

Сборка из исходного кода

git clone https://github.com/duckdb/duckdb-wasm.git
cd duckdb-wasm
git submodule init
git submodule update
make apply_patches
make serve

Структура репозитория

Подпроект	Описание	Язык
Duckdb_wasm	Библиотека Васм	С++
@duckdb/duckdb-wasm	Машинописный API	Машинопись
@duckdb/duckdb-wasm-shell	SQL-оболочка	Ржавчина
@duckdb/duckdb-wasm-app	Страница GitHub	Машинопись
@duckdb/реакция-duckdb	Реагирующие хуки	Машинопись