Quark

夸克容器

歡迎來到夸克容器。

該存儲庫是 Quark 容器程式碼的所在地。

什麼是夸克容器

Quark Container 是高效能安全容器運作時，具有以下功能：

1. OCI 相容：Quark Container 包含開放容器計劃 (OCI) 介面。常見的 Docker 容器映像可以在 Quark 容器中運作。
2. 安全性：它提供虛擬機器層級的工作負載隔離和安全性。
3. 高效能：Quark Container 為高效能容器工作負載執行而生。它是用 Rust 程式語言開發的。

性能測試

效能切片是 Performance.pdf。詳細測試步驟和結果在這裡

建築學

Quark Container 採用經典的 Linux 虛擬機器架構，如下圖所示。它包括一個名為 QVisor 的 HyperVisor 和一個名為 QKernel 的來賓核心。與常見的 Linux 虛擬機器設計不同，Linux/Windows 等標準作業系統映像可以在 Qemu 上運作。 QVisor 和 QKernel 緊密耦合。 QVisor 僅支援 QKernel。

Quark Container 的高層設計如下。它透過以下步驟處理容器應用程式請求。

1. 容器應用程式系統呼叫：在 Quark 容器中，容器應用程式作為來賓應用程式運作。並且它透過Guest System Call向Quark發送請求，例如X86-64 SysCall/SysRet。
2. 主機系統呼叫：從主機作業系統的角度來看，Quark 是作為一個常見的 Linux 應用程式運作。當Quark收到Guest System Call時，它會在Quark運行時進行解釋。如果需要存取主機系統，例如讀取主機文件，它將透過主機系統呼叫來呼叫主機作業系統。
3. QCall：對於Guest Space和Host Space之間的通信，QKernel不像普通虛擬機設計那樣直接透過HyperCall呼叫QVisor。相反，它透過基於共享記憶體佇列的 QCall 向 QVisor 發送請求。主機空間中有一個專用的 QCall 處理執行緒等待處理 QCall 請求。以此為基礎，避免了VCPU線程高成本的Guest/Host切換。對於主機IO資料操作，例如socket讀/寫，Qkernel會直接用IO-Uring呼叫Host Kernel，這樣可以繞過QVisor以獲得更好的效能。 （註：出於安全考慮，IO-Uring不會處理Open等IO控制操作）

基於 RDMA 的 TCP 套接字 (TSoR)

Quark Container 支援透過 RDMA 連線（即 TSoR）傳輸容器應用程式的 TCP 流量。 TSoR 是 K8S 叢集中的容器網路供應商，現有的基於 TCP 的容器應用程式無需任何修改即可透過 RDMA 傳輸資料。由於 TSoR 將 TCP/IP 協定堆疊工作負載卸載到 RDMA NIC。它可以透過更少的 CPU 佔用來實現更高的吞吐量、低延遲。 TSOR 測試結果是 Quark + TSoR 與 RunC + Flannel 比較的 Redis 基準測試結果。 TSoR 的吞吐量比 Flannel 提高了 5 倍。 TSoR 架構如下。簡介在這裡

系統需求

1. 作業系統：Linux核心> 5.8.0
2. 處理器：X86-64/Amd64 或 aarch64（請參閱下面的註釋）。
3. 碼頭工人：> 17.09.0
4. 在 BIOS 中啟用虛擬化技術（通常在 BIOS 的「安全」標籤中）

Quark 主要支援 X86-64。 aarch64 支援是初步的，正在積極開發中。未來還會推出其他架構。

從來源安裝

依賴關係和 Rust 工具鏈

Quark是用Rust語言開發的。建造需要每晚安裝 Rust。請使用目前已知的良好版本nightly-2023-12-11-x86_64-unknown-linux-gnu （對於 aarch64 版本，將x86_64替換為aarch64 ）

rustup toolchain install nightly-2023-12-11-x86_64-unknown-linux-gnu
rustup default nightly-2023-12-11-x86_64-unknown-linux-gnu

將 rust-src 元件新增至目前工具鏈：

rustup component add rust-src

並安裝“cargo-xbuild”進行qkernel交叉編譯

cargo install cargo-xbuild

安裝libcap函式庫

sudo apt-get install libcap-dev

另外，還有一些用於編譯 RDMA 模組的額外函式庫：

sudo apt-get install build-essential cmake gcc libudev-dev libnl-3-dev 
libnl-route-3-dev ninja-build pkg-config valgrind python3-dev cython3 
python3-docutils pandoc libclang-dev

還有一些用於編譯 GPU 模組的額外函式庫：
（請注意，即使在非 nvidia 機器上，您也可以執行以下命令以獲得編譯 GPU 模組的能力。）

sudo apt-get install libelf-dev nvidia-driver-535

建構夸克

git clone [email protected]:QuarkContainer/Quark.git
cd Quark
make
make install

使用 GPU 模組構建

make cuda_all
make install

安裝/設定/配置

1. 安裝二進位檔案：Quark 有 2 個二進位檔案：「quark」和「qkernel.bin」。執行make install時，它們都被複製到 /usr/local/bin/ 資料夾。 「quark」包含 QVisor 程式碼，它也實作了 OCI 介面。
2. 設定 Docker：為了讓 Docker 能夠使用 Quark Container 運行容器，需要更新「/etc/docker/daemon.json」。範例為 daemon.json
3. 建立日誌資料夾

   sudo mkdir /var/log/quark

4. 重新啟動 Docker：更新「/etc/docker/daemon.json」後，需要重新啟動 Docker 守護程式才能啟用設定變更

   sudo systemctl restart docker

你好世界：

hello-world docker 範例應用程式可以如下執行：

sudo systemctl restart docker
sudo systemctl restart docker.service
docker run --rm --runtime=quark hello-world

配置

Quark 容器的設定檔位於 /etc/quark/config.json 。設定細節待定...

調試和日誌

Quark Container的除錯日誌放在/var/log/quark/quark.log中。它可以透過 /etc/quark/config.json 的「DebugLevel」啟用或停用。 「DebugLevel」有 5 個可能的值，如下所示。

 Off,
Error,
Warn,
Info,
Debug,
Trace,

當啟用日誌時，例如調試。使用 Quark 容器執行 docker 映像後，日誌將在 /var/log/quark/quark.log 中產生。請參閱 wiki 以了解更多調試技巧。

k8s 設定和使用 TCP over RDMA

請參考此連結使用 quark 容器和 RDMA 支援設定 k8s。

aarch64 支持

Quark 現在已經有了初步的 aarch64 支援（仍在積極開發中）。

關於較新的 arm64 架構的註解：

較新的arm64架構在pstate中添加了PAN（從不特權存取）位，以防止核心（el1）存取用戶（el0）記憶體。全面支持正在開發中。作為臨時解決方法，我們只需清除 qkernel 中的 PAN。為此，您需要手動套用此補丁

通訊

• 只需發送電子郵件至~quark/[email protected]即可使用 Quark 郵件清單。要訂閱該列表，請發送一封空電子郵件至~quark/[email protected]要了解有關使用郵件列表的更多信息，請參閱郵件列表禮儀。
• 還有一個 Slack 頻道