Quark

Wadah Kuark

Selamat datang di Kontainer Quark.

Repositori ini adalah rumah dari kode Quark Containers.

Apa itu Kontainer Quark

Quark Container adalah runtime container aman berkinerja tinggi dengan fitur berikut:

1. Kompatibel dengan OCI: Quark Container menyertakan antarmuka Open Container Initiative (OCI). Gambar kontainer Docker umum dapat dijalankan di Quark Container.
2. Aman: Menyediakan isolasi dan keamanan beban kerja tingkat Mesin Virtual.
3. Performa Tinggi: Quark Container dilahirkan untuk eksekusi beban kerja container dengan performa tinggi. Ini dikembangkan dengan bahasa pemrograman Rust.

Tes kinerja

Irisan kinerjanya adalah performance.pdf. Langkah-langkah tes detail dan hasilnya ada di sini

Arsitektur

Quark Container mengambil arsitektur Mesin Virtual Linux klasik seperti di bawah ini. Ini mencakup HyperVisor bernama QVisor dan kernel tamu bernama QKernel. Berbeda dengan desain Mesin Virtual Linux pada umumnya, di mana image OS standar seperti Linux/Windows dapat berjalan di Qemu. QVisor dan QKernel digabungkan dengan erat. QVisor hanya mendukung QKernel.

Desain tingkat tinggi Quark Container adalah seperti di bawah ini. Ini menangani permintaan Aplikasi Kontainer dengan langkah-langkah berikut.

1. Panggilan Sistem Aplikasi Kontainer: Dalam Kontainer Quark, Aplikasi Kontainer dijalankan sebagai Aplikasi Tamu. Dan mengirimkan permintaan ke Quark melalui Guest System Call, misalnya X86-64 SysCall/SysRet.
2. Panggilan Sistem Host: Dari perspektif OS Host, Quark berjalan sebagai aplikasi Linux umum. Ketika Quark mendapat Guest System Call, akan dijelaskan hal itu di runtime Quark. Jika perlu mengakses sistem host, misalnya membaca file host, ia akan memanggil Host OS melalui Host System Call.
3. QCall: Untuk komunikasi antara Ruang Tamu dan Ruang Host, QKernel tidak memanggil QVisor melalui HyperCall secara langsung seperti desain Mesin Virtual pada umumnya. Sebaliknya, ia mengirimkan permintaan ke QVisor melalui QCall, yang didasarkan pada antrian memori Berbagi. Ada thread penyerahan QCall khusus yang menunggu di Ruang Host untuk memproses permintaan QCall. Berdasarkan hal tersebut, saklar Tamu/Host yang berbiaya tinggi pada thread VCPU dapat dihindari. Untuk operasi data IO host, seperti baca/tulis soket, Qkernel akan memanggil Kernel Host secara langsung dengan IO-Uring, yang dapat melewati QVisor untuk mencapai kinerja yang lebih baik. (Catatan: IO-Uring tidak akan menangani operasi kontrol IO, seperti Open, untuk tujuan keamanan)

Soket TCP melalui RDMA (TSoR)

Quark Container mendukung transfer lalu lintas TCP aplikasi container dengan koneksi RDMA, yaitu TSoR. TSoR adalah penyedia jaringan kontainer di cluster K8S dan aplikasi kontainer berbasis TCP yang ada dapat mentransfer data melalui RDMA tanpa modifikasi APAPUN. Saat TSoR memindahkan beban kerja tumpukan protokol TCP/IP ke RDMA NIC. Hal ini dapat mencapai throughput yang lebih tinggi, latensi rendah dengan jejak CPU yang lebih sedikit. Hasil pengujian TSOR merupakan hasil pengujian benchmark Redis dengan perbandingan antara Quark + TSoR dan RunC + Flannel. TSoR menunjukkan peningkatan throughput 5 kali lipat dibandingkan Flanel. Arsitektur TSoR seperti di bawah ini. Pengenalannya ada di sini

Persyaratan Sistem

1. OS: Kernel Linux> 5.8.0
2. Prosesor: X86-64/Amd64 atau aarch64 (lihat catatan di bawah).
3. buruh pelabuhan: > 17.09.0
4. Aktifkan teknologi virtualisasi di BIOS (Biasanya di tab Keamanan BIOS)

Quark terutama mendukung X86-64. dukungan aarch64 masih dalam tahap awal dan sedang dalam pengembangan aktif. Arsitektur lain akan tersedia di masa depan.

Menginstal dari sumber

Ketergantungan dan rantai alat karat

Quark dikembangkan dengan bahasa Rust. Build perlu menginstal Rust nightly. Silakan gunakan versi bagus yang diketahui saat ini nightly-2023-12-11-x86_64-unknown-linux-gnu (ganti x86_64 dengan aarch64 untuk build aarch64)

rustup toolchain install nightly-2023-12-11-x86_64-unknown-linux-gnu
rustup default nightly-2023-12-11-x86_64-unknown-linux-gnu

Tambahkan komponen karat-src ke rantai alat saat ini:

rustup component add rust-src

Dan instal "cargo-xbuild" untuk kompilasi qkernel cross

cargo install cargo-xbuild

Instal perpustakaan libcap

sudo apt-get install libcap-dev

Juga, beberapa perpustakaan tambahan untuk mengkompilasi modul RDMA:

sudo apt-get install build-essential cmake gcc libudev-dev libnl-3-dev 
libnl-route-3-dev ninja-build pkg-config valgrind python3-dev cython3 
python3-docutils pandoc libclang-dev

Dan juga beberapa perpustakaan tambahan untuk mengkompilasi modul GPU:
(Harap diperhatikan, Anda dapat menjalankan perintah berikut bahkan di mesin non nvidia untuk mendapatkan kemampuan mengkompilasi modul GPU.)

sudo apt-get install libelf-dev nvidia-driver-535

Bangun Kuark

git clone [email protected]:QuarkContainer/Quark.git
cd Quark
make
make install

Bangun dengan modul GPU

make cuda_all
make install

Instal / Pengaturan / Konfigurasi

1. Instal biner: Quark memiliki 2 binari: "quark" dan "qkernel.bin". Keduanya disalin ke folder /usr/local/bin/ saat menjalankan make install . "quark" berisi kode QVisor dan juga mengimplementasikan antarmuka OCI.
2. Setup Docker: Untuk mengaktifkan Docker menjalankan container dengan Quark Container, "/etc/docker/daemon.json" perlu diperbarui. Contohnya seperti daemon.json
3. Buat folder log

   sudo mkdir /var/log/quark

4. Restart Docker: Setelah "/etc/docker/daemon.json" diperbarui, Restart daemon Docker diperlukan untuk mengaktifkan perubahan konfigurasi

   sudo systemctl restart docker

Halo dunia:

Contoh aplikasi buruh pelabuhan hello-world dapat dijalankan seperti di bawah ini:

sudo systemctl restart docker
sudo systemctl restart docker.service
docker run --rm --runtime=quark hello-world

Konfigurasi

File konfigurasi Quark Container ada di /etc/quark/config.json . Detail konfigurasinya adalah TBD...

Debug dan Log

Log debug Quark Container diletakkan di /var/log/quark/quark.log. Itu bisa diaktifkan atau dinonaktifkan dengan "DebugLevel" dari /etc/quark/config.json. Ada 5 kemungkinan nilai "DebugLevel" seperti di bawah ini.

 Off,
Error,
Warn,
Info,
Debug,
Trace,

Ketika log diaktifkan, misalnya Debug. Setelah menjalankan image buruh pelabuhan dengan Quark Container, log akan dibuat di /var/log/quark/quark.log. Lihat wiki untuk tip debugging lebih lanjut.

k8s mengatur dan menggunakan TCP melalui RDMA

Silakan merujuk ke tautan ini untuk menyiapkan k8s menggunakan wadah quark dan dukungan RDMA.

dukungan aarch64

Quark sekarang memiliki dukungan awal untuk aarch64 (masih dalam pengembangan aktif).

Catatan tentang arsitektur arm64 yang lebih baru :

arsitektur arm64 yang lebih baru menambahkan bit PAN (Privilege Access Never) di pstate yang mencegah kernel (el1) mengakses memori pengguna (el0). Dukungan penuh adalah WIP. Sebagai solusi sementara kami cukup menghapus PAN di qkernel. Untuk melakukan ini, Anda perlu menerapkan patch ini secara manual

Komunikasi

• gunakan milis Quark hanya dengan mengirimkan email ke ~quark/[email protected] . Untuk berlangganan daftar, kirim email kosong ke ~quark/[email protected] Untuk mempelajari lebih lanjut tentang penggunaan milis, lihat etiket milis.
• ada juga saluran Slack