Quark

Conteneur de quarks

Bienvenue dans Quark Container.

Ce référentiel héberge le code de Quark Containers.

Qu'est-ce que Quark Container ?

Quark Container est un environnement d'exécution de conteneur sécurisé hautes performances avec les fonctionnalités suivantes :

1. Compatible OCI : Quark Container inclut une interface Open Container Initiative (OCI). L’image du conteneur Docker commun peut s’exécuter dans Quark Container.
2. Sécurisé : il offre une isolation et une sécurité de la charge de travail au niveau de la machine virtuelle.
3. Hautes performances : Quark Container est né pour l'exécution de charges de travail de conteneurs avec des performances élevées. Il est développé avec le langage de programmation Rust.

Test de performances

Les tranches de performances sont performance.pdf. Les étapes de test détaillées et le résultat sont ici

Architecture

Quark Container reprend l'architecture classique de la machine virtuelle Linux comme ci-dessous. Il comprend un HyperVisor nommé QVisor et un noyau invité nommé QKernel. Contrairement à la conception courante de la machine virtuelle Linux, dans laquelle une image de système d'exploitation standard telle que Linux/Windows peut s'exécuter sur Qemu. QVisor et QKernel sont étroitement couplés. QVisor ne prend en charge que QKernel.

La conception de haut niveau de Quark Container est la suivante. Il gère la demande d’application conteneur avec les étapes suivantes.

1. Appel système de l'application conteneur : dans Quark Container, l'application conteneur s'exécute en tant qu'application invitée. Et il envoie une requête à Quark via un appel système invité, par exemple X86-64 SysCall/SysRet.
2. Appel du système hôte : du point de vue du système d'exploitation hôte, Quark s'exécute comme une application Linux courante. Lorsque Quark reçoit un appel système invité, il l'explique dans le runtime Quark. S'il a besoin d'accéder au système hôte, par exemple lire un fichier hôte, il appellera le système d'exploitation hôte via l'appel du système hôte.
3. QCall : pour la communication entre l'espace invité et l'espace hôte, QKernel n'appelle pas directement QVisor via HyperCall comme conception de machine virtuelle courante. Au lieu de cela, il envoie une requête à QVisor via QCall, qui est basé sur la file d'attente de mémoire partagée. Il existe un thread de gestion QCall dédié en attente dans l'espace hôte pour traiter la demande QCall. Sur cette base, le commutateur invité/hôte coûteux du thread VCPU est évité. Pour l'opération de données IO de l'hôte, telle que la lecture/écriture de socket, Qkernel appellera le noyau hôte directement avec IO-Uring, ce qui pourrait contourner QVisor pour obtenir de meilleures performances. (Remarque : IO-Uring ne gérera pas les opérations de contrôle IO, telles que Open, pour des raisons de sécurité)

Socket TCP sur RDMA (TSoR)

Quark Container prend en charge le transfert du trafic TCP de l'application conteneur avec une connexion RDMA, c'est-à-dire TSoR. TSoR est un fournisseur de réseau de conteneurs dans le cluster K8S et l'application de conteneur basée sur TCP existante peut transférer des données via RDMA sans AUCUNE modification. Alors que TSoR décharge la charge de travail de la pile de protocole TCP/IP vers la carte réseau RDMA. Il peut atteindre un débit plus élevé, une faible latence avec moins d'empreinte CPU. Le résultat du test TSOR est le résultat du test de référence Redis avec comparaison entre Quark + TSoR et RunC + Flannel. TSoR montre une amélioration de débit 5 fois supérieure à celle de Flannel. L'architecture TSoR est la suivante. La présentation est ici

Configuration système requise

1. Système d'exploitation : noyau Linux > 5.8.0
2. Processeur : X86-64/Amd64 ou aarch64 (voir notes ci-dessous).
3. Docker : > 17.09.0
4. Activer la technologie de virtualisation dans le BIOS (généralement dans l'onglet Sécurité du BIOS)

Quark prend principalement en charge X86-64. Le support d’aarch64 est préliminaire et en cours de développement actif. D'autres architectures seront disponibles dans le futur.

Installation à partir des sources

Dépendances et chaîne d'outils Rust

Quark est développé avec le langage Rust. La version doit installer Rust tous les soirs. Veuillez utiliser la bonne version actuelle connue nightly-2023-12-11-x86_64-unknown-linux-gnu (remplacez x86_64 par aarch64 pour la version aarch64)

rustup toolchain install nightly-2023-12-11-x86_64-unknown-linux-gnu
rustup default nightly-2023-12-11-x86_64-unknown-linux-gnu

Ajoutez le composant rust-src à la chaîne d'outils actuelle :

rustup component add rust-src

Et installez "cargo-xbuild" pour la compilation croisée qkernel

cargo install cargo-xbuild

Installer la bibliothèque libcap

sudo apt-get install libcap-dev

Aussi, quelques bibliothèques supplémentaires pour compiler le module RDMA :

sudo apt-get install build-essential cmake gcc libudev-dev libnl-3-dev 
libnl-route-3-dev ninja-build pkg-config valgrind python3-dev cython3 
python3-docutils pandoc libclang-dev

Et aussi quelques bibliothèques supplémentaires pour compiler le module GPU :
(Veuillez noter que vous pouvez exécuter les commandes suivantes même sur une machine autre que NVIDIA pour pouvoir compiler le module GPU.)

sudo apt-get install libelf-dev nvidia-driver-535

Construire Quark

git clone [email protected]:QuarkContainer/Quark.git
cd Quark
make
make install

Construire avec le module GPU

make cuda_all
make install

Installer / Installer / Configuration

1. Installer le binaire : Quark possède 2 binaires : "quark" et "qkernel.bin". Les deux ont été copiés dans le dossier /usr/local/bin/ lors de l'exécution make install . "quark" contient le code QVisor et implémente également l'interface OCI.
2. Configuration de Docker : pour permettre à Docker d'exécuter le conteneur avec Quark Container, "/etc/docker/daemon.json" doit être mis à jour. L'exemple est comme daemon.json
3. Créer un dossier de journaux

   sudo mkdir /var/log/quark

4. Redémarrer Docker : une fois "/etc/docker/daemon.json" mis à jour, le redémarrage du démon Docker est nécessaire pour activer le changement de configuration.

   sudo systemctl restart docker

Bonjour le monde:

L'exemple d'application Docker hello-world peut être exécuté comme ci-dessous :

sudo systemctl restart docker
sudo systemctl restart docker.service
docker run --rm --runtime=quark hello-world

Configuration

Le fichier de configuration de Quark Container se trouve dans /etc/quark/config.json . Les détails de la configuration sont à déterminer...

Débogage et journalisation

Le journal de débogage de Quark Container est placé dans /var/log/quark/quark.log. Il pourrait activer ou désactiver par "DebugLevel" de /etc/quark/config.json. Il existe 5 valeurs possibles de "DebugLevel" comme ci-dessous.

 Off,
Error,
Warn,
Info,
Debug,
Trace,

Lorsque le journal est activé, par exemple Debug. Après avoir exécuté une image Docker avec Quark Container, les journaux seront générés dans /var/log/quark/quark.log. Consultez le wiki pour d'autres conseils de débogage.

k8s configure et utilise TCP sur RDMA

Veuillez vous référer à ce lien pour configurer les k8 à l'aide du conteneur quark et du support RDMA.

prise en charge d'aarch64

Quark dispose désormais d'un support préliminaire pour aarch64 (toujours en développement actif).

Notes sur les nouvelles architectures arm64 :

Les architectures arm64 plus récentes ajoutent le bit PAN (Privilege Access Never) dans le pstate qui empêche le noyau (el1) d'accéder à la mémoire de l'utilisateur (el0). Le support complet est WIP. Comme solution de contournement temporaire, nous effaçons simplement le PAN dans le qkernel. Pour ce faire, vous devez appliquer manuellement ce correctif

Communications

• utilisez la liste de diffusion Quark en envoyant simplement des e-mails à ~quark/[email protected] . Pour vous abonner à la liste, envoyez un e-mail vide à ~quark/[email protected] Pour en savoir plus sur l'utilisation de la liste de diffusion, consultez l'étiquette de la liste de diffusion.
• il y a aussi une chaîne Slack