Quark

Quarkbehälter

Willkommen bei Quark Container.

Dieses Repository ist die Heimat des Quark Containers-Codes.

Was ist Quarkbehälter?

Quark Container ist eine hochleistungsfähige sichere Container-Laufzeitumgebung mit folgenden Funktionen:

1. OCI-kompatibel: Quark Container enthält eine Open Container Initiative (OCI)-Schnittstelle. Ein allgemeines Docker-Container-Image kann in Quark Container ausgeführt werden.
2. Sicher: Es bietet Workload-Isolation und Sicherheit auf der Ebene virtueller Maschinen.
3. Hohe Leistung: Quark Container wurde für die Ausführung von Container-Workloads mit hoher Leistung entwickelt. Es wurde mit der Programmiersprache Rust entwickelt.

Leistungstest

Die Performance-Slices sind performance.pdf. Die detaillierten Testschritte und Ergebnisse finden Sie hier

Architektur

Quark Container verwendet die klassische Linux Virtual Machine-Architektur wie folgt. Es umfasst einen HyperVisor namens QVisor und einen Gastkernel namens QKernel. Im Gegensatz zum üblichen Linux Virtual Machine-Design, bei dem Standard-Betriebssystem-Images wie Linux/Windows auf Qemu ausgeführt werden können. QVisor und QKernel sind eng miteinander verbunden. QVisor unterstützt nur QKernel.

Das High-Level-Design von Quark Container ist wie folgt. Es verarbeitet Containeranwendungsanforderungen mit den folgenden Schritten.

1. Systemaufruf der Containeranwendung: In Quark Container wird die Containeranwendung als Gastanwendung ausgeführt. Und es sendet eine Anfrage an Quark über einen Gastsystemaufruf, z. B. X86-64 SysCall/SysRet.
2. Host-Systemaufruf: Aus Sicht des Host-Betriebssystems läuft Quark als gängige Linux-Anwendung. Wenn Quark einen Gastsystemaufruf erhält, wird dies in der Quark-Laufzeit erklärt. Wenn es auf das Host-System zugreifen muss, z. B. Host-Datei lesen muss, ruft es das Host-Betriebssystem über den Host-Systemaufruf auf.
3. QCall: Für die Kommunikation zwischen Guest Space und Host Space ruft QKernel QVisor nicht direkt über HyperCall auf, wie es bei einem herkömmlichen virtuellen Maschinendesign der Fall ist. Stattdessen sendet es eine Anfrage über QCall an QVisor, das auf der Share-Memory-Warteschlange basiert. Im Host Space gibt es einen dedizierten QCall-Übergabethread, der darauf wartet, die QCall-Anfrage zu verarbeiten. Auf dieser Grundlage wird der kostenintensive Guest/Host-Wechsel des VCPU-Threads vermieden. Für den Host-IO-Datenvorgang, wie z. B. Socket-Lesen/Schreiben, ruft Qkernel den Host-Kernel direkt mit IO-Uring auf, wodurch QVisor umgangen werden könnte, um eine bessere Leistung zu erzielen. (Hinweis: IO-Uring übernimmt aus Sicherheitsgründen keine E/A-Steuerungsoperationen wie „Öffnen“).

TCP-Socket über RDMA (TSoR)

Quark Container unterstützt die Übertragung des TCP-Verkehrs der Containeranwendung mit einer RDMA-Verbindung, also TSoR. TSoR ist ein Container-Netzwerkanbieter im K8S-Cluster und die vorhandene TCP-basierte Containeranwendung kann Daten ohne jegliche Änderung über RDMA übertragen. Da TSoR die Arbeitslast des TCP/IP-Protokollstapels auf die RDMA-NIC verlagert. Es kann einen höheren Durchsatz und eine geringe Latenz bei geringerem CPU-Fußabdruck erreichen. Das TSOR-Testergebnis ist das Redis-Benchmark-Testergebnis mit Vergleich zwischen Quark + TSoR und RunC + Flannel. TSoR zeigt eine 5-fache Durchsatzverbesserung gegenüber Flannel. Die TSoR-Architektur ist wie folgt. Die Einführung gibt es hier

Systemanforderung

1. Betriebssystem: Linux-Kernel > 5.8.0
2. Prozessor: X86-64/Amd64 oder aarch64 (siehe Hinweise unten).
3. Docker: > 17.09.0
4. Aktivieren Sie die Virtualisierungstechnologie im BIOS (normalerweise auf der Registerkarte „Sicherheit“ des BIOS).

Quark unterstützt hauptsächlich X86-64. Die Unterstützung für aarch64 ist vorläufig und befindet sich in der aktiven Entwicklung. Weitere Architekturen werden in Zukunft verfügbar sein.

Installation von der Quelle

Abhängigkeiten und Rust-Toolchain

Quark wurde mit der Rust-Sprache entwickelt. Der Build muss Rust jede Nacht installieren. Bitte verwenden Sie die aktuelle, bekanntermaßen gute Version nightly-2023-12-11-x86_64-unknown-linux-gnu (ersetzen Sie x86_64 durch aarch64 für den aarch64-Build).

rustup toolchain install nightly-2023-12-11-x86_64-unknown-linux-gnu
rustup default nightly-2023-12-11-x86_64-unknown-linux-gnu

Fügen Sie die Komponente rust-src zur aktuellen Toolchain hinzu:

rustup component add rust-src

Und installieren Sie „cargo-xbuild“ für die qkernel-übergreifende Kompilierung

cargo install cargo-xbuild

Installieren Sie die libcap-Bibliothek

sudo apt-get install libcap-dev

Außerdem einige zusätzliche Bibliotheken zum Kompilieren des RDMA-Moduls:

sudo apt-get install build-essential cmake gcc libudev-dev libnl-3-dev 
libnl-route-3-dev ninja-build pkg-config valgrind python3-dev cython3 
python3-docutils pandoc libclang-dev

Und auch einige zusätzliche Bibliotheken zum Kompilieren des GPU-Moduls:
(Bitte beachten Sie, dass Sie die folgenden Befehle auch auf einem Nicht-Nvidia-Computer ausführen können, um das GPU-Modul kompilieren zu können.)

sudo apt-get install libelf-dev nvidia-driver-535

Quark bauen

git clone [email protected]:QuarkContainer/Quark.git
cd Quark
make
make install

Build mit GPU-Modul

make cuda_all
make install

Installieren / Setup / Konfiguration

1. Binärdatei installieren: Quark hat zwei Binärdateien: „quark“ und „qkernel.bin“. Beide wurden beim Ausführen make install in den Ordner /usr/local/bin/ kopiert. „quark“ enthält QVisor-Code und implementiert auch die OCI-Schnittstelle.
2. Docker einrichten: Damit Docker Container mit Quark Container ausführen kann, muss „/etc/docker/daemon.json“ aktualisiert werden. Beispiel ist daemon.json
3. Erstellen Sie einen Protokollordner

   sudo mkdir /var/log/quark

4. Starten Sie Docker neu: Nachdem „/etc/docker/daemon.json“ aktualisiert wurde, muss der Docker-Daemon neu gestartet werden, um die Konfigurationsänderung zu ermöglichen

   sudo systemctl restart docker

Hallo Welt:

Die Hello-World-Docker-Beispielanwendung kann wie folgt ausgeführt werden:

sudo systemctl restart docker
sudo systemctl restart docker.service
docker run --rm --runtime=quark hello-world

Konfiguration

Die Konfigurationsdatei von Quark Container befindet sich unter /etc/quark/config.json . Konfigurationsdetails sind noch offen...

Debuggen und protokollieren

Das Debug-Protokoll von Quark Container wird in /var/log/quark/quark.log abgelegt. Es kann durch „DebugLevel“ von /etc/quark/config.json aktiviert oder deaktiviert werden. Es gibt 5 mögliche Werte für „DebugLevel“, wie unten aufgeführt.

 Off,
Error,
Warn,
Info,
Debug,
Trace,

Wenn das Protokoll aktiviert ist, z. B. Debug. Nachdem Sie ein Docker-Image mit Quark Container ausgeführt haben, werden die Protokolle in /var/log/quark/quark.log generiert. Weitere Debugging-Tipps finden Sie im Wiki.

k8s richtet TCP über RDMA ein und verwendet es

Bitte beachten Sie diesen Link, um k8s mit Quark-Container und RDMA-Unterstützung einzurichten.

aarch64-Unterstützung

Quark verfügt jetzt über vorläufige Aarch64-Unterstützung (noch in aktiver Entwicklung).

Hinweise zu neueren arm64-Architekturen :

Neuere Arm64-Architekturen fügen das PAN-Bit (Privilege Access Never) im pstate hinzu, das verhindert, dass der Kernel (el1) auf den Benutzerspeicher (el0) zugreift. Der volle Support ist in Bearbeitung. Als vorübergehende Problemumgehung löschen wir einfach die PAN im qkernel. Dazu müssen Sie diesen Patch manuell anwenden

Kommunikation

• Nutzen Sie die Quark-Mailingliste, indem Sie einfach E-Mails an ~quark/[email protected] senden. Um die Liste zu abonnieren, senden Sie eine leere E-Mail an ~quark/[email protected] Weitere Informationen zur Verwendung von Mailinglisten finden Sie in der Mailinglisten-Etikette.
• Es gibt auch einen Slack-Kanal