Quark

Recipiente de Quark

Bem-vindo ao Quark Container.

Este repositório é o lar do código do Quark Containers.

O que é recipiente Quark

Quark Container é um tempo de execução de contêiner seguro de alto desempenho com os seguintes recursos:

1. Compatível com OCI: Quark Container inclui uma interface Open Container Initiative (OCI). A imagem comum do contêiner Docker pode ser executada no Quark Container.
2. Seguro: fornece isolamento e segurança da carga de trabalho no nível da máquina virtual.
3. Alto desempenho: O Quark Container nasceu para execução de cargas de trabalho de contêineres com alto desempenho. É desenvolvido com a linguagem de programação Rust.

Teste de desempenho

As fatias de desempenho são performance.pdf. As etapas detalhadas do teste e o resultado estão aqui

Arquitetura

O Quark Container adota a arquitetura clássica da máquina virtual Linux conforme abaixo. Inclui um HyperVisor denominado QVisor e um kernel convidado denominado QKernel. Ao contrário do design comum de máquina virtual Linux, no qual imagens de sistema operacional padrão, como Linux/Windows, podem ser executadas no Qemu. QVisor e QKernel estão fortemente acoplados. QVisor suporta apenas QKernel.

O design de alto nível do Quark Container é o seguinte. Ele lida com a solicitação do aplicativo Container com as etapas a seguir.

1. Chamada de sistema do aplicativo Container: No Quark Container, o aplicativo Container é executado como um aplicativo convidado. E envia solicitação ao Quark através de Guest System Call, por exemplo, X86-64 SysCall/SysRet.
2. Chamada do sistema host: Da perspectiva do sistema operacional host, o Quark está sendo executado como um aplicativo Linux comum. Quando o Quark receber uma chamada do sistema convidado, isso será explicado no tempo de execução do Quark. Se precisar acessar o sistema host, por exemplo, ler o arquivo host, ele chamará o sistema operacional host através da chamada do sistema host.
3. QCall: Para a comunicação entre o Guest Space e o Host Space, o QKernel não chama o QVisor através do HyperCall diretamente como um design comum de máquina virtual. Em vez disso, ele envia uma solicitação ao QVisor por meio do QCall, que é baseado na fila de memória compartilhada. Há um thread de processamento de QCall dedicado aguardando no Host Space para processar a solicitação de QCall. Com base nisso, a troca Guest/Host de alto custo do thread VCPU é evitada. Para a operação de dados IO do host, como leitura/gravação de soquete, o Qkernel chamará o kernel do host diretamente com IO-Uring, o que pode ignorar o QVisor para obter melhor desempenho. (Nota: IO-Uring não irá lidar com operações de controle de IO, como Open, para fins de segurança)

Soquete TCP sobre RDMA (TSoR)

O Quark Container suporta a transferência do tráfego TCP da aplicação container com conexão RDMA, ou seja, TSoR. TSoR é um provedor de rede de contêineres no cluster K8S e o aplicativo de contêiner baseado em TCP existente pode transferir dados por meio de RDMA sem QUALQUER modificação. À medida que o TSoR descarrega a carga de trabalho da pilha do protocolo TCP/IP para a NIC RDMA. Ele pode atingir maior rendimento, baixa latência e menos espaço de CPU. O resultado do teste TSOR é o resultado do teste de benchmark Redis com comparação entre Quark + TSoR e RunC + Flannel. TSoR mostra uma melhoria de rendimento 5 vezes maior em relação ao Flannel. A arquitetura TSoR é a seguinte. A introdução está aqui

Requisito do sistema

1. SO: Kernel Linux > 5.8.0
2. Processador: X86-64/Amd64 ou aarch64 (veja notas abaixo).
3. Janela de encaixe: > 17.09.0
4. Habilite a tecnologia de virtualização no BIOS (geralmente na guia Segurança do BIOS)

Quark suporta principalmente X86-64. O suporte aarch64 é preliminar e está em desenvolvimento ativo. Outra arquitetura estará disponível no futuro.

Instalando a partir da fonte

Dependências e conjunto de ferramentas de ferrugem

Quark é desenvolvido com a linguagem Rust. A compilação precisa instalar o Rust todas as noites. Por favor, use a versão atual conhecida nightly-2023-12-11-x86_64-unknown-linux-gnu (substitua x86_64 por aarch64 para a compilação aarch64)

rustup toolchain install nightly-2023-12-11-x86_64-unknown-linux-gnu
rustup default nightly-2023-12-11-x86_64-unknown-linux-gnu

Adicione o componente ferrugem-src ao conjunto de ferramentas atual:

rustup component add rust-src

E instale "cargo-xbuild" para compilação cruzada do qkernel

cargo install cargo-xbuild

Instale a biblioteca libcap

sudo apt-get install libcap-dev

Além disso, algumas bibliotecas extras para compilar o módulo RDMA:

sudo apt-get install build-essential cmake gcc libudev-dev libnl-3-dev 
libnl-route-3-dev ninja-build pkg-config valgrind python3-dev cython3 
python3-docutils pandoc libclang-dev

E também algumas bibliotecas extras para compilar o módulo GPU:
(Observe que você pode executar os seguintes comandos mesmo em máquinas que não sejam da Nvidia para obter capacidade de compilar o módulo GPU.)

sudo apt-get install libelf-dev nvidia-driver-535

Construir Quark

git clone [email protected]:QuarkContainer/Quark.git
cd Quark
make
make install

Construir com módulo GPU

make cuda_all
make install

Instalar/Instalar/Configuração

1. Instale o binário: Quark possui 2 binários: "quark" e "qkernel.bin". Ambos foram copiados para a pasta /usr/local/bin/ ao executar make install . "quark" contém código QVisor e também implementa a interface OCI.
2. Configuração do Docker: para permitir que o Docker execute contêiner com Quark Container, "/etc/docker/daemon.json" precisa ser atualizado. O exemplo é como daemon.json
3. Criar pasta de log

   sudo mkdir /var/log/quark

4. Reinicie o Docker: após a atualização de "/etc/docker/daemon.json", é necessário reiniciar o daemon do Docker para ativar a alteração da configuração

   sudo systemctl restart docker

Olá mundo:

O aplicativo de exemplo hello-world docker pode ser executado conforme abaixo:

sudo systemctl restart docker
sudo systemctl restart docker.service
docker run --rm --runtime=quark hello-world

Configuração

O arquivo de configuração do Quark Container está em /etc/quark/config.json . O detalhe da configuração é TBD...

Depurar e registrar

O log de depuração do Quark Container é colocado em /var/log/quark/quark.log. Poderia ativar ou desativar por "DebugLevel" de /etc/quark/config.json. Existem 5 valores possíveis de "DebugLevel" conforme abaixo.

 Off,
Error,
Warn,
Info,
Debug,
Trace,

Quando o log está habilitado, por exemplo, Debug. Após executar uma imagem docker com Quark Container, os logs serão gerados em /var/log/quark/quark.log. Consulte o wiki para obter mais dicas de depuração.

k8s configura e usa TCP sobre RDMA

Consulte este link para configurar k8s usando contêiner quark e suporte RDMA.

suporte aarch64

Quark agora tem suporte preliminar para aarch64 (ainda em desenvolvimento ativo).

Notas sobre arquiteturas arm64 mais recentes :

As arquiteturas arm64 mais recentes adicionam o bit PAN (Privilege Access Never) no pstate que impede o kernel (el1) de acessar a memória do usuário (el0). O suporte total é WIP. Como solução temporária, simplesmente limpamos o PAN no qkernel. Para fazer isso, você precisa aplicar manualmente este patch

Comunicações

• use a lista de discussão do Quark simplesmente enviando e-mails para ~quark/[email protected] . Para se inscrever na lista, envie um e-mail vazio para ~quark/[email protected] Para saber mais sobre como usar a lista de discussão, consulte Etiqueta da lista de discussão.
• também há um canal no Slack