llm starter pack

Um pacote inicial LLM nativo da nuvem

Pré-requisitos

• Docker
• tipo
  • kind é "Kubernetes in Docker", usado pelo projeto Kubernetes para ajudar a testar recursos e executar testes de integração. Acontece que é uma maneira prática para qualquer pessoa criar um cluster rapidamente. Muito obrigado a @bentheelder por desenvolvê-lo ?? ??
• kubectl
  • kubectl é como você interage com o k8s usando a linha de comando. Isso permite que você se torne um sussurrador de k8s :-)

Comece

Criamos alguns scripts para que esta demonstração seja executada o mais rápido possível em sua máquina depois de instalar os pré-requisitos.

Este script irá:

• Crie um cluster gentil
• Aplique os manifestos do Kubernetes necessários para nossa demonstração do chatbot LLM
• Use o encaminhamento de porta para nos ajudar a acessar nosso serviço no navegador para que possamos fazer perguntas sobre LLM

Observação: depois de aplicar os manifestos do Kubernetes, nosso cluster levará cerca de 3 a 4 minutos para baixar as imagens, inicializar o LLM e iniciar os aplicativos. Você pode monitorar o status dos pods executando kubectl get pods

./startup.sh

Demonstração

A seguir, podemos instalar o aplicativo de demonstração que usa o LLM.

./demo.sh

Se quiser remover ou desmontar apenas o aplicativo de demonstração, você pode executar

./teardown.sh

Desligar

Para encerrar a demonstração, execute o seguinte comando, que irá:

• Remova os manifestos do Kubernetes
• Remova o encaminhamento de porta
• Exclua o cluster de tipo

./shutdown.sh

Informações do sistema operacional

Esta demonstração foi testada nos seguintes sistemas operacionais e funcionará se você tiver os pré-requisitos instalados.

• macOS
• Linux
• Windows

Verificação

Estas imagens são assinadas com fiança da sigstore. Você pode verificar a assinatura baixando a chave cosign.pub deste repositório e executando o seguinte comando:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Se você estiver bifurcando este repositório, leia a documentação sobre como manter segredos no github. Você precisa gerar um novo par de chaves com cosign . A chave pública pode estar em seu repositório público (seus usuários precisam dela para verificar as assinaturas) e você pode colar a chave privada em Configurações -> Segredos -> Ações.

Agradecimentos

Gostaríamos de agradecer ao Docker por compartilhar sua demonstração do GenAI Stack conosco. Usamos a demonstração deles como ponto de partida para esta demonstração. Você pode encontrar a demonstração deles aqui.

Também gostaríamos de agradecer à Weaveworks por seu projeto Weaveworks Scope, que usamos para ajudar a visualizar nosso cluster Kubernetes. Você pode encontrar o projeto deles aqui.