llm starter pack

Un paquete de inicio de LLM nativo en la nube

Requisitos previos

• Estibador
• amable
  • El tipo es "Kubernetes en Docker", utilizado por el proyecto Kubernetes para ayudar a probar funciones y ejecutar pruebas de integración. Resulta que es una forma útil para que cualquiera pueda poner en marcha un grupo rápidamente. ¿Muchas gracias a @bentheelder por desarrollarlo? ??
• kubectl
  • kubectl es la forma de interactuar con k8 usando la línea de comando. Esto te permite convertirte en un susurrador de k8 :-)

Puesta en marcha

Hemos creado algunos scripts para que esta demostración se ejecute lo más rápido posible en su máquina una vez que haya instalado los requisitos previos.

Este script:

• Crea un grupo amable
• Aplique los manifiestos de Kubernetes que necesitamos para nuestra demostración de chatbot LLM
• Utilice el reenvío de puertos para ayudarnos a acceder a nuestro servicio en el navegador para que podamos hacer nuestras preguntas de LLM.

Nota: Después de aplicar los manifiestos de Kubernetes, nuestro clúster tardará aproximadamente entre 3 y 4 minutos en descargar las imágenes, inicializar el LLM e iniciar las aplicaciones. Puede monitorear el estado de los pods ejecutando kubectl get pods

./startup.sh

Manifestación

A continuación, podemos instalar la aplicación de demostración que utiliza LLM.

./demo.sh

Si desea eliminar o derribar solo la aplicación de demostración, puede ejecutar

./teardown.sh

Cerrar

Para cerrar la demostración, ejecute el siguiente comando, que:

• Eliminar los manifiestos de Kubernetes
• Eliminar el reenvío de puertos
• Eliminar el grupo amable

./shutdown.sh

Información del sistema operativo

Esta demostración se ha probado en los siguientes sistemas operativos y funcionará si tiene instalados los requisitos previos.

• macos
• linux
• ventanas

Verificación

Estas imágenes están firmadas con el aval de sigstore. Puede verificar la firma descargando la clave cosign.pub de este repositorio y ejecutando el siguiente comando:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Si está bifurcando este repositorio, debe leer los documentos sobre cómo guardar secretos en github. Debe generar un nuevo par de claves con cosign . La clave pública puede estar en su repositorio público (sus usuarios la necesitan para verificar las firmas) y puede pegar la clave privada en Configuración -> Secretos -> Acciones.

Expresiones de gratitud

Nos gustaría agradecer a Docker por compartir su demostración de GenAI Stack con nosotros. Hemos utilizado su demostración como punto de partida para esta demostración. Puedes encontrar su demostración aquí.

También nos gustaría agradecer a Weaveworks por su proyecto Weaveworks Scope que hemos utilizado para ayudar a visualizar nuestro clúster de Kubernetes. Puedes encontrar su proyecto aquí.