llm starter pack

Стартовый пакет Cloud Native LLM

Предварительные условия

• Докер
• добрый
  • kind — это «Kubernetes в Docker», используемый проектом Kubernetes для тестирования функций и запуска интеграционных тестов. Оказывается, это удобный способ быстро развернуть кластер для любого. Большое спасибо @bentheelder за его разработку ?? ??
• кубектл
  • kubectl — это то, как вы взаимодействуете с k8s с помощью командной строки. Это позволяет вам стать шепчущим k8s :-)

Запускать

Мы создали несколько сценариев, чтобы эта демонстрационная версия запускалась на вашем компьютере как можно быстрее после установки необходимых компонентов.

Этот скрипт будет:

• Создайте своеобразный кластер
• Примените манифесты Kubernetes, которые нам нужны для демонстрации нашего чат-бота LLM.
• Используйте переадресацию портов, чтобы помочь нам получить доступ к нашему сервису в браузере, чтобы мы могли задавать вопросы по программе LLM.

Примечание. После применения манифестов Kubernetes нашему кластеру потребуется примерно 3–4 минуты для загрузки образов, инициализации LLM и запуска приложений. Вы можете отслеживать состояние модулей, запустив kubectl get pods

./startup.sh

Демо

Далее мы можем установить демонстрационное приложение, использующее LLM.

./demo.sh

Если вы хотите удалить или снести только демонстрационное приложение, вы можете запустить

./teardown.sh

Неисправность

Чтобы закрыть демо-версию, выполните следующую команду, которая:

• Удалите манифесты Kubernetes
• Удалить переадресацию портов
• Удалить кластер типа

./shutdown.sh

Информация об операционной системе

Эта демонстрация была протестирована в следующих операционных системах и будет работать, если у вас установлены необходимые компоненты.

• macOS
• Линукс
• Окна

Проверка

Эти изображения подписаны фирменным знаком sigstore. Вы можете проверить подпись, загрузив ключ cosign.pub из этого репозитория и выполнив следующую команду:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Если вы создаете форк этого репозитория, вам следует прочитать документацию по хранению секретов в github. Вам необходимо сгенерировать новую пару ключей с помощью cosign . Открытый ключ может находиться в вашем публичном репозитории (он нужен вашим пользователям для проверки подписей), и вы можете вставить закрытый ключ в «Настройки» -> «Секреты» -> «Действия».

Благодарности

Мы хотели бы поблагодарить Docker за то, что поделились с нами демо-версией GenAI Stack. Мы использовали их демо в качестве отправной точки для этой демонстрации. Вы можете найти их демо здесь.

Мы также хотели бы поблагодарить Weaveworks за проект Weaveworks Scope, который мы использовали для визуализации нашего кластера Kubernetes. Вы можете найти их проект здесь.