llm starter pack

クラウドネイティブ LLM スターター パック

前提条件

• ドッカー
• 親切
  • 種類は「Kubernetes in Docker」で、機能のテストや統合テストの実行を支援するために Kubernetes プロジェクトによって使用されます。これは誰でもすぐにクラスターを起動できる便利な方法であることがわかりました。開発してくれた @bentheelder に感謝します?? ??
• クベクトル
  • kubectl は、コマンドラインを使用して k8s と対話する方法です。これにより、k8s ウィスパラーになることができます :-)

起動する

前提条件をインストールしたら、このデモをマシン上でできるだけ早く実行できるように、いくつかのスクリプトを作成しました。

このスクリプトは次のことを行います。

• 種類クラスターを作成する
• LLM チャットボットのデモに必要な Kubernetes マニフェストを適用します
• ポート転送を使用すると、ブラウザでサービスにアクセスできるようになり、LLM について質問できるようになります。

注: Kubernetes マニフェストを適用した後、クラスターがイメージをダウンロードし、LLM を初期化し、アプリケーションを開始するのに約 3 ～ 4 分かかります。 kubectl get pods実行すると、ポッドのステータスを監視できます。

./startup.sh

デモ

次に、LLM を使用するデモ アプリをインストールできます。

./demo.sh

デモアプリだけを削除または破棄したい場合は、次のコマンドを実行できます。

./teardown.sh

シャットダウン

デモをシャットダウンするには、次のコマンドを実行します。

• Kubernetes マニフェストを削除する
• ポート転送を削除する
• 種類クラスタを削除する

./shutdown.sh

オペレーティング システム情報

このデモは次のオペレーティング システムでテストされており、前提条件がインストールされていれば動作します。

• macOS
• Linux
• 窓

検証

これらのイメージは sigstore の cosign で署名されています。このリポジトリからcosign.pubキーをダウンロードし、次のコマンドを実行することで署名を検証できます。

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

このリポジトリをフォークする場合は、github の秘密の保持に関するドキュメントを読む必要があります。 cosignを使用して新しいキーペアを生成する必要があります。公開キーはパブリック リポジトリにあり (ユーザーが署名を確認するために必要です)、秘密キーを [設定] -> [シークレット] -> [アクション] に貼り付けることができます。

謝辞

GenAI Stack デモを共有してくれた Docker に感謝します。このデモの出発点として彼らのデモを使用しました。ここでデモを見つけることができます。

また、Kubernetes クラスターの視覚化に使用した Weaveworks Scope プロジェクトについても Weaveworks に感謝します。ここで彼らのプロジェクトを見つけることができます。