BigBerthaダウンロード - BigBerthaソースコードのダウンロード

BigBertha

AI ソースコード

skeletal-integrations

ダウンロード

BigBertha: Kubernetes ネイティブ LLMOps アーキテクチャ設計

ビッグバーサ

BigBertha は、オープンソースのコンテナネイティブテクノロジを使用して、自動化された LLMOps (Large Language Models Operations) をどのように Kubernetes クラスタ上で実現できるかを示すアーキテクチャ設計です。

建築

LLMOps の機能

1.LLMモニタリング

? BigBertha は、Prometheus を利用して LLM (Large Language Model) サービス提供モジュールを監視します。デモの目的で、Streamlit アプリを使用して LLM を提供し、Prometheus がそこからメトリクスを収集します。パフォーマンスの低下を検出するためにアラートが設定されています。

2. 自動トリガー LLM 再トレーニング/微調整

Prometheus は、モデルのパフォーマンスが低下するとアラートをトリガーします。これらのアラートは、Argo イベントを使用してモデルを微調整するための再トレーニングパイプラインをトリガーする AlertManager によって管理されます。

3. 再トレーニングされた LLM のトレーニング、評価、およびログ記録

?️ 再トレーニングパイプラインは Argo ワークフローを使用して調整されます。このパイプラインは、LLM 固有の再トレーニング、微調整、およびメトリクスの追跡を実行するように調整できます。 MLflow は、再トレーニングされた LLM のログ記録に使用されます。

4. 新しいデータの新しいベクトルの生成をトリガーする

MinIO は非構造化データのストレージに使用されます。 Argo Events は、MinIO でアップロードイベントをリッスンするように設定されており、新しいデータがアップロードされるとベクターインジェストワークフローがトリガーされます。

5. 新しいベクトルをナレッジベースに取り込む

? Argo Workflows は、ベクターの生成と取り込みに LlamaIndex を利用するベクター取り込みパイプラインを実行するために使用されます。これらのベクトルは Milvus に保存され、検索拡張生成のための知識ベースとして機能します。

スタックの概要

BigBertha は、いくつかの重要なコンポーネントに依存しています。

ArgoCD: BigBertha スタック内のすべてのコンポーネントを管理する Kubernetes ネイティブの継続的配信ツール。
Argo Workflows:ベクトルの取り込みとモデルの再トレーニングパイプラインの実行に使用される Kubernetes ネイティブのワークフローエンジン。
Argo Events:さまざまなアプリケーションやコンポーネントを接続し、イベントに基づいてワークフローをトリガーする、Kubernetes ネイティブのイベントベースの依存関係マネージャー。
Prometheus + AlertManager:モデルのパフォーマンスに関連する監視とアラートに使用されます。
LlamaIndex:データの取り込みとインデックス付けに使用される、LLM とデータソースを接続するためのフレームワーク。
Milvus:ベクトルを保存およびクエリするための Kubernetes ネイティブのベクトルデータベース。
MinIO:非構造化データの保存に使用されるオープンソースのオブジェクトストレージシステム。
MLflow:実験の追跡やモデル管理など、機械学習のライフサイクルを管理するためのオープンソースプラットフォーム。
Kubernetes:コンテナ化されたアプリケーションのデプロイ、スケーリング、管理を自動化するコンテナオーケストレーションプラットフォーム。
Docker コンテナ: Docker コンテナは、一貫した再現可能な方法でアプリケーションをパッケージ化し、実行するために使用されます。

デモチャットボット

デモンストレーションとして、BigBertha には、Llama2 7B 量子化チャットボットモデルを提供する Streamlit ベースのチャットボットが含まれています。シンプルな Flask アプリを使用してメトリクスを公開し、Redis が Streamlit プロセスと Flask プロセスの間の仲介者として機能します。