lagoon

ラグーン

supabase と llama2 を利用した github ドキュメントのシンプルな検索ツール

はじめる

反応アプリ

• supabase アカウントを作成し、新しいプロジェクトをセットアップする
• supabase.sql ファイルを使用してデータベース スキーマを作成する
• プロジェクトのルートに.envファイルを作成し、次の変数を追加します。

 VITE_SUPABASE_URL=<supabase url>
VITE_SUPABASE_KEY=<supabase key>

• yarnを実行して依存関係をインストールする
• yarn devを実行して開発サーバーを起動します。

Python 推論 API

• cd inference-server
• 仮想環境の作成python3 -m venv venv
• 仮想環境source venv/bin/activateアクティブ化します。
• 依存関係をインストールpip install -r requirements.txt
• サーバーpython inference.pyを実行します。

最初の起動では、モデルをダウンロードしてメモリにロードするのに数分かかります。

デモ