lagoon

泻湖

一个简单的 github 文档搜索工具，由 supabase 和 llama2 提供支持

入门

反应应用程序

• 创建一个 supabase 帐户并设置一个新项目
• 使用supabase.sql文件创建数据库模式
• 在项目根目录中创建一个.env文件并添加以下变量：

 VITE_SUPABASE_URL=<supabase url>
VITE_SUPABASE_KEY=<supabase key>

• 运行yarn来安装依赖项
• 运行yarn dev来启动开发服务器

Python 推理 API

• cd inference-server
• 创建虚拟环境python3 -m venv venv
• 激活虚拟环境source venv/bin/activate
• 安装依赖项pip install -r requirements.txt
• 运行服务器python inference.py

第一次启动需要几分钟时间来下载模型并将其加载到内存中

演示