oaim sandbox

Oracle AI 微服务沙盒

？开发者预览版

描述

Oracle AI 微服务沙盒提供了一个简化的环境，开发人员和数据科学家可以在其中探索生成人工智能 (GenAI) 与检索增强生成 (RAG) 功能相结合的潜力。通过集成Oracle Database 23ai AI Vector Search，沙箱使用户能够通过 RAG 增强现有的大型语言模型 (LLM)。

沙盒功能

• 配置嵌入和聊天模型
• 分割和嵌入文档
• 将嵌入文档存储到 Oracle 数据库中
• 修改系统提示（提示工程）
• 试验LLM参数
• 自动生成或现有问答数据集的测试框架

入门

Oracle AI 微服务沙盒可安装在您自己的环境中，该环境可能是开发人员的桌面、本地数据中心环境或云提供商。它可以在裸机、容器内或 Kubernetes 集群中运行。

有关更多信息，包括有关设置和配置的更多详细信息，请访问文档。

先决条件

• Oracle 数据库 23ai 包括。 Oracle 数据库 23ai 免费
• Python 3.11（用于运行裸机）
• 容器运行时，例如 docker/podman（用于在容器中运行）
• 访问嵌入和聊天模型：
  • 第三方模型的 API 密钥
  • 本地型号_*

_{*Oracle 建议在具有 GPU 的硬件上运行本地模型。有关更多信息，请查看基础架构文档。}

裸机安装

在裸机上运行应用程序；从顶级目录下载源代码：

1. 创建并激活Python虚拟环境：

   python3.11 -m venv .venv
   source .venv/bin/activate
   pip3 install --upgrade pip wheel

2. 安装 Python 模块：

   pip3 install -r app/requirements.txt

3. 退出 shell 并再次运行：

    source .venv/bin/activate

4. 启动 Streamlit：

    cd app/src
   streamlit run oaim-sandbox.py --server.port 8501

5. 导航到http://localhost:8501 。

6. 配置沙箱。

集装箱安装

在容器中运行应用程序；从顶级目录下载源代码：

1. 构建形象。

   从app/目录中，构建镜像：

   podman build -t oaim-sandbox .

2. 启动容器：

   podman run -p 8501:8501 -it --rm oaim-sandbox

3. 导航到http://localhost:8501 。

4. 配置沙箱。

贡献

该项目欢迎社区的贡献。在提交拉取请求之前，请查看我们的贡献指南。

安全

请参阅安全指南，了解我们负责任的安全漏洞披露流程。

执照

版权所有 (c) 2024 Oracle 和/或其附属公司。根据通用许可许可证 v1.0 发布，如 https://oss.oracle.com/licenses/upl/ 所示

有关更多详细信息，请参阅许可证。