oaim sandbox

Oracle AI 微服務沙箱

？開發者預覽版

描述

Oracle AI 微服務沙箱提供了一個簡化的環境，開發人員和資料科學家可以在其中探索生成人工智慧 (GenAI) 與檢索增強生成 (RAG) 功能相結合的潛力。透過整合Oracle Database 23ai AI Vector Search，沙箱使用戶能夠透過 RAG 增強現有的大型語言模型 (LLM)。

沙盒功能

• 配置嵌入和聊天模型
• 分割和嵌入文檔
• 將嵌入文件儲存到 Oracle 資料庫中
• 修改系統提示（提示工程）
• 試驗LLM參數
• 自動產生或現有問答資料集的測試框架

入門

Oracle AI 微服務沙盒可安裝在您自己的環境中，該環境可能是開發人員的桌面、本機資料中心環境或雲端供應商。它可以在裸機、容器內或 Kubernetes 叢集中運作。

有關更多信息，包括有關設定和配置的更多詳細信息，請訪問文件。

先決條件

• Oracle 資料庫 23ai 包括。 Oracle 資料庫 23ai 免費
• Python 3.11（用於運行裸機）
• 容器運行時，例如 docker/podman（用於在容器中運行）
• 存取嵌入和聊天模型：
  • 第三方模型的 API 金鑰
  • 本地型號_*

_{*Oracle 建議在具有 GPU 的硬體上運行本機模型。有關更多信息，請查看基礎架構文件。}

裸機安裝

在裸機上運行應用程式；從頂級目錄下載原始碼：

1. 創建並啟動Python虛擬環境：

   python3.11 -m venv .venv
   source .venv/bin/activate
   pip3 install --upgrade pip wheel

2. 安裝 Python 模組：

   pip3 install -r app/requirements.txt

3. 退出 shell 並再次運行：

    source .venv/bin/activate

4. 啟動 Streamlit：

    cd app/src
   streamlit run oaim-sandbox.py --server.port 8501

5. 導航至http://localhost:8501 。

6. 配置沙箱。

貨櫃安裝

在容器中運行應用程式；從頂級目錄下載原始碼：

1. 建構形象。

   從app/目錄中，建立鏡像：

   podman build -t oaim-sandbox .

2. 啟動容器：

   podman run -p 8501:8501 -it --rm oaim-sandbox

3. 導航至http://localhost:8501 。

4. 配置沙箱。

貢獻

該項目歡迎社區的貢獻。在提交拉取請求之前，請查看我們的貢獻指南。

安全

請參閱安全指南，以了解我們負責任的安全漏洞揭露流程。

執照

版權所有 (c) 2024 Oracle 和/或其附屬公司。根據通用授權許可證 v1.0 發布，如 https://oss.oracle.com/licenses/upl/ 所示

有關更多詳細信息，請參閱許可證。