oaim sandbox

Песочница микросервисов Oracle AI

? Предварительный просмотр для разработчиков

Описание

Песочница Oracle AI Microservices обеспечивает оптимизированную среду, в которой разработчики и специалисты по обработке данных могут изучить потенциал генеративного искусственного интеллекта (GenAI) в сочетании с возможностями извлечения и дополненной генерации (RAG). Благодаря интеграции Oracle Database 23ai AI Vector Search песочница позволяет пользователям улучшать существующие модели больших языков (LLM) с помощью RAG.

Возможности песочницы

• Настройка моделей внедрения и чата
• Разделение и встраивание документации
• Хранение встроенных документов в базе данных Oracle
• Изменение системных подсказок (Prompt Engineering)
• Экспериментирование с параметрами LLM
• Платформа тестирования на автоматически сгенерированных или существующих наборах данных вопросов и ответов.

Начиная

Песочницу Oracle AI Microservices можно установить в вашей собственной среде, которая может быть настольным компьютером разработчика, средой локального центра обработки данных или облачным провайдером. Его можно запускать либо на «голом железе», либо в контейнере, либо в кластере Kubernetes.

Для получения дополнительной информации, включая более подробную информацию об установке и настройке, посетите документацию.

Предварительные условия

• База данных Oracle 23ai, вкл. База данных Oracle 23ai бесплатно
• Python 3.11 (для запуска Bare Metal)
• Среда выполнения контейнера, например docker/podman (для запуска в контейнере)
• Доступ к модели внедрения и чата:
  • Ключи API для сторонних моделей
  • Локальные модели _*

_{*Oracle рекомендует запускать локальные модели на оборудовании с графическими процессорами. Для получения дополнительной информации ознакомьтесь с документацией по инфраструктуре.}

Установка на голый металл

Запустить приложение на «голом железе»; загрузите исходный код и из каталога верхнего уровня:

1. Создайте и активируйте виртуальную среду Python:

   python3.11 -m venv .venv
   source .venv/bin/activate
   pip3 install --upgrade pip wheel

2. Установите модули Python:

   pip3 install -r app/requirements.txt

3. Выйдите из оболочки и запустите снова:

    source .venv/bin/activate

4. Запустить Стримлит:

    cd app/src
   streamlit run oaim-sandbox.py --server.port 8501

5. Перейдите по адресу http://localhost:8501 .

6. Настройте песочницу.

Установка контейнера

Запустить приложение в контейнере; загрузите исходный код и из каталога верхнего уровня:

1. Создайте образ.

   Из каталога app/ создайте образ:

   podman build -t oaim-sandbox .

2. Запустите контейнер:

   podman run -p 8501:8501 -it --rm oaim-sandbox

3. Перейдите по адресу http://localhost:8501 .

4. Настройте песочницу.

Содействие

Этот проект приветствует вклад сообщества. Прежде чем отправлять запрос на включение, ознакомьтесь с нашим руководством по вкладу.

Безопасность

Пожалуйста, ознакомьтесь с руководством по безопасности для нашего ответственного процесса раскрытия уязвимостей безопасности.

Лицензия

Авторские права (c) принадлежат Oracle и/или ее дочерним компаниям, 2024 г. Выпущено на условиях универсальной разрешающей лицензии версии 1.0, как показано на https://oss.oracle.com/licenses/upl/.

Подробнее см. ЛИЦЕНЗИЯ.