oaim sandbox

Oracle AI 마이크로서비스 샌드박스

? 개발자 미리보기

설명

Oracle AI Microservices Sandbox는 개발자와 데이터 과학자가 RAG(검색 증강 생성) 기능과 결합된 GenAI(생성 인공 지능)의 잠재력을 탐색할 수 있는 간소화된 환경을 제공합니다. Oracle Database 23ai AI 벡터 검색을 통합함으로써 샌드박스를 통해 사용자는 RAG를 통해 기존 LLM(대형 언어 모델)을 향상할 수 있습니다.

샌드박스 기능

• 임베딩 및 채팅 모델 구성
• 문서 분할 및 포함
• Oracle 데이터베이스에 포함된 문서 저장
• 시스템 프롬프트 수정(프롬프트 엔지니어링)
• LLM 매개변수 실험
• 자동 생성되거나 기존 Q&A 데이터 세트에 대한 테스트 프레임워크

시작하기

Oracle AI Microservices Sandbox 는 개발자의 데스크탑, 온프레미스 데이터 센터 환경 또는 클라우드 제공업체 등 사용자 고유의 환경에 설치할 수 있습니다. 베어메탈, 컨테이너 내 또는 Kubernetes 클러스터에서 실행할 수 있습니다.

설정 및 구성 에 대한 자세한 내용을 포함한 자세한 내용을 보려면 설명서를 방문하세요.

전제 조건

• Oracle Database 23ai 포함 오라클 데이터베이스 23ai 무료
• Python 3.11(베어메탈 실행용)
• 컨테이너 런타임(예: docker/podman(컨테이너에서 실행용))
• 임베딩 및 채팅 모델에 대한 액세스:
  • 타사 모델용 API 키
  • 온프레미스 모델 _*

_{*오라클은 GPU가 있는 하드웨어에서 온프레미스 모델을 실행할 것을 권장합니다. 자세한 내용은 인프라 문서를 검토하세요.}

베어메탈 설치

베어메탈에서 애플리케이션을 실행하려면 소스를 다운로드하고 최상위 디렉터리에서:

1. Python 가상 환경을 생성하고 활성화합니다.

   python3.11 -m venv .venv
   source .venv/bin/activate
   pip3 install --upgrade pip wheel

2. Python 모듈을 설치합니다.

   pip3 install -r app/requirements.txt

3. 셸을 종료하고 다시 실행합니다.

    source .venv/bin/activate

4. Streamlit 시작:

    cd app/src
   streamlit run oaim-sandbox.py --server.port 8501

5. http://localhost:8501 로 이동합니다.

6. 샌드박스를 구성합니다.

컨테이너 설치

컨테이너에서 애플리케이션을 실행하려면 소스를 다운로드하고 최상위 디렉토리에서:

1. 이미지를 빌드합니다.

   app/ 디렉터리에서 이미지를 빌드합니다.

   podman build -t oaim-sandbox .

2. 컨테이너를 시작합니다.

   podman run -p 8501:8501 -it --rm oaim-sandbox

3. http://localhost:8501 로 이동합니다.

4. 샌드박스를 구성합니다.

기여

이 프로젝트는 커뮤니티의 기여를 환영합니다. 끌어오기 요청을 제출하기 전에 기여 가이드를 검토하세요.

보안

책임 있는 보안 취약점 공개 프로세스에 대해서는 보안 가이드를 참조하세요.

특허

Copyright (c) 2024 Oracle 및/또는 그 계열사. https://oss.oracle.com/licenses/upl/에 표시된 것처럼 Universal Permissive License v1.0에 따라 릴리스되었습니다.

자세한 내용은 라이센스를 참조하세요.