GenAIExamples

생성적 AI 예시

소개

GenAIExamples는 개발자가 GenAI 애플리케이션 배포, 테스트 및 확장 프로세스를 단순화하는 마이크로서비스 기반 샘플을 제공하여 생성적 AI에 쉽게 접근할 수 있도록 설계되었습니다. 모든 예제는 Docker 및 Kubernetes와 완벽하게 호환되어 Gaudi, Xeon, NVIDIA GPU와 같은 광범위한 하드웨어 플랫폼과 기타 하드웨어를 지원하여 GenAI 도입을 위한 유연성과 효율성을 보장합니다.

건축학

GenAIComps는 LLM, 임베딩, 순위 재지정 등과 같은 마이크로서비스 구성 요소를 포함하는 서비스 기반 도구입니다. 이러한 구성 요소를 사용하면 ChatQnA, DocSum 등 GenAIExample의 다양한 예제를 구성할 수 있습니다.

OPEA 컨테이너화 및 클라우드 네이티브 제품군의 일부인 GenAIInfra를 사용하면 클라우드에서 GenAIExamples를 빠르고 효율적으로 배포할 수 있습니다.

GenAIeval은 GenAIExamples의 처리량, 대기 시간, 정확성과 같은 서비스 성능 지표를 측정합니다. 이 기능은 사용자가 다양한 하드웨어 구성에서 성능을 쉽게 비교할 수 있도록 도와줍니다.

시작하기

GenAIExamples는 다양한 사용자 요구 사항을 충족하는 유연한 배포 옵션을 제공하여 다양한 환경에서 효율적인 사용 및 배포를 가능하게 합니다. 다음은 Python 시작, Docker Compose 및 Kubernetes의 세 가지 기본 방법에 대한 간략한 개요입니다.

사용자는 설정 용이성, 확장성 요구 사항, 운영 환경에 따라 가장 적합한 접근 방식을 선택할 수 있습니다.

배포 가이드

배포는 기본적으로 릴리스된 Docker 이미지를 기반으로 합니다. 자세한 내용은 Docker 이미지 목록을 확인하세요. 지침에 따라 자신만의 이미지를 만들 수도 있습니다.

전제조건

• Docker Compose 기반 배포의 경우 docker compose가 설치되어 있어야 합니다. docker compose 설치를 참조하세요.
• Kubernetes 기반 배포의 경우 가장 쉬운 매니페스트부터 강력한 GMC 기반 배포까지 3가지 방법을 제공합니다.
  • Kubernetes 클러스터를 사용할 준비가 되어 있어야 합니다. 그렇지 않은 경우 k8s 설치를 참조하여 배포할 수 있습니다.
  • (선택 사항) GMC를 사용해 보려면 Kubernetes 클러스터에 GMC를 설치해야 합니다. 자세한 내용은 GMC 설치를 참조하세요.
  • (선택 사항) Helm 차트를 사용하여 배포하려면 Helm(버전 >= 3.15)이 설치되어 있어야 합니다. 자세한 내용은 Helm 설치 가이드를 참조하세요.

예제 배포

사용 사례	도커 작성 Xeon에 배포	도커 작성 Gaudi에 배포	매니페스트가 포함된 Kubernetes	Helm 차트가 포함된 Kubernetes	GMC를 사용한 Kubernetes
ChatQnA	제온 지침	가우디 지침	매니페스트가 포함된 ChatQnA	Helm 차트를 사용한 ChatQnA	GMC와 ChatQnA
코드젠	제온 지침	가우디 지침	매니페스트가 포함된 CodeGen	Helm 차트를 사용한 CodeGen	GMC를 사용한 CodeGen
코드트랜스	제온 지침	가우디 지침	매니페스트가 포함된 CodeTrans	Helm 차트를 사용한 CodeTrans	GMC를 사용한 CodeTrans
DocSum	제온 지침	가우디 지침	매니페스트가 포함된 DocSum	Helm 차트를 사용한 DocSum	GMC와의 DocSum
검색QnA	제온 지침	가우디 지침	지원되지 않음	지원되지 않음	GMC를 통한 SearchQnA
FaqGen	제온 지침	가우디 지침	매니페스트가 포함된 FaqGen	지원되지 않음	GMC와 FaqGen
번역	제온 지침	가우디 지침	매니페스트를 사용한 번역	지원되지 않음	GMC를 통한 번역
오디오QnA	제온 지침	가우디 지침	매니페스트가 포함된 AudioQnA	지원되지 않음	GMC와 AudioQnA
비주얼QnA	제온 지침	가우디 지침	매니페스트가 포함된 VisualQnA	지원되지 않음	GMC를 갖춘 VisualQnA
다중모달QnA	제온 지침	가우디 지침	지원되지 않음	지원되지 않음	지원되지 않음
생산성 제품군	제온 지침	지원되지 않음	매니페스트가 포함된 ProductivitySuite	지원되지 않음	지원되지 않음

지원되는 예

지원되는 예제, 모델, 하드웨어 등에 대한 자세한 정보는 여기를 확인하세요.

OPEA에 기여

OPEA 오픈 소스 커뮤니티에 오신 것을 환영합니다! 우리는 귀하를 이 자리에 모시게 되어 기쁘게 생각하며 귀하가 OPEA 플랫폼에 가져올 수 있는 잠재적인 기여에 대해 기대하고 있습니다. 버그 수정, 새로운 GenAI 구성 요소 추가, 문서 개선, 고유한 사용 사례 공유 등 무엇을 하든 여러분의 기여는 매우 중요합니다.

우리는 함께 OPEA를 엔터프라이즈 AI 솔루션을 위한 최고의 플랫폼으로 만들 수 있습니다. 가능한 것의 경계를 넓히고 AI가 모든 사람에게 접근 가능하고 효율적이며 영향력이 있는 미래를 만들기 위해 함께 노력합시다.

GenAI 구성 요소를 기여하는 방법과 기여할 수 있는 모든 방법에 대한 자세한 가이드는 기여 지침을 확인하세요!

이 여행에 참여해 주셔서 감사합니다. 우리가 함께 무엇을 성취할 수 있을지 기대됩니다!

추가 콘텐츠

• 행동 강령
• 보안정책
• 법률정보