GenAIExamples

Exemplos de IA generativa

Introdução

GenAIExamples foram projetados para oferecer aos desenvolvedores uma entrada fácil na IA generativa, apresentando amostras baseadas em microsserviços que simplificam os processos de implantação, teste e dimensionamento de aplicativos GenAI. Todos os exemplos são totalmente compatíveis com Docker e Kubernetes, suportando uma ampla gama de plataformas de hardware, como Gaudi, Xeon e GPU NVIDIA, e outros hardwares, garantindo flexibilidade e eficiência para sua adoção de GenAI.

Arquitetura

GenAIComps é uma ferramenta baseada em serviço que inclui componentes de microsserviços, como llm, incorporação, reclassificação e assim por diante. Usando esses componentes, vários exemplos em GenAIExample podem ser construídos, incluindo ChatQnA, DocSum, etc.

GenAIInfra, parte do pacote OPEA de conteinerização e nativo em nuvem, permite a implantação rápida e eficiente de GenAIExamples na nuvem.

GenAIEval mede métricas de desempenho de serviço, como taxa de transferência, latência e precisão para GenAIExamples. Esse recurso ajuda os usuários a comparar facilmente o desempenho em várias configurações de hardware.

Começando

GenAIExamples oferece opções de implantação flexíveis que atendem às diferentes necessidades do usuário, permitindo uso e implantação eficientes em vários ambientes. Aqui está uma breve visão geral dos três métodos principais: inicialização do Python, Docker Compose e Kubernetes.

Os usuários podem escolher a abordagem mais adequada com base na facilidade de configuração, nas necessidades de escalabilidade e no ambiente em que estão operando.

Guia de implantação

A implantação é baseada em imagens do docker lançadas por padrão, verifique a lista de imagens do docker para obter informações detalhadas. Você também pode construir suas próprias imagens seguindo as instruções.

Pré-requisito

• Para implantação baseada no Docker Compose, você deve ter o docker compose instalado. Consulte a instalação do docker compose.
• Para implantação baseada em Kubernetes, fornecemos três maneiras, desde os manifestos mais fáceis até a implantação poderosa baseada em GMC.
  • Você deve ter um cluster Kubernetes pronto para uso. Caso contrário, você pode consultar a instalação do k8s para implantar um.
  • (Opcional) Você deve ter o GMC instalado em seu cluster Kubernetes se quiser tentar com o GMC. Consulte a instalação do GMC para obter mais informações.
  • (Opcional) Você deve ter o Helm (versão >= 3.15) instalado se quiser implantar com Helm Charts. Consulte o Guia de instalação do Helm para obter mais informações.

Exemplos de implantação

Caso de uso	Composição do Docker Implantação no Xeon	Composição do Docker Implantação em Gaudí	Kubernetes com manifestos	Kubernetes com gráficos Helm	Kubernetes com GMC
ChatQnA	Instruções Xeon	Instruções de Gaudí	ChatQnA com manifestos	ChatQnA com gráficos Helm	ChatQnA com GMC
CodeGen	Instruções Xeon	Instruções de Gaudí	CodeGen com manifestos	CodeGen com gráficos Helm	CodeGen com GMC
CodeTrans	Instruções Xeon	Instruções de Gaudí	CodeTrans com manifestos	CodeTrans com gráficos Helm	CodeTrans com GMC
DocSum	Instruções Xeon	Instruções de Gaudí	DocSum com manifestos	DocSum com gráficos Helm	DocSum com GMC
PesquisaQnA	Instruções Xeon	Instruções de Gaudí	Não compatível	Não compatível	SearchQnA com GMC
FaqGen	Instruções Xeon	Instruções de Gaudí	FaqGen com manifestos	Não compatível	FaqGen com GMC
Tradução	Instruções Xeon	Instruções de Gaudí	Tradução com Manifestos	Não compatível	Tradução com GMC
ÁudioQnA	Instruções Xeon	Instruções de Gaudí	AudioQnA com manifestos	Não compatível	AudioQnA com GMC
VisualQnA	Instruções Xeon	Instruções de Gaudí	VisualQnA com manifestos	Não compatível	VisualQnA com GMC
MultimodalQnA	Instruções Xeon	Instruções de Gaudí	Não compatível	Não compatível	Não compatível
Suíte Produtividade	Instruções Xeon	Não compatível	ProductivitySuite com manifestos	Não compatível	Não compatível

Exemplos suportados

Verifique aqui informações detalhadas de exemplos, modelos, hardwares suportados, etc.

Contribuindo para a OPEA

Bem-vindo à comunidade de código aberto OPEA! Estamos entusiasmados por ter você aqui e entusiasmados com as possíveis contribuições que você pode trazer para a plataforma OPEA. Esteja você corrigindo bugs, adicionando novos componentes GenAI, melhorando a documentação ou compartilhando seus casos de uso exclusivos, suas contribuições são inestimáveis.

Juntos, podemos tornar a OPEA a plataforma ideal para soluções empresariais de IA. Vamos trabalhar juntos para ultrapassar os limites do que é possível e criar um futuro onde a IA seja acessível, eficiente e impactante para todos.

Verifique as diretrizes de contribuição para obter um guia detalhado sobre como contribuir com um componente GenAI e todas as maneiras pelas quais você pode contribuir!

Obrigado por fazer parte desta jornada. Mal podemos esperar para ver o que podemos alcançar juntos!

Conteúdo Adicional

• Código de Conduta
• Política de Segurança
• Informações Legais