awsome fmops

Incríveis FMOps

Este repositório contém arquiteturas de referência e casos de teste para Foundation Model Operations (FMOps) no Amazon EKS.

As Operações de Modelo Básico (FMOps) abrangem os processos ponta a ponta envolvidos no gerenciamento de modelos básicos, desde o pré-treinamento inicial até a implantação e monitoramento. Este repositório foi projetado para mostrar o uso de diferentes estruturas em cada estágio do ciclo de vida do modelo básico e do pipeline ponta a ponta. Especificamente, os FMOps neste repositório envolvem os seguintes quatro estágios: pré-treinamento contínuo, ajuste fino, avaliação e implantação. A seção a seguir, “Estágios das Operações do Modelo Básico”, detalha cada estágio. Cada subdiretório deste repositório (pré-treinamento, ajuste fino, avaliação, implantação) inclui casos de teste para cada estágio.

Nossa infraestrutura é implantada usando Terraform. Consulte o guia de implantação para obter o guia de configuração da infraestrutura.

Estágios das operações do modelo básico

As Operações do Modelo Básico (FMOps) abrangem os processos e práticas envolvidas no pré-treinamento (contínuo), no ajuste fino, na avaliação e na implantação de modelos básicos.

1. O pré-treinamento (contínuo) é o estágio inicial em que o modelo básico é treinado em um conjunto de dados amplo e diversificado para aprender conhecimentos gerais. Esta etapa envolve o uso de dados em grande escala para desenvolver um modelo que possa ser generalizado para várias tarefas e domínios. O processo de pré-treinamento costuma ser contínuo, o que significa que o modelo é atualizado periodicamente com novos dados para melhorar seu desempenho.

2. O ajuste fino envolve a adaptação do modelo básico pré-treinado a tarefas ou domínios específicos. Esta etapa opcional pode ser dividida em duas subetapas:

• Ajuste de instruções : Este processo envolve refinar a capacidade do modelo de seguir instruções ou prompts específicos, melhorando seu desempenho em tarefas específicas, fornecendo dados e instruções adicionais específicos da tarefa.
• Alinhamento : Esta subetapa garante que os resultados do modelo estejam alinhados com os comportamentos desejados e as diretrizes éticas. Envolve ajustar o modelo para reduzir vieses, melhorar a segurança e garantir que ele atenda aos requisitos específicos do domínio de aplicação.

3. A avaliação é uma etapa crítica que ocorre após o pré-treinamento e o ajuste fino. Envolve avaliar o desempenho do modelo usando benchmarks e métricas padronizadas. A avaliação ajuda a acompanhar o progresso do modelo, identificar áreas de melhoria e garantir que o modelo atenda aos critérios de desempenho desejados.

4. A implantação é o estágio final, onde o modelo básico é integrado aos ambientes de produção. Esta etapa inclui:

• Servir : Disponibilizar o modelo para uso em aplicações do mundo real, garantindo que ele possa lidar com a carga necessária e fornecer respostas oportunas.
• Monitoramento : Acompanhamento contínuo do desempenho e comportamento do modelo na produção para detectar e resolver quaisquer problemas, como degradação de desempenho ou resultados inesperados. A monitorização também envolve a atualização do modelo conforme necessário para manter a sua eficácia e relevância.

Ao seguir esses estágios, as organizações podem desenvolver, ajustar, avaliar e implantar modelos básicos com eficácia, garantindo que eles ofereçam alto desempenho e se alinhem com os casos de uso e padrões éticos pretendidos.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo LICENÇA.