serving download - serving download de código-fonte

serving

Pitão

2.18.0

Baixar

Envio do TensorFlow

O TensorFlow Serving é um sistema de atendimento flexível e de alto desempenho para modelos de machine learning, projetado para ambientes de produção. Ele lida com o aspecto de inferência do aprendizado de máquina, pegando modelos após o treinamento e gerenciando seus tempos de vida, fornecendo aos clientes acesso versionado por meio de uma tabela de pesquisa de alto desempenho com contagem de referências. O TensorFlow Serving oferece integração pronta para uso com modelos do TensorFlow, mas pode ser facilmente estendido para servir outros tipos de modelos e dados.

Para observar alguns recursos:

Pode servir vários modelos ou várias versões do mesmo modelo simultaneamente
Expõe pontos de extremidade de inferência gRPC e HTTP
Permite a implantação de novas versões de modelo sem alterar nenhum código do cliente
Suporta canarying de novas versões e modelos experimentais de teste A/B
Adiciona latência mínima ao tempo de inferência devido à implementação eficiente e de baixa sobrecarga
Apresenta um agendador que agrupa solicitações de inferência individuais em lotes para execução conjunta na GPU, com controles de latência configuráveis
Suporta muitos serviços : modelos Tensorflow, embeddings, vocabulários, transformações de recursos e até mesmo modelos de aprendizado de máquina não baseados em Tensorflow

Servir um modelo do Tensorflow em 60 segundos

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Tutorial completo de treinamento e atendimento

Consulte o site oficial de documentação do Tensorflow para obter um tutorial completo para treinar e servir um modelo do Tensorflow.

Documentação

Configurar

A maneira mais fácil e direta de usar o TensorFlow Serving é com imagens Docker. É altamente recomendável essa rota, a menos que você tenha necessidades específicas que não sejam atendidas pela execução em um contêiner.

Instale o Tensorflow Serving usando Docker (recomendado)
Instale o Tensorflow Serving sem Docker (não recomendado)
Crie o serviço Tensorflow a partir da fonte com Docker
Implante o serviço Tensorflow no Kubernetes

Usar

Exporte seu modelo do Tensorflow

Para servir um modelo Tensorflow, basta exportar um SavedModel do seu programa Tensorflow. SavedModel é um formato de serialização hermético, recuperável e de linguagem neutra que permite que sistemas e ferramentas de nível superior produzam, consumam e transformem modelos do TensorFlow.

Consulte a documentação do Tensorflow para obter instruções detalhadas sobre como exportar SavedModels.

Configurar e usar o serviço Tensorflow

Siga um tutorial sobre como servir modelos do Tensorflow
Configure o Tensorflow Serving para adequá-lo ao seu caso de uso de serviço
Leia o Guia de desempenho e aprenda como usar o TensorBoard para criar perfil e otimizar solicitações de inferência
Leia o Guia da API REST ou a definição da API gRPC
Use SavedModel Warmup se as solicitações de inferência iniciais forem lentas devido à inicialização lenta do gráfico
Se encontrar problemas relacionados às assinaturas do modelo, leia a documentação do SignatureDef
Se estiver usando um modelo com operações personalizadas, saiba como servir modelos com operações personalizadas

Estender

A arquitetura do Tensorflow Serving é altamente modular. Você pode usar algumas partes individualmente (por exemplo, agendamento em lote) e/ou estendê-las para atender novos casos de uso.