Programa do Curso
Preparando Modelos de Aprendizado de Máquina para Implementação
- Embalagem de modelos com Docker
- Exportação de modelos do TensorFlow e PyTorch
- Considerações sobre versionamento e armazenamento
Serviço de Modelos no Kubernetes
- Visão geral dos servidores de inferência
- Implementando TensorFlow Serving e TorchServe
- Configuração de pontos de extremidade de modelos
Técnicas de Otimização de Inferência
- Estratégias de batch
- Tratamento de solicitações concorrentes
- Ajuste de latência e throughput
Escalonamento Automático de Cargas de Trabalho de ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisão e Gerenciamento de Recursos de GPU
- Configuração de nós GPU
- Visão geral do plugin de dispositivo NVIDIA
- Solicitações e limites de recursos para cargas de trabalho de ML
Estratégias de Lançamento e Liberação de Modelos
- Implantações azul/verde
- Padrões de lançamento canário
- Testes A/B para avaliação de modelos
Monitoramento e Observabilidade para ML em Produção
- Métricas para cargas de trabalho de inferência
- Práticas de logging e rastreamento
- Painéis e alertas
Considerações sobre Segurança e Confiabilidade
- Segurança de pontos de extremidade de modelos
- Políticas de rede e controle de acesso
- Garantia de alta disponibilidade
Resumo e Próximos Passos
Requisitos
- Compreensão dos fluxos de trabalho de aplicativos contêinerizados
- Experiência com modelos de aprendizado de máquina baseados em Python
- Familiaridade com os fundamentos do Kubernetes
Público-Alvo
- Engenheiros de ML
- Engenheiros DevOps
- Equipes de engenharia de plataforma
Declaração de Clientes (5)
Interatividade, sem ler slides o dia inteiro
Emilien Bavay - IRIS SA
Curso - Kubernetes Advanced
Máquina Traduzida
ele foi paciente e entendeu que ficamos para trás
Albertina - REGNOLOGY ROMANIA S.R.L.
Curso - Deploying Kubernetes Applications with Helm
Máquina Traduzida
O treinamento foi mais prático
Siphokazi Biyana - Vodacom SA
Curso - Kubernetes on AWS
Máquina Traduzida
Aprendendo sobre Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Curso - Kubernetes on Azure (AKS)
Máquina Traduzida
Forneceu uma boa base para Docker e Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Curso - Docker (introducing Kubernetes)
Máquina Traduzida