Entrar em Contato

Programa do Curso

Introdução ao Escalonamento do Ollama

  • Arquitetura do Ollama e considerações sobre escalonamento
  • Principais gargalos em implantações multiutilizador
  • Melhores práticas para preparação da infraestrutura

Alocação de Recursos e Otimização de GPU

  • Estratégias eficientes de utilização de CPU/GPU
  • Considerações sobre memória e largura de banda
  • Restrições de recursos ao nível do contenêiner

Implantação com Contêineres e Kubernetes

  • Contenização do Ollama com Docker
  • Execução do Ollama em clusters Kubernetes
  • Balanço de carga e descoberta de serviços

Escalaçãom automático e Agrupamento (Batching)

  • Definição de políticas de escalonamento automático para o Ollama
  • Técnicas de inferência em lote para otimização da vazão
  • Compensação entre latência e vazão

Otimização de Latência

  • Análise de desempenho da inferência
  • Estratégias de cache e aquecimento de modelos (model warm-up)
  • Redução da sobrecarga de E/S e comunicação

Monitorização e Observabilidade

  • Integração do Prometheus para métricas
  • Criação de painéis com o Grafana
  • Alertas e resposta a incidentes para a infraestrutura do Ollama

Gestão de Custos e Estratégias de Escalonamento

  • Alocação de GPU consciente dos custos
  • Considerações sobre implantação na nuvem versus on-premises
  • Estratégias para escalonamento sustentável

Resumo e Próximos Passos

Requisitos

  • Experiência com administração de sistemas Linux
  • Compreensão de conteinerização e orquestração
  • Conhecimento sobre implantação de modelos de machine learning

Público-Alvo

  • Engenheiros DevOps
  • Equipes de infraestrutura de ML
  • Engenheiros de confiabilidade do site (SRE)
 21 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas