Programa do Curso

  • Visão geral do Mistral Medium 3
  • Compromissos entre desempenho e custo
  • Considerações de escala empresarial
  • Topologias de servidores e escolhas de design
  • Implantações em premises vs. nuvem
  • Estratégias híbridas e multicloud
  • Estratégias de batch para alto throughput
  • Métodos de quantização para redução de custos
  • Utilização de aceleradores e GPUs
  • Dimensionamento de clusters Kubernetes para inferência
  • Balançamento de carga e roteamento de tráfego
  • Tolerância a falhas e redundância
  • Medição da eficiência do custo de inferência
  • Ajuste adequado de recursos computacionais e de memória
  • Monitoramento e alerta para otimização
  • Protegendo implantações e APIs
  • Considerações sobre governança de dados
  • Conformidade regulatória na engenharia de custos
  • Arquiteturas de referência para o Mistral em escala
  • Licções aprendidas com implantações empresariais
  • Tendências futuras em inferência eficiente de LLMs

Requisitos

  • Sólida compreensão da implantação de modelos de machine learning
  • Experiência com infraestrutura em nuvem e sistemas distribuídos
  • Familiaridade com otimização de desempenho e estratégias de redução de custos

Público-Alvo

  • Engenheiros de infraestrutura
  • Arquitetos de nuvem
  • Líderes MLOps
 14 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas