Entrar em Contato

Programa do Curso

Fundamentos do Tencent Hunyuan para Produção

  • Visão geral dos cenários de disponibilização dos modelos Tencent Hunyuan
  • Características de produção de modelos grandes e MoE (Mixture of Experts)
  • Principais gargalos de latência, capacidade de processamento (throughput) e custos
  • Definição de objetivos de nível de serviço (SLOs) para cargas de trabalho de inferência

Arquitetura de Implantação e Fluxo de Disponibilização

  • Componentes principais de uma pilha de inferência em produção
  • Escolha entre modelos de implantação em container, on-premise ou nuvem
  • Fundamentos de carregamento do modelo, roteamento de requisições e alocação de GPU
  • Projeto focado em confiabilidade e simplicidade operacional

Otimização de Latência na Prática

  • Uso de mecanismos de inferência otimizados, como TensorRT, quando aplicável
  • Conceitos de KV-cache e ajustes práticos de cache
  • Redução da sobrecarga nos tempos de inicialização, aquecimento (warmup) e resposta
  • Medição do tempo até o primeiro token (TTFT) e da velocidade de geração de tokens

Capacidade de Processamento (Throughput), Agrupamento de Requisições e Eficiência da GPU

  • Estratégias de agrupamento contínuo e agrupamento por lotes de requisições
  • Gerenciamento de concorrência e comportamento da fila
  • Melhoria da utilização da GPU sem prejudicar a experiência do usuário
  • Tratamento de requisições com contexto longo e cargas de trabalho mistas

Quantização e Controle de Custos

  • Importância da quantização para a disponibilização em produção
  • Trade-offs práticos das opções de precisão FP16, INT8 e outras comuns
  • Equilíbrio entre qualidade do modelo, latência e custos de infraestrutura
  • Elaboração de uma lista de verificação simples para otimização de custos

Operações, Monitoramento e Revisão de Preparação

  • Gatilhos de autoscaling para serviços de inferência
  • Monitoramento de latência, capacidade de processamento (throughput), uso de cache e saúde da GPU
  • Fundamentos de logging, alertas e resposta a incidentes
  • Análise de um exemplo de referência de implantação e elaboração de um plano de melhoria

Requisitos

  • Compreensão básica dos fluxos de trabalho de implantação e inferência de modelos de linguagem grandes (LLMs)
  • Experiência com containers, infraestrutura em nuvem ou on-premise e serviços baseados em API
  • Conhecimento prático de Python ou tarefas de engenharia de sistemas

Público-alvo

  • Engenheiros de ML que implantam LLMs em ambiente de produção
  • Engenheiros de plataforma responsáveis pelos serviços de inferência baseados em GPU
  • Arquitetos de solução que projetam plataformas escaláveis de disponibilização de IA
 14 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas