Entrar em Contato

Programa do Curso

Introdução ao LLMOps

  • LLMOps vs MLOps: desafios únicos de operar LLMs
  • O ciclo de vida da aplicação LLM: prompt, avaliar, implantar, monitorar
  • Lista de verificação de prontidão para produção de aplicações GenAI

Gestão e Versionamento de Prompts

  • Sistemas de template de prompts e injeção de variáveis
  • Versionamento semântico para prompts com teste de regressão automatizado
  • Registros de prompts e fluxos de trabalho colaborativos

Avaliação de LLM em Escala

  • Dimensões de avaliação: precisão, relevância, segurança e groundedness
  • Métricas de LLM-as-judge e pipelines de avaliação humana
  • Franquias de avaliação automatizada: RAGAS, DeepEval e avaliadores personalizados
  • Gates de qualidade em CI/CD para implantações de LLM

Barreiras de Segurança e Governança de Conteúdo

  • Barreiras de entrada e saída: NeMo Guardrails e Guardrails AI
  • Deteção de PII, filtragem de toxicidade e limites de tópicos
  • Estratégias de defesa contra jailbreaks e injeção de prompts
  • Testes de invasão (red-teaming) de aplicações LLM para garantia de segurança

Observabilidade e Monitoramento de LLM

  • Telemetria: uso de tokens, latência, custos e métricas de qualidade
  • Deteção de deriva (drift) nas saídas do LLM e espaços de embedding
  • Rastreamento em nível de sessão para conversas com agentes multi-turno
  • Dashboards e alertas com LangSmith, Arize e OpenTelemetry

Gateway de IA e Orquestração de Modelos

  • Roteamento multi-provedor com LiteLLM e Portkey
  • Estratégias de fallback, lógica de retry e circuit breakers
  • Seleção de modelos consciente do custo e balanceamento de carga
  • Limitação de taxa, gestão de cota e governança de chaves de API

Otimização de Desempenho

  • Cache semântico com vetores (vector stores) e estratégias de correspondência exata
  • Aplicação de saída estruturada com decodificação restrita
  • Padrões de batching, streaming e concorrência
  • Otimização de latência entre provedores de modelos

Governança, Conformidade e Auditoria

  • Trilhas de auditoria do LLM: registros de prompts, registros de respostas e proveniência das decisões
  • Considerações de residência de dados e privacidade para APIs de LLM
  • Política como código para uso de LLMs dentro das organizações
  • Construção de um manual interno de operações de LLM

Requisitos

  • Experiência na construção ou integração de aplicações impulsionadas por LLM.
  • Conhecimento em Python e APIs REST.
  • Entendimento básico dos conceitos de engenharia de prompts.

Público-Alvo

  • Engenheiros de ML e profissionais de MLOps transitando para operações com LLMs.
  • Engenheiros de plataforma responsáveis pela infraestrutura de LLM.
  • Líderes técnicos gerenciando implantações de GenAI em produção.
 14 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (2)

Próximas Formações Provisórias

Categorias Relacionadas