Entrar em Contato

Programa do Curso

Introdução e Fundamentos de Diagnóstico

  • Visão geral dos modos de falha em sistemas LLM e problemas comuns específicos do Ollama
  • Estabelecimento de experimentos reproduzíveis e ambientes controlados
  • Kit de ferramentas de depuração: logs locais, capturas de solicitação/resposta e sandboxing

Reprodução e Isolamento de Falhas

  • Técnicas para criar exemplos mínimos de falha e sementes (seeds)
  • Interações com estado versus sem estado: isolamento de bugs relacionados ao contexto
  • Determinismo, aleatoriedade e controle do comportamento não determinístico

Avaliação Comportamental e Métricas

  • Métricas quantitativas: precisão, variantes ROUGE/BLEU, calibração e proxies de perplexidade
  • Avaliações qualitativas: pontuação com humano no laço e design de rubricas
  • Verificações de fidelidade específicas da tarefa e critérios de aceitação

Testes Automatizados e Regressão

  • Testes unitários para prompts e componentes, testes de cenário e ponta a ponta
  • Criação de suítes de regressão e linhas de base de exemplos dourados (golden examples)
  • Integração com CI/CD para atualizações de modelos Ollama e portas de validação automatizadas

Observabilidade e Monitoramento

  • Registro estruturado (logging), rastreamentos distribuídos e IDs de correlação
  • Métricas operacionais principais: latência, uso de tokens, taxas de erro e sinais de qualidade
  • Alertas, painéis de controle e ISLs/ISOs para serviços baseados em modelos

Análise Avançada da Causa Raiz

  • Rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multi-turno
  • Diagnóstico comparativo A/B e estudos de ablação
  • Procedência dos dados, depuração de conjuntos de dados e resolução de falhas induzidas por dados

Segurança, Robustez e Estratégias de Remediation

  • Mitigações: filtragem, fundamentação (grounding), aumento por recuperação e estruturação de prompts
  • Padrões de rollback, implantação canária e rollout faseado para atualizações de modelos
  • Análises pós-incidente, lições aprendidas e loops de melhoria contínua

Resumo e Próximos Passos

Requisitos

  • Forte experiência na construção e implantação de aplicações LLM
  • Conhecimento prévio dos fluxos de trabalho do Ollama e hospedagem de modelos
  • Confortabilidade com Python, Docker e ferramentas básicas de observabilidade

Público-Alvo

  • Engenheiros de IA
  • Profissionais de ML Ops
  • Equipes de QA responsáveis por sistemas LLM em produção
 35 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas