Entrar em Contato
 Duração 35 horas

Programa do Curso

Introdução e Fundamentos do Diagnóstico

  • Visão geral dos modos de falha em sistemas LLM e problemas específicos do Ollama
  • Estabelecimento de experimentos reproduzíveis e ambientes controlados
  • Conjunto de ferramentas de depuração: logs locais, capturas de solicitação/resposta e sandboxing

Reprodução e Isolamento de Falhas

  • Técnicas para a criação de exemplos mínimos de falha e sementes
  • Interações com estado vs sem estado: isolamento de bugs relacionados ao contexto
  • Determinismo, aleatoriedade e controle de comportamento não determinístico

Avaliação Comportamental e Métricas

  • Métricas quantitativas: precisão, variantes de ROUGE/BLEU, calibração e proxies de perplexidade
  • Avaliações qualitativas: pontuação com participação humana e design de rubricas
  • Verificações de fidelidade específicas por tarefa e critérios de aceitação

Testes Automatizados e Regressão

  • Testes de unidade para prompts e componentes, testes de cenário e de ponta a ponta
  • Criação de suítes de regressão e linhas de base de exemplos dourados
  • Integração de CI/CD para atualizações de modelos Ollama e portões de validação automatizados

Observabilidade e Monitoramento

  • Logging estruturado, traços distribuídos e IDs de correlação
  • Métricas operacionais-chave: latência, uso de tokens, taxas de erro e sinais de qualidade
  • Alertas, painéis e SLIs/SLOs para serviços suportados por modelos

Análise Avançada de Causa Raiz

  • rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multirround
  • Diagnóstico comparativo A/B e estudos de ablação
  • Proveniência de dados, depuração de datasets e tratamento de falhas induzidas por datasets

Segurança, Robustez e Estratégias de Correção

  • Mitigações: filtragem, ancoragem, aumento por recuperação (retrieval augmentation) e estruturação de prompts
  • Padrões de rollback, canário e implantação faseada para atualizações de modelos
  • Relatórios pós-mortem, lições aprendidas e ciclos de melhoria contínua

Resumo e Próximos Passos

Requisitos

  • Sólida experiência na construção e implantação de aplicações LLM
  • Familiaridade com fluxos de trabalho do Ollama e hospedagem de modelos
  • Domínio de Python, Docker e ferramentas básicas de observabilidade

Público-Alvo

  • Engenheiros de IA
  • Profissionais de MLOps
  • Equipes de QA responsáveis por sistemas LLM em produção

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas