Programa do Curso

Introdução e Fundamentos Diagnósticos

  • Visão geral dos modos de falha em sistemas LLM e problemas específicos do Ollama comuns
  • Criação de experimentos reprodutíveis e ambientes controlados
  • Conjunto de ferramentas para depuração: logs locais, capturas de solicitações/respostas e sandboxing

Reproduzindo e Isolando Falhas

  • Técnicas para criar exemplos mínimos com falha e sementes
  • Interações stateful vs. stateless: isolamento de bugs relacionados ao contexto
  • Determinismo, aleatoriedade e controle do comportamento não determinístico

Avaliação Comportamental e Métricas

  • Métricas quantitativas: precisão, variantes ROUGE/BLEU, calibração e proxies de perplexidade
  • Avaliações qualitativas: pontuação com humanos no loop e design de rubricas
  • Verificações de fidelidade específicas para tarefas e critérios de aceitação

Testes Automatizados e Regressão

  • Testes unitários para prompts e componentes, cenários e testes end-to-end
  • Criação de suítes de regressão e baseline de exemplos dourados
  • Integração CI/CD para atualizações do modelo Ollama e portões de validação automatizados

Observabilidade e Monitoramento

  • Registro estruturado, rastreamento distribuído e IDs de correlação
  • Métricas operacionais-chave: latência, uso de tokens, taxas de erros e sinais de qualidade
  • Avisos, painéis de controle e SLIs/SLOs para serviços com suporte do modelo

Análise Avançada da Causa Raiz

  • Rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multirrodadas
  • Diagnóstico comparativo A/B e estudos de ablação
  • Proveniência de dados, depuração do conjunto de dados e abordagem a falhas induzidas por conjuntos de dados

Saúde, Robustez e Estratégias de Remediação

  • Mitigações: filtragem, ancoragem, augmentação de recuperação e estruturas para prompts
  • Padrões de rollback, canário e implantações faseadas para atualizações do modelo
  • Análises pós-mortem, lições aprendidas e loops de melhoria contínua

Resumo e Próximos Passos

Requisitos

  • Experiência sólida em construir e implantar aplicações de LLM
  • Familiaridade com fluxos de trabalho do Ollama e hospedagem de modelos
  • Comfortável com Python, Docker e ferramentas básicas de observabilidade

Público-alvo

  • Engenheiros de IA
  • Profissionais de ML Ops
  • Times de QA responsáveis por sistemas LLM em produção
 35 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas