Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Introdução e Fundamentos de Diagnóstico
- Visão geral dos modos de falha em sistemas LLM e problemas comuns específicos do Ollama
- Estabelecimento de experimentos reproduzíveis e ambientes controlados
- Kit de ferramentas de depuração: logs locais, capturas de solicitação/resposta e sandboxing
Reprodução e Isolamento de Falhas
- Técnicas para criar exemplos mínimos de falha e sementes (seeds)
- Interações com estado versus sem estado: isolamento de bugs relacionados ao contexto
- Determinismo, aleatoriedade e controle do comportamento não determinístico
Avaliação Comportamental e Métricas
- Métricas quantitativas: precisão, variantes ROUGE/BLEU, calibração e proxies de perplexidade
- Avaliações qualitativas: pontuação com humano no laço e design de rubricas
- Verificações de fidelidade específicas da tarefa e critérios de aceitação
Testes Automatizados e Regressão
- Testes unitários para prompts e componentes, testes de cenário e ponta a ponta
- Criação de suítes de regressão e linhas de base de exemplos dourados (golden examples)
- Integração com CI/CD para atualizações de modelos Ollama e portas de validação automatizadas
Observabilidade e Monitoramento
- Registro estruturado (logging), rastreamentos distribuídos e IDs de correlação
- Métricas operacionais principais: latência, uso de tokens, taxas de erro e sinais de qualidade
- Alertas, painéis de controle e ISLs/ISOs para serviços baseados em modelos
Análise Avançada da Causa Raiz
- Rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multi-turno
- Diagnóstico comparativo A/B e estudos de ablação
- Procedência dos dados, depuração de conjuntos de dados e resolução de falhas induzidas por dados
Segurança, Robustez e Estratégias de Remediation
- Mitigações: filtragem, fundamentação (grounding), aumento por recuperação e estruturação de prompts
- Padrões de rollback, implantação canária e rollout faseado para atualizações de modelos
- Análises pós-incidente, lições aprendidas e loops de melhoria contínua
Resumo e Próximos Passos
Requisitos
- Forte experiência na construção e implantação de aplicações LLM
- Conhecimento prévio dos fluxos de trabalho do Ollama e hospedagem de modelos
- Confortabilidade com Python, Docker e ferramentas básicas de observabilidade
Público-Alvo
- Engenheiros de IA
- Profissionais de ML Ops
- Equipes de QA responsáveis por sistemas LLM em produção
35 Horas