Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Duração 35 horas
Programa do Curso
Introdução e Fundamentos do Diagnóstico
- Visão geral dos modos de falha em sistemas LLM e problemas específicos do Ollama
- Estabelecimento de experimentos reproduzíveis e ambientes controlados
- Conjunto de ferramentas de depuração: logs locais, capturas de solicitação/resposta e sandboxing
Reprodução e Isolamento de Falhas
- Técnicas para a criação de exemplos mínimos de falha e sementes
- Interações com estado vs sem estado: isolamento de bugs relacionados ao contexto
- Determinismo, aleatoriedade e controle de comportamento não determinístico
Avaliação Comportamental e Métricas
- Métricas quantitativas: precisão, variantes de ROUGE/BLEU, calibração e proxies de perplexidade
- Avaliações qualitativas: pontuação com participação humana e design de rubricas
- Verificações de fidelidade específicas por tarefa e critérios de aceitação
Testes Automatizados e Regressão
- Testes de unidade para prompts e componentes, testes de cenário e de ponta a ponta
- Criação de suítes de regressão e linhas de base de exemplos dourados
- Integração de CI/CD para atualizações de modelos Ollama e portões de validação automatizados
Observabilidade e Monitoramento
- Logging estruturado, traços distribuídos e IDs de correlação
- Métricas operacionais-chave: latência, uso de tokens, taxas de erro e sinais de qualidade
- Alertas, painéis e SLIs/SLOs para serviços suportados por modelos
Análise Avançada de Causa Raiz
- rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multirround
- Diagnóstico comparativo A/B e estudos de ablação
- Proveniência de dados, depuração de datasets e tratamento de falhas induzidas por datasets
Segurança, Robustez e Estratégias de Correção
- Mitigações: filtragem, ancoragem, aumento por recuperação (retrieval augmentation) e estruturação de prompts
- Padrões de rollback, canário e implantação faseada para atualizações de modelos
- Relatórios pós-mortem, lições aprendidas e ciclos de melhoria contínua
Resumo e Próximos Passos
Requisitos
- Sólida experiência na construção e implantação de aplicações LLM
- Familiaridade com fluxos de trabalho do Ollama e hospedagem de modelos
- Domínio de Python, Docker e ferramentas básicas de observabilidade
Público-Alvo
- Engenheiros de IA
- Profissionais de MLOps
- Equipes de QA responsáveis por sistemas LLM em produção