Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Fundamentos da Depuração e Avaliação no Mastra
- Compreensão dos modelos de comportamento dos agentes e modos de falha
- Princípios básicos de depuração dentro do Mastra
- Avaliação de ações determinísticas e não determinísticas dos agentes
Configuração de Ambientes para Testes com Agentes
- Configuração de sandboxes de teste e espaços isolados de avaliação
- Captura de logs, rastreamentos (traces) e telemetria para análise detalhada
- Preparação de conjuntos de dados e prompts para testes estruturados
Depuração do Comportamento do Agente de IA
- Rastreamento dos caminhos de decisão e sinais de raciocínio interno
- Identificação de alucinações, erros e comportamentos indesejados
- Utilização de painéis de observabilidade para investigação da causa raiz
Métricas de Avaliação e Frameworks de Benchmarking
- Definição de métricas de avaliação quantitativas e qualitativas
- Mensuração de precisão, consistência e conformidade contextual
- Aplicação de conjuntos de dados de benchmark para avaliação repetível
Engenharia de Confiabilidade para Agentes de IA
- Elaboração de testes de confiabilidade para agentes de longa duração
- Detecção de desvio (drift) e degradação no desempenho dos agentes
- Implementação de salvaguardas para fluxos de trabalho críticos
Processos de Garantia de Qualidade e Automação
- Criação de pipelines de QA para avaliação contínua
- Automatização de testes de regressão para atualizações dos agentes
- Integração do QA com CI/CD e fluxos de trabalho corporativos
Técnicas Avançadas para Redução de Alucinações
- Estratégias de prompt para reduzir saídas indesejadas
- Loops de validação e mecanismos de autoverificação
- Experimentação com combinações de modelos para melhorar a confiabilidade
Relatórios, Monitoramento e Melhoria Contínua
- Desenvolvimento de relatórios de QA e fichas de avaliação dos agentes (scorecards)
- Monitoramento do comportamento de longo prazo e padrões de erro
- Iteração nos frameworks de avaliação para sistemas em evolução
Resumo e Próximos Passos
Requisitos
- Compreensão do comportamento dos agentes de IA e das interações com os modelos
- Experiência com depuração ou teste de sistemas de software complexos
- Familiaridade com ferramentas de observabilidade ou registro de logs
Público-Alvo
- Engenheiros de Garantia de Qualidade (QA)
- Engenheiros de confiabilidade de IA
- Desenvolvedores responsáveis pela qualidade e desempenho dos agentes
21 Horas
