Programa do Curso

Fundamentos de Depuração e Avaliação Mastra

  • Compreensão dos modelos de comportamento de agentes e modos de falha
  • Princípios fundamentais de depuração dentro do Mastra
  • Avaliando ações determinísticas e não-determinísticas dos agentes

Configurando Ambientes para Teste de Agentes

  • Configurando ambientes de teste isolados e espaços de avaliação isolados
  • Capturando logs, rastreamentos e telemetria para análise detalhada
  • Preparando conjuntos de dados e prompts para testes estruturados

Depuração do Comportamento dos Agentes AI

  • Rastreando caminhos de decisão e sinais de raciocínio interno
  • Identificando alucinações, erros e comportamentos indesejados
  • Usando painéis de observabilidade para investigação da causa raiz

Métricas de Avaliação e Frameworks de Benchmarking

  • Definindo métricas quantitativas e qualitativas de avaliação
  • Medindo precisão, consistência e conformidade contextual
  • Aplicando conjuntos de dados de benchmark para avaliação repetível

Engenharia de Confiabilidade para Agentes AI

  • Projetando testes de confiabilidade para agentes em execução prolongada
  • Detectando desvio e degradação no desempenho dos agentes
  • Implementando salvaguardas para fluxos de trabalho críticos

Processos de Garantia de Qualidade e Automação

  • Construindo pipelines de QA para avaliação contínua
  • Automatizando testes de regressão para atualizações de agentes
  • Integrando QA com CI/CD e fluxos de trabalho empresariais

Técnicas Avançadas para Redução de Alucinações

  • Estratégias de prompt para reduzir saídas indesejadas
  • Loops de validação e mecanismos de autoverificação
  • Experimentando combinações de modelos para melhorar a confiabilidade

Relatórios, Monitoramento e Melhoria Contínua

  • Desenvolvendo relatórios de QA e cartões de pontuação de agentes
  • Monitorando comportamentos a longo prazo e padrões de erro
  • Iterando sobre frameworks de avaliação para sistemas em evolução

Resumo e Próximos Passos

Requisitos

  • Compreensão do comportamento dos agentes AI e das interações de modelos
  • Experiência com depuração ou teste de sistemas de software complexos
  • Familiaridade com ferramentas de observabilidade ou registro de logs

Público-Alvo

  • Engenheiros de QA
  • Engenheiros de confiabilidade AI
  • Desenvolvedores responsáveis pela qualidade e desempenho dos agentes
 21 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas