Programa do Curso
Introdução ao Red Teaming de IA
- Compreensão do cenário de ameaças da IA
- Papéis das equipes de red team na segurança de IA
- Considerações éticas e legais
Aprendizado de Máquina Adversarial
- Tipos de ataques: evasão, envenenamento, extração e inferência
- Geração de exemplos adversariais (por exemplo, FGSM, PGD)
- Ataques direcionados versus não direcionados e métricas de sucesso
Teste da Robustez dos Modelos
- Avaliação da robustez sob perturbações
- Exploração de pontos cegos e modos de falha do modelo
- Testes de estresse em modelos de classificação, visão computacional e processamento de linguagem natural (PLN)
Red Teaming de Pipelines de IA
- Superfície de ataque dos pipelines de IA: dados, modelo e implantação
- Exploração de APIs e endpoints inseguros de modelos
- Engenharia reversa do comportamento e das saídas do modelo
Simulação e Ferramentas
- Uso da Adversarial Robustness Toolbox (ART)
- Red teaming com ferramentas como TextAttack e IBM ART
- Ferramentas de sandbox, monitoramento e observabilidade
Estratégia de Red Team de IA e Colaboração na Defesa
- Desenvolvimento de exercícios e objetivos do red team
- Comunicação das descobertas às equipes de defesa (blue teams)
- Integração do red teaming na gestão de riscos da IA
Resumo e Próximos Passos
Requisitos
- Compreensão de arquiteturas de aprendizado de máquina e aprendizado profundo
- Experiência com Python e frameworks de ML (por exemplo, TensorFlow, PyTorch)
- Familiaridade com conceitos de cibersegurança ou técnicas de segurança ofensiva
Público-Alvo
- Pesquisadores de segurança
- Equipes de segurança ofensiva
- Profissionais de garantia de IA e red teaming
Testemunhos de Clientes (2)
Gostei muito de aprender sobre ataques de IA e as ferramentas disponíveis para começar a praticar e usar ativamente na segurança. Saí da aula com bastante conhecimento que eu não tinha no começo, e o curso foi exatamente o que eu esperava. A parte que mais me chamou atenção na apresentação foi o Comet Browser, e fiquei impressionado com o que ele pode fazer. Com certeza investigarei isso mais a fundo. No geral, foi um ótimo curso e aproveitei muito para aprender o OWASP Top 10 para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Máquina Traduzida
O conhecimento profissional e a maneira como ele o apresentou a nós
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Máquina Traduzida