Programa do Curso
Módulo 1 — Sistemas de IA para Engenheiros de Segurança
Laboratório: Lab 01 — 01-Introdução
Compreendendo a arquitetura.
Tópicos:
- LLMs vs. aplicativos normais
- Pipelines de inferência de IA
- Fluxo de prompt
- Arquitetura RAG
- Incorporações (embeddings) / bancos de dados vetoriais
- Fluxos de trabalho agênticos
- Chamada de ferramentas (tool calling)
- Gateways de IA
- Copilotos
- MCP e protocolos de agente
- Onde a visibilidade do WAF existe
- Onde a visibilidade do WAF desaparece
Insight chave: WAFs tradicionais frequentemente perdem a visibilidade após o prompt alcançar o modelo.
Módulo 2 — Top 10 da OWASP GenAI
Laboratório: nenhum — recapitulação/discussão interativa
Categorias principais de ataque de IA.
Tópicos:
- Injeção de Prompt
- Manuseio Inseguro de Saída
- Poisoning de Dados de Treinamento
- Negação de Serviço DoS em Modelos
- Vulnerabilidades na Cadeia de Suprimentos
- Divulgação de Informações Sensíveis
- Agência Excessiva
- Fraquezas em Vetores / Embeddings
- Desinformação
- Consumo Sem Limites (Unbounded Consumption)
Inclui:
- Diferenças em relação à OWASP clássica
- Mapeamento para controles defensivos (WAF, gateway, camada de aplicativo)
- Onde cada controle ajuda
- Onde cada controle falha
Módulo 3 — Detecção de Injeção de Prompt
Laboratório: Lab 02 — 02-Injection-Prompt
O "momento da injeção de SQL" para IA.
Tópicos:
- Injeção direta de prompt
- Injeção indireta de prompt
- Instruções ocultas
- Ataques baseados em documentos
- Injeção HTML/Markdown
- Padrões de Jailbreak
- Ataques de sobreposição de contexto
- Ataques de confusão de papel (role confusion)
Estratégias de detecção:
- Heurísticas de palavras-chave
- Classificação semântica
- Linting de prompt
- Aplicação de limites de instrução
- Políticas de permissão/recusa (allow/deny)
- Padrões regex conscientes de IA
Laboratórios práticos:
- Atacar um chatbot
- Burlar filtros ingênuos
- Construir detecção em camadas
Módulo 4 — Regras de WAF Conscientes de IA
Laboratório: Lab 03 — 03-WAF-Basics
Como as regras do WAF evoluem para sistemas de IA.
- Tópicos:
- Protegendo endpoints LLM
- Proteção de APIs de inferência
- Limitação de taxa consciente de tokens
- Inspecção do tamanho do prompt
- Assinaturas específicas de IA
- Detectar anomalias em conversas
- Padrões de abuso multi-turno
- Tentativas de enumeração de modelos
- Scraping de inferência
- Proteção contra negação de carteira (denial-of-wallet)
Exemplos:
- Protegendo /v1/chat/completions
- Defendendo APIs streaming
- Bloqueando chamadas recursivas de agentes
Módulo 5 — Sécurizando Pipelines RAG
Laboratório: Lab 04 — 04-RAG-Security
Uma das maiores novas superfícies de ataque.
Tópicos:
- Ameaças em bancos de dados vetoriais
- Poisoning de embeddings
- PDFs/documentos maliciosos
- Manipulação de recuperação (retrieval manipulation)
- Poisoning semântico
- Instruções ocultas em documentos
- Contaminação entre documentos
- Vazamento de dados via recuperação
Defesas:
- Sanitização na ingestão
- Avaliação de confiança (trust scoring)
- Isolamento de metadados
- Proveniência de documentos
- Políticas de recuperação
- Segmentação
Estudo de caso: "Carregue um PDF envenenado e tome controle do assistente de IA."
Módulo 6 — Segurança de IA Agêntica
Laboratório: Lab 05 — 05-Agent-Security
Onde as coisas se tornam perigosas.
Tópicos:
- Agência excessiva
- Abuso de ferramentas
- Cadeia de chamadas de API (API chaining)
- Laços autônomos
- Escalação de permissões
- Poisoning de memória
- Execução indireta de ferramentas
- Imitação de agentes (agent impersonation)
- Vazamento de credenciais
- Ataques multi-agentes
Defesas:
- Menor privilégio para agentes
- Pontos de aprovação (approval gates)
- Motores de política de runtime
- Sandboxing
- Credenciais escopadas (scoped credentials)
- Lista branca de ferramentas
- Humano no loop (human-in-the-loop)
Esta é a seção que os gestores geralmente se importam mais, porque o risco se torna operacional e impacta o negócio.
Módulo 7 — Segurança de API para IA
Laboratório: Lab 06 — 06-Denial-of-Wallet
Sistemas de IA são pesados em APIs.
Tópicos:
- Gateways de API
- Riscos de GraphQL para IA
- Abuso de MCP/API
- Proteção JWT
- Segurança de plugins de IA
- Autenticação de agente
- Autorização delegada
- Gestão de segredos
- Prompts assinados
- Inventário de APIs para IA
Conexão com: OWASP API Security Top 10
Módulo 8 — Engenharia de Detecção & Integração com SOC
Laboratório: Lab 07 — 07-Detection
Defesa operacional.
Tópicos:
- Telemetria de IA
- Log de prompts
- Análise de tokens
- Detectar anomalias
- Pipelines de SIEM semântico
- Indicadores de ataque de IA
- Hunting de ameaças para abuso de LLM
- Observabilidade de runtime de IA
Exemplos:
- Detectar campanhas de jailbreak
- Identificar abuso automatizado de agentes
- Identificar scraping de modelos
Módulo 9 — WAFs em Nuvem e Segurança de IA
Laboratório: nenhum — recapitulação/discussão interativa
Implementações específicas de fornecedores.
Tópicos:
- AWS WAF para APIs de IA
- Azure WAF
- Cloudflare AI Gateway
- Gateways de API
- Filtragem de IA Envoy
- Kong AI Gateway
- Padrões de segurança de IA no NGINX
Comparação:
- WAF tradicional vs. gateway de IA vs. guardrail na camada de aplicativo
- Filtragem baseada em proxy versus filtragem semântica
Módulo 10 — Construindo uma Defesa de IA em Camadas
Laboratório: Lab 08 — 08-Layered-Defense
Conclusão filosófica importante:
Nenhuma camada única pode securizar a IA (um WAF, menos ainda, por conta própria).
Os alunos constroem um modelo em camadas:
- WAF
- Gateway de API
- Gateway de IA
- Guardrails (controles de segurança)
- Monitoramento de runtime
- Identidade / autorização
- Sandbox
- Aprovação humana
- Observabilidade
- Resposta a incidentes
Isto alinha-se fortemente com o modelo de "segurança multicamada".
Módulo ↔ Mapa de Laboratórios
Os laboratórios são executados em ordem, seguindo a ordem dos módulos.
O curso tem 10 módulos, mas 8 laboratórios: os Módulos 2 e 9 são recapitulações/discussões interativas e não possuem laboratório.
Cada laboratório é identificado com seu módulo ao longo deste roteiro.
- Lab 01 (Módulo 1)
- Pasta: 01-Introdução
- Título: Explorar um sistema de IA — o que está na rede
- Lab 02 (Módulo 3)
- Pasta: 02-Injection-Prompt
- Título: Atacar um chatbot & burlar filtros ingênuos
- Lab 03 (Módulo 4)
- Pasta: 03-WAF-Basics
- Título: Construir regras de WAF conscientes de IA
- Lab 04 (Módulo 5)
- Pasta: 04-RAG-Security
- Título: Envenenar um pipeline RAG
- Lab 05 (Módulo 6)
- Pasta: 05-Agent-Security
- Título: Securizar um agente autônomo
- Lab 06 (Módulo 7)
- Pasta: 06-Denial-of-Wallet
- Título: Detectar ataques de negação de carteira
- Lab 07 (Módulo 8)
- Pasta: 07-Detection
- Título: Monitorar padrões de abuso de IA nos logs
- Lab 08 (Módulo 10)
- Pasta: 08-Layered-Defense
- Título: Construir uma arquitetura de defesa de IA em camadas
Capstone (Projeto Final)
Os alunos defendem um assistente de IA corporativo simulado.
Os atacantes tentam:
- Injeção de prompt
- Abuso de ferramentas
- Roubo de credenciais
- Poisoning na recuperação
- Consumo excessivo de API
- Escalação de agentes
As equipes constroem:
- Regras de WAF
- Políticas de gateway de IA
- Deteção em runtime
- Guardrails (controles de segurança)
- Resposta a incidentes
Requisitos
- Os alunos devem já compreender segurança de HTTP/API, proxies/proxies reversos, autenticação, OWASP Top 10, APIs REST e rede básica na nuvem.
Público-Alvo
- Engenheiros de Segurança & AppSec
- Analistas de SOC & engenheiros de detecção
- Engenheiros de segurança de API
- Segurança em nuvem / API / plataforma
- Engenheiros DevSecOps
- Arquitetos de Segurança
- Especialistas em WAF / segurança de rede
- Engenheiros de plataformas de IA
Testemunhos de Clientes (2)
Gostei muito de aprender sobre ataques de IA e as ferramentas disponíveis para começar a praticar e usar ativamente na segurança. Saí da aula com bastante conhecimento que eu não tinha no começo, e o curso foi exatamente o que eu esperava. A parte que mais me chamou atenção na apresentação foi o Comet Browser, e fiquei impressionado com o que ele pode fazer. Com certeza investigarei isso mais a fundo. No geral, foi um ótimo curso e aproveitei muito para aprender o OWASP Top 10 para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Máquina Traduzida
O conhecimento profissional e a maneira como ele o apresentou a nós
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Máquina Traduzida