Programa do Curso
Módulo 1 — Como as Aplicações de IA Falham
Lab: nenhum — walkthrough de arquitetura e discussão
O modelo mental do construtor sobre a superfície de ataque.
Tópicos:
- Arquiteturas de LLM, RAG e agentes do lado do desenvolvedor
- o ciclo de vida de solicitação/resposta de um recurso de IA
- fluxo do prompt: mensagens do sistema, desenvolvedor, usuário e ferramenta
- onde dados não confiáveis entram (e reentram) no modelo
- os limites de confiança que o desenvolvedor possui versus os herdados
- por que os ataques de IA são semânticos, não sintáticos
- mapeamento do Top 10 OWASP LLM para o código que você escreve
Insight chave: Todo lugar onde texto não confiável chega ao modelo — ou a saída do modelo atinge seu código — é um limite de confiança que você possui.
Módulo 2 — Injeção de Prompt para Construtores
Lab: Lab 01 — 01-Prompt-Injection
O «momento da injeção de SQL» para a IA — mas você não pode fugir completamente dele.
Tópicos:
- injeção de prompt direta versus indireta
- instruções ocultas em documentos, páginas da web e saída de ferramentas
- jailbreaks e confusão de papel (role-confusion)
- por que a separação de instrução/dados importa
- design defensivo de prompts (delimitadores, estrutura, autoridade mínima)
- por que a prevenção é parcial — projete para contenção
Prática:
- ataque seu próprio chatbot
- contorne um filtro ingênuo
- reestruture o prompt para reduzir o alcance do dano (blast radius)
Módulo 3 — Tratando a Saída do Modelo como Não Confiável
Lab: Lab 02 — 02-Output-Handling
A classe de bugs que os desenvolvedores mais subestimam.
Tópicos:
- saída do modelo como entrada não confiável para o resto do aplicativo
- tratamento inseguro da saída (LLM02): XSS, SSRF, injeção de comando/SQL downstream
- nunca use eval/exec/render na saída bruta do modelo
- saidas estruturadas e validação de esquema
- codificação da saída e listas de permissão (allowlists)
- renderização segura em contextos web/UI
Prática:
- encontre e corrija uma vulnerabilidade de tratamento inseguro de saída
- imponha um esquema JSON nas respostas do modelo
Módulo 4 — Segurança do RAG
Lab: Lab 03 — 03-RAG-Security
Uma das maiores novas superfícies de ataque — e é sua responsabilidade construí-la.
Tópicos:
- ameaças ao banco de vetores e à recuperação
- sanitização da ingestão
- proveniência do documento e pontuação de confiança
- escopo de recuperação e isolamento de metadados
- instruções ocultas no conteúdo recuperado (injeção indireta)
- exfiltração de dados via recuperação
Prática: - envenene um pipeline RAG com um documento malicioso - adicione sanitização na ingestão e escopo na recuperação para defendê-lo
Módulo 5 — Segurança de Agentes e Ferramentas
Lab: Lab 04 — 04-Agent-Safety
Onde um bug se torna uma ação.
Tópicos:
- agência excessiva (LLM06) e abuso de ferramentas
- privilégio mínimo para agentes
- listas de permissão de ferramentas e validação de argumentos
- portões de aprovação e humano no loop (human-in-the-loop)
- isolamento em sandbox da execução da ferramenta
- credenciais com escopo limitado e vida curta para agentes
- limitação de loops autônomos e encadeamento (chaining)
Prática:
- trave um agente com permissões excessivas
- adicione uma lista de permissão + portão de aprovação a uma ferramenta perigosa
Módulo 6 — Segredos, Identidade e Custos
Lab: Lab 05 — 05-Secrets-and-Cost
Os erros operacionais que causam dano mais rápido.
Tópicos:
- gestão de chaves de API e segredos (nunca em prompts, código ou logs)
- autenticação e autorização por usuário para recursos de IA
- propagação da identidade do usuário para ferramentas e recuperação
- negação de carteira: consumo ilimitado de tokens/custos
- limites de taxa, orçamentos de tokens e timeouts
- logging sem vazar segredos ou PII (informações pessoais identificáveis)
Prática:
- remova segredos do caminho do prompt/código
- adicione limites de taxa por usuário e um orçamento de tokens/custos
Módulo 7 — Bibliotecas de Guardrails (Proteções)
Lab: Lab 06 — 06-Guardrails
Comprar vs. construir para segurança de entrada/saída.
Tópicos:
- o que os frameworks de guardrail fazem (e não fazem)
- guardrails de entrada: classificadores de injeção/PII/tópico
- guardrails de saída: validação, filtragem, verificações de fundamentação (grounding)
- quando um guardrail é apropriado versus sua própria verificação determinística
- camadas de guardrails combinadas com os controles dos módulos anteriores
- desempenho, falsos positivos e modos de falha
Prática:
- adicione uma camada de guardrail de entrada/saída a um recurso de IA
- meça o que ele captura e o que perde
Módulo 8 — Red-Teaming do Seu Próprio App
Lab: Lab 07 — 07-Red-Teaming
Entregue-o como se um atacante já o tivesse comprometido.
Tópicos:
- construção de uma suíte de testes/abuso para recursos de IA
- testes automatizados de injeção de prompt e jailbreak
- teste de regressão de guardrails e políticas
- execução de verificações de segurança de IA no CI (Integração Contínua)
- cadeia de suprimentos de modelos e dependências (proveniência, fixação de versões)
- uma lista de verificação de segurança pré-entrega para recursos de IA
Prática:
- escreva testes automatizados de red-teaming para um recurso de IA
- integre-os a uma verificação do CI
Módulo 9 — Pontuação de Segurança de IA: O Framework SAIS-100
Lab: nenhum — exercício de pontuação (usa o aplicativo Capstone)
Transforme tudo o que você construiu em uma pontuação repetível.
Tópicos:
- O Hexágono de Segurança de IA: seis perguntas em vez de «é seguro?»
- as seis categorias pontuadas (Dados, Prompt, Agente, Cadeia de Suprimentos, Detecção, Governança)
- a rubrica de 100 pontos e seus pesos
- bandas de veredito e a regra de substituição de categoria única
- A Escala de Escalafonte Segura para IA (SAIS-100) como um framework brandeado e executável repetidamente
- pontuação antes/depois do endurecimento (hardening) como métrica
Prática:
- pontue o aplicativo Capstone na escala de 100 pontos
- identifique a única alteração que mais eleva a pontuação
Insight chave: As três categorias com maior peso mapeiam para os limites de confiança que um desenvolvedor possui — portanto, a pontuação mede exatamente o que este curso ensinou.
Capstone
Os alunos endurecem (hardens) uma aplicação de IA deliberadamente vulnerável ponta a ponta.
O aplicativo inicial contém:
- um prompt injetável
- tratamento inseguro da saída
- um pipeline RAG sem escopo
- um agente com permissões excessivas
- segredos no caminho do prompt
- sem limites de custo
Os alunos aplicam o curso:
- reestruturar prompts para contenção
- validar e codificar a saída do modelo
- sanitizar e escopar a recuperação
- aplicar privilégio mínimo e portões de aprovação ao agente
- remover segredos e adicionar limites de custo/taxa
- adicionar guardrails e testes automatizados de red-teaming
Entregável: um aplicativo endurecido mais uma autoavaliação curta do Top 10 OWASP LLM.
Mapeamento de Módulos e Labs
Os laboratórios são executados em ordem de lab, que segue a ordem dos módulos. O curso tem 9 módulos e 7 labs: o Módulo 1 é um walkthrough/discussão de arquitetura e o Módulo 9 é um exercício de pontuação, portanto, nenhum deles possui sua própria pasta de lab.
- Lab 01 - 01-Prompt-Injection: Ataque seu chatbot e projete para contenção (Módulo 2)
- Lab 02 - 02-Output-Handling: Corrija um bug de tratamento inseguro de saída (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenene e depois defenda um pipeline RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Trave um agente com permissões excessivas (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Secure chaves + adicione guardrails de custo (Módulo 6)
- Lab 06 - 06-Guardrails: Adicione uma camada de guardrail de entrada/saída (Módulo 7)
- Lab 07 - 07-Red-Teaming: Testes automatizados de red-teaming no CI (Módulo 8)
O Módulo 1 (Como as Aplicações de IA Falham) não tem lab — ele é executado como um walkthrough de arquitetura e discussão. O Módulo 9 (Pontuação de Segurança de IA) não tem pasta de lab — ele é executado como um exercício de pontuação contra o aplicativo Capstone.
Requisitos
- Nível de habilidade: Intermediário.
- Os alunos devem estar confortáveis com: construção e consumo de APIs REST, uma linguagem de scripting (os laboratórios usam Python), autenticação básica de aplicações, git e a CLI.
- Não é necessário conhecimento prévio de machine learning — este é um curso de segurança de aplicações para pessoas que constroem com LLMs, não as que os treinam.
Público-Alvo
- Engenheiros de software/backend construindo recursos de LLM
- Desenvolvedores full-stack e de APIs
- Engenheiros de aplicações de IA/ML
- Engenheiros de plataforma entregando copilots e agentes
- Líderes técnicos e engeniores sênior responsáveis por recursos de IA
Testemunhos de Clientes (2)
Gostei muito de aprender sobre ataques de IA e as ferramentas disponíveis para começar a praticar e usar ativamente na segurança. Saí da aula com bastante conhecimento que eu não tinha no começo, e o curso foi exatamente o que eu esperava. A parte que mais me chamou atenção na apresentação foi o Comet Browser, e fiquei impressionado com o que ele pode fazer. Com certeza investigarei isso mais a fundo. No geral, foi um ótimo curso e aproveitei muito para aprender o OWASP Top 10 para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Máquina Traduzida
O conhecimento profissional e a maneira como ele o apresentou a nós
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Máquina Traduzida