Entrar em Contato

Programa do Curso

Módulo 1 — Como as Aplicações de IA Falham

Lab: nenhum — walkthrough de arquitetura e discussão

O modelo mental do construtor sobre a superfície de ataque.

Tópicos:

  • Arquiteturas de LLM, RAG e agentes do lado do desenvolvedor
  • o ciclo de vida de solicitação/resposta de um recurso de IA
  • fluxo do prompt: mensagens do sistema, desenvolvedor, usuário e ferramenta
  • onde dados não confiáveis entram (e reentram) no modelo
  • os limites de confiança que o desenvolvedor possui versus os herdados
  • por que os ataques de IA são semânticos, não sintáticos
  • mapeamento do Top 10 OWASP LLM para o código que você escreve

Insight chave: Todo lugar onde texto não confiável chega ao modelo — ou a saída do modelo atinge seu código — é um limite de confiança que você possui.

Módulo 2 — Injeção de Prompt para Construtores

Lab: Lab 01 — 01-Prompt-Injection

O «momento da injeção de SQL» para a IA — mas você não pode fugir completamente dele.

Tópicos:

  • injeção de prompt direta versus indireta
  • instruções ocultas em documentos, páginas da web e saída de ferramentas
  • jailbreaks e confusão de papel (role-confusion)
  • por que a separação de instrução/dados importa
  • design defensivo de prompts (delimitadores, estrutura, autoridade mínima)
  • por que a prevenção é parcial — projete para contenção

Prática:

  • ataque seu próprio chatbot
  • contorne um filtro ingênuo
  • reestruture o prompt para reduzir o alcance do dano (blast radius)

Módulo 3 — Tratando a Saída do Modelo como Não Confiável

Lab: Lab 02 — 02-Output-Handling

A classe de bugs que os desenvolvedores mais subestimam.

Tópicos:

  • saída do modelo como entrada não confiável para o resto do aplicativo
  • tratamento inseguro da saída (LLM02): XSS, SSRF, injeção de comando/SQL downstream
  • nunca use eval/exec/render na saída bruta do modelo
  • saidas estruturadas e validação de esquema
  • codificação da saída e listas de permissão (allowlists)
  • renderização segura em contextos web/UI

Prática:

  • encontre e corrija uma vulnerabilidade de tratamento inseguro de saída
  • imponha um esquema JSON nas respostas do modelo

Módulo 4 — Segurança do RAG

Lab: Lab 03 — 03-RAG-Security

Uma das maiores novas superfícies de ataque — e é sua responsabilidade construí-la.

Tópicos:

  • ameaças ao banco de vetores e à recuperação
  • sanitização da ingestão
  • proveniência do documento e pontuação de confiança
  • escopo de recuperação e isolamento de metadados
  • instruções ocultas no conteúdo recuperado (injeção indireta)
  • exfiltração de dados via recuperação

Prática: - envenene um pipeline RAG com um documento malicioso - adicione sanitização na ingestão e escopo na recuperação para defendê-lo

Módulo 5 — Segurança de Agentes e Ferramentas

Lab: Lab 04 — 04-Agent-Safety

Onde um bug se torna uma ação.

Tópicos:

  • agência excessiva (LLM06) e abuso de ferramentas
  • privilégio mínimo para agentes
  • listas de permissão de ferramentas e validação de argumentos
  • portões de aprovação e humano no loop (human-in-the-loop)
  • isolamento em sandbox da execução da ferramenta
  • credenciais com escopo limitado e vida curta para agentes
  • limitação de loops autônomos e encadeamento (chaining)

Prática:

  • trave um agente com permissões excessivas
  • adicione uma lista de permissão + portão de aprovação a uma ferramenta perigosa

Módulo 6 — Segredos, Identidade e Custos

Lab: Lab 05 — 05-Secrets-and-Cost

Os erros operacionais que causam dano mais rápido.

Tópicos:

  • gestão de chaves de API e segredos (nunca em prompts, código ou logs)
  • autenticação e autorização por usuário para recursos de IA
  • propagação da identidade do usuário para ferramentas e recuperação
  • negação de carteira: consumo ilimitado de tokens/custos
  • limites de taxa, orçamentos de tokens e timeouts
  • logging sem vazar segredos ou PII (informações pessoais identificáveis)

Prática:

  • remova segredos do caminho do prompt/código
  • adicione limites de taxa por usuário e um orçamento de tokens/custos

Módulo 7 — Bibliotecas de Guardrails (Proteções)

Lab: Lab 06 — 06-Guardrails

Comprar vs. construir para segurança de entrada/saída.

Tópicos:

  • o que os frameworks de guardrail fazem (e não fazem)
  • guardrails de entrada: classificadores de injeção/PII/tópico
  • guardrails de saída: validação, filtragem, verificações de fundamentação (grounding)
  • quando um guardrail é apropriado versus sua própria verificação determinística
  • camadas de guardrails combinadas com os controles dos módulos anteriores
  • desempenho, falsos positivos e modos de falha

Prática:

  • adicione uma camada de guardrail de entrada/saída a um recurso de IA
  • meça o que ele captura e o que perde

Módulo 8 — Red-Teaming do Seu Próprio App

Lab: Lab 07 — 07-Red-Teaming

Entregue-o como se um atacante já o tivesse comprometido.

Tópicos:

  • construção de uma suíte de testes/abuso para recursos de IA
  • testes automatizados de injeção de prompt e jailbreak
  • teste de regressão de guardrails e políticas
  • execução de verificações de segurança de IA no CI (Integração Contínua)
  • cadeia de suprimentos de modelos e dependências (proveniência, fixação de versões)
  • uma lista de verificação de segurança pré-entrega para recursos de IA

Prática:

  • escreva testes automatizados de red-teaming para um recurso de IA
  • integre-os a uma verificação do CI

Módulo 9 — Pontuação de Segurança de IA: O Framework SAIS-100

Lab: nenhum — exercício de pontuação (usa o aplicativo Capstone)

Transforme tudo o que você construiu em uma pontuação repetível.

Tópicos:

  • O Hexágono de Segurança de IA: seis perguntas em vez de «é seguro?»
  • as seis categorias pontuadas (Dados, Prompt, Agente, Cadeia de Suprimentos, Detecção, Governança)
  • a rubrica de 100 pontos e seus pesos
  • bandas de veredito e a regra de substituição de categoria única
  • A Escala de Escalafonte Segura para IA (SAIS-100) como um framework brandeado e executável repetidamente
  • pontuação antes/depois do endurecimento (hardening) como métrica

Prática:

  • pontue o aplicativo Capstone na escala de 100 pontos
  • identifique a única alteração que mais eleva a pontuação

Insight chave: As três categorias com maior peso mapeiam para os limites de confiança que um desenvolvedor possui — portanto, a pontuação mede exatamente o que este curso ensinou.

Capstone

Os alunos endurecem (hardens) uma aplicação de IA deliberadamente vulnerável ponta a ponta.

O aplicativo inicial contém:

  • um prompt injetável
  • tratamento inseguro da saída
  • um pipeline RAG sem escopo
  • um agente com permissões excessivas
  • segredos no caminho do prompt
  • sem limites de custo

Os alunos aplicam o curso:

  • reestruturar prompts para contenção
  • validar e codificar a saída do modelo
  • sanitizar e escopar a recuperação
  • aplicar privilégio mínimo e portões de aprovação ao agente
  • remover segredos e adicionar limites de custo/taxa
  • adicionar guardrails e testes automatizados de red-teaming

Entregável: um aplicativo endurecido mais uma autoavaliação curta do Top 10 OWASP LLM.

Mapeamento de Módulos e Labs

Os laboratórios são executados em ordem de lab, que segue a ordem dos módulos. O curso tem 9 módulos e 7 labs: o Módulo 1 é um walkthrough/discussão de arquitetura e o Módulo 9 é um exercício de pontuação, portanto, nenhum deles possui sua própria pasta de lab.

  • Lab 01 - 01-Prompt-Injection: Ataque seu chatbot e projete para contenção (Módulo 2)
  • Lab 02 - 02-Output-Handling: Corrija um bug de tratamento inseguro de saída (Módulo 3)
  • Lab 03 - 03-RAG-Security: Envenene e depois defenda um pipeline RAG (Módulo 4)
  • Lab 04 - 04-Agent-Safety: Trave um agente com permissões excessivas (Módulo 5)
  • Lab 05 - 05-Secrets-and-Cost: Secure chaves + adicione guardrails de custo (Módulo 6)
  • Lab 06 - 06-Guardrails: Adicione uma camada de guardrail de entrada/saída (Módulo 7)
  • Lab 07 - 07-Red-Teaming: Testes automatizados de red-teaming no CI (Módulo 8)

O Módulo 1 (Como as Aplicações de IA Falham) não tem lab — ele é executado como um walkthrough de arquitetura e discussão. O Módulo 9 (Pontuação de Segurança de IA) não tem pasta de lab — ele é executado como um exercício de pontuação contra o aplicativo Capstone.

Requisitos

  • Nível de habilidade: Intermediário.
  • Os alunos devem estar confortáveis com: construção e consumo de APIs REST, uma linguagem de scripting (os laboratórios usam Python), autenticação básica de aplicações, git e a CLI.
  • Não é necessário conhecimento prévio de machine learning — este é um curso de segurança de aplicações para pessoas que constroem com LLMs, não as que os treinam.

Público-Alvo

  • Engenheiros de software/backend construindo recursos de LLM
  • Desenvolvedores full-stack e de APIs
  • Engenheiros de aplicações de IA/ML
  • Engenheiros de plataforma entregando copilots e agentes
  • Líderes técnicos e engeniores sênior responsáveis por recursos de IA
 21 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (2)

Próximas Formações Provisórias

Categorias Relacionadas