Entrar em Contato

Programa do Curso

Dia 1: Fundamentos e Ameaças Principais

Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)

Objetivos de Aprendizagem:

  • Compreender a evolução do OWASP Top 10 para desafios específicos de segurança da IA Generativa
  • Explorar o ecossistema e os recursos do Projeto OWASP GenAI Security
  • Identificar as diferenças-chave entre a segurança de aplicações tradicionais e a segurança de IA

Tópicos Abordados:

  • Visão geral da missão e do escopo do Projeto OWASP GenAI Security
  • Introdução ao framework Threat Defense COMPASS
  • Compreensão do cenário de segurança da IA e dos requisitos regulatórios
  • Superfícies de ataque da IA versus vulnerabilidades tradicionais de aplicações web

Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de uma avaliação inicial de ameaças

Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)

Objetivos de Aprendizagem:

  • Dominar as cinco vulnerabilidades críticas de LLM
  • Compreender vetores de ataque e técnicas de exploração
  • Aplicar estratégias práticas de mitigação

Tópicos Abordados:

LLM01: Injeção de Prompt

  • Técnicas de injeção direta e indireta de prompt
  • Ataques de instruções ocultas e contaminação entre prompts
  • Exemplos práticos: Jailbreaking de chatbots e violação de medidas de segurança
  • Estratégias de defesa: Sanitização de entrada, filtragem de prompts, privacidade diferencial

LLM02: Divulgação de Informações Sensíveis

  • Extração de dados de treinamento e vazamento do prompt do sistema
  • Análise do comportamento do modelo para exposição de informações sensíveis
  • Implicações de privacidade e considerações de conformidade regulatória
  • Mitigação: Filtragem de saída, controles de acesso, anonimização de dados

LLM03: Vulnerabilidades da Cadeia de Suprimentos

  • Dependências de modelos de terceiros e segurança de plugins
  • Conjuntos de dados de treinamento comprometidos e envenenamento de modelos
  • Avaliação de riscos do fornecedor para componentes de IA
  • Práticas seguras de implantação e verificação de modelos

Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações LLM vulneráveis e implementação de medidas defensivas

Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)

Tópicos Abordados:

LLM04: Envenenamento de Dados e Modelos

  • Técnicas de manipulação de dados de treinamento
  • Modificação do comportamento do modelo através de entradas envenenadas
  • Ataques de porta dos fundos e verificação de integridade de dados
  • Prevenção: Pipelines de validação de dados, rastreamento de proveniência

LLM05: Tratamento Inadequado da Saída

  • Processamento inseguro de conteúdo gerado por LLM
  • Injeção de código através de saídas geradas por IA
  • Cross-site scripting (XSS) via respostas da IA
  • Frameworks de validação e sanitização de saída

Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída

Módulo 4: Ameaças Avançadas de LLM (1,5 horas)

Tópicos Abordados:

LLM06: Agência Excessiva

  • Riscos de tomada de decisão autônoma e violações de limites
  • Gestão de autoridade e permissões do agente
  • Interações não intencionais com o sistema e elevação de privilégios
  • Implementação de barreiras de proteção (guardrails) e controles de supervisão humana

LLM07: Vazamento do Prompt do Sistema

  • Vulnerabilidades de exposição de instruções do sistema
  • Divulgação de credenciais e lógica através de prompts
  • Técnicas de ataque para extrair prompts do sistema
  • Proteção de instruções do sistema e configuração externa

Exercício Prático: Projetar arquiteturas de agentes seguras com controles de acesso e monitoramento adequados

Dia 2: Ameaças Avançadas e Implementação

Módulo 5: Ameaças Emergentes de IA (2 horas)

Objetivos de Aprendizagem:

  • Compreender as ameaças mais recentes de segurança de IA
  • Implementar técnicas avançadas de detecção e prevenção
  • Projetar sistemas de IA resilientes contra ataques sofisticados

Tópicos Abordados:

LLM08: Vulnerabilidades de Vetores e Embeddings

  • Vulnerabilidades de sistemas RAG e segurança de bancos de dados vetoriais
  • Envenenamento de embeddings e ataques de manipulação de similaridade
  • Exemplos adversariais em busca semântica
  • Proteção de armazenamentos vetoriais e implementação de detecção de anomalias

LLM09: Desinformação e Confiabilidade do Modelo

  • Detecção e mitigação de alucinações
  • Amplificação de viés e considerações de justiça
  • Mecanismos de verificação de fatos e conferência de fontes
  • Validação de conteúdo e integração com supervisão humana

LLM10: Consumo Sem Limites

  • Esgotamento de recursos e ataques de negação de serviço
  • Estratégias de limitação de taxa e gestão de recursos
  • Otimização de custos e controles de orçamento
  • Sistemas de monitoramento de desempenho e alerta

Exercício Prático: Construção de um pipeline RAG seguro com proteção de banco de dados vetorial e detecção de alucinações

Módulo 6: Segurança da IA Agêntica (2 horas)

Objetivos de Aprendizagem:

  • Compreender os desafios únicos de segurança dos agentes de IA autônomos
  • Aplicar a taxonomia OWASP para IA Agêntica em sistemas do mundo real
  • Implementar controles de segurança para ambientes multi-agente

Tópicos Abordados:

  • Introdução à IA Agêntica e sistemas autônomos
  • Taxonomia de Ameaças da IA Agêntica da OWASP: Design do Agente, Memória, Planejamento, Uso de Ferramentas, Implantação
  • Riscos de segurança e coordenação em sistemas multi-agente
  • Ataques de mau uso de ferramentas, envenenamento de memória e sequestro de objetivos
  • Proteção da comunicação entre agentes e processos de tomada de decisão

Exercício Prático: Exercício de modelagem de ameaças usando a taxonomia OWASP para IA Agêntica em um sistema multi-agente de atendimento ao cliente

Módulo 7: Implementação do OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizagem:

  • Dominar a aplicação prática do Threat Defense COMPASS
  • Integrar a avaliação de ameaças à IA nos programas de segurança organizacional
  • Desenvolver estratégias abrangentes de gestão de riscos de IA

Tópicos Abordados:

  • Análise aprofundada da metodologia Threat Defense COMPASS
  • Integração do Ciclo OODA: Observar, Orientar, Decidir, Agir
  • Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS
  • Construção de Painéis de Estratégia de Resiliência de Ameaças à IA
  • Integração com ferramentas e processos de segurança existentes

Exercício Prático: Avaliação completa de ameaças usando o COMPASS para um cenário de implantação do Microsoft Copilot

Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)

Objetivos de Aprendizagem:

  • Projetar arquiteturas seguras para IA desde o início
  • Implementar monitoramento e resposta a incidentes para sistemas de IA
  • Criar estruturas de governança para segurança da IA

Tópicos Abordados:

Ciclo de Vida Seguro de Desenvolvimento de IA:

  • Princípios de segurança desde o design para aplicações de IA
  • Práticas de revisão de código para integrações com LLMs
  • Metodologias de teste e varredura de vulnerabilidades
  • Segurança na implantação e endurecimento (hardening) em produção

Monitoramento e Detecção:

  • Requisitos específicos de registro e monitoramento para IA
  • Detecção de anomalias para sistemas de IA
  • Procedimentos de resposta a incidentes para eventos de segurança da IA
  • Técnicas de forense e investigação

Governança e Conformidade:

  • Frameworks e políticas de gestão de riscos de IA
  • Considerações de conformidade regulatória (GDPR, Lei de IA, etc.)
  • Avaliação de riscos de terceiros para fornecedores de IA
  • Treinamento de conscientização sobre segurança para equipes de desenvolvimento de IA

Exercício Prático: Projetar uma arquitetura de segurança completa para um chatbot corporativo de IA, incluindo monitoramento, governança e procedimentos de resposta a incidentes

Módulo 9: Ferramentas e Tecnologias (1 hora)

Objetivos de Aprendizagem:

  • Avaliar e implementar ferramentas de segurança de IA
  • Compreender o cenário atual das soluções de segurança de IA
  • Desenvolver capacidades práticas de detecção e prevenção

Tópicos Abordados:

  • Ecossistema de ferramentas de segurança de IA e cenário de fornecedores
  • Ferramentas de segurança open-source: Garak, PyRIT, Giskard
  • Soluções comerciais para segurança e monitoramento de IA
  • Padrões de integração e estratégias de implantação
  • Critérios de seleção de ferramentas e frameworks de avaliação

Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação

Módulo 10: Tendências Futuras e Encerramento (1 hora)

Objetivos de Aprendizagem:

  • Compreender ameaças emergentes e futuros desafios de segurança
  • Desenvolver estratégias contínuas de aprendizado e melhoria
  • Criar planos de ação para programas de segurança de IA organizacionais

Tópicos Abordados:

  • Ameaças emergentes: Deepfakes, injeção de prompt avançada e inversão de modelo
  • Futuros desenvolvimentos do projeto OWASP GenAI e roteiro (roadmap)
  • Construção de comunidades de segurança de IA e compartilhamento de conhecimento
  • Melhoria contínua e integração de inteligência sobre ameaças

Exercício de Planejamento de Ação: Desenvolver um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes

Requisitos

  • Compreensão geral dos princípios de segurança de aplicações web
  • Familiaridade básica com conceitos de IA/ML
  • Experiência com frameworks de segurança ou metodologias de avaliação de riscos é preferível

Público-Alvo

  • Profissionais de cibersegurança
  • Desenvolvedores de IA
  • Arquitetos de sistemas
  • Oficiais de conformidade
  • Praticantes de segurança
 14 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (1)

Próximas Formações Provisórias

Categorias Relacionadas