Programa do Curso
Dia 1: Fundamentos e Ameaças Principais
Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)
Objetivos de Aprendizagem:
- Compreender a evolução do OWASP Top 10 para desafios específicos de segurança da IA Generativa
- Explorar o ecossistema e os recursos do Projeto OWASP GenAI Security
- Identificar as diferenças-chave entre a segurança de aplicações tradicionais e a segurança de IA
Tópicos Abordados:
- Visão geral da missão e do escopo do Projeto OWASP GenAI Security
- Introdução ao framework Threat Defense COMPASS
- Compreensão do cenário de segurança da IA e dos requisitos regulatórios
- Superfícies de ataque da IA versus vulnerabilidades tradicionais de aplicações web
Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de uma avaliação inicial de ameaças
Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)
Objetivos de Aprendizagem:
- Dominar as cinco vulnerabilidades críticas de LLM
- Compreender vetores de ataque e técnicas de exploração
- Aplicar estratégias práticas de mitigação
Tópicos Abordados:
LLM01: Injeção de Prompt
- Técnicas de injeção direta e indireta de prompt
- Ataques de instruções ocultas e contaminação entre prompts
- Exemplos práticos: Jailbreaking de chatbots e violação de medidas de segurança
- Estratégias de defesa: Sanitização de entrada, filtragem de prompts, privacidade diferencial
LLM02: Divulgação de Informações Sensíveis
- Extração de dados de treinamento e vazamento do prompt do sistema
- Análise do comportamento do modelo para exposição de informações sensíveis
- Implicações de privacidade e considerações de conformidade regulatória
- Mitigação: Filtragem de saída, controles de acesso, anonimização de dados
LLM03: Vulnerabilidades da Cadeia de Suprimentos
- Dependências de modelos de terceiros e segurança de plugins
- Conjuntos de dados de treinamento comprometidos e envenenamento de modelos
- Avaliação de riscos do fornecedor para componentes de IA
- Práticas seguras de implantação e verificação de modelos
Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações LLM vulneráveis e implementação de medidas defensivas
Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)
Tópicos Abordados:
LLM04: Envenenamento de Dados e Modelos
- Técnicas de manipulação de dados de treinamento
- Modificação do comportamento do modelo através de entradas envenenadas
- Ataques de porta dos fundos e verificação de integridade de dados
- Prevenção: Pipelines de validação de dados, rastreamento de proveniência
LLM05: Tratamento Inadequado da Saída
- Processamento inseguro de conteúdo gerado por LLM
- Injeção de código através de saídas geradas por IA
- Cross-site scripting (XSS) via respostas da IA
- Frameworks de validação e sanitização de saída
Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída
Módulo 4: Ameaças Avançadas de LLM (1,5 horas)
Tópicos Abordados:
LLM06: Agência Excessiva
- Riscos de tomada de decisão autônoma e violações de limites
- Gestão de autoridade e permissões do agente
- Interações não intencionais com o sistema e elevação de privilégios
- Implementação de barreiras de proteção (guardrails) e controles de supervisão humana
LLM07: Vazamento do Prompt do Sistema
- Vulnerabilidades de exposição de instruções do sistema
- Divulgação de credenciais e lógica através de prompts
- Técnicas de ataque para extrair prompts do sistema
- Proteção de instruções do sistema e configuração externa
Exercício Prático: Projetar arquiteturas de agentes seguras com controles de acesso e monitoramento adequados
Dia 2: Ameaças Avançadas e Implementação
Módulo 5: Ameaças Emergentes de IA (2 horas)
Objetivos de Aprendizagem:
- Compreender as ameaças mais recentes de segurança de IA
- Implementar técnicas avançadas de detecção e prevenção
- Projetar sistemas de IA resilientes contra ataques sofisticados
Tópicos Abordados:
LLM08: Vulnerabilidades de Vetores e Embeddings
- Vulnerabilidades de sistemas RAG e segurança de bancos de dados vetoriais
- Envenenamento de embeddings e ataques de manipulação de similaridade
- Exemplos adversariais em busca semântica
- Proteção de armazenamentos vetoriais e implementação de detecção de anomalias
LLM09: Desinformação e Confiabilidade do Modelo
- Detecção e mitigação de alucinações
- Amplificação de viés e considerações de justiça
- Mecanismos de verificação de fatos e conferência de fontes
- Validação de conteúdo e integração com supervisão humana
LLM10: Consumo Sem Limites
- Esgotamento de recursos e ataques de negação de serviço
- Estratégias de limitação de taxa e gestão de recursos
- Otimização de custos e controles de orçamento
- Sistemas de monitoramento de desempenho e alerta
Exercício Prático: Construção de um pipeline RAG seguro com proteção de banco de dados vetorial e detecção de alucinações
Módulo 6: Segurança da IA Agêntica (2 horas)
Objetivos de Aprendizagem:
- Compreender os desafios únicos de segurança dos agentes de IA autônomos
- Aplicar a taxonomia OWASP para IA Agêntica em sistemas do mundo real
- Implementar controles de segurança para ambientes multi-agente
Tópicos Abordados:
- Introdução à IA Agêntica e sistemas autônomos
- Taxonomia de Ameaças da IA Agêntica da OWASP: Design do Agente, Memória, Planejamento, Uso de Ferramentas, Implantação
- Riscos de segurança e coordenação em sistemas multi-agente
- Ataques de mau uso de ferramentas, envenenamento de memória e sequestro de objetivos
- Proteção da comunicação entre agentes e processos de tomada de decisão
Exercício Prático: Exercício de modelagem de ameaças usando a taxonomia OWASP para IA Agêntica em um sistema multi-agente de atendimento ao cliente
Módulo 7: Implementação do OWASP Threat Defense COMPASS (2 horas)
Objetivos de Aprendizagem:
- Dominar a aplicação prática do Threat Defense COMPASS
- Integrar a avaliação de ameaças à IA nos programas de segurança organizacional
- Desenvolver estratégias abrangentes de gestão de riscos de IA
Tópicos Abordados:
- Análise aprofundada da metodologia Threat Defense COMPASS
- Integração do Ciclo OODA: Observar, Orientar, Decidir, Agir
- Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS
- Construção de Painéis de Estratégia de Resiliência de Ameaças à IA
- Integração com ferramentas e processos de segurança existentes
Exercício Prático: Avaliação completa de ameaças usando o COMPASS para um cenário de implantação do Microsoft Copilot
Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)
Objetivos de Aprendizagem:
- Projetar arquiteturas seguras para IA desde o início
- Implementar monitoramento e resposta a incidentes para sistemas de IA
- Criar estruturas de governança para segurança da IA
Tópicos Abordados:
Ciclo de Vida Seguro de Desenvolvimento de IA:
- Princípios de segurança desde o design para aplicações de IA
- Práticas de revisão de código para integrações com LLMs
- Metodologias de teste e varredura de vulnerabilidades
- Segurança na implantação e endurecimento (hardening) em produção
Monitoramento e Detecção:
- Requisitos específicos de registro e monitoramento para IA
- Detecção de anomalias para sistemas de IA
- Procedimentos de resposta a incidentes para eventos de segurança da IA
- Técnicas de forense e investigação
Governança e Conformidade:
- Frameworks e políticas de gestão de riscos de IA
- Considerações de conformidade regulatória (GDPR, Lei de IA, etc.)
- Avaliação de riscos de terceiros para fornecedores de IA
- Treinamento de conscientização sobre segurança para equipes de desenvolvimento de IA
Exercício Prático: Projetar uma arquitetura de segurança completa para um chatbot corporativo de IA, incluindo monitoramento, governança e procedimentos de resposta a incidentes
Módulo 9: Ferramentas e Tecnologias (1 hora)
Objetivos de Aprendizagem:
- Avaliar e implementar ferramentas de segurança de IA
- Compreender o cenário atual das soluções de segurança de IA
- Desenvolver capacidades práticas de detecção e prevenção
Tópicos Abordados:
- Ecossistema de ferramentas de segurança de IA e cenário de fornecedores
- Ferramentas de segurança open-source: Garak, PyRIT, Giskard
- Soluções comerciais para segurança e monitoramento de IA
- Padrões de integração e estratégias de implantação
- Critérios de seleção de ferramentas e frameworks de avaliação
Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação
Módulo 10: Tendências Futuras e Encerramento (1 hora)
Objetivos de Aprendizagem:
- Compreender ameaças emergentes e futuros desafios de segurança
- Desenvolver estratégias contínuas de aprendizado e melhoria
- Criar planos de ação para programas de segurança de IA organizacionais
Tópicos Abordados:
- Ameaças emergentes: Deepfakes, injeção de prompt avançada e inversão de modelo
- Futuros desenvolvimentos do projeto OWASP GenAI e roteiro (roadmap)
- Construção de comunidades de segurança de IA e compartilhamento de conhecimento
- Melhoria contínua e integração de inteligência sobre ameaças
Exercício de Planejamento de Ação: Desenvolver um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes
Requisitos
- Compreensão geral dos princípios de segurança de aplicações web
- Familiaridade básica com conceitos de IA/ML
- Experiência com frameworks de segurança ou metodologias de avaliação de riscos é preferível
Público-Alvo
- Profissionais de cibersegurança
- Desenvolvedores de IA
- Arquitetos de sistemas
- Oficiais de conformidade
- Praticantes de segurança
Testemunhos de Clientes (1)
Gostei muito de aprender sobre ataques de IA e as ferramentas disponíveis para começar a praticar e usar ativamente na segurança. Saí da aula com bastante conhecimento que eu não tinha no começo, e o curso foi exatamente o que eu esperava. A parte que mais me chamou atenção na apresentação foi o Comet Browser, e fiquei impressionado com o que ele pode fazer. Com certeza investigarei isso mais a fundo. No geral, foi um ótimo curso e aproveitei muito para aprender o OWASP Top 10 para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Máquina Traduzida