Curso de Segurança OWASP GenAI

Dia 1: Fundamentos e Ameaças Principais

Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)

Objetivos de Aprendizado:

• Compreender a evolução do OWASP Top 10 para desafios de segurança específicos da IA Generativa
• Explorar o ecossistema e os recursos do Projeto OWASP GenAI Security
• Identificar as principais diferenças entre segurança tradicional de aplicações e segurança de IA

Tópicos Abordados:

• Panorama geral da missão e do escopo do Projeto OWASP GenAI Security
• Introdução ao framework Threat Defense COMPASS
• Compreensão do cenário de segurança de IA e dos requisitos regulatórios
• Superfícies de ataque de IA versus vulnerabilidades tradicionais de aplicações web

Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de avaliação inicial de ameaças

Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)

Objetivos de Aprendizado:

• Domínio das cinco vulnerabilidades críticas de LLM
• Compreensão dos vetores de ataque e técnicas de exploração
• Aplicação de estratégias práticas de mitigação

Tópicos Abordados:

LLM01: Injeção de Prompt

• Técnicas de injeção direta e indireta de prompts
• Ataques com instruções ocultas e contaminação cruzada entre prompts
• Exemplos práticos: jailbreaking de chatbots e contorno de medidas de segurança
• Estratégias de defesa: sanitização de entrada, filtragem de prompts, privacidade diferencial

LLM02: Divulgação de Informações Sensíveis

• Extração de dados de treinamento e vazamento do prompt do sistema
• Análise do comportamento do modelo para exposição de informações sensíveis
• Implicações de privacidade e considerações de conformidade regulatória
• Mitigação: filtragem de saída, controles de acesso, anonimização de dados

LLM03: Vulnerabilidades da Cadeia de Suprimentos

• Dependências de modelos de terceiros e segurança de plugins
• Datasets de treinamento comprometidos e envenenamento de modelos
• Avaliação de risco do fornecedor para componentes de IA
• Práticas seguras de implantação e verificação de modelos

Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações LLM vulneráveis e implementação de medidas defensivas

Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)

Tópicos Abordados:

LLM04: Envenenamento de Dados e Modelos

• Técnicas de manipulação de dados de treinamento
• Modificação do comportamento do modelo através de entradas envenenadas
• Ataques backdoor e verificação de integridade dos dados
• Prevenção: pipelines de validação de dados, rastreamento de proveniência

LLM05: Manipulação Imprópria da Saída

• Processamento inseguro de conteúdo gerado por LLMs
• Injeção de código através de saídas geradas por IA
• Cross-site scripting (XSS) via respostas de IA
• Frameworks de validação e sanitização de saída

Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída

Módulo 4: Ameaças Avançadas de LLM (1,5 horas)

Tópicos Abordados:

LLM06: Agência Excessiva

• Riscos da tomada de decisão autônoma e violações de limites
• Gestão de autoridade e permissões do agente
• Interações não intencionais com o sistema e elevação de privilégios
• Implementação de barreiras de proteção (guardrails) e controles de supervisão humana

LLM07: Vazamento do Prompt do Sistema

• Vulnerabilidades de exposição de instruções do sistema
• Divulgação de credenciais e lógica através de prompts
• Técnicas de ataque para extração de prompts do sistema
• Proteção de instruções do sistema e configuração externa

Exercício Prático: Design de arquiteturas seguras de agentes com controles de acesso adequados e monitoramento

Dia 2: Ameaças Avançadas e Implementação

Módulo 5: Ameaças Emergentes de IA (2 horas)

Objetivos de Aprendizado:

• Compreender ameaças avançadas de segurança de IA
• Implementar técnicas avançadas de detecção e prevenção
• Projetar sistemas de IA resilientes contra ataques sofisticados

Tópicos Abordados:

LLM08: Vulnerabilidades em Vetores e Incorporações (Embeddings)

• Vulnerabilidades de sistemas RAG e segurança de bancos de dados vetoriais
• Envenenamento de incorporações e ataques de manipulação de similaridade
• Exemplos adversariais em busca semântica
• Proteção de repositórios vetoriais e implementação de detecção de anomalias

LLM09: Desinformação e Confiabilidade do Modelo

• Detecção e mitigação de alucinações
• A amplificação de viés e considerações de justiça
• Mecanismos de verificação de fatos e fontes
• Validação de conteúdo e integração com supervisão humana

LLM10: Consumo Descontrolado

• Esgotamento de recursos e ataques de negação de serviço
• Estratégias de limitação de taxa e gestão de recursos
• Otimização de custos e controles de orçamento
• Sistemas de monitoramento de desempenho e alerta

Exercício Prático: Construção de um pipeline RAG seguro com proteção de banco de dados vetorial e detecção de alucinações

Módulo 6: Segurança de IA Agêntica (2 horas)

Objetivos de Aprendizado:

• Compreender os desafios únicos de segurança dos agentes de IA autônomos
• Aplicar a taxonomia OWASP Agentic AI a sistemas do mundo real
• Implementar controles de segurança para ambientes multi-agente

Tópicos Abordados:

• Introdução à IA Agêntica e sistemas autônomos
• Taxonomia de Ameaças OWASP Agentic AI: Design do Agente, Memória, Planejamento, Uso de Ferramentas, Implantação
• Riscos de segurança e coordenação em sistemas multi-agente
• Ataques de uso indevido de ferramentas, envenenamento de memória e sequestro de objetivos
• Proteção da comunicação e processos de tomada de decisão dos agentes

Exercício Prático: Exercício de modelagem de ameaças usando a taxonomia OWASP Agentic AI em um sistema multi-agente de atendimento ao cliente

Módulo 7: Implementação do OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizado:

• Domínio da aplicação prática do Threat Defense COMPASS
• Integrar a avaliação de ameaças de IA nos programas de segurança organizacionais
• Desenvolver estratégias abrangentes de gestão de riscos de IA

Tópicos Abordados:

• Análise aprofundada da metodologia Threat Defense COMPASS
• Integração do Ciclo OODA: Observar, Orientar, Decidir, Agir
• Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS
• Criação de Painéis de Estratégia de Resiliência a Ameaças de IA
• Integração com ferramentas e processos de segurança existentes

Exercício Prático: Avaliação completa de ameaças usando o COMPASS para um cenário de implantação do Microsoft Copilot

Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)

Objetivos de Aprendizado:

• Projetar arquiteturas de IA seguras desde a base
• Implementar monitoramento e resposta a incidentes para sistemas de IA
• Criar frameworks de governança para segurança de IA

Tópicos Abordados:

Ciclo de Desenvolvimento Seguro de IA:

• Princípios de 'segurança por design' para aplicações de IA
• Práticas de revisão de código para integrações LLM
• Metodologias de teste e varredura de vulnerabilidades
• Segurança na implantação e endurecimento da produção

Monitoramento e Detecção:

• Requisitos específicos de logging e monitoramento para IA
• Detecção de anomalias para sistemas de IA
• Procedimentos de resposta a incidentes para eventos de segurança de IA
• Técnicas de forense e investigação

Governança e Conformidade:

• Frameworks e políticas de gestão de riscos de IA
• Considerações de conformidade regulatória (GDPR, AI Act, etc.)
• Avaliação de risco de terceiros para fornecedores de IA
• Treinamento de conscientização de segurança para equipes de desenvolvimento de IA

Exercício Prático: Projetar uma arquitetura de segurança completa para um chatbot corporativo de IA, incluindo monitoramento, governança e procedimentos de resposta a incidentes

Módulo 9: Ferramentas e Tecnologias (1 hora)

Objetivos de Aprendizado:

• Avaliar e implementar ferramentas de segurança de IA
• Compreender o cenário atual de soluções de segurança de IA
• Construir capacidades práticas de detecção e prevenção

Tópicos Abordados:

• Ecosistema de ferramentas de segurança de IA e cenário de fornecedores
• Ferramentas de código aberto: Garak, PyRIT, Giskard
• Soluções comerciais para segurança e monitoramento de IA
• Padrões de integração e estratégias de implantação
• Critérios de seleção de ferramentas e frameworks de avaliação

Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação

Módulo 10: Tendências Futuras e Encerramento (1 hora)

Objetivos de Aprendizado:

• Compreender ameaças emergentes e desafios futuros de segurança
• Desenvolver estratégias de aprendizado contínuo e melhoria
• Criar planos de ação para programas de segurança de IA organizacionais

Tópicos Abordados:

• Ameaças emergentes: deepfakes, injeção avançada de prompt, inversão de modelo
• Desenvolvimentos futuros do projeto OWASP GenAI e roteiro
• Construção de comunidades de segurança de IA e compartilhamento de conhecimento
• Melhoria contínua e integração de inteligência de ameaças

Exercício de Planejamento de Ação: Desenvolver um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes