Curso de OWASP GenAI Security

Dia 1: Fundamentos e Ameaças Principais

Módulo 1: Introdução ao Projeto de Segurança GenAI da OWASP (1 hora)

Objetivos de Aprendizagem:

• Compreender a evolução dos OWASP Top 10 para os desafios específicos de segurança da GenAI
• Explorar o ecossistema e os recursos do Projeto de Segurança GenAI da OWASP
• Identificar as principais diferenças entre a segurança de aplicações tradicionais e a segurança de IA

Tópicos Abordados:

• Visão geral da missão e do escopo do Projeto de Segurança GenAI da OWASP
• Introdução ao framework Threat Defense COMPASS
• Compreensão da paisagem de segurança de IA e dos requisitos regulatórios
• Superfícies de ataque de IA versus vulnerabilidades de aplicações web tradicionais

Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de uma avaliação inicial de ameaças

Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)

Objetivos de Aprendizagem:

• Dominar as cinco vulnerabilidades críticas de LLM mais importantes
• Compreender vetores de ataque e técnicas de exploração
• Aplicar estratégias práticas de mitigação

Tópicos Abordados:

LLM01: Injeção de Prompt

• Técnicas de injeção de prompt diretas e indiretas
• Ataques de instruções ocultas e contaminação cruzada de prompts
• Exemplos práticos: Quebra de segurança (jailbreaking) de chatbots e bypass de medidas de segurança
• Estratégias de defesa: Sanitização de entrada, filtragem de prompts, privacidade diferencial

LLM02: Divulgação de Informações Sensíveis

• Extração de dados de treinamento e vazamento de prompts de sistema
• Análise do comportamento do modelo para exposição de informações sensíveis
• Implicações de privacidade e considerações de conformidade regulatória
• Mitigação: Filtragem de saída, controles de acesso, anonimização de dados

LLM03: Vulnerabilidades da Cadeia de Suprimentos

• Dependências de modelos de terceiros e segurança de plugins
• Conjuntos de dados de treinamento comprometidos e envenenamento de modelos
• Avaliação de riscos de fornecedores para componentes de IA
• Práticas seguras de implantação e verificação de modelos

Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações de LLM vulneráveis e implementação de medidas defensivas

Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)

Tópicos Abordados:

LLM04: Envenenamento de Dados e Modelos

• Técnicas de manipulação de dados de treinamento
• Modificação do comportamento do modelo através de entradas envenenadas
• Ataques de porta dos fundos (backdoor) e verificação de integridade de dados
• Prevenção: Pipelines de validação de dados, rastreamento de procedência

LLM05: Tratamento Inadequado de Saída

• Processamento inseguro de conteúdo gerado por LLM
• Injeção de código através de saídas geradas por IA
• Cross-site scripting via respostas de IA
• Frameworks de validação e sanitização de saída

Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída

Módulo 4: Ameaças Avançadas de LLM (1,5 horas)

Tópicos Abordados:

LLM06: Agência Excessiva

• Riscos de tomada de decisão autônoma e violação de limites
• Gestão de autoridade e permissões de agentes
• Interações sistêmicas não intencionais e escalonamento de privilégios
• Implementação de barreiras de segurança (guardrails) e controles de supervisão humana

LLM07: Vazamento de Prompt de Sistema

• Vulnerabilidades de exposição de instruções do sistema
• Divulgação de credenciais e lógica através de prompts
• Técnicas de ataque para extração de prompts de sistema
• Segurança de instruções de sistema e configuração externa

Exercício Prático: Projeto de arquiteturas de agentes seguras com controles de acesso e monitoramento adequados

Dia 2: Ameaças Avançadas e Implementação

Módulo 5: Ameaças Emergentes de IA (2 horas)

Objetivos de Aprendizagem:

• Compreender ameaças de segurança de IA de última geração
• Implementar técnicas avançadas de detecção e prevenção
• Projetar sistemas de IA resilientes contra ataques sofisticados

Tópicos Abordados:

LLM08: Fraquezas de Vetores e Incorporação (Embeddings)

• Vulnerabilidades de sistemas RAG e segurança de bancos de dados vetoriais
• Envenenamento de embeddings e ataques de manipulação de similaridade
• Exemplos adversariais na busca semântica
• Segurança de armazéns de vetores e implementação de detecção de anomalias

LLM09: Desinformação e Confiabilidade de Modelos

• Detecção e mitigação de alucinações
• Amplificação de viés e considerações de justiça
• Mecanismos de verificação de fatos e validação de fontes
• Validação de conteúdo e integração de supervisão humana

LLM10: Consumo Desmedido

• Esgotamento de recursos e ataques de negação de serviço
• Estratégias de limitação de taxa e gestão de recursos
• Otimização de custos e controles de orçamento
• Monitoramento de desempenho e sistemas de alertas

Exercício Prático: Construção de um pipeline RAG seguro com proteção de banco de dados vetorial e detecção de alucinações

Módulo 6: Segurança de IA Agentiva (2 horas)

Objetivos de Aprendizagem:

• Compreender os desafios únicos de segurança dos agentes de IA autônomos
• Aplicar a taxonomia de IA Agentiva da OWASP a sistemas do mundo real
• Implementar controles de segurança para ambientes multi-agentes

Tópicos Abordados:

• Introdução à IA Agentiva e sistemas autônomos
• Classificação de Ameaças de IA Agentiva da OWASP: Projeto do Agente, Memória, Planejamento, Uso de Ferramentas, Implantação
• Segurança de sistemas multi-agentes e riscos de coordenação
• Uso indevido de ferramentas, envenenamento de memória e ataques de sequestro de objetivos
• Segurança da comunicação entre agentes e processos de tomada de decisão

Exercício Prático: Exercício de modelagem de ameaças usando a classificação de IA Agentiva da OWASP em um sistema de atendimento ao cliente multi-agente

Módulo 7: Implementação da OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizagem:

• Dominar a aplicação prática do Threat Defense COMPASS
• Integrar a avaliação de ameaças à IA nos programas de segurança organizacionais
• Desenvolver estratégias abrangentes de gestão de riscos de IA

Tópicos Abordados:

• Análise aprofundada da metodologia Threat Defense COMPASS
• Integração do Loop OODA: Observar, Orientar, Decidir, Agir
• Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS
• Construção de Dashboards de Estratégia de Resiliência a Ameaças de IA
• Integração com ferramentas e processos de segurança existentes

Exercício Prático: Avaliação completa de ameaças usando COMPASS para um cenário de implantação do Microsoft Copilot

Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)

Objetivos de Aprendizagem:

• Projetar arquiteturas de IA seguras desde o início
• Implementar monitoramento e resposta a incidentes para sistemas de IA
• Criar estruturas de governança para segurança de IA

Tópicos Abordados:

Ciclo de Vida de Desenvolvimento Seguro de IA:

• Princípios de segurança por design para aplicações de IA
• Práticas de revisão de código para integrações de LLM
• Metodologias de teste e varredura de vulnerabilidades
• Segurança de implantação e fortalecimento (hardening) em produção

Monitoramento e Detecção:

• Requisitos de log e monitoramento específicos para IA
• Detecção de anomalias para sistemas de IA
• Procedimentos de resposta a incidentes para eventos de segurança de IA
• Técnicas de forense e investigação

Governança e Conformidade:

• Frameworks e políticas de gestão de riscos de IA
• Considerações de conformidade regulatória (GDPR, AI Act, etc.)
• Avaliação de riscos de terceiros para fornecedores de IA
• Capacitação em conscientização de segurança para equipes de desenvolvimento de IA

Exercício Prático: Projeto de uma arquitetura de segurança completa para um chatbot corporativo de IA, incluindo monitoramento, governança e procedimentos de resposta a incidentes

Módulo 9: Ferramentas e Tecnologias (1 hora)

Objetivos de Aprendizagem:

• Avaliar e implementar ferramentas de segurança de IA
• Compreender a atual paisagem de soluções de segurança de IA
• Construir capacidades práticas de detecção e prevenção

Tópicos Abordados:

• Ecossistema de ferramentas de segurança de IA e panorama de fornecedores
• Ferramentas de segurança open-source: Garak, PyRIT, Giskard
• Soluções comerciais para segurança e monitoramento de IA
• Padrões de integração e estratégias de implantação
• Critérios de seleção de ferramentas e frameworks de avaliação

Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação

Módulo 10: Tendências Futuras e Encerramento (1 hora)

Objetivos de Aprendizagem:

• Compreender ameaças emergentes e desafios futuros de segurança
• Desenvolver estratégias de aprendizado contínuo e melhoria
• Criar planos de ação para programas de segurança de IA organizacionais

Tópicos Abordados:

• Ameaças emergentes: Deepfakes, injeção avançada de prompt, inversão de modelos
• Desenvolvidos futuros e roadmap do projeto GenAI da OWASP
• Construção de comunidades de segurança de IA e compartilhamento de conhecimento
• Melhoria contínua e integração de inteligência de ameaças

Exercício de Planejamento de Ação: Desenvolvimento de um plano de ação de 90 dias para implementar as práticas de segurança GenAI da OWASP nas organizações dos participantes