Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
O Cenário de Ameaças de IA
- Por que a segurança de IA é diferente: não determinismo, raciocínio opaco, prompt como superfície de ataque
- Taxonomia dos ataques: no tempo de treinamento vs. no tempo de inferência vs. na cadeia de suprimentos
- O modelo de adversário de ML: quem ataca sistemas de IA e por quê
OWASP Top 10 para Aplicações de LLM
- Injeção de prompt: vetores de ataque diretos e indiretos
- Manipulação insegura de saída e falsificação de solicitação entre plugins
- Envenenamento dos dados de treinamento e vulnerabilidades da cadeia de suprimentos
- Negação de serviço do modelo, divulgação de informações sensíveis e agência excessiva
- Laboratório prático: explorando cada categoria do OWASP contra uma aplicação de teste
Red Teaming de Injeção de Prompt e Jailbreak
- Taxonomia das técnicas de injeção: direta, indireta, multi-turn (múltiplas rodadas) e multimodal
- Red teaming automatizado com Giskard, Garak e ferramentas de fuzzing personalizadas
- Classificação de jailbreak e avaliação das defesas
- Criação de um harness (ferramenta/arquitetura) de red team para testes contínuos de segurança de LLM
Ataques e Defesas ao Nível do Modelo
- Extração de modelo: roubo de pesos e funcionalidade do modelo por meio de consultas de API
- Inferência de membros: determinar se os dados estavam no conjunto de treinamento
- Exemplos adversariais: perturbações que enganam classificadores e embeddings
- Envenenamento de dados: corromper dados de treinamento para induzir backdoors ou degradar o desempenho
Controles de Segurança de Entrada e Saída
- Sanitização de entrada além das defesas web tradicionais
- Filtragem de saída: toxicidade, vazamento de PII (informações pessoais identificáveis), execução de código alucinado
- Guardrails como infraestrutura de segurança: NeMo, Guardrails AI e políticas personalizadas
- Aplicação de saída estruturada como limite de segurança
Segurança da Cadeia de Suprimentos de IA
- Procedência do modelo: verificação da autenticidade e integridade do modelo
- Varredura de dependências para frameworks de ML e formatos de modelo
- Servir modelos com segurança: sandboxing, isolamento de rede e acesso de mínimo privilégio
- Avaliação de modelos finetunados e da comunidade em busca de malware embutido
Segurança Operacional para Sistemas de IA
- Controle de acesso para endpoints de modelos, bancos de vetores e ferramentas de agentes
- Auditoria de logs para cada interação e decisão do modelo
- Resposta a incidentes para violações específicas de IA: quando o próprio modelo é comprometido
- Testes de segurança contínuos em CI/CD para pipelines de ML
Construção de um Programa de Segurança de IA
- Modelo de maturidade e roteiro de segurança de IA
- Integração da segurança de IA nos programas existentes de AppSec e cloud security
- Estruturas de governança e regulamentações emergentes para sistemas de IA
- Criação e manutenção de um manual organizacional de segurança de IA
Requisitos
- Experiência na implantação de modelos de ML ou aplicações de LLM em produção.
- Conhecimento dos conceitos de segurança, incluindo autenticação, autorização e modelagem de ameaças.
- Proficiência em Python para exercícios de testes adversariais.
Público-Alvo
- Engenheiros de segurança que estão se expandindo para superfícies de ameaça de IA/ML.
- Engenheiros de ML responsáveis pela segurança e robustez dos modelos.
- Membros de red team incluindo sistemas de IA em seu escopo de testes.
14 Horas
