Curso de Workshop de Migração com Databricks: De Procedimentos Armazenados para Lakehouse (Intensivo de 5 Dias)

Introdução, Objetivos e Estratégia de Migração

• Metas do curso, alinhamento do perfil dos participantes e critérios de sucesso
• Abordagens gerais de migração e considerações sobre riscos
• Configuração de espaços de trabalho (workspaces), repositórios e datasets de laboratório

Dia 1 — Fundamentos da Migração e Arquitetura

• Conceitos Lakehouse, visão geral do Delta Lake e arquitetura do Databricks
• Diferenças e implicações entre SMP (Shared-Processing-Memory) e MPP (Massively Parallel Processing) para migração
• Design Medallion (Bronze→Silver→Gold) e visão geral do Unity Catalog

Laboratório Dia 1 — Traduzindo um Procedimento Armazenado

• Migração prática de um procedimento armazenado de exemplo para um notebook
• Mapeamento de tabelas temporárias e cursores para transformações em DataFrames
• Validação e comparação com a saída original

Dia 2 — Delta Lake Avançado e Carregamento Incremental

• Transações ACID, logs de commit, versionamento e time travel (viagem no tempo)
• Auto Loader, padrões MERGE INTO, upserts e evolução do esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamento e ajuste de armazenamento

Laboratório Dia 2 — Ingestão Incremental e Otimização

• Implementação da ingestão com Auto Loader e fluxos de trabalho MERGE
• Aplicação de OPTIMIZE, Z-ORDER e VACUUM; validação dos resultados
• Medição das melhorias no desempenho de leitura/escrita

Dia 3 — SQL no Databricks, Desempenho e Depuração

• Recursos de SQL analítico: funções de janela, funções de ordem superior, manipulação de JSON/arrays
• Leitura da interface do Spark (Spark UI), DAGs, shuffles, etapas (stages) e tarefas, e diagnóstico de gargalos
• Padrões de ajuste de consulta: joins com broadcast, hints, cache e redução de spill

Laboratório Dia 3 — Refatoração SQL e Ajuste de Desempenho

• Refatorar um processo SQL pesado em Spark SQL otimizado
• Usar rastreamentos da Spark UI para identificar e corrigir desbalanceamento (skew) e problemas de shuffle
• Benchmark antes/depois e documentação das etapas de ajuste

Dia 4 — PySpark Tático: Substituindo Lógica Procedural

• Modelo de execução do Spark: driver, executores, avaliação preguiçosa (lazy evaluation) e estratégias de particionamento
• Transformação de loops e cursores em operações vetoriais em DataFrames
• Modularização, UDFs/UDFs com pandas, widgets e bibliotecas reutilizáveis

Laboratório Dia 4 — Refatoração de Scripts Procedurais

• Refatorar um script ETL procedural em notebooks PySpark modulares
• Introduzir parametrização, testes unitários e funções reutilizáveis
• Revisão de código e aplicação da lista de verificação de melhores práticas

Dia 5 — Orquestração, Pipeline de Ponta a Ponta e Melhores Práticas

• Databricks Workflows: design de jobs, dependências entre tarefas, gatilhos (triggers) e tratamento de erros
• Projeto de pipelines Medallion incrementais com regras de qualidade e validação de esquema
• Integração com Git (GitHub/Azure DevOps), CI e estratégias de teste para lógica PySpark

Laboratório Dia 5 — Criar um Pipeline Completo de Ponta a Ponta

• Montar o pipeline Bronze→Silver→Gold orquestrado com Workflows
• Implementar logging, auditoria, retentativas e validações automatizadas
• Executar o pipeline completo, validar as saídas e preparar notas de implantação

Operacionalização, Governança e Pronto para Produção

• Melhores práticas de governança do Unity Catalog, linhagem (lineage) e controles de acesso
• Custo, dimensionamento de clusters, escala automática e padrões de concorrência de jobs
• Listas de verificação de implantação, estratégias de rollback e criação de runbooks

Revisão Final, Transferência de Conhecimento e Próximos Passos

• Apresentações dos participantes sobre o trabalho de migração e lições aprendidas
• Análise de lacunas, atividades de acompanhamento recomendadas e entrega do material de treinamento
• Referências, roteiros adicionais de aprendizado e opções de suporte