Programa do Curso

Introdução ao Apache Iceberg

  • Visão geral do Apache Iceberg
  • Revisão dos conceitos básicos

Mergulho profundo na arquitetura do Iceberg

  • Análise aprofundada do formato de tabela do Iceberg
  • Visão geral detalhada da arquitetura, incluindo metadados e disposição dos ficheiros
  • Internos do esquema e evolução da partição

Instalação e configuração avançadas

  • Configuração do Iceberg para um desempenho ótimo em diferentes ambientes
  • Integração com vários motores de processamento de dados
  • Configuração avançada: segurança, encriptação e controlos de acesso
  • Configuração do Iceberg num ambiente distribuído

Operações e manutenção avançadas

  • Gerir tabelas Iceberg de grande escala
  • Implementação e gestão de alterações complexas ao esquema
  • Gerir a evolução das partições e o particionamento oculto
  • Operações CRUD avançadas com alterações de esquema e de partição

Técnicas de otimização de consultas

  • Técnicas para reduzir a latência das consultas
  • Poda de partições e poda de ficheiros
  • Estratégias de otimização e armazenamento em cache de metadados
  • Implementação e teste de técnicas de otimização de consultas

Ajuste de desempenho para grandes conjuntos de dados

  • Otimizando o desempenho de conjuntos de dados de grande escala
  • Usando os recursos internos do Iceberg para ajuste de desempenho
  • Estudos de caso sobre ajuste de desempenho em cenários do mundo real
  • Ajustando o desempenho de conjuntos de dados de grande escala

Migração e Integração Avançada de Dados

  • Migração de estruturas de dados complexas de outros sistemas
  • Integração do Iceberg com fluxos de dados em tempo real
  • Migração de conjuntos de dados complexos e integração de fluxos de dados em tempo real

Fiabilidade e consistência

  • Garantir a consistência e integridade dos dados em ambientes distribuídos
  • Implementar e gerir garantias transaccionais
  • Tratamento de falhas e mecanismos de recuperação
  • Implementação de funcionalidades de fiabilidade e consistência

Recursos avançados e personalização

  • Implementações de catálogos personalizados
  • Extensão do Iceberg com recursos personalizados
  • Implementação de catálogo personalizado e extensão das funcionalidades do Iceberg

Governança e Conformidade de Dados

  • Implementando políticas de governança de dados
  • Conformidade com os regulamentos de dados
  • Gerir pistas de auditoria e linhagem de dados
  • Implementar funcionalidades de governação e conformidade

Resumo e próximos passos

Requisitos

  • Familiaridade com conceitos fundamentais, operações básicas e gestão de tabelas Iceberg

Público-alvo

  • Engenheiros de dados
  • Arquitectos de dados
  • Analistas de dados
  • Programadores de software
 21 Horas

Número de participantes


Preço por Participante

Declaração de Clientes (3)

Próximas Formações Provisórias

Categorias Relacionadas