Programa do Curso
Essenciais da Administração do Kafka
- Onde o Kafka se encaixa em uma plataforma de dados moderna e responsabilidades típicas de produção
- Conceitos fundamentais para operadores: brokers, tópicos, partições, offsets, grupos de consumidores
- Fundamentos da replicação: líderes e seguidores, réplicas sincronizadas, trade-offs de disponibilidade
- Destaques operacionais do Kafka e terminologia comum usada em runbooks
Modo KRaft e Design de Cluster
- Básicos do KRaft: controladores, quórum de metadados, eleições e por que isso importa operacionalmente
- Planejamento de implantação: dimensionamento para throughput, partições, retenção e crescimento
- Papéis e layouts de nós: controladores combinados vs dedicados, considerações de domínio de falha
- Laboratório: inspecionar metadados do KRaft, validar saúde do quórum e interpretar logs de controlador
Instalação, Configuração e Operações Diárias
- Abordagens de instalação (pacotes, tarball, contêineres) e o que padronizar em ambientes empresariais
- Configuração de broker fundamental que impacta a confiabilidade: listeners, replicação, diretórios de log, retenção
- Operações de serviço seguras: ordem de inicialização, desligamento graceful e verificações de validação
- Laboratório: implantar um cluster multinó, verificar registro de broker e confirmar produção e consumo base
Gerenciando Tópicos, Partições e Colocação de Dados
- Ciclo de vida dos tópicos usando o CLI do Kafka: criar, descrever, atualizar configurações, excluir
- Escolher partições e fatores de replicação para cargas de trabalho reais, incluindo padrões anti-padrão comuns
- Reatribuições e balanceamento: quando mover partições e como verificar progresso com segurança
- Laboratório: criar tópicos, acionar uma reatribuição de partição, simular um outage de broker e confirmar recuperação
Protegendo o Kafka para Produção
- TLS para tráfego cliente e inter-broker: certificados, cadeias de confiança e etapas de validação
- Autenticação com SASL: selecionar mecanismos comuns e evitar configurações incorretas
- Autorização com ACLs: padrões de privilégio mínimo para administradores, produtores e consumidores
- Laboratório: habilitar TLS e SASL, validar conectividade do cliente e aplicar ACLs para papéis de aplicação
Observabilidade, Confiabilidade e Solução de Problemas
- Essenciais de monitoramento: saúde do controlador, partições sub-replicadas, latência de solicitação, saturação de disco e rede
- Logs e métricas: ler logs de broker e expor métricas via JMX exporter para pilhas de observabilidade comuns
- Playbooks operacionais: reinícios rotativos, alterações seguras de configuração, lidar com disco cheio e problemas do ISR
- Laboratório: construir um conjunto mínimo de alertas, diagnosticar um cluster degradado e restaurar a replicação saudável
Atualizações e Preparação para Recuperação de Desastres
- Planejamento de atualização do Kafka: verificações de compatibilidade, estágio e abordagem de reversão
- Expectativas de backup e recuperação: o que pode ser respaldado, o que não pode, e noções básicas de recuperação de configuração
- Visão geral da replicação entre clusters e quando usar o MirrorMaker 2 para DR e migrações
- Encerramento: checklist operacional, artefatos de entrega e próximos passos para implantação em produção
Requisitos
- Compreensão da administração básica do Linux (usuários, serviços, arquivos, permissões)
- Experiência com conceitos de rede TCP/IP (DNS, portas, firewalls, balanceadores de carga)
- Experiência básica em scripting (Bash, PowerShell ou similar) para tarefas operacionais rotineiras
Público-Alvo
- Administradores e engenheiros de plataforma Kafka responsáveis pela operação de clusters Kafka
- Engenheiros de confiabilidade do site e DevOps que suportam plataformas de streaming
- Equipes de infraestrutura e operações implantando novos clusters Kafka baseados em KRaft ou migrando do ZooKeeper
Declaração de Clientes (5)
Possibilidade de realizar exercícios independentes no ambiente de treinamento.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Curso - Kafka for Administrators
Máquina Traduzida
Direto ao ponto, ritmo adequado (é necessário conhecimento básico de bash)
Krzysztof - Agora SA
Curso - Kafka for Administrators
Máquina Traduzida
O instrutor aceita perguntas a qualquer momento da sessão, mesmo que o assunto tenha sido abordado há alguns dias.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Curso - Kafka for Administrators
Máquina Traduzida
Boa habilidade de apresentação
Md Maruf Hossain - ATOS PGS sp. z o.o.
Curso - Kafka for Administrators
Máquina Traduzida
Habilidades excelentes, exemplos muito bons, exercícios muito bons
Marek Konieczny - G2A.COM Limited
Curso - Kafka for Administrators
Máquina Traduzida