Curso de Kafka para Administradores

Fundamentos da Administração do Kafka

• O lugar do Kafka em uma plataforma de dados moderna e as responsabilidades típicas de produção
• Conceitos essenciais para operadores: brokers, tópicos, partições, offsets e grupos de consumidores
• Fundamentos da replicação: líderes e seguidores, réplicas em sincronia e trade-offs de disponibilidade
• Destaques operacionais do Kafka e terminologia comum usada em manuais de execução (runbooks)

Modo KRaft e Projeto do Cluster

• Básicos do KRaft: controladores, quórum de metadados, eleições e por que isso é importante operacionalmente
• Planejamento de implantação: dimensionamento para throughput, partições, retenção e crescimento
• Papéis e layouts dos nós: controladores combinados versus dedicados e considerações sobre domínios de falha
• Laboratório: inspecionar metadados do KRaft, validar a saúde do quórum e interpretar logs dos controladores

Instalação, Configuração e Operações do Dia a Dia

• Abordagens de instalação (pacotes, tarball, contêineres) e o que padronizar em ambientes empresariais
• Configurações essenciais do broker que impactam a confiabilidade: listeners, replicação, diretórios de logs e retenção
• Operações seguras dos serviços: ordem de inicialização, desligamento gracioso e verificações de validação
• Laboratório: implantar um cluster multi-nó, verificar o registro do broker e confirmar a produção e consumo básicos

Gerenciamento de Tópicos, Partições e Posicionamento de Dados

• Ciclo de vida do tópico usando a CLI do Kafka: criar, descrever, atualizar configurações, excluir
• Escolha de partições e fatores de replicação para cargas de trabalho reais, incluindo anti-padrões comuns
• Reajustes e balanceamento: quando mover partições e como verificar o progresso com segurança
• Laboratório: criar tópicos, acionar um reajuste de partição, simular uma queda de broker e confirmar a recuperação

Garantindo a Segurança do Kafka para Produção

• TLS para tráfego de cliente e entre brokers: certificados, cadeias de confiança e etapas de validação
• Autenticação com SASL: seleção de mecanismos comuns e evitar configurações incorretas
• Autorização com ACLs: padrões de menor privilégio para administradores, produtores e consumidores
• Laboratório: habilitar TLS e SASL, validar a conectividade do cliente e aplicar ACLs para funções de aplicativos

Observabilidade, Confiabilidade e Solução de Problemas

• Essenciais de monitoramento: saúde dos controladores, partições sub-replicadas, latência de requisições e saturação de disco e rede
• Logs e métricas: leitura dos logs do broker e exposição de métricas via JMX exporter para pilhas comuns de observabilidade
• Manuais operacionais: reinicializações em cadeia, alterações seguras de configuração e tratamento de problemas de disco cheio e ISR
• Laboratório: criar um conjunto mínimo de alertas, diagnosticar um cluster degradado e restaurar a replicação saudável

Atualizações e Preparação para Recuperação de Desastres

• Planejamento de atualização do Kafka: verificações de compatibilidade, fases de teste e abordagem de rollback
• Expectativas de backups e recuperação: o que pode ser backupado, o que não pode e noções básicas de recuperação de configuração
• Visão geral da replicação entre clusters e quando usar o MirrorMaker 2 para DR (Disaster Recovery) e migrações
• Encerramento: checklist operacional, artefatos de transferência e próximos passos para a implantação em produção