Curso de Administração do Confluent Apache Kafka

Módulo 1: Introdução à arquitetura e configuração do cluster Confluent Apache Kafka

• O papel do Kafka nos pipelines de dados modernos
• Diferenças entre Apache Kafka e Confluent Kafka
• Componentes principais: produtores, consumidores, brokers, tópicos e partições
• Modelos de implantação de cluster do Kafka e considerações sobre escalabilidade

Módulo 2: Configuração do Quorum do Zookeeper

• O que é o Zookeeper?
• O papel do Zookeeper em um cluster do Kafka
• Tamanho do Quorum do Zookeeper
• Configuração do Zookeeper
• Implementação de SSH em nossos servidores
• Prática: Configuração do Zookeeper (como equipe e como serviço)
• Utilização da Interface de Linha de Comando (CLI) do Zookeeper
• Prática: Configuração do Quorum do Zookeeper
• Sistema de arquivos interno do Zookeeper
• Fatores de desempenho que afetam o Zookeeper
• Demonstração de ferramentas de gerenciamento para Zookeeper e Zoonavigator

Módulo 3: Configuração do Cluster do Kafka

• Conceitos básicos do Kafka
• Configuração do Kafka
• Prática: Configuração do broker do Kafka
• Prática: Executando comandos do Kafka
• Prática: Configuração do Cluster Multi-Broker do Kafka
• Prática: Teste do cluster do Kafka
• Posso me conectar ao meu cluster do Kafka?
• Configuração de Advertised.listeners: a configuração mais importante
• Configuração de tópicos
• Configuração para download e ingestão de mensagens em tópicos
• Prática: Demonstrando a resiliência do Kafka
• Desempenho do Kafka: Entrada/Saída (I/O)
• Desempenho do Kafka: Rede (RED)
• Desempenho do Kafka: RAM
• Desempenho do Kafka: CPU
• Desempenho do Kafka: Sistema Operativo (SO)
• Desempenho do Kafka: Outros
• Prática: Como alterar a configuração do broker do Kafka

Módulo 4: Configuração Avançada do Kafka

• Interface do usuário de tópicos Landoop Kafka, configuração do Confluent REST Proxy e do Confluent Schema Registry
• Envio e recepção de mensagens (CLI, Java e framework Spring)
• Métricas e ferramentas de monitoramento (Confluent Control Center, Elasticsearch, etc.)
• Arquivos de log e gerenciamento de offsets
• Alta disponibilidade e recuperação de desastres
• Garantindo alta disponibilidade por meio de replicação
• Ajuste de desempenho de produtores e consumidores
• Estratégias de recuperação de desastres
• Controle de failover e recuperação de dados
• Configuração de conectores
• Implementação do Kafka Connect
• Recursos de segurança do Kafka

Resumo e Próximos Passos