Programa do Curso
Módulo 1: Introdução à arquitetura e configuração do cluster Confluent Apache Kafka
- Papel do Kafka em pipelines de dados modernos
- Diferenças entre o Apache Kafka e o Confluent Kafka
- Componentes principais: produtores, consumidores, brokers, tópicos, partições
- Módulos de implantação do cluster Kafka e considerações sobre escalabilidade
Módulo 2: Configuração de Quorum do Zookeeper
- O que é o Zookeeper?
- Papel do Zookeeper em um cluster Kafka
- Tamanho do Quorum do Zookeeper
- Configuração do Zookeeper
- Implementando SSH nos servidores
- Prática: Configuração do Zookeeper (como equipe e como serviço)
- Utilizando a Interface de Linha de Comando (CLI) do Zookeeper
- Prática: Configuração do Quorum do Zookeeper
- Sistema de arquivos interno do Zookeeper
- Fatores que afetam o desempenho do Zookeeper
- Demonstração das ferramentas de gerenciamento para Zookeeper e Zoonavigator
Módulo 3: Configuração do Cluster Kafka
- Conceitos básicos do Kafka
- Configuração do Kafka
- Prática: Configuração do broker Kafka
- Prática: Executando comandos Kafka
- Prática: Configuração de cluster multi-broker do Kafka
- Prática: Teste do cluster Kafka
- Poderia me conectar ao meu cluster Kafka?
- Configuração Advertised.listeners: a configuração mais importante
- Configuração de tópicos
- Configuração para download e ingestão de mensagens em tópicos
- Prática: Demonstração da resiliência do Kafka
- Desempenho do Kafka: I/O
- Desempenho do Kafka: Rede (RED)
- Desempenho do Kafka: Memória RAM
- Desempenho do Kafka: CPU
- Desempenho do Kafka: Sistema Operacional (SO)
- Outros aspectos de desempenho do Kafka
- Prática: Como alterar a configuração do broker Kafka
Módulo 4: Configuração Avançada do Kafka
- Interface de usuário de tópicos Landoop Kafka, proxy REST Confluent e configuração do registro de esquemas Confluent
- Envio e recebimento de mensagens (CLI, Java, e framework Spring)
- Métricas de monitoramento e ferramentas (Centro de Controle Confluent, Elasticsearch, etc.)
- Gestão de arquivos de log e deslocamentos
- Alta disponibilidade e recuperação de desastres
- Garantindo alta disponibilidade através da replicação
- Ajuste do desempenho dos produtores e consumidores
- Estratégias de recuperação de desastres
- Controle de failover e recuperação de dados
- Configuração de conectores
- Implementação do Kafka Connect
- Recursos de segurança do Kafka
Resumo e Próximos Passos
Requisitos
- Familiaridade com sistemas distribuídos e conceitos de mensageria
- Experiência com a linha de comando Linux
- Noções básicas de redes e administração de sistemas
Público-alvo
- Administradores de sistemas
- Engenheiros DevOps
- Equipes de plataforma e infraestrutura
Declaração de Clientes (5)
Interação com o formador Vários exercícios e laboratórios pertinentes Exames práticos
Salim - SICPA SA
Curso - Administration of Kafka Message Queue
Máquina Traduzida
abordagem interactiva do professor, que não conta uma história simples, mas age de acordo com as perguntas do público.
Rens - Canon Medical Informatics Europe B.V.
Curso - Administration of Kafka Topic
Máquina Traduzida
Os laboratórios e os diapositivos combinam bem com o conhecimento e o amor do Jorge pelo Kafka.
Willem - BMW SA
Curso - Apache Kafka for Developers
Máquina Traduzida
muito interativo...
Richard Langford
Curso - SMACK Stack for Data Science
Máquina Traduzida
Suficiente prática, o instrutor é qualificado
Chris Tan
Curso - A Practical Introduction to Stream Processing
Máquina Traduzida