Programa do Curso
Introdução
Descrição geral das características e da arquitetura do Spark Streaming
- Fontes de dados suportadas
- APIs principais
Preparar o ambiente
- Dependências
- Spark e contexto de streaming
- Ligação ao Kafka
Processamento de mensagens
- Análise de mensagens de entrada como JSON
- Processos ETL
- Iniciar o contexto de fluxo contínuo
Execução de uma janela Stream Processing
- Intervalo de diapositivos
- Configuração da entrega de pontos de controlo
- Lançamento do ambiente
Prototipagem do código de processamento
- Ligar a um tópico do Kafka
- Recuperar JSON da fonte de dados usando Paw
- Variações e processamento adicional
Transmissão em fluxo contínuo do código
- Variáveis de controlo do trabalho
- Definição de valores para correspondência
- Funções e condições
Aquisição de saída de fluxo
- Contadores
- Saída Kafka (correspondente e não correspondente)
Resolução de problemas
Resumo e conclusão
Requisitos
- Experiência com Python e Apache Kafka
- Familiaridade com plataformas de processamento de fluxo
Público
- Engenheiros de dados
- Cientistas de dados
- Programadores
Declaração de Clientes (4)
O formador estava muito disponível para responder a todo o tipo de perguntas que eu fazia
Caterina - Stamtech
Curso - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Curso - Build REST APIs with Python and Flask
Transferência dos conhecimentos práticos e da experiência do formador.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Curso - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.