Programa do Curso

Fundamentos do NiFi e do Fluxo de Dados

  • Dados em movimento vs dados em repouso: conceitos e desafios
  • Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletim
  • Componentes principais: processadores, conexões, controladores e proveniência

Contexto Big Data e Integração

  • Papel do NiFi em ecossistemas Big Data (Hadoop, Kafka, armazenamento em nuvem)
  • Visão geral de HDFS, MapReduce e alternativas modernas
  • Casos de uso: ingestão de fluxo, envio de logs, pipelines de eventos

Instalação, Configuração & Configuração em Cluster

  • Instalando NiFi em modo single node e cluster
  • Configuração de cluster: papéis dos nós, zookeeper e balanceamento de carga
  • Orquestração de implantações do NiFi: usando Ansible, Docker ou Helm

Projetando e Gerenciando Fluxos de Dados

  • Rotas, filtros, divisão e fusão de fluxos
  • Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
  • Lidando com esquemas, enriquecimento e operações de transformação
  • Tratamento de erros, relações de retry e backpressure

Cenários de Integração

  • Conectando-se a bancos de dados, sistemas de mensagens, APIs REST
  • Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento em nuvem
  • Integração com Splunk, Prometheus ou pipelines de logs

Monitoramento, Recuperação & Proveniência

  • Usando a UI do NiFi, métricas e visualizador de proveniência
  • Projetando recuperação autônoma e tratamento de falhas com graça
  • Backup, versionamento de fluxo e gerenciamento de alterações

Otimização & Ajuste de Desempenho

  • Ajustando JVM, heap, pools de threads e parâmetros de cluster
  • Otimizando o design do fluxo para reduzir gargalos
  • Isolamento de recursos, priorização de fluxo e controle de throughput

Melhores Práticas & Governança

  • Documentação de fluxos, padrões de nomenclatura, design modular
  • Segurança: TLS, autenticação, controle de acesso, criptografia de dados
  • Controle de alterações, versionamento, acesso baseado em papéis, rastreamento de auditoria

Solução de Problemas & Resposta a Incidentes

  • Problemas comuns: deadlocks, vazamentos de memória, erros de processador
  • Análise de logs, diagnóstico de erros e investigação da causa raiz
  • Estratégias de recuperação e reversão do fluxo

Laboratório Prático: Implementação Realística de Pipeline de Dados

  • Construindo um fluxo end-to-end: ingestão, transformação, entrega
  • Implementando tratamento de erros, backpressure e escalabilidade
  • Teste de desempenho e ajuste do pipeline

Síntese e Próximos Passos

Requisitos

  • Experiência com a linha de comando do Linux
  • Noções básicas de redes e sistemas de dados
  • Familiaridade com conceitos de streaming de dados ou ETL

Público-Alvo

  • Administradores de sistemas
  • Ingenheiros de dados
  • Desenvolvedores
  • Profissionais DevOps
 21 Horas

Número de participantes


Preço por Participante

Declaração de Clientes (7)

Próximas Formações Provisórias

Categorias Relacionadas