Programa do Curso
Fundamentos do NiFi e Fluxo de Dados
- Dados em movimento vs. dados em repouso: conceitos e desafios
- Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletins
- Componentes principais: processadores, conexões, controladores e proveniência
Contexto de Big Data e Integração
- Papel do NiFi nos ecossistemas de Big Data (Hadoop, Kafka, armazenamento em nuvem)
- Visão geral do HDFS, MapReduce e alternativas modernas
- Casos de uso: ingestão de fluxos, envio de logs, pipelines de eventos
Instalação, Configuração e Configuração de Cluster
- Instalação do NiFi em modo nó único e em cluster
- Configuração do cluster: funções dos nós, Zookeeper e balanceamento de carga
- Orquestração de implantações do NiFi: usando Ansible, Docker ou Helm
Projetando e Gerenciando Fluxos de Dados
- Roteamento, filtragem, divisão e mesclagem de fluxos
- Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Lidar com esquemas, enriquecimento e operações de transformação
- Tratamento de erros, relações de retentativa e pressão para trás (backpressure)
Cenários de Integração
- Conexão a bancos de dados, sistemas de mensageria e APIs REST
- Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento em nuvem
- Integração com Splunk, Prometheus ou pipelines de log
Monitoramento, Recuperação e Proveniência
- Usar a interface do NiFi, métricas e visualizador de proveniência
- Projetar recuperação autônoma e tratamento gracioso de falhas
- Backup, versionamento de fluxos e gerenciamento de mudanças
Ajuste de Desempenho e Otimização
- Ajuste do JVM, heap, pools de threads e parâmetros de cluster
- Otimizar o design do fluxo para reduzir gargalos
- Isolamento de recursos, priorização de fluxos e controle de taxa de transferência
Melhores Práticas e Governança
- Documentação do fluxo, padrões de nomenclatura, design modular
- Segurança: TLS, autenticação, controle de acesso, criptografia de dados
- Controle de mudanças, versionamento, acesso baseado em funções, rastros de auditoria
Solução de Problemas e Resposta a Incidentes
- Problemas comuns: bloqueios mortos (deadlocks), vazamentos de memória, erros de processadores
- Análise de logs, diagnóstico de erros e investigação da causa raiz
- Estratégias de recuperação e reversão de fluxo
Laboratório Prático: Implementação Realista de Pipeline de Dados
- Construção de um fluxo ponta a ponta: ingestão, transformação, entrega
- Implementar tratamento de erros, pressão para trás (backpressure) e escalabilidade
- Teste de desempenho e ajuste do pipeline
Resumo e Próximos Passos
Requisitos
- Experiência com a linha de comando do Linux
- Compreensão básica de redes e sistemas de dados
- Conhecimento prévio sobre streaming de dados ou conceitos de ETL
Público-Alvo
- Administradores de sistemas
- Engenheiros de dados
- Desenvolvedores
- Profissionais de DevOps
Testemunhos de Clientes (7)
Exercícios práticos. A turma deveria ter durado 5 dias, mas os 3 dias ajudaram a esclarecer muitas das minhas dúvidas sobre o trabalho com NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Achei que o ritmo do instrutor foi bom. Ele não deixou nenhum aluno para trás com sua abordagem. Ele foi muito solidário conosco, INICIANTES, que podem não ter tido um papel de Administrador de Sistema ou Infraestrutura durante nossas carreiras ou que reviveram essas habilidades de um período anterior de nossas carreiras.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da seção prática. Ela me ajudou a reter melhor as informações ao completar os exercícios fornecidos. Além disso, a habilidade do instrutor de envolver toda a classe me deixou confortável para fazer perguntas sobre os assuntos dos quais não tinha certeza.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Cenários de uso e exemplos para a construção de fluxos de dados do NiFi. Trabalhamos na solução de problemas comuns e armadilhas.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Eu amei a estrutura. No primeiro dia, mergulhamos nos fundamentos do NiFi, conceitos, casos de uso, etc. No segundo dia, colocamos em prática o conhecimento adquirido no Dia 1, construindo fluxos para atender aos requisitos dos cenários. No terceiro dia, vimos o NiFi Registry e controle de versão, multitenância e fizemos uma sessão de perguntas e respostas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da forma como ele conseguiu elaborar sobre o NiFi e quão poderoso ele é. Basicamente, você pode usá-lo para qualquer infraestrutura e utilizar muitas diferentes linguagens de programação. Também fiquei feliz que conseguimos resolver o problema de renovação do certificado do NiFi que estávamos enfrentando com o Truststore.
Joachim Martin - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
conhecimentos gerais e as possibilidades oferecidas pelo treinamento em termos da ferramenta.
Nalfis Tobar - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
