Programa do Curso
Fundamentos do NiFi e Fluxo de Dados
- Dados em movimento vs. dados em repouso: conceitos e desafios
- Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e bulletin
- Principais componentes: processadores, conexões, controladores e proveniência
Contexto e Integração de Big Data
- O papel do NiFi em ecossistemas de Big Data (Hadoop, Kafka, armazenamento em nuvem)
- Visão geral do HDFS, MapReduce e alternativas modernas
- Casos de uso: ingestão de streams, envio de logs, pipelines de eventos
Instalação, Configuração & Setup de Cluster
- Instalando o NiFi em modo de nó único e modo cluster
- Configuração de cluster: papéis dos nós, zookeeper e balanceamento de carga
- Orquestração de implantações do NiFi: uso de Ansible, Docker ou Helm
Projeto e Gerenciamento de Fluxos de Dados
- Roteamento, filtragem, divisão e mesclagem de fluxos
- Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Tratamento de esquema, enriquecimento e operações de transformação
- Tratamento de erros, relacionamentos de nova tentativa e backpressure
Cenários de Integração
- Conexão com bancos de dados, sistemas de mensagens e APIs REST
- Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento em nuvem
- Integração com Splunk, Prometheus ou pipelines de logging
Monitoramento, Recuperação & Proveniência
- Uso da UI do NiFi, métricas e visualizador de proveniência
- Projeto de recuperação autônoma e tratamento elegante de falhas
- Backup, versionamento de fluxos e gerenciamento de mudanças
Ajuste de Desempenho & Otimização
- Ajuste de JVM, heap, pools de threads e parâmetros de clusterização
- Otimização do projeto de fluxo para reduzir gargalos
- Isolamento de recursos, priorização de fluxo e controle de throughput
Boas Práticas & Governança
- Documentação de fluxos, padrões de nomenclatura, design modular
- Segurança: TLS, autenticação, controle de acesso, criptografia de dados
- Controle de mudanças, versionamento, acesso baseado em função, trilhas de auditoria
Solução de Problemas & Resposta a Incidentes
- Problemas comuns: deadlocks, vazamentos de memória, erros de processador
- Análise de logs, diagnóstico de erros e investigação da causa raiz
- Estratégias de recuperação e rollback de fluxo
Laboratório Prático: Implementação Realista de Pipeline de Dados
- Construção de um fluxo de ponta a ponta: ingestão, transformação, entrega
- Implementar tratamento de erros, backpressure e escalonamento
- Teste de desempenho e ajuste do pipeline
Resumo e Próximos Passos
Requisitos
- Experiência com a linha de comando Linux
- Compreensão básica de redes e sistemas de dados
- Experiência prévia com conceitos de streaming de dados ou ETL
Público-alvo
- Administradores de sistemas
- Engenheiros de dados
- Desenvolvedores
- Profissionais de DevOps
Testemunhos de Clientes (7)
Exercícios práticos. A turma deveria ter durado 5 dias, mas os 3 dias ajudaram a esclarecer muitas das minhas dúvidas sobre o trabalho com NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Achei que o ritmo do instrutor foi bom. Ele não deixou nenhum aluno para trás com sua abordagem. Ele foi muito solidário conosco, INICIANTES, que podem não ter tido um papel de Administrador de Sistema ou Infraestrutura durante nossas carreiras ou que reviveram essas habilidades de um período anterior de nossas carreiras.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da seção prática. Ela me ajudou a reter melhor as informações ao completar os exercícios fornecidos. Além disso, a habilidade do instrutor de envolver toda a classe me deixou confortável para fazer perguntas sobre os assuntos dos quais não tinha certeza.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Cenários de uso e exemplos para a construção de fluxos de dados do NiFi. Trabalhamos na solução de problemas comuns e armadilhas.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Eu amei a estrutura. No primeiro dia, mergulhamos nos fundamentos do NiFi, conceitos, casos de uso, etc. No segundo dia, colocamos em prática o conhecimento adquirido no Dia 1, construindo fluxos para atender aos requisitos dos cenários. No terceiro dia, vimos o NiFi Registry e controle de versão, multitenância e fizemos uma sessão de perguntas e respostas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da forma como ele conseguiu elaborar sobre o NiFi e quão poderoso ele é. Basicamente, você pode usá-lo para qualquer infraestrutura e utilizar muitas diferentes linguagens de programação. Também fiquei feliz que conseguimos resolver o problema de renovação do certificado do NiFi que estávamos enfrentando com o Truststore.
Joachim Martin - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
conhecimentos gerais e as possibilidades oferecidas pelo treinamento em termos da ferramenta.
Nalfis Tobar - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
