Programa do Curso
Fundamentos do NiFi e do Fluxo de Dados
- Dados em movimento vs dados em repouso: conceitos e desafios
- Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletim
- Componentes principais: processadores, conexões, controladores e proveniência
Contexto Big Data e Integração
- Papel do NiFi em ecossistemas Big Data (Hadoop, Kafka, armazenamento em nuvem)
- Visão geral de HDFS, MapReduce e alternativas modernas
- Casos de uso: ingestão de fluxo, envio de logs, pipelines de eventos
Instalação, Configuração & Configuração em Cluster
- Instalando NiFi em modo single node e cluster
- Configuração de cluster: papéis dos nós, zookeeper e balanceamento de carga
- Orquestração de implantações do NiFi: usando Ansible, Docker ou Helm
Projetando e Gerenciando Fluxos de Dados
- Rotas, filtros, divisão e fusão de fluxos
- Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Lidando com esquemas, enriquecimento e operações de transformação
- Tratamento de erros, relações de retry e backpressure
Cenários de Integração
- Conectando-se a bancos de dados, sistemas de mensagens, APIs REST
- Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento em nuvem
- Integração com Splunk, Prometheus ou pipelines de logs
Monitoramento, Recuperação & Proveniência
- Usando a UI do NiFi, métricas e visualizador de proveniência
- Projetando recuperação autônoma e tratamento de falhas com graça
- Backup, versionamento de fluxo e gerenciamento de alterações
Otimização & Ajuste de Desempenho
- Ajustando JVM, heap, pools de threads e parâmetros de cluster
- Otimizando o design do fluxo para reduzir gargalos
- Isolamento de recursos, priorização de fluxo e controle de throughput
Melhores Práticas & Governança
- Documentação de fluxos, padrões de nomenclatura, design modular
- Segurança: TLS, autenticação, controle de acesso, criptografia de dados
- Controle de alterações, versionamento, acesso baseado em papéis, rastreamento de auditoria
Solução de Problemas & Resposta a Incidentes
- Problemas comuns: deadlocks, vazamentos de memória, erros de processador
- Análise de logs, diagnóstico de erros e investigação da causa raiz
- Estratégias de recuperação e reversão do fluxo
Laboratório Prático: Implementação Realística de Pipeline de Dados
- Construindo um fluxo end-to-end: ingestão, transformação, entrega
- Implementando tratamento de erros, backpressure e escalabilidade
- Teste de desempenho e ajuste do pipeline
Síntese e Próximos Passos
Requisitos
- Experiência com a linha de comando do Linux
- Noções básicas de redes e sistemas de dados
- Familiaridade com conceitos de streaming de dados ou ETL
Público-Alvo
- Administradores de sistemas
- Ingenheiros de dados
- Desenvolvedores
- Profissionais DevOps
Declaração de Clientes (7)
Exercícios práticos. A aula deveria ter sido de 5 dias, mas os 3 dias ajudaram a esclarecer muitas dúvidas que eu já tinha ao trabalhar com o NiFi
James - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Achei que o ritmo do formador era bom. Não deixou nenhum aluno para trás com a sua abordagem. Apoiou-nos muito, a nós, NOVATOS, que podemos não ter tido uma função de Administrador de Sistemas ou de Infra-estruturas durante a nossa carreira ou que ressuscitámos essas competências de um período anterior da nossa carreira.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gosto da secção prática. Ajudou-me a reter melhor a informação ao completar os exercícios fornecidos. Além disso, a capacidade do formador de se envolver com toda a turma fez com que me sentisse à vontade para fazer perguntas sobre assuntos que não tinha a certeza.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Casos de uso, exemplos para construir fluxos de dados NiFi. Trabalhamos na resolução de problemas comuns e de "gotchas".
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Adorei a estrutura. Nós mergulhamos no básico do Nifi, conceitos, casos de uso, etc. no dia 1. No dia 2, colocamos o conhecimento do dia 1 em prática, construindo fluxos para atender aos requisitos do cenário. No dia 3, vimos o Nifi Registry e o controle de versão, mulit-tenancy, e revisamos as perguntas e respostas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da forma como ele foi capaz de explicar sobre o NiFi e quão poderoso é. Você pode basicamente usá-lo para qualquer infraestrutura e utilizar várias linguagens de programação diferentes. Também fiquei feliz por conseguirmos resolver o problema de renovação do certificado do NiFi que estávamos enfrentando com o Truststore.
Joachim Martin - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
conhecimentos gerais e as possibilidades que o treinamento ofereceu em termos de uso da ferramenta.
Nalfis Tobar - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida