Programa do Curso
Fundamentos do NiFi e do Fluxo de Dados
- Dados em movimento vs dados em repouso: conceitos e desafios
- Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletim
- Componentes principais: processadores, conexões, controladores e proveniência
Contexto Big Data e Integração
- Papel do NiFi em ecossistemas Big Data (Hadoop, Kafka, armazenamento em nuvem)
- Visão geral de HDFS, MapReduce e alternativas modernas
- Casos de uso: ingestão de fluxo, envio de logs, pipelines de eventos
Instalação, Configuração & Configuração em Cluster
- Instalando NiFi em modo single node e cluster
- Configuração de cluster: papéis dos nós, zookeeper e balanceamento de carga
- Orquestração de implantações do NiFi: usando Ansible, Docker ou Helm
Projetando e Gerenciando Fluxos de Dados
- Rotas, filtros, divisão e fusão de fluxos
- Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Lidando com esquemas, enriquecimento e operações de transformação
- Tratamento de erros, relações de retry e backpressure
Cenários de Integração
- Conectando-se a bancos de dados, sistemas de mensagens, APIs REST
- Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento em nuvem
- Integração com Splunk, Prometheus ou pipelines de logs
Monitoramento, Recuperação & Proveniência
- Usando a UI do NiFi, métricas e visualizador de proveniência
- Projetando recuperação autônoma e tratamento de falhas com graça
- Backup, versionamento de fluxo e gerenciamento de alterações
Otimização & Ajuste de Desempenho
- Ajustando JVM, heap, pools de threads e parâmetros de cluster
- Otimizando o design do fluxo para reduzir gargalos
- Isolamento de recursos, priorização de fluxo e controle de throughput
Melhores Práticas & Governança
- Documentação de fluxos, padrões de nomenclatura, design modular
- Segurança: TLS, autenticação, controle de acesso, criptografia de dados
- Controle de alterações, versionamento, acesso baseado em papéis, rastreamento de auditoria
Solução de Problemas & Resposta a Incidentes
- Problemas comuns: deadlocks, vazamentos de memória, erros de processador
- Análise de logs, diagnóstico de erros e investigação da causa raiz
- Estratégias de recuperação e reversão do fluxo
Laboratório Prático: Implementação Realística de Pipeline de Dados
- Construindo um fluxo end-to-end: ingestão, transformação, entrega
- Implementando tratamento de erros, backpressure e escalabilidade
- Teste de desempenho e ajuste do pipeline
Síntese e Próximos Passos
Requisitos
- Experiência com a linha de comando do Linux
- Noções básicas de redes e sistemas de dados
- Familiaridade com conceitos de streaming de dados ou ETL
Público-Alvo
- Administradores de sistemas
- Ingenheiros de dados
- Desenvolvedores
- Profissionais DevOps
Declaração de Clientes (7)
Exercícios práticos. A turma deveria ter durado 5 dias, mas os 3 dias ajudaram a esclarecer muitas das minhas dúvidas sobre o trabalho com NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Achei que o ritmo do instrutor foi bom. Ele não deixou nenhum aluno para trás com sua abordagem. Ele foi muito solidário conosco, INICIANTES, que podem não ter tido um papel de Administrador de Sistema ou Infraestrutura durante nossas carreiras ou que reviveram essas habilidades de um período anterior de nossas carreiras.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da seção prática. Ela me ajudou a reter melhor as informações ao completar os exercícios fornecidos. Além disso, a habilidade do instrutor de envolver toda a classe me deixou confortável para fazer perguntas sobre os assuntos dos quais não tinha certeza.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Cenários de uso e exemplos para a construção de fluxos de dados do NiFi. Trabalhamos na solução de problemas comuns e armadilhas.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Eu amei a estrutura. No primeiro dia, mergulhamos nos fundamentos do NiFi, conceitos, casos de uso, etc. No segundo dia, colocamos em prática o conhecimento adquirido no Dia 1, construindo fluxos para atender aos requisitos dos cenários. No terceiro dia, vimos o NiFi Registry e controle de versão, multitenância e fizemos uma sessão de perguntas e respostas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da forma como ele conseguiu elaborar sobre o NiFi e quão poderoso ele é. Basicamente, você pode usá-lo para qualquer infraestrutura e utilizar muitas diferentes linguagens de programação. Também fiquei feliz que conseguimos resolver o problema de renovação do certificado do NiFi que estávamos enfrentando com o Truststore.
Joachim Martin - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
conhecimentos gerais e as possibilidades oferecidas pelo treinamento em termos da ferramenta.
Nalfis Tobar - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida