Entrar em Contato

Programa do Curso

Revisão dos Fundamentos do Apache Airflow

  • Conceitos principais: DAGs, operadores e fluxo de execução.
  • Arquitetura e componentes do Airflow.
  • Compreensão de casos de uso e fluxos de trabalho avançados.

Criando Operadores Personalizados

  • Compreendendo a anatomia de um operador do Airflow.
  • Desenvolvendo operadores personalizados para tarefas específicas.
  • Testando e depurando operadores personalizados.

Hooks e Sensores Personalizados

  • Implementando hooks para integração com sistemas externos.
  • Criando sensores para monitoramento de gatilhos externos.
  • Aprimorando a interatividade do fluxo de trabalho com sensores personalizados.

Desenvolvendo Plugins para o Airflow

  • Compreendendo a arquitetura de plugins.
  • Projetando plugins para estender a funcionalidade do Airflow.
  • Melhores práticas para gerenciamento e implantação de plugins.

Integração do Airflow com Sistemas Externos

  • Conectando o Airflow a bancos de dados, APIs e serviços em nuvem.
  • Utilizando o Airflow para fluxos de trabalho ETL e processamento de dados em tempo real.
  • Gerenciando dependências entre o Airflow e sistemas externos.

Depuração e Monitoramento Avançados

  • Uso dos logs e métricas do Airflow para troubleshooting.
  • Configuração de alertas e notificações para problemas nos fluxos de trabalho.
  • Aproveitamento de ferramentas de monitoramento externas com o Airflow.

Otimização de Performance e Escalabilidade

  • Escalando o Airflow com executores Celery e Kubernetes.
  • Otimizando a utilização de recursos em fluxos de trabalho complexos.
  • Estratégias para alta disponibilidade e tolerância a falhas.

Estudos de Caso e Aplicações do Mundo Real

  • Explorando casos de uso avançados em engenharia de dados e DevOps.
  • Estudo de caso: Implementação de operador personalizado para ETL de grande escala.
  • Melhores práticas para gerenciamento de fluxos de trabalho em nível empresarial.

Resumo e Próximos Passos

Requisitos

  • Sólido entendimento dos fundamentos do Apache Airflow, incluindo DAGs, operadores e arquitetura de execução.
  • Proficiência em programação Python.
  • Experiência com integração de sistemas de dados e orquestração de fluxos de trabalho.

Público-alvo

  • Engenheiros de dados.
  • Engenheiros DevOps.
  • Arquitetos de software.
 21 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (1)

Próximas Formações Provisórias

Categorias Relacionadas