Entrar em Contato

Programa do Curso

Revisão dos Fundamentos do Apache Airflow

  • Conceitos fundamentais: DAGs, tasks e operators
  • Arquitetura e componentes do Airflow
  • Resumo de casos de uso e workflows comuns

Otimização do Desempenho do Workflow

  • Identificação de gargalos nos pipelines do Airflow
  • Técnicas de otimização em nível de task
  • Aproveitamento de retries, paralelismo e concorrência de tasks

Gestão de Dependências Complexas

  • Definição de dependências dinâmicas nos workflows
  • Lidar com workflows condicionais e ramificados
  • Uso eficaz de task groups e sub-DAGs

Recursos Avançados do Apache Airflow

  • Criação de operadores e hooks personalizados
  • Implementação de sensores para gatilhos externos
  • Integração de serviços e plugins de terceiros

Escalar Implantações do Apache Airflow

  • Abordagens de escalonamento horizontal e vertical
  • Uso do Celery Executor para execução distribuída
  • Melhores práticas para escalonamento em ambientes de nuvem

Monitoramento e Depuração de Workflows

  • Configuração de logs e alertas para monitoramento de workflows
  • Uso da Interface do Usuário (UI) e da CLI do Airflow para depuração
  • Identificação e resolução de problemas comuns em implantações do Airflow

Segurança do Apache Airflow

  • Autenticação e controle de acesso no Airflow
  • Proteção de dados sensíveis e configurações de ambiente
  • Implementação de trilhas de auditoria para workflows

Casos de Uso Corporativos e Melhores Práticas

  • Projeto de workflows robustos para ambientes de produção
  • Aproveitamento do Airflow para engenharia de dados e pipelines ETL
  • Exploração de estudos de caso reais de implantações escaláveis do Airflow

Resumo e Próximos Passos

Requisitos

  • Conhecimento básico do Apache Airflow
  • Domínio da programação Python e dos conceitos de orquestração de workflows
  • Experiência na gestão e implantação de aplicações em ambientes Linux

Público-Alvo

  • Engenheiros de dados
  • Profissionais de DevOps
  • Desenvolvedores de software
 21 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (1)

Próximas Formações Provisórias

Categorias Relacionadas