Entrar em Contato

Programa do Curso

Introdução ao Apache Airflow

  • O que é orquestração de fluxos de trabalho
  • Principais recursos e benefícios do Apache Airflow
  • Melhorias do Airflow 2.x e visão geral do ecossistema

Arquitetura e conceitos fundamentais

  • Agendador (Scheduler), servidor web e processos de trabalho
  • DAGs, tarefas e operadores
  • Executores e backends (Local, Celery, Kubernetes)

Instalação e configuração

  • Instalando o Airflow em ambientes locais e de nuvem
  • Configurando o Airflow com diferentes executores
  • Configurando bancos de dados de metadados e conexões

Navegando na interface do usuário (UI) e linha de comando (CLI) do Airflow

  • Explorando a interface web do Airflow
  • Monitorando execuções de DAGs, tarefas e logs
  • Utilizando a CLI do Airflow para administração

Criando e gerenciando DAGs

  • Criando DAGs com a TaskFlow API
  • Usando operadores, sensores e hooks
  • Gerenciando dependências e intervalos de agendamento

Integrando o Airflow com dados e serviços de nuvem

  • Conectando-se a bancos de dados, APIs e filas de mensagens
  • Executando pipelines ETL com o Airflow
  • Integrações com nuvem: operadores para AWS, GCP e Azure

Monitoramento e observabilidade

  • Logs de tarefas e monitoramento em tempo real
  • Métricas com Prometheus e Grafana
  • Alertas e notificações via e-mail ou Slack

Segurança do Apache Airflow

  • Controle de acesso baseado em funções (RBAC)
  • Autenticação com LDAP, OAuth e SSO
  • Gerenciamento de segredos com Vault e armazenamento de segredos na nuvem

Escalando o Apache Airflow

  • Paralelismo, concorrência e filas de tarefas
  • Utilizando CeleryExecutor e KubernetesExecutor
  • Implantando o Airflow no Kubernetes com Helm

Melhores práticas para produção

  • Controle de versão e CI/CD para DAGs
  • Testando e depurando DAGs
  • Mantendo confiabilidade e desempenho em escala

Solução de problemas e otimização

  • Depurando DAGs e tarefas com falha
  • Otimizando o desempenho das DAGs
  • Armadilhas comuns e como evitá-las

Resumo e próximos passos

Requisitos

  • Experiência com programação Python
  • Familiaridade com conceitos de engenharia de dados ou DevOps
  • Compreensão de ETL ou orquestração de fluxos de trabalho

Público-alvo

  • Cientistas de dados
  • Engenheiros de dados
  • Engenheiros de DevOps e infraestrutura
  • Desenvolvedores de software
 21 Horas

Número de participantes


Preço por participante

Testemunhos de Clientes (7)

Próximas Formações Provisórias

Categorias Relacionadas