Programa do Curso
Introdução ao Apache Airflow
- O que é orquestração de fluxo de trabalho
- Principais recursos e benefícios do Apache Airflow
- Melhorias do Airflow 2.x evisão geral do ecossistema
Arquitetura e Conceitos Fundamentais
- Agendador, servidor web e processos de trabalho
- DAGs, tarefas e operadores
- Executores e backends (Local, Celery, Kubernetes)
Instalação e Configuração
- Instalando o Airflow em ambientes locais e de nuvem
- Configurando o Airflow com diferentes executores
- Configurando bancos de dados de metadados e conexões
Navegando pela Interface do Usuário (UI) e Linha de Comando (CLI) do Airflow
- Explorando a interface web do Airflow
- Monitorando execuções de DAGs, tarefas e logs
- Usando a CLI do Airflow para administração
Criando e Gerenciando DAGs
- Criando DAGs com a API TaskFlow
- Usando operadores, sensores e ganchos (hooks)
- Gerenciando dependências e intervalos de agendamento
Integrando o Airflow com Dados e Serviços em Nuvem
- Conectando-se a bancos de dados, APIs e filas de mensagens
- Executando pipelines ETL com o Airflow
- Integrações em nuvem: operadores do AWS, GCP, Azure
Monitoramento e Observabilidade
- Logs de tarefas e monitoramento em tempo real
- Métricas com Prometheus e Grafana
- Alertas e notificações via email ou Slack
Segurança do Apache Airflow
- Controle de acesso baseado em função (RBAC)
- Autenticação com LDAP, OAuth e SSO
- Gerenciamento de segredos com Vault e lojas de segredos em nuvem
Escalando o Apache Airflow
- Paralelismo, concorrência e filas de tarefas
- Usando CeleryExecutor e KubernetesExecutor
- Implementando o Airflow no Kubernetes com Helm
Melhores Práticas para Produção
- Controle de versão e CI/CD para DAGs
- Testando e depurando DAGs
- Mantendo confiabilidade e desempenho em larga escala
Solução de Problemas e Otimização
- Depurando DAGs e tarefas falhas
- Otimizando o desempenho dos DAGs
- Pitfalls comuns e como evitá-los
Resumo e Próximos Passos
Requisitos
- Experiência com programação em Python
- Familiaridade com conceitos de engenharia de dados ou DevOps
- Compreensão de ETL ou orquestração de fluxos de trabalho
Público-alvo
- Cientistas de dados
- Engenheiros de dados
- Engenheiros DevOps e de infraestrutura
- Desenvolvedores de software
Declaração de Clientes (7)
The training was spot on. Very useful theory and exercices.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
