Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Revisão dos Fundamentos do Apache Airflow
- Conceitos principais: DAGs, operadores e fluxo de execução.
- Arquitetura e componentes do Airflow.
- Compreensão de casos de uso e fluxos de trabalho avançados.
Criando Operadores Personalizados
- Compreendendo a anatomia de um operador do Airflow.
- Desenvolvendo operadores personalizados para tarefas específicas.
- Testando e depurando operadores personalizados.
Hooks e Sensores Personalizados
- Implementando hooks para integração com sistemas externos.
- Criando sensores para monitoramento de gatilhos externos.
- Aprimorando a interatividade do fluxo de trabalho com sensores personalizados.
Desenvolvendo Plugins para o Airflow
- Compreendendo a arquitetura de plugins.
- Projetando plugins para estender a funcionalidade do Airflow.
- Melhores práticas para gerenciamento e implantação de plugins.
Integração do Airflow com Sistemas Externos
- Conectando o Airflow a bancos de dados, APIs e serviços em nuvem.
- Utilizando o Airflow para fluxos de trabalho ETL e processamento de dados em tempo real.
- Gerenciando dependências entre o Airflow e sistemas externos.
Depuração e Monitoramento Avançados
- Uso dos logs e métricas do Airflow para troubleshooting.
- Configuração de alertas e notificações para problemas nos fluxos de trabalho.
- Aproveitamento de ferramentas de monitoramento externas com o Airflow.
Otimização de Performance e Escalabilidade
- Escalando o Airflow com executores Celery e Kubernetes.
- Otimizando a utilização de recursos em fluxos de trabalho complexos.
- Estratégias para alta disponibilidade e tolerância a falhas.
Estudos de Caso e Aplicações do Mundo Real
- Explorando casos de uso avançados em engenharia de dados e DevOps.
- Estudo de caso: Implementação de operador personalizado para ETL de grande escala.
- Melhores práticas para gerenciamento de fluxos de trabalho em nível empresarial.
Resumo e Próximos Passos
Requisitos
- Sólido entendimento dos fundamentos do Apache Airflow, incluindo DAGs, operadores e arquitetura de execução.
- Proficiência em programação Python.
- Experiência com integração de sistemas de dados e orquestração de fluxos de trabalho.
Público-alvo
- Engenheiros de dados.
- Engenheiros DevOps.
- Arquitetos de software.
21 Horas
Testemunhos de Clientes (1)
O instrutor adaptou o treinamento ao nível dos participantes e respondeu a todas as perguntas. Ele foi muito comunicativo, e foi fácil interagir com ele. Achei o formato do treinamento excelente, que incluiu muitos exercícios práticos. No geral, foi uma sessão muito envolvente e bem organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Máquina Traduzida