Curso de Python, Spark e Hadoop para Big Data

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a cientistas de dados e engenheiros de nível intermediário que desejam utilizar o Google Colab e o Apache Spark para processamento e análise de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente de big data usando o Google Colab e o Spark.
• Processar e analisar grandes conjuntos de dados de forma eficiente com o Apache Spark.
• Visualizar big data em um ambiente colaborativo.
• Integrar o Apache Spark a ferramentas baseadas em nuvem.

O Apache NiFi é uma plataforma de integração de dados e processamento de eventos de código aberto, baseada em fluxos. Ele permite o roteamento automatizado de dados em tempo real, transformação e mediação entre sistemas distintos, com interface web (UI) e controle granular.

Este treinamento ao vivo, ministrado por instrutor (presencial ou remoto), destina-se a administradores e engenheiros de nível intermediário que desejam implantar, gerenciar, proteger e otimizar fluxos de dados do NiFi em ambientes de produção.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar, configurar e manter clusters do Apache NiFi.
• Projetar e gerenciar fluxos de dados provenientes de diversas fontes e destinos.
• Implementar lógica de automação de fluxos, roteamento e transformação.
• Otimizar o desempenho, monitorar operações e solucionar problemas.

Formato do Curso

• Palestra interativa com discussões sobre arquiteturas de casos reais.
• Laboratórios práticos: construção, implantação e gerenciamento de fluxos.
• Exercícios baseados em cenários em ambiente de laboratório ao vivo.

Opções de Personalização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Esta formação oferece uma introdução prática à construção de fluxos de trabalho escalonáveis de processamento de dados e aprendizado de máquina utilizando PySpark. Os participantes aprenderão como o Apache Spark opera dentro dos modernos ecossistemas de Big Data e como processar grandes conjuntos de dados de maneira eficiente, aplicando os princípios da computação distribuída.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é voltado para engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes volumes de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Processar rapidamente e analisar grandes conjuntos de dados.
• Compreender as diferenças entre o Apache Spark e o Hadoop MapReduce, e saber quando usar cada um.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é voltado para administradores de sistemas de nível iniciante a intermediário que desejam implantar, manter e otimizar clusters Spark.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark em vários ambientes.
• Gerenciar recursos do cluster e monitorar aplicativos Spark.
• Otimizar o desempenho dos clusters Spark.
• Implementar medidas de segurança e garantir alta disponibilidade.
• Depurar e resolver problemas comuns do Spark.

A curva de aprendizado do Apache Spark começa lenta, exigindo muito esforço para obter os primeiros resultados. Este curso tem como objetivo superar essa fase inicial difícil. Após concluir este curso, os participantes compreenderão o básico do Apache Spark, saberão diferenciar claramente RDD de DataFrame, aprenderão as APIs em Python e Scala, entenderão executores e tarefas, etc. Além disso, seguindo as melhores práticas, este curso dá ênfase à implantação em nuvem, Databricks e AWS. Os alunos também compreenderão as diferenças entre AWS EMR e AWS Glue, um dos serviços Spark mais recentes da AWS.

PÚBLICO-ALVO:

Engenheiro de Dados, DevOps, Cientista de Dados

Neste treinamento presencial e guiado por instrutor em Brasil, os participantes aprenderão a utilizar Python e Spark em conjunto para analisar grandes volumes de dados, enquanto realizam exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Apprender como usar o Spark com o Python para analisar Big Data.
• Trabalhar em exercícios que simulam casos reais.
• Utilizar diversas ferramentas e técnicas para análise de big data por meio do PySpark.

A Stratio é uma plataforma centrada em dados que integra big data, inteligência artificial (IA) e governança em uma única solução. Seus módulos Rocket e Intelligence permitem exploração rápida de dados, transformação e análises avançadas em ambientes corporativos.

Esta formação presencial (online ou ao vivo) é direcionada a profissionais de dados de nível intermediário que desejam usar os módulos Rocket e Intelligence da Stratio de forma eficaz com PySpark, com foco em estruturas de repetição, funções definidas pelo usuário (UDFs) e lógica de dados avançada.

Ao final desta formação, os participantes serão capazes de:

• Navegar e trabalhar na plataforma Stratio utilizando os módulos Rocket e Intelligence.
• Aplicar o PySpark no contexto de ingestão, transformação e análise de dados.
• Usar laços de repetição e lógica condicional para controlar fluxos de trabalho e tarefas de engenharia de recursos (feature engineering).
• Criar e gerenciar funções definidas pelo usuário (UDFs) para operações reutilizáveis em PySpark.

Formato do Curso

• Palestra interativa e discussão.
• Diversos exercícios e práticas.
• Implementação prática em ambiente de laboratório ao vivo (live-lab).

Opções de Personalização do Curso

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para organizarmos os detalhes.