Curso de Administração do Apache Spark

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a cientistas de dados e engenheiros de nível intermediário que desejam utilizar o Google Colab e o Apache Spark para processamento e análise de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente de big data usando o Google Colab e o Spark.
• Processar e analisar grandes conjuntos de dados de forma eficiente com o Apache Spark.
• Visualizar big data em um ambiente colaborativo.
• Integrar o Apache Spark a ferramentas baseadas em nuvem.

Esta formação oferece uma introdução prática à construção de fluxos de trabalho escalonáveis de processamento de dados e aprendizado de máquina utilizando PySpark. Os participantes aprenderão como o Apache Spark opera dentro dos modernos ecossistemas de Big Data e como processar grandes conjuntos de dados de maneira eficiente, aplicando os princípios da computação distribuída.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é voltado para engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes volumes de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Processar rapidamente e analisar grandes conjuntos de dados.
• Compreender as diferenças entre o Apache Spark e o Hadoop MapReduce, e saber quando usar cada um.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

A curva de aprendizado do Apache Spark começa lenta, exigindo muito esforço para obter os primeiros resultados. Este curso tem como objetivo superar essa fase inicial difícil. Após concluir este curso, os participantes compreenderão o básico do Apache Spark, saberão diferenciar claramente RDD de DataFrame, aprenderão as APIs em Python e Scala, entenderão executores e tarefas, etc. Além disso, seguindo as melhores práticas, este curso dá ênfase à implantação em nuvem, Databricks e AWS. Os alunos também compreenderão as diferenças entre AWS EMR e AWS Glue, um dos serviços Spark mais recentes da AWS.

PÚBLICO-ALVO:

Engenheiro de Dados, DevOps, Cientista de Dados

Neste treinamento presencial e guiado por instrutor em Brasil, os participantes aprenderão a utilizar Python e Spark em conjunto para analisar grandes volumes de dados, enquanto realizam exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Apprender como usar o Spark com o Python para analisar Big Data.
• Trabalhar em exercícios que simulam casos reais.
• Utilizar diversas ferramentas e técnicas para análise de big data por meio do PySpark.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a desenvolvedores que desejam utilizar e integrar Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para começar a processar big data com Spark, Hadoop e Python.
• Compreender as funcionalidades, componentes principais e arquitetura do Spark e do Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema do Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação por filtragem colaborativa semelhantes aos da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalonar algoritmos de aprendizado de máquina.

A Stratio é uma plataforma centrada em dados que integra big data, inteligência artificial (IA) e governança em uma única solução. Seus módulos Rocket e Intelligence permitem exploração rápida de dados, transformação e análises avançadas em ambientes corporativos.

Esta formação presencial (online ou ao vivo) é direcionada a profissionais de dados de nível intermediário que desejam usar os módulos Rocket e Intelligence da Stratio de forma eficaz com PySpark, com foco em estruturas de repetição, funções definidas pelo usuário (UDFs) e lógica de dados avançada.

Ao final desta formação, os participantes serão capazes de:

• Navegar e trabalhar na plataforma Stratio utilizando os módulos Rocket e Intelligence.
• Aplicar o PySpark no contexto de ingestão, transformação e análise de dados.
• Usar laços de repetição e lógica condicional para controlar fluxos de trabalho e tarefas de engenharia de recursos (feature engineering).
• Criar e gerenciar funções definidas pelo usuário (UDFs) para operações reutilizáveis em PySpark.

Formato do Curso

• Palestra interativa e discussão.
• Diversos exercícios e práticas.
• Implementação prática em ambiente de laboratório ao vivo (live-lab).

Opções de Personalização do Curso

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para organizarmos os detalhes.