Curso de Administração do Apache Spark

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a cientistas de dados e engenheiros de nível intermediário que desejam utilizar o Google Colab e o Apache Spark para processamento e análise de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente de big data usando o Google Colab e o Spark.
• Processar e analisar grandes conjuntos de dados de forma eficiente com o Apache Spark.
• Visualizar big data em um ambiente colaborativo.
• Integrar o Apache Spark a ferramentas baseadas em nuvem.

Esta formação presencial (online ou no local) destina-se a engenheiros de dados, analistas de dados e profissionais que desejam utilizar o Databricks e o PySpark para criar pipelines de dados escaláveis e migrar fluxos de trabalho SQL existentes.

Esta formação oferece uma introdução prática à construção de fluxos de trabalho escalonáveis de processamento de dados e aprendizado de máquina utilizando PySpark. Os participantes aprenderão como o Apache Spark opera dentro dos modernos ecossistemas de Big Data e como processar grandes conjuntos de dados de maneira eficiente, aplicando os princípios da computação distribuída.

Este curso prático de três dias tem como foco a construção e a otimização de workloads eficientes de processamento de dados utilizando PySpark, Pandas e Polars em ambientes baseados em Kubernetes.

Os participantes desenvolverão uma compreensão prática de como os aplicativos Spark são executados no Kubernetes e como as decisões de configuração no nível da aplicação influenciam o desempenho, a escalabilidade, o consumo de recursos e os custos. O curso cobre áreas-chave de otimização, incluindo dimensionamento de executores, alocação de memória, alocação dinâmica, estratégias de particionamento, comportamento de shuffle, problemas de arquivos pequenos e processamento eficiente de Parquet.

O curso também aborda desafios comuns ao trabalhar com Pandas, incluindo limitações de memória e falhas por esgotamento de memória, e introduz o Polars como uma alternativa de alto desempenho para workloads selecionados de processamento de dados. Por meio de exercícios práticos, os participantes diagnosticarão problemas de desempenho e memória, compararão diferentes estratégias de configuração e aplicarão técnicas de otimização a cenários realistas de ETL e aprendizado de máquina.

A ênfase ao longo do curso é na tomada de decisões prática: compreender como identificar gargalos, selecionar a ferramenta adequada, configurar o Spark de forma eficiente e equilibrar o desempenho com o consumo de recursos de infraestrutura e os custos.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é voltado para engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes volumes de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Processar rapidamente e analisar grandes conjuntos de dados.
• Compreender as diferenças entre o Apache Spark e o Hadoop MapReduce, e saber quando usar cada um.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

Esta formação prática em Brasil desmistifica o Apache Spark, cobrindo RDDs, DataFrames e APIs em Python/Scala. Os participantes dominarão o deploy na nuvem com Databricks, AWS EMR e Glue, adquirindo habilidades práticas para tarefas reais de engenharia de dados e DevOps de forma eficaz.

Em treinamento ao vivo conduzido por um instrutor em Brasil, os participantes aprenderão a utilizar Python e Spark juntos para analisar big data, por meio de exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Aprender a usar o Spark com Python para analisar Big Data.
• Realizar exercícios que simulam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data usando PySpark.

Este treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a desenvolvedores que desejam utilizar e integrar Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para começar a processar big data com Spark, Hadoop e Python.
• Compreender as funcionalidades, componentes principais e arquitetura do Spark e do Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema do Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação por filtragem colaborativa semelhantes aos da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalonar algoritmos de aprendizado de máquina.

Esta formação ao vivo, conduzida por instrutor, em Brasil aborda a plataforma Stratio, com foco nos módulos Rocket e Intelligence utilizando PySpark. Os participantes dominarão a ingestão, transformação e análises avançadas de dados, adquirindo habilidades práticas em laços, UDFs e fluxos de trabalho de dados empresariais.