Programa do Curso
Introdução
- Visão geral das características e da arquitetura do Spark e do Hadoop
- Compreender os grandes dados
- Python Noções básicas de programação
Começar a trabalhar
- Configurar o Python, o Spark e o Hadoop
- Compreender as estruturas de dados em Python
- Compreender a API do PySpark
- Compreender o HDFS e o MapReduce
Integração do Spark e do Hadoop com Python
- Implementação do Spark RDD em Python
- Processamento de dados usando MapReduce
- Criação de conjuntos de dados distribuídos no HDFS
Machine Learning com Spark MLlib
Processamento de grandes volumes de dados com Spark Streaming
Trabalhar com sistemas de recomendação
Trabalhar com Kafka, Sqoop, Kafka e Flume
Apache Mahout com Spark e Hadoop
Resolução de problemas
Resumo e próximas etapas
Requisitos
- Experiência com Spark e Hadoop
- Python experiência em programação
Público
- Cientistas de dados
- Desenvolvedores
Declaração de Clientes (3)
The fact that we were able to take with us most of the information/course/presentation/exercises done, so that we can look over them and perhaps redo what we didint understand first time or improve what we already did.
Raul Mihail Rat - Accenture Industrial SS
Curso - Python, Spark, and Hadoop for Big Data
I liked that it managed to lay the foundations of the topic and go to some quite advanced exercises. Also provided easy ways to write/test the code.
Ionut Goga - Accenture Industrial SS
Curso - Python, Spark, and Hadoop for Big Data
The live examples