Programa do Curso
Introdução
Scala Revisão da Programação em Profundidade
- Sintaxe e estrutura
- Controlo do fluxo e funções
Internos do Spark
- Conjuntos de dados distribuídos resilientes (RDD)
- Script Spark para criar gráficos no cluster
Visão geral de Spark Streaming
- Arquitetura do fluxo contínuo
- Intervalos no streaming
- Tolerância a falhas
Preparando o ambiente de desenvolvimento
- Instalando e configurando o Apache Spark
- Instalando e configurando o Scala IDE
- Instalando e configurando o JDK
Spark Streaming De principiante a avançado
- Trabalhar com RDD's de chave/valor
- Filtragem de RDD's
- Melhorando scripts Spark com expressões regulares
- Partilhar dados num cluster
- Trabalhar com conjuntos de dados de rede
- Implementação de algoritmos BFS
- Criando scripts de driver Spark
- Acompanhamento em tempo real com scripts
- Escrever aplicações contínuas
- Regressão linear em fluxo contínuo
- Utilização da biblioteca Spark Machine Learning
Spark e Clusters
- Agrupamento de dependências e scripts Spark usando a ferramenta SBT
- Usando EMR para ilustrar clusters
- Otimização através do particionamento de RDD's
- Usando logs do Spark
Integração em Spark Streaming
- Integrar o Apache Kafka e trabalhar com tópicos do Kafka
- Integrando o Apache Fume e trabalhando com configurações Flume baseadas em pull/push
- Escrevendo uma classe recetora personalizada
- Integrando Cassandra e expondo dados como serviços em tempo real
Em produção
- Empacotar uma aplicação e executá-la com o Spark-Submit
- Solução de problemas, ajuste e depuração de jobs e clusters do Spark
Resumo e conclusão
Requisitos
- Programming e experiência de programação
Público
- Engenheiros de software
Declaração de Clientes (4)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Curso - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Curso - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.