Cursos de Apache Spark Fundamentals

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

No final desta formação, os participantes serão capazes de

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data usando PySpark.

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas características e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começaremos com uma visão geral e concentrar-nos-emos em ferramentas específicas à medida que avançamos numa série de estudos de casos, exercícios práticos e implementações em direto.

No final desta formação, os participantes serão capazes de

• Compreender como os dados de grafos são persistidos e percorridos.
• Selecionar o melhor framework para uma determinada tarefa (de bancos de dados de grafos a frameworks de processamento em lote.)
• Implementar Hadoop, Spark, GraphX e Pregel para realizar computação de grafos em muitas máquinas em paralelo.
• Ver problemas de big data do mundo real em termos de grafos, processos e travessias.

O MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior.

Divide-se em dois pacotes:

• O spark.mllib contém a API original construída sobre os RDDs.

• O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.

Público

Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark

Formato do curso

• Palestra e discussão interactivas.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Este é um curso de introdução ao Apache Spark, os participantes aprenderão como é que esse programa participa do ecossistema Big Data, e como utiliza-lo para analizar dados. O curso cobre Spark para analise de dados, internalidades do Spark, Spark APIs, Spark SQL, Spark Streaming, Machine Learning e graphX.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.

No final desta formação, os participantes serão capazes de

Utilize a Hortonworks para executar Hadoop de forma fiável em grande escala. Unifique os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark. Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark. Processe diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

O Magellan é um motor de execução distribuído de código aberto para análise geoespacial em big data. Implementado em cima de Apache Spark, ele estende o Spark SQL e fornece uma abstração relativa para a análise geoespacial.

Este treinamento ao vivo, liderado por instrutores, introduz os conceitos e abordagens para a implementação de análises geoespaciais e caminha os participantes através da criação de uma aplicação de análise preditiva usando Magellan no Spark.

No final do curso, os participantes poderão:

• Pergunte efetivamente, parse e junta conjuntos de dados geoespaciais em escala
• Implementação de dados geoespaciais em inteligência empresarial e aplicações de análise preditiva
• Use o contexto espacial para expandir as capacidades de dispositivos móveis, sensores, logs e portáteis

O formato do curso

• Interação e discussão interativa.
• Muitos exercícios e práticas.
• Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

O Spark SQL é o módulo do Apache Spark para trabalhar com dados estruturados e não estruturados. O Spark SQL fornece informações sobre a estrutura dos dados, bem como a computação que está sendo executada. Esta informação pode ser usada para realizar otimizações. Dois usos comuns para o Spark SQL são:
- para executar consultas SQL .
- para ler dados de uma instalação existente do Hive .

Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão a analisar vários tipos de conjuntos de dados usando o Spark SQL .

No final deste treinamento, os participantes serão capazes de:

• Instale e configure o Spark SQL .
• Realize a análise de dados usando o Spark SQL .
• Consultar conjuntos de dados em diferentes formatos.
• Visualize dados e resultados de consulta.

Formato do Curso

• Palestra interativa e discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de personalização de curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Neste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.

No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

A curva de aprendizado do Apache Spark está aumentando lentamente no início, e é preciso muito esforço para obter o primeiro retorno. Este curso tem como objetivo pular a primeira parte difícil. Depois de fazer este curso, os participantes entenderão o básico do Apache Spark , diferenciarão claramente o RDD do DataFrame, aprenderão as APIs Python e Scala , entenderão os executores e as tarefas, etc. implantação na nuvem, Databricks e AWS. Os alunos também entenderão as diferenças entre o AWS EMR e o AWS Glue, um dos últimos serviços Spark da AWS.

PÚBLICO:

Engenheiro de dados, DevOps , cientista de dados

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de software que desejam transmitir grandes dados com Spark Streaming e Scala.

No final desta formação, os participantes serão capazes de

• Criar aplicativos Spark com a linguagem de programação Scala.
• Use Spark Streaming para processar fluxos contínuos de dados.
• Processe fluxos de dados em tempo real com Spark Streaming.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a cientistas de dados que desejam usar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

No final desta formação, os participantes serão capazes de

• Implementar uma arquitetura de pipeline de dados para processar big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com o Apache Cassandra.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto)  destina-se a desenvolvedores que desejam realizar análise de big data usando Apache Spark em seus aplicativos .NET.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Spark.
• Entender como o .NET implementa as APIs do Spark para que elas possam ser acessadas a partir de um aplicativo .NET.
• Desenvolver aplicativos de processamento de dados usando C# ou F#, capazes de lidar com conjuntos de dados cujo tamanho é medido em terabytes e pedabytes.
• Desenvolver recursos de aprendizado de máquina para um aplicativo .NET usando recursos do Apache Spark.
• Realizar análises exploratórias usando SQL consultas em grandes conjuntos de dados.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a administradores de sistema que desejam aprender como configurar, implantar e gerenciar clusters Hadoop em sua organização.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Hadoop.
• Compreender os quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o HDFS (Hadoop Distributed File System) para dimensionar um cluster para centenas ou milhares de nós.  
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações do Spark no local.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.