Programa do Curso
Introdução
Compreendendo o Big Data
Visão geral do Spark
Visão geral do Python
Visão geral do PySpark
- Distribuição de dados usando o framework de Conjuntos Distribuídos Tolerantes a Falhas (RDD)
- Distribuição de computação usando Operadores da API do Spark
Configurando o Python com Spark
Configurando o PySpark
Usando Instâncias EC2 da Amazon Web Services (AWS) para Spark
Configurando o Databricks
Configurando o Cluster AWS EMR
Aprendendo os Fundamentos da Programação em Python
- Iniciando com Python
- Usando o Jupyter Notebook
- Usando variáveis e tipos de dados simples
- Trabalhando com listas
- Usando declarações if
- Usando entradas do usuário
- Trabalhando com laços while
- Implementando funções
- Trabalhando com classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os Fundamentos do Spark DataFrame
- Iniciando com Spark DataFrames
- Implementando operações básicas com Spark
- Usando operações Groupby e Aggregate
- Trabalhando com carimbos de data/hora e datas
Trabalhando em um exercício de projeto com Spark DataFrame
Compreendendo o Aprendizado de Máquina com MLlib
Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina
Compreendendo Regressões
- Aprendendo a Teoria da Regressão Linear
- Implementando código de avaliação de regressão
- Trabalhando em um exercício de exemplo de Regressão Linear
- Aprendendo a Teoria da Regressão Logística
- Implementando código de Regressão Logística
- Trabalhando em um exercício de exemplo de Regressão Logística
Compreendendo Random Forests e Árvore de Decisão
- Aprendendo a Teoria dos Métodos de Árvores
- Implementando códigos de Árvore de Decisão e Random Forest
- Trabalhando em um exercício de exemplo de Classificação com Random Forest
Trabalhando com K-means Clustering
- Compreendendo a Teoria de K-means Clustering
- Implementando código de K-means Clustering
- Trabalhando em um exercício de exemplo de Aglomerado (Clustering)
Trabalhando com Sistemas de Recomendação
Implementando Processamento de Linguagem Natural
- Compreendendo o Processamento de Linguagem Natural (NLP)
- Visão geral das Ferramentas de NLP
- Trabalhando em um exercício de exemplo de NLP
Streaming com Spark em Python
- Visão geral do Streaming com Spark
- Exercício de exemplo de Spark Streaming
Requisitos
- Habilidades gerais em programação
Público-alvo
- Desenvolvedores
- Profissionais de TI
- Cientistas de Dados
Testemunhos de Clientes (6)
Gostei do fato de ser prático. Adorei aplicar o conhecimento teórico com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
O curso abordou uma série de tópicos muito complexos e interrelacionados, e Pablo possui um conhecimento profundo de cada um deles. Às vezes, nuances se perdiam na comunicação e/ou devido a pressões de tempo, o que possivelmente fez com que as expectativas não fossem totalmente atendidas. Além disso, houve alguns problemas de configuração do UHG/Azure Databricks, mas Pablo e UHG resolveram esses problemas rapidamente assim que se tornaram evidentes - isso para mim demonstrou um alto nível de entendimento e profissionalismo entre UHG e Pablo,
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Atenção individual.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Treinamento Prático..
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
As aulas foram ministradas em um notebook Jupyter. Os tópicos foram estruturados com uma sequência lógica e naturalmente ajudaram a desenvolver a sessão das partes mais fáceis às mais complexas. Como já sou um usuário avançado de Python, com experiência em Aprendizado de Máquina, achei o curso mais fácil de seguir do que possivelmente alguns dos meus colegas que fizeram o treinamento. Aprecio que alguns dos conceitos mais elementares tenham sido omitidos e que ele tenha se concentrado nos assuntos mais substanciais.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
tarefas práticas
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
