Programa do Curso
Introdução
Entendendo Big Data
Visão geral do Spark
Visão geral do Python
Visão geral do PySpark
- Distribuindo dados usando a estrutura de conjuntos de dados distribuídos resilientes
- Distribuindo Computação Usando Operadores da API Spark
Configurando Python com Spark
Configurando o PySpark
Usando as instâncias do Amazon Web Services (AWS) EC2 para o Spark
Configurando bancos de dados
Configurando o cluster EMR da AWS
Aprendendo os Fundamentos da Programação Python
- Introdução ao Python
- Usando o Notebook Jupyter
- Usando Variáveis e Tipos de Dados Simples
- Trabalhando com Listas
- Usando se declarações
- Usando entradas do usuário
- Trabalhando com Loops While
- Funções de Implementação
- Trabalhando com Classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os Fundamentos do DataFrame Spark
- Introdução ao Spark DataFrames
- Implementando Operações Básicas com Spark
- Usando o Groupby e as Operações Agregadas
- Trabalhando com Timestamps e Datas
Trabalhando em um exercício do projeto Spark DataFrame
Entendendo o Aprendizado de Máquina com o MLlib
Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina
Entendendo as regressões
- Aprendendo a Teoria da Regressão Linear
- Implementando um Código de Avaliação de Regressão
- Trabalhando em um exercício de regressão linear de amostra
- Aprendendo a Teoria da Regressão Logística
- Implementando um Código de Regressão Logística
- Trabalhando em um exercício de regressão logística de amostra
Entendendo Florestas Aleatórias e Árvores de Decisão
- Teoria dos Métodos da Árvore de Aprendizagem
- Implementando Árvores de Decisão e Códigos de Floresta Aleatórios
- Trabalhando em um exercício de classificação aleatória da amostra
Trabalhando com o K-means Clustering
- Entendendo a Teoria do Cluster de K-means
- Implementando um código de cluster de K-means
- Trabalhando em um exercício de cluster de amostra
Trabalhando com sistemas de recomendação
Implementando o Processamento de Linguagem Natural
- Entendendo o Processamento de Linguagem Natural (PNL)
- Visão geral das ferramentas de PNL
- Trabalhando em um exercício de PNL de exemplo
Streaming com Spark em Python
- Visão geral de streaming com o Spark
- Exemplo de exercício de streaming de Spark
Comentários finais
Requisitos
- Habilidades Gerais de Programação
Público
- Programadores
- Profissionais de TI
- Cientistas de dados
Declaração de Clientes (6)
Gostei de ser prático. Adorei aplicar os conhecimentos teóricos com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Atenção individual.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Treinamento Prático...
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
As aulas foram ministradas em um notebook Jupyter. Os tópicos foram estruturados com uma sequência lógica e naturalmente ajudaram a desenvolver a sessão das partes mais fáceis para as mais complexas. Eu já sou um usuário avançado de Python com background em Machine Learning, então achei o curso mais fácil de seguir do que, possivelmente, alguns dos meus colegas que fizeram o treinamento. Aprecio que alguns dos conceitos mais elementares foram pulados e que ele se concentrou nos assuntos mais substanciais.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
tarefas práticas
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida