Programa do Curso
Introdução
Entendendo Big Data
Visão geral do Spark
Visão geral do Python
Visão geral do PySpark
- Distribuindo dados usando a estrutura de conjuntos de dados distribuídos resilientes
- Distribuindo Computação Usando Operadores da API Spark
Configurando Python com Spark
Configurando o PySpark
Usando as instâncias do Amazon Web Services (AWS) EC2 para o Spark
Configurando bancos de dados
Configurando o cluster EMR da AWS
Aprendendo os Fundamentos da Programação Python
- Introdução ao Python
- Usando o Notebook Jupyter
- Usando Variáveis e Tipos de Dados Simples
- Trabalhando com Listas
- Usando se declarações
- Usando entradas do usuário
- Trabalhando com Loops While
- Funções de Implementação
- Trabalhando com Classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os Fundamentos do DataFrame Spark
- Introdução ao Spark DataFrames
- Implementando Operações Básicas com Spark
- Usando o Groupby e as Operações Agregadas
- Trabalhando com Timestamps e Datas
Trabalhando em um exercício do projeto Spark DataFrame
Entendendo o Aprendizado de Máquina com o MLlib
Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina
Entendendo as regressões
- Aprendendo a Teoria da Regressão Linear
- Implementando um Código de Avaliação de Regressão
- Trabalhando em um exercício de regressão linear de amostra
- Aprendendo a Teoria da Regressão Logística
- Implementando um Código de Regressão Logística
- Trabalhando em um exercício de regressão logística de amostra
Entendendo Florestas Aleatórias e Árvores de Decisão
- Teoria dos Métodos da Árvore de Aprendizagem
- Implementando Árvores de Decisão e Códigos de Floresta Aleatórios
- Trabalhando em um exercício de classificação aleatória da amostra
Trabalhando com o K-means Clustering
- Entendendo a Teoria do Cluster de K-means
- Implementando um código de cluster de K-means
- Trabalhando em um exercício de cluster de amostra
Trabalhando com sistemas de recomendação
Implementando o Processamento de Linguagem Natural
- Entendendo o Processamento de Linguagem Natural (PNL)
- Visão geral das ferramentas de PNL
- Trabalhando em um exercício de PNL de exemplo
Streaming com Spark em Python
- Visão geral de streaming com o Spark
- Exemplo de exercício de streaming de Spark
Comentários finais
Requisitos
- Habilidades Gerais de Programação
Público
- Programadores
- Profissionais de TI
- Cientistas de dados
Declaração de Clientes (6)
Gostei de ser prático. Adorei aplicar os conhecimentos teóricos com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
O curso abordava uma série de tópicos muito complexos e inter-relacionados, e o Pablo possui expertise detalhada em cada um deles. Às vezes, sutilezas eram perdidas na comunicação ou devido à pressão do tempo, e possivelmente as expectativas não foram totalmente atendidas por causa disso. Além disso, houve alguns problemas de configuração UHG/Azure Databricks, mas o Pablo/UHG resolveu esses rapidamente assim que se tornaram evidentes - para mim, isso demonstrou um alto nível de entendimento e profissionalismo entre o UHG e o Pablo.
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Atenção individual.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Treinamento Prático...
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
As aulas foram ministradas em um notebook Jupyter. Os tópicos foram estruturados com uma sequência lógica e naturalmente ajudaram a desenvolver a sessão das partes mais fáceis para as mais complexas. Eu já sou um usuário avançado de Python com background em Machine Learning, então achei o curso mais fácil de seguir do que, possivelmente, alguns dos meus colegas que fizeram o treinamento. Aprecio que alguns dos conceitos mais elementares foram pulados e que ele se concentrou nos assuntos mais substanciais.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
tarefas práticas
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida