Programa do Curso
Introdução
Compreensão Big Data
Visão geral do Spark
Descrição geral de Python
Descrição geral de PySpark
- Distribuir dados usando a estrutura de conjuntos de dados distribuídos resilientes
- Distribuir a computação usando os operadores da API do Spark
Configuração de Python com o Spark
Configurando PySpark
Usando Amazon Web Services (AWS) Instâncias EC2 para Spark
Configurando Databricks
Configurando o cluster AWS EMR
Aprendendo os conceitos básicos de Python Programming
- Começando com Python
- Usando o Jupyter Notebook
- Usando variáveis e tipos de dados simples
- Trabalhando com listas
- Usando instruções if
- Usar entradas de utilizador
- Trabalhando com loops while
- Implementação de funções
- Trabalhar com classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os conceitos básicos do Spark DataFrame
- Começando a usar o Spark DataFrames
- Implementação de operações básicas com o Spark
- Usando operações Groupby e Aggregate
- Trabalhando com carimbos de data/hora e datas
Trabalhando em um exercício de projeto Spark DataFrame
Entendendo Machine Learning com MLlib
Trabalhando com MLlib, Spark e Python para Machine Learning
Entendendo as regressões
- Aprendendo a teoria da regressão linear
- Implementando um código de avaliação de regressão
- Trabalhando em um exemplo de exercício de regressão linear
- Aprendendo a teoria da regressão logística
- Implementando um código de regressão logística
- Trabalhando em um exemplo de exercício de regressão logística
Entendendo Random Forests e árvores de decisão
- Aprendendo a teoria dos métodos de árvore
- Implementando árvores de decisão e códigos Random Forest
- Trabalhar numa amostra de um exercício de classificação Random Forest
Trabalhando com agrupamento K-means
- Entendendo a teoria de agrupamento K-means
- Implementando um código de agrupamento K-means
- Trabalhar num exemplo de exercício de clustering
Trabalhando com sistemas de recomendação
Implementando o processamento de linguagem natural
- Entendendo Natural Language Processing (NLP)
- Visão geral das ferramentas de PNL
- Trabalhar num exemplo de exercício de PNL
Transmissão em fluxo contínuo com o Spark em Python
- Visão geral do streaming com o Spark
- Exemplo de exercício Spark Streaming
Observações finais
Requisitos
- Competências gerais de programação
Público
- Programadores
- Profissionais de TI
- Cientistas de dados
Declaração de Clientes (6)
Gostei do fato de ser prático. Adorei aplicar o conhecimento teórico com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
O curso abordou uma série de tópicos muito complexos e interrelacionados, e Pablo possui um conhecimento profundo de cada um deles. Às vezes, nuances se perdiam na comunicação e/ou devido a pressões de tempo, o que possivelmente fez com que as expectativas não fossem totalmente atendidas. Além disso, houve alguns problemas de configuração do UHG/Azure Databricks, mas Pablo e UHG resolveram esses problemas rapidamente assim que se tornaram evidentes - isso para mim demonstrou um alto nível de entendimento e profissionalismo entre UHG e Pablo,
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Atenção individual.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Treinamento Prático..
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
As aulas foram ministradas em um notebook Jupyter. Os tópicos foram estruturados com uma sequência lógica e naturalmente ajudaram a desenvolver a sessão das partes mais fáceis às mais complexas. Como já sou um usuário avançado de Python, com experiência em Aprendizado de Máquina, achei o curso mais fácil de seguir do que possivelmente alguns dos meus colegas que fizeram o treinamento. Aprecio que alguns dos conceitos mais elementares tenham sido omitidos e que ele tenha se concentrado nos assuntos mais substanciais.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
tarefas práticas
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida