Programa do Curso
Introdução
Compreensão Big Data
Visão geral do Spark
Descrição geral de Python
Descrição geral de PySpark
- Distribuir dados usando a estrutura de conjuntos de dados distribuídos resilientes
- Distribuir a computação usando os operadores da API do Spark
Configuração de Python com o Spark
Configurando PySpark
Usando Amazon Web Services (AWS) Instâncias EC2 para Spark
Configurando Databricks
Configurando o cluster AWS EMR
Aprendendo os conceitos básicos de Python Programming
- Começando com Python
- Usando o Jupyter Notebook
- Usando variáveis e tipos de dados simples
- Trabalhando com listas
- Usando instruções if
- Usar entradas de utilizador
- Trabalhando com loops while
- Implementação de funções
- Trabalhar com classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os conceitos básicos do Spark DataFrame
- Começando a usar o Spark DataFrames
- Implementação de operações básicas com o Spark
- Usando operações Groupby e Aggregate
- Trabalhando com carimbos de data/hora e datas
Trabalhando em um exercício de projeto Spark DataFrame
Entendendo Machine Learning com MLlib
Trabalhando com MLlib, Spark e Python para Machine Learning
Entendendo as regressões
- Aprendendo a teoria da regressão linear
- Implementando um código de avaliação de regressão
- Trabalhando em um exemplo de exercício de regressão linear
- Aprendendo a teoria da regressão logística
- Implementando um código de regressão logística
- Trabalhando em um exemplo de exercício de regressão logística
Entendendo Random Forests e árvores de decisão
- Aprendendo a teoria dos métodos de árvore
- Implementando árvores de decisão e códigos Random Forest
- Trabalhar numa amostra de um exercício de classificação Random Forest
Trabalhando com agrupamento K-means
- Entendendo a teoria de agrupamento K-means
- Implementando um código de agrupamento K-means
- Trabalhar num exemplo de exercício de clustering
Trabalhando com sistemas de recomendação
Implementando o processamento de linguagem natural
- Entendendo Natural Language Processing (NLP)
- Visão geral das ferramentas de PNL
- Trabalhar num exemplo de exercício de PNL
Transmissão em fluxo contínuo com o Spark em Python
- Visão geral do streaming com o Spark
- Exemplo de exercício Spark Streaming
Observações finais
Requisitos
- Competências gerais de programação
Público
- Programadores
- Profissionais de TI
- Cientistas de dados
Declaração de Clientes (6)
Gostei de ser prático. Adorei aplicar os conhecimentos teóricos com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
O curso abordava uma série de tópicos muito complexos e inter-relacionados, e o Pablo possui expertise detalhada em cada um deles. Às vezes, sutilezas eram perdidas na comunicação ou devido à pressão do tempo, e possivelmente as expectativas não foram totalmente atendidas por causa disso. Além disso, houve alguns problemas de configuração UHG/Azure Databricks, mas o Pablo/UHG resolveu esses rapidamente assim que se tornaram evidentes - para mim, isso demonstrou um alto nível de entendimento e profissionalismo entre o UHG e o Pablo.
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Atenção individual.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
Treinamento Prático...
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
As aulas foram ministradas em um notebook Jupyter. Os tópicos foram estruturados com uma sequência lógica e naturalmente ajudaram a desenvolver a sessão das partes mais fáceis para as mais complexas. Eu já sou um usuário avançado de Python com background em Machine Learning, então achei o curso mais fácil de seguir do que, possivelmente, alguns dos meus colegas que fizeram o treinamento. Aprecio que alguns dos conceitos mais elementares foram pulados e que ele se concentrou nos assuntos mais substanciais.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida
tarefas práticas
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida