Programa do Curso

Introdução

Compreensão Big Data

Visão geral do Spark

Descrição geral de Python

Descrição geral de PySpark

  • Distribuir dados usando a estrutura de conjuntos de dados distribuídos resilientes
  • Distribuir a computação usando os operadores da API do Spark

Configuração de Python com o Spark

Configurando PySpark

Usando Amazon Web Services (AWS) Instâncias EC2 para Spark

Configurando Databricks

Configurando o cluster AWS EMR

Aprendendo os conceitos básicos de Python Programming

  • Começando com Python
  • Usando o Jupyter Notebook
  • Usando variáveis e tipos de dados simples
  • Trabalhando com listas
  • Usando instruções if
  • Usar entradas de utilizador
  • Trabalhando com loops while
  • Implementação de funções
  • Trabalhar com classes
  • Trabalhando com arquivos e exceções
  • Trabalhando com projetos, dados e APIs

Aprendendo os conceitos básicos do Spark DataFrame

  • Começando a usar o Spark DataFrames
  • Implementação de operações básicas com o Spark
  • Usando operações Groupby e Aggregate
  • Trabalhando com carimbos de data/hora e datas

Trabalhando em um exercício de projeto Spark DataFrame

Entendendo Machine Learning com MLlib

Trabalhando com MLlib, Spark e Python para Machine Learning

Entendendo as regressões

  • Aprendendo a teoria da regressão linear
  • Implementando um código de avaliação de regressão
  • Trabalhando em um exemplo de exercício de regressão linear
  • Aprendendo a teoria da regressão logística
  • Implementando um código de regressão logística
  • Trabalhando em um exemplo de exercício de regressão logística

Entendendo Random Forests e árvores de decisão

  • Aprendendo a teoria dos métodos de árvore
  • Implementando árvores de decisão e códigos Random Forest
  • Trabalhar numa amostra de um exercício de classificação Random Forest

Trabalhando com agrupamento K-means

  • Entendendo a teoria de agrupamento K-means
  • Implementando um código de agrupamento K-means
  • Trabalhar num exemplo de exercício de clustering

Trabalhando com sistemas de recomendação

Implementando o processamento de linguagem natural

  • Entendendo Natural Language Processing (NLP)
  • Visão geral das ferramentas de PNL
  • Trabalhar num exemplo de exercício de PNL

Transmissão em fluxo contínuo com o Spark em Python

  • Visão geral do streaming com o Spark
  • Exemplo de exercício Spark Streaming

Observações finais

Requisitos

  • Competências gerais de programação

Público

  • Programadores
  • Profissionais de TI
  • Cientistas de dados
 21 Horas

Número de participantes


Preço por Participante

Declaração de Clientes (6)

Próximas Formações Provisórias

Categorias Relacionadas