Cursos de SMACK Stack for Data Science
SMACK é uma coleção de software de plataforma de dados, nomeadamente Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, e Apache Kafka. Usando a faixa SMACK, os usuários podem criar e escalar plataformas de processamento de dados.
Este treinamento guiado por instrutores, ao vivo (online ou on-site) é dirigido a cientistas de dados que desejam usar a faixa SMACK para construir plataformas de processamento de dados para soluções de big data.
No final do curso, os participantes poderão:
- Implementar uma arquitetura de tubos de dados para o processamento de grandes dados.
- Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
- Análise de dados com o Spark e Scala.
- Gerenciar dados não estruturados com o Apache Cassandra.
O formato do curso
- Interação e discussão interativa.
- Muitos exercícios e práticas.
- Implementação de mão em um ambiente de laboratório ao vivo.
Opções de Customização
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.
Programa do Curso
Introdução
Visão geral do SMACK Stack
- O que é o Apache Spark? Características do Apache Spark
- O que é o Apache Mesos? Recursos do Apache Mesos
- O que é o Apache Akka? Funcionalidades do Apache Akka
- O que é o Apache Cassandra? Recursos do Apache Cassandra
- O que é o Apache Kafka? Funcionalidades do Apache Kafka
Scala Língua
- Scala sintaxe e estrutura
- Scala fluxo de controlo
Preparando o ambiente de desenvolvimento
- Instalar e configurar a pilha SMACK
- Instalando e configurando Docker
Apache Akka
- Utilização de actores
Apache Cassandra
- Criar uma base de dados para operações de leitura
- Trabalhar com cópias de segurança e recuperação
Conectores
- Criando um fluxo
- Construindo uma aplicação Akka
- Armazenando dados com Cassandra
- Revisando conectores
Apache Kafka
- Trabalhar com clusters
- Criação, publicação e consumo de mensagens
Apache Mesos
- Atribuição de recursos
- Executar clusters
- Trabalhar com o Apache Aurora e Docker
- Executar serviços e trabalhos
- Implantar o Spark, o Cassandra e o Kafka no Mesos
Apache Spark
- Gerir fluxos de dados
- Trabalhar com RDDs e quadros de dados
- Efetuar análises de dados
Resolução de problemas
- Tratamento de falhas de serviços e erros
Resumo e conclusão
Requisitos
- Compreensão dos sistemas de tratamento de dados
Público
- Cientistas de dados
Open Training Courses require 5+ participants.
Cursos de SMACK Stack for Data Science - Booking
Cursos de SMACK Stack for Data Science - Enquiry
SMACK Stack for Data Science - Solicitação de Consultoria
Solicitação de Consultoria
Declaração de Clientes (1)
very interactive...
Richard Langford
Curso - SMACK Stack for Data Science
Próximas Formações Provisórias
Cursos Relacionados
Kaggle
14 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam aprender e construir suas carreiras em Data Science usando Kaggle.
Ao final deste treinamento, os participantes serão capazes de:
- Aprender sobre ciência de dados e aprendizado de máquina.
- Explorar a análise de dados.
- Aprender sobre Kaggle e como ele funciona.
Accelerating Python Pandas Workflows with Modin
14 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas e desenvolvedores de dados que desejam usar Modin para criar e implementar cálculos paralelos com Pandas para uma análise de dados mais rápida.
No final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente necessário para começar a desenvolver fluxos de trabalho Pandas em escala com Modin.
- Compreender os recursos, a arquitetura e as vantagens de Modin.
- Conhecer as diferenças entre Modin, Dask e Ray.
- Realizar operações Pandas mais rapidamente com Modin.
- Implementar toda a API Pandas e as funções.
GPU Data Science with NVIDIA RAPIDS
14 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam usar RAPIDS para construir pipelines de dados acelerados GPU, fluxos de trabalho e visualizações, aplicando algoritmos de aprendizado de máquina, como XGBoost, cuML, etc.
No final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para construir modelos de dados com a NVIDIA RAPIDS.
- Compreender os recursos, componentes e vantagens de RAPIDS.
- Aproveite GPU para acelerar os pipelines de dados e análises de ponta a ponta.
- Implementar a preparação de dados acelerada por GPU e ETL com cuDF e Apache Arrow.
- Aprenda a executar tarefas de aprendizado de máquina com os algoritmos XGBoost e cuML.
- Crie visualizações de dados e execute análises de gráficos com cuXfilter e cuGraph.
Anaconda Ecosystem for Data Scientists
14 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados que desejam usar o ecossistema Anaconda para capturar, gerenciar e implantar pacotes e fluxos de trabalho de análise de dados em uma única plataforma.
No final deste treinamento, os participantes serão capazes de:
- Instalar e configurar componentes e bibliotecas Anaconda.
- Compreender os principais conceitos, recursos e benefícios do Anaconda.
- Gerenciar pacotes, ambientes e canais usando o Anaconda Navigator.
- Usar pacotes Conda, R e Python para ciência de dados e aprendizado de máquina.
- Conhecer alguns casos de uso práticos e técnicas para gerenciar vários ambientes de dados.
Python e Spark para Big Data (PySpark)
21 horasNeste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.
Ao final deste treinamento, os participantes serão capazes de:
- Aprenda a usar o Spark com Python para analisar Big Data.
- Trabalhe em exercícios que imitam casos do mundo real.
- Use diferentes ferramentas e técnicas para análise de big data usando PySpark.
Introduction to Graph Computing
28 horasNeste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas caraterísticas e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começamos com uma visão geral e nos concentramos em ferramentas específicas à medida que avançamos em uma série de estudos de caso, exercícios práticos e implantações ao vivo.
No final deste treinamento, os participantes serão capazes de:
- Entender como os dados do gráfico são persistidos e percorridos.
- Selecionar a melhor estrutura para uma determinada tarefa (de bancos de dados de gráficos a estruturas de processamento em lote).
- Implementar Hadoop, Spark, GraphX e Pregel para realizar a computação de gráficos em muitas máquinas em paralelo.
- Ver problemas reais de grandes volumes de dados em termos de grafos, processos e travessias.
Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
21 horasEste curso destina-se a programadores e cientistas de dados que pretendam compreender e implementar a IA nas suas aplicações. É dada especial atenção à análise de dados, à IA distribuída e ao processamento de linguagem natural.
Apache Spark MLlib
35 horasO MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior.
Divide-se em dois pacotes:
O spark.mllib contém a API original construída sobre os RDDs.
O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.
Público
Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark
Introduction to Data Science and AI using Python
35 horasEste é um introdutório de 5 dias para Data Science e AI.
O curso é ministrado com exemplos e exercícios usando Python
Apache Airflow for Data Science: Automating Machine Learning Pipelines
21 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a participantes de nível intermediário que desejam automatizar e gerenciar fluxos de trabalho de aprendizado de máquina, incluindo treinamento de modelo, validação e implantação usando Apache Airflow.
No final deste treinamento, os participantes serão capazes de:
- Configurar Apache Airflow para orquestração de fluxo de trabalho de aprendizado de máquina.
- Automatizar tarefas de pré-processamento de dados, treinamento de modelos e validação.
- Integrar o Airflow com estruturas e ferramentas de aprendizado de máquina.
- Implantar modelos de aprendizado de máquina usando pipelines automatizados.
- Monitorar e otimizar fluxos de trabalho de aprendizado de máquina na produção.
AWS Cloud9 for Data Science
28 horasEsse treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas e analistas de dados de nível intermediário que desejam usar o AWS Cloud9 para fluxos de trabalho de ciência de dados simplificados.
No final deste treinamento, os participantes serão capazes de:
- Configurar um ambiente de ciência de dados no AWS Cloud9.
- Realizar análise de dados usando Python, R e Jupyter Notebook no Cloud9.
- Integre o AWS Cloud9 aos serviços de dados da AWS, como S3, RDS e Redshift.
- Utilizar o AWS Cloud9 para desenvolvimento e implantação de modelos de aprendizado de máquina.
- Otimizar fluxos de trabalho baseados em nuvem para análise e processamento de dados.
Big Data Business Intelligence for Telecom and Communication Service Providers
35 horasVisão geral
Communications provedores de serviços (CSP) estão enfrentando pressão para reduzir custos e maximizar o rendimento médio por usuário (ARPU), ao mesmo tempo que garantem uma excelente experiência de cliente, mas os volumes de dados continuam a crescer. O tráfego global de dados móveis crescerá a uma taxa de crescimento anual combinada (CAGR) de 78 por cento até 2016, atingindo 10,8 exabytes por mês.
Enquanto isso, os CSPs estão gerando grandes volumes de dados, incluindo registros de detalhes de chamadas (CDR), dados de rede e dados de clientes. As empresas que aproveitam plenamente esses dados ganham um limiar competitivo. De acordo com uma pesquisa recente da Economist Intelligence Unit, as empresas que usam tomada de decisões orientadas a dados desfrutam de um aumento de 5-6% na produtividade. No entanto, 53% das empresas usam apenas metade dos seus dados valiosos, e um quarto dos entrevistados notou que enormes quantidades de dados úteis vão sem acesso. Os volumes de dados são tão altos que a análise manual é impossível, e a maioria dos sistemas de software hereditário não pode manter-se, resultando em dados valiosos sendo descartados ou ignorados.
Com Big Data & Analytics’ software de big data de alta velocidade, escalável, os CSPs podem minar todos os seus dados para melhor tomada de decisão em menos tempo. Diferentes Big Data produtos e técnicas fornecem uma plataforma de software end-to-end para a recolha, preparação, análise e apresentação de insights de grandes dados. As áreas de aplicação incluem monitoramento de desempenho da rede, detecção de fraude, detecção de clientes e análise de risco de crédito. Big Data & Produtos de análise escala para lidar com terabytes de dados, mas a implementação dessas ferramentas requer um novo tipo de sistema de banco de dados baseado em nuvem como Hadoop ou processador de computação paralelo de escala massiva ( KPU etc.)
Este curso trabalha em Big Data BI para Telco cobre todas as novas áreas emergentes em que os CSPs estão investindo para aumentar a produtividade e abrir novos fluxos de receita de negócios. O curso fornecerá uma visão completa de 360 graus de Big Data BI em Telco para que os decisores e gerentes possam ter uma visão geral muito ampla e abrangente das possibilidades de Big Data BI em Telco para produtividade e ganho de receita.
Objetivos do curso
O objetivo principal do curso é introduzir novas Big Data técnicas de inteligência de negócios em 4 setores de Telecom Business (Marketing/Vendas, Operação de Rede, Operação Financeira e Relação com o Cliente Management). Os alunos serão introduzidos a seguir:
- Introdução a Big Data-o que é 4Vs (volume, velocidade, variedade e veracidade) em Big Data- Geração, extração e gerenciamento da perspectiva da Telco
- Como Big Data o analista difere do analista de dados de herança
- In-house justificação de Big Data -Prospectiva Telco
- Introdução a Hadoop Ecosistema- familiaridade com todas as Hadoop ferramentas como Hive, Pig, SPARC –quando e como eles são usados para resolver Big Data problema
- Como Big Data é extraído para analisar para a ferramenta de análise-como Business Analysis’s podem reduzir seus pontos de dor de recolha e análise de dados através de uma abordagem integrada Hadoop dashboard
- Introdução básica da análise de Insight, análise de visualização e análise preditiva para Telco
- Analítica do cliente e Big Data-como Big Data analítica pode reduzir o cliente e a insatisfação do cliente em estudos de caso Telco
- Análise de falhas de rede e de falhas de serviço a partir de metadados de rede e IPDR
- Análise financeira-fraude, vazamento e estimativa do ROI a partir de dados de vendas e operações
- Problemas de aquisição do cliente-Marketing Objetivo, Segmentação do cliente e Cross-Sales a partir de dados de vendas
- Introdução e resumo de todos os Big Data produtos analíticos e onde eles se encaixam no espaço analítico da Telco
- Conclusão-como tomar uma abordagem passo a passo para introduzir Big Data Business Intelligence em sua organização
Auditoria Objetiva
- Operação de rede, gerentes financeiros, gerentes de CRM e gerentes de TI de alto nível no escritório do Telco CIO.
- Business Analisadores em Telco
- Diretores de escritório / analistas
- Gestores Operacionais
- Gerenciadores QA
Introduction to Google Colab for Data Science
14 horasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados de nível iniciante e profissionais de TI que desejam aprender o básico da ciência de dados usando Go ogle Colab.
No final deste treinamento, os participantes serão capazes de:
- Configurar e navegar no Google Colab.
- Escrever e executar código básico Python.
- Importar e manipular conjuntos de dados.
- Criar visualizações usando bibliotecas Python.
A Practical Introduction to Data Science
35 horasOs participantes que concluírem esta formação adquirirão um conhecimento prático e real da Data Science e das tecnologias, metodologias e ferramentas relacionadas.
Os participantes terão a oportunidade de pôr em prática estes conhecimentos através de exercícios práticos. A interação em grupo e o feedback do formador constituem uma componente importante da aula.
O curso começa com uma introdução aos conceitos elementares da Data Science, depois avança para as ferramentas e metodologias utilizadas na Data Science.
Público
- Programadores
- Analistas técnicos
- Consultores de TI
Formato do curso
- Parte palestra, parte discussão, exercícios e prática prática pesada
Nota
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.