Cursos de Big Data em Brasil

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a profissionais de dados de nível avançado que desejam otimizar os fluxos de trabalho de processamento de dados, garantir a integridade dos dados e implementar soluções robustas de data lakehouse que podem lidar com as complexidades dos aplicativos modernos de big data.No final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão profunda da arquitetura do Iceberg, incluindo gerenciamento de metadados e layout de arquivos.
• Configurar o Iceberg para obter o melhor desempenho em vários ambientes e integrá-lo a vários mecanismos de processamento de dados.
• Gerir tabelas Iceberg de grande escala, efetuar alterações complexas ao esquema e lidar com a evolução das partições.
• Dominar técnicas para otimizar o desempenho das consultas e a eficiência da pesquisa de dados em grandes conjuntos de dados.
• Implementar mecanismos para assegurar a consistência dos dados, gerir garantias transaccionais e lidar com falhas em ambientes distribuídos.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a profissionais de dados de nível iniciante que desejam adquirir o conhecimento e as habilidades necessárias para utilizar efetivamente o Apache Iceberg para gerenciar conjuntos de dados em grande escala, garantindo a integridade dos dados e otimizando os fluxos de trabalho de processamento de dados.No final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão completa da arquitetura, dos recursos e dos benefícios do Apache Iceberg.
• Aprender sobre formatos de tabela, particionamento, evolução do esquema e recursos de viagem no tempo.
• Instalar e configurar o Apache Iceberg em diferentes ambientes.
• Criar, gerenciar e manipular tabelas do Iceberg.
• Compreender o processo de migração de dados de outros formatos de tabela para o Iceberg.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a profissionais de TI de nível intermediário que desejam aprimorar suas habilidades em arquitetura de dados, governança, computação em nuvem e tecnologias de big data para gerenciar e analisar com eficácia grandes conjuntos de dados para migração de dados em suas organizações.No final deste treinamento, os participantes serão capazes de:

• Compreender os conceitos fundamentais e os componentes de várias arquiteturas de dados.
• Obter uma compreensão abrangente dos princípios de governança de dados e sua importância em ambientes regulatórios.
• Implementar e gerenciar estruturas de governança de dados, como Dama e Togaf.
• Aproveitar as plataformas de nuvem para armazenamento, processamento e gerenciamento eficientes de dados.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de dados de nível intermediário que desejam aprender como usar o Azure Data Lake Storage Gen2 para soluções eficazes de análise de dados.No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura e os principais recursos do Azure Data Lake Storage Gen2.
• Otimizar o armazenamento e o acesso aos dados para custo e desempenho.
• Integrar o Azure Data Lake Storage Gen2 com outros serviços Azure para análise e processamento de dados.
• Desenvolver soluções utilizando a API do Azure Data Lake Storage Gen2.
• Solucionar problemas comuns e otimizar estratégias de armazenamento.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a profissionais de TI de nível intermediário que desejam ter uma compreensão abrangente do IBM DataStage, tanto do ponto de vista administrativo quanto do desenvolvimento, permitindo que eles gerenciem e utilizem essa ferramenta efetivamente em seus respectivos locais de trabalho.No final deste treinamento, os participantes serão capazes de:

• Compreender os principais conceitos do DataStage.
• Aprender a instalar, configurar e gerenciar efetivamente os ambientes DataStage.
• Conectar-se a várias fontes de dados e extrair dados eficientemente de bancos de dados, arquivos simples e fontes externas.
• Implementar técnicas eficazes de carregamento de dados.

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.Ao final deste treinamento, os participantes serão capazes de:

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhe em exercícios que imitam casos do mundo real.
• Use diferentes ferramentas e técnicas para análise de big data usando PySpark.

Este curso aborda como usar a linguagem SQL Hive (AKA: Hive HQL, SQL no Hive , Hive QL) para pessoas que extraem dados do Hive

This instructor-led, live training in Brasil (online or onsite) is aimed at intermediate-level database administrators, developers, and analysts who wish to master advanced SQL functionalities for complex data operations and database management.By the end of this training, participants will be able to:

• Perform advanced querying techniques using unions, subqueries, and complex joins.
• Add, update, and delete data, tables, views, and indexes with precision.
• Ensure data integrity through transactions and manipulate database structures.
• Create and manage databases efficiently for robust data storage and retrieval.

A descoberta de conhecimentos em bases de dados (KDD) é o processo de descoberta de conhecimentos úteis de uma coleção de dados. Aplicações de vida real para esta técnica de mineração de dados incluem marketing, detecção de fraude, telecomunicações e fabricação. Neste curso guiado por instrutores, apresentamos os processos envolvidos no KDD e realizamos uma série de exercícios para praticar a implementação desses processos. Auditoria

• Analistas de dados ou qualquer pessoa interessada em aprender como interpretar dados para resolver problemas

O formato do curso

• Após uma discussão teórica do KDD, o instrutor apresentará casos de vida real que exigem a aplicação do KDD para resolver um problema. Os participantes prepararão, selecionarão e limparão conjuntos de dados de amostra e usarão seus conhecimentos prévios sobre os dados para propor soluções com base nos resultados das suas observações.

Apache Kylin é um motor de análise extremamente distribuído para dados grandes. Neste treinamento ao vivo liderado por instrutores, os participantes aprenderão como usar Apache Kylin para configurar um armazém de dados em tempo real. No final do curso, os participantes poderão:

• Consumo de dados de streaming em tempo real usando Kylin
• Utilize Apache Kylin's poderosas características,enriquecido SQL interface, cobertura de spark e latência de consulta subsequente

Notícia

• Usamos a versão mais recente de Kylin (segundo esta escrita, Apache Kylin v2.0)

Auditoria

• Engenheiros de Big Data
• Big Data Os analistas

Formato do curso

• Parte de palestras, parte de discussão, exercícios e prática pesada

Dremio é uma plataforma de dados de código aberto "self-service" que acelera a consulta de diferentes tipos de fontes de dados. Dremio integra com bases de dados relativas, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, e outras fontes de dados. Ele suporta SQL e fornece um UI web para consultas de construção. Neste treinamento guiado por instrutores, os participantes aprenderão como instalar, configurar e usar Dremio como uma camada unificadora para as ferramentas de análise de dados e os repositórios de dados subjacentes. No final do curso, os participantes poderão:

• Instalar e configurar Dremio
• Executar consultas contra várias fontes de dados, independentemente da localização, tamanho ou estrutura
• Integra Dremio com BI e fontes de dados como Tableau e Elasticsearch

Auditoria

• Cientistas de Dados
• Business Os analistas
• Engenheiros de dados

Formato do curso

• Parte de palestras, parte de discussão, exercícios e prática pesada

Notas

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

Apache Arrow é uma estrutura de processamento de dados em memória de código aberto. É frequentemente usado em conjunto com outras ferramentas de ciência de dados para acessar diferentes armazenamentos de dados para análise. Ele se integra bem a outras tecnologias, como bancos de dados GPU , bibliotecas e ferramentas de aprendizado de máquina, mecanismos de execução e estruturas de visualização de dados. Neste treinamento ao vivo, ministrado por instrutor, os participantes aprenderão como integrar o Apache Arrow com várias estruturas de Data Science para acessar dados de fontes de dados diferentes. Ao final deste treinamento, os participantes serão capazes de:

• Instale e configure o Apache Arrow em um ambiente em cluster distribuído
• Use o Apache Arrow para acessar dados de fontes de dados diferentes
• Use o Apache Arrow para ignorar a necessidade de construir e manter pipelines ETL complexos
• Analise dados em diferentes fontes de dados sem precisar consolidá-los em um repositório centralizado

Público

• Cientistas de dados
• Engenheiros de dados

Formato do Curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Para atender a conformidade dos reguladores, os CSPs (provedores de serviços de Communication ) podem acessar o Big Data Analytics, que não apenas os ajuda a atender a conformidade, mas dentro do escopo do mesmo projeto podem aumentar a satisfação do cliente e reduzir a rotatividade. De facto, uma vez que a conformidade está relacionada com a Qualidade de serviço ligada a um contrato, qualquer iniciativa para cumprir a conformidade melhorará a “vantagem competitiva” dos CSPs. Portanto, é importante que os Reguladores possam aconselhar / orientar um conjunto de práticas analíticas de Big Data para os CSPs que serão de benefício mútuo entre os reguladores e os CSPs. O curso consiste em 8 módulos (4 no dia 1 e 4 no dia 2)

Os avanços nas tecnologias e a quantidade crescente de informações estão transformando a forma como os negócios são conduzidos em muitos setores, inclusive no governo. Goas taxas de geração de dados e arquivamento digital no governo estão aumentando devido ao rápido crescimento de dispositivos e aplicativos móveis, sensores e dispositivos inteligentes, soluções de computação em nuvem e portais voltados para os cidadãos. À medida que a informação digital se expande e se torna mais complexa, o gerenciamento, o processamento, o armazenamento, a segurança e a disposição da informação também se tornam mais complexos. Novas ferramentas de captura, pesquisa, descoberta e análise estão ajudando as organizações a obter insights a partir de seus dados não estruturados. O mercado governamental está num ponto de viragem, percebendo que a informação é um activo estratégico, e o governo precisa de proteger, alavancar e analisar tanto a informação estruturada como a não estruturada para melhor servir e cumprir os requisitos da missão. À medida que os líderes governamentais se esforçam para desenvolver organizações orientadas por dados para cumprirem com êxito a missão, estão a estabelecer as bases para correlacionar dependências entre eventos, pessoas, processos e informações.Soluções governamentais de alto valor serão criadas a partir de uma combinação das tecnologias mais disruptivas:

Dispositivos móveis e aplicativos Serviços em nuvem Tecnologias de negócios sociais e redes Big Data e análises

A IDC prevê que, até 2020, a indústria de TI atingirá 5 biliões de dólares, aproximadamente 1,7 biliões de dólares a mais do que hoje, e que 80% do crescimento da indústria será impulsionado por estas tecnologias da 3ª Plataforma. A longo prazo, estas tecnologias serão ferramentas essenciais para lidar com a complexidade do aumento da informação digital. Big Data é uma das soluções inteligentes da indústria e permite que o governo tome melhores decisões, agindo com base em padrões revelados pela análise de grandes volumes de dados – relacionados e não relacionados, estruturados e não estruturados.Mas realizar essas façanhas exige muito mais do que simplesmente acumular grandes quantidades de dados. “Entender esses volumes de Big Data requer ferramentas e tecnologias de ponta que possam analisar e extrair conhecimento útil de vastos e diversos fluxos de informações”, Tom Kalil e Fen Zhao, do Escritório de Política Científica e Tecnológica da Casa Branca, escreveu em um post no Blog OSTP.A Casa Branca deu um passo para ajudar as agências a encontrar essas tecnologias quando estabeleceu a Iniciativa Nacional Big Data de Pesquisa e Desenvolvimento em 2012. A iniciativa incluiu mais de US$ 200 milhões para aproveitar ao máximo a explosão de Big Data e as ferramentas necessárias para analise-o.Os desafios que Big Data coloca são quase tão assustadores quanto a sua promessa é encorajadora. Armazenar dados de forma eficiente é um desses desafios. Como sempre, os orçamentos são apertados, por isso as agências devem minimizar o preço por megabyte de armazenamento e manter os dados com fácil acesso para que os usuários possam obtê-los quando quiserem e como precisarem. Fazer backup de grandes quantidades de dados aumenta o desafio.Analisar os dados de forma eficaz é outro grande desafio. Muitas agências empregam ferramentas comerciais que lhes permitem examinar montanhas de dados, identificando tendências que podem ajudá-las a operar com mais eficiência. (Um estudo recente da MeriTalk descobriu que os executivos federais de TI acham que Big Data poderia ajudar as agências a economizar mais de US$ 500 bilhões e, ao mesmo tempo, cumprir os objetivos da missão.).Ferramentas desenvolvidas sob medida Big Data também permitem que as agências atendam à necessidade de analisar seus dados. Por exemplo, o Grupo de Análise de Dados Computacionais do Laboratório Nacional de Oak Ridge disponibilizou seu sistema de análise de dados Piranha para outras agências. O sistema ajudou pesquisadores médicos a encontrar um link que pode alertar os médicos sobre aneurismas da aorta antes que eles atacassem. Também é usado para tarefas mais mundanas, como examinar currículos para conectar candidatos a empregos com gerentes de contratação.

Esta sessão de treinamento em sala de aula explorará Big Data. Os delegados terão exemplos baseados em computador e exercícios de estudo de caso para realizar com ferramentas relevantes de big data

Dia 1 - fornece uma visão geral de alto nível das principais áreas de tópicos do Big Data . O módulo é dividido em uma série de seções, cada uma das quais é acompanhada por um exercício prático. Dia 2 - explora uma variedade de tópicos que relacionam práticas de análise e ferramentas para ambientes de Big Data . Ele não entra em detalhes de implementação ou programação, mas mantém a cobertura em um nível conceitual, concentrando-se em tópicos que permitem aos participantes desenvolver uma compreensão abrangente das funções e recursos de análise comuns oferecidos pelas soluções de Big Data . Dia 3 - fornece uma visão geral das áreas de tópicos fundamentais e essenciais relacionadas à arquitetura da plataforma de solução Big Data . Ele abrange os mecanismos de Big Data necessários para o desenvolvimento de uma plataforma de solução Big Data e opções de arquitetura para a montagem de uma plataforma de processamento de dados. Cenários comuns também são apresentados para fornecer uma compreensão básica de como uma plataforma de solução Big Data é geralmente usada. Dia 4 - baseia-se no Dia 3, explorando tópicos avançados relacionados à arquitetura da plataforma de solução Big Data . Em particular, diferentes camadas de arquitetura que compõem a plataforma de solução Big Data são introduzidas e discutidas, incluindo fontes de dados, entrada de dados, armazenamento de dados, processamento de dados e segurança. Dia 5 - abrange uma série de exercícios e problemas projetados para testar a capacidade dos delegados de aplicar o conhecimento dos tópicos abordados nos dias 3 e 4.

Os avanços nas tecnologias e a quantidade crescente de informações estão transformando a maneira como a aplicação da lei é conduzida. Os desafios que o Big Data coloca são quase tão assustadores quanto a promessa do Big Data . Armazenar dados com eficiência é um desses desafios; efetivamente analisá-lo é outro. Neste treinamento ao vivo, ministrado por instrutor, os participantes aprenderão a mentalidade com a qual abordar as tecnologias de Big Data , avaliarão seu impacto nos processos e políticas existentes e implementarão essas tecnologias com o objetivo de identificar atividades criminosas e prevenir crimes. Os estudos de caso de organizações policiais em todo o mundo serão examinados para obter insights sobre suas abordagens de adoção, desafios e resultados. Ao final deste treinamento, os participantes serão capazes de:

• Combine a tecnologia Big Data com os processos tradicionais de coleta de dados para reunir uma história durante uma investigação
• Implementar soluções industriais de armazenamento e processamento de big data para análise de dados
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem baseada em dados à investigação criminal

Público

• Especialistas em aplicação da lei com formação técnica

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Big Data é um termo que se refere a soluções destinadas a armazenar e processar grandes conjuntos de dados. Desenvolvido pela Go Ogle inicialmente, estes Big Data soluções evoluíram e inspirou outros projectos semelhantes, muitos dos quais estão disponíveis como código-fonte aberto. R é uma linguagem de programação popular no setor financeiro.

Quando as tecnologias tradicionais de armazenamento não lidam com a quantidade de dados que você precisa armazenar, existem centenas de alternativas Este curso tenta orientar os participantes sobre quais são as alternativas para armazenar e analisar Big Data e quais são os prós e contras deles Este curso é focado principalmente na discussão e apresentação de soluções, embora exercícios manuais estejam disponíveis sob demanda .

O curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).

Público Se você tentar entender os dados aos quais tem acesso ou quiser analisar dados não estruturados disponíveis na rede (como o Twitter, Linked in, etc ...), este curso é para você. É principalmente destinado a tomadores de decisão e pessoas que precisam escolher quais dados valem a pena coletar e o que vale a pena analisar. Não se destina a pessoas que configuram a solução, essas pessoas irão se beneficiar do quadro geral. Modo de entrega Durante o curso, os delegados serão apresentados a exemplos de trabalho, principalmente de tecnologias de código aberto. Aulas curtas serão seguidas de apresentação e exercícios simples pelos participantes Conteúdo e Software utilizados Todo o software utilizado é atualizado cada vez que o curso é executado, por isso, verificamos as versões mais recentes possíveis. Abrange o processo de obter, formatar, processar e analisar os dados, para explicar como automatizar o processo de tomada de decisão com o aprendizado de máquina.

Big data é um conjunto de dados tão volumoso e complexo que os aplicativos tradicionais de processamento de dados são inadequados para lidar com eles. Os desafios do big data incluem a captura de dados, armazenamento de dados, análise de dados, pesquisa, compartilhamento, transferência, visualização, consulta, atualização e privacidade de informações.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a pessoas técnicas que desejam aprender como implementar uma estratégia de aprendizado de máquina enquanto maximizam o uso de big data. No final desta formação, os participantes irão

• Compreender a evolução e as tendências do aprendizado de máquina.
• Saber como o aprendizado de máquina está sendo usado em diferentes setores.
• Familiarizar-se com as ferramentas, habilidades e serviços disponíveis para implementar o aprendizado de máquina em uma organização.
• Compreender como o aprendizado de máquina pode ser usado para aprimorar a mineração e a análise de dados.
• Saiba o que é um backend intermediário de dados e como ele está sendo usado pelas empresas.
• Entenda o papel que o big data e os aplicativos inteligentes estão desempenhando em todos os setores.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de software que desejam usar Sqoop e Flume para big data. No final desta formação, os participantes serão capazes de

• Ingestão de big data com Sqoop e Flume.
• Ingestão de dados de várias fontes de dados.
• Mover dados de bancos de dados relacionais para HDFS e Hive.
• Exportar dados do HDFS para um banco de dados relacional.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a pessoas técnicas que desejam implantar o Talend Open Studio for Big Data para simplificar o processo de leitura e análise de Big Data. No final desta formação, os participantes serão capazes de

• Instalar e configurar o Talend Open Studio para Big Data.
• Conectar-se com sistemas de Big Data, como Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Compreender e configurar os componentes e conectores de big data do Open Studio's.
• Configurar parâmetros para gerar automaticamente o código MapReduce.
• Utilizar a interface de arrastar e soltar do Open Studio' para executar trabalhos do Hadoop.
• Prototipar pipelines de big data.
• Automatize projetos de integração de big data.

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão como construir um Data Vault.Ao final deste treinamento, os participantes serão capazes de:

• Entenda os conceitos de arquitetura e design por trás do Data Vault 2.0 e sua interação com Big Data, NoSQL e AI.
• Use técnicas de abóbada de dados para permitir a auditoria, o rastreamento e a inspeção de dados históricos em um data warehouse.
• Desenvolver um processo ETL (Extrair, Transformar, Carregar) consistente e repetível.
• Criar e implementar armazéns altamente escaláveis e repetíveis.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.No final deste treinamento, os participantes poderão usar Spark Streaming para processar fluxos de dados ao vivo para uso em bancos de dados, sistemas de arquivos e painéis ao vivo.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Conceber e implementar consultas interactivas e contínuas para ETL de fluxo contínuo e análise em tempo real.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a desenvolvedores que desejam aprender os princípios por trás do armazenamento persistente e puro na memória à medida que avançam na criação de um projeto de computação na memória de amostra.No final deste treinamento, os participantes serão capazes de:

• Use o Ignite para persistência na memória e no disco, bem como um banco de dados na memória puramente distribuído.
• Alcançar a persistência sem sincronizar os dados de volta a um banco de dados relacional.
• Usar o Ignite para realizar SQL e junções distribuídas.
• Melhorar o desempenho deslocando os dados para mais perto da CPU, utilizando a RAM como armazenamento.
• Espalhar conjuntos de dados por um cluster para obter escalabilidade horizontal.
• Integrar o Ignite com RDBMS, NoSQL, Hadoop e processadores de aprendizagem automática.

Apache Beam é um modelo de programação unificado e de código aberto para definir e executar pipelines de processamento de dados paralelos. O seu poder reside na sua capacidade de executar pipelines em lote e em fluxo contínuo, sendo a execução efectuada por um dos back-ends de processamento distribuído suportados pelo Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow. A solução Apache Beam é útil para tarefas de ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema.Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão como implementar os SDKs Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um grande conjunto de dados em pedaços menores para processamento paralelo e independente.Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Beam.
• Utilizar um único modelo de programação para efetuar o processamento em lote e em fluxo a partir da sua aplicação Java ou Python.
• Executar pipelines em vários ambientes.

Formato do curso

• Parte palestra, parte discussão, exercícios e muita prática

Nota

• Este curso estará disponível Scala no futuro. Por favor, contacte-nos para organizar.

Apache Apex é uma plataforma nativa YARN que unifica o processamento em fluxo e em lote. Ele processa grandes dados em movimento de uma forma que é escalável, performática, tolerante a falhas, com estado, segura, distribuída e facilmente operável.Este treinamento ao vivo conduzido por instrutor apresenta a arquitetura de processamento de fluxo unificado de Apache Apex e orienta os participantes na criação de um aplicativo distribuído usando o Apex em Hadoop.Ao final deste treinamento, os participantes serão capazes de:

• Compreender os conceitos de pipeline de processamento de dados, como conectores para fontes e sumidouros, transformações de dados comuns, etc.
• Construir, dimensionar e otimizar um aplicativo Apex
• Processar fluxos de dados em tempo real de forma confiável e com latência mínima
• Utilizar o Apex Core e a biblioteca Apex Malhar para permitir o desenvolvimento rápido de aplicações
• Utilizar a API Apex para escrever e reutilizar código Java existente
• Integrar o Apex noutras aplicações como um motor de processamento
• Afinar, testar e escalar aplicações Apex

Formato do curso

• Palestra interactiva e discussão.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Apache Storm é um motor de computação distribuído e em tempo real utilizado para permitir a inteligência empresarial em tempo real. Para tal, permite que as aplicações processem de forma fiável fluxos de dados ilimitados (também conhecido como processamento de fluxos)."Storm é para o processamento em tempo real o que Hadoop é para o processamento em lote!"Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão como instalar e configurar Apache Storm e, em seguida, desenvolver e implantar um aplicativo Apache Storm para processar big data em tempo real.Alguns dos tópicos incluídos neste treinamento incluem:

• Apache Storm no contexto de Hadoop
• Trabalhar com dados ilimitados
• Computação contínua
• Análise em tempo real
• RPC distribuído e processamento ETL

Solicite este curso agora!Público alvo

• Desenvolvedores de software e ETL
• Profissionais de mainframe
• Cientistas de dados
• Analistas de Big Data
• Profissionais Hadoop

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Neste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto), os participantes aprenderão como implantar e gerenciar Apache NiFi em um ambiente de laboratório ao vivo.No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apachi NiFi.
• Fonte, transformar e gerenciar dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data em informações comerciais.

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) apresenta os princípios e abordagens por trás do fluxo distribuído e do processamento de dados em lote, e orienta os participantes na criação de um aplicativo de streaming de dados em tempo real em Apache Flink.No final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente para o desenvolvimento de aplicativos de análise de dados.
• Entender como funciona a biblioteca de processamento de gráficos do Apache Flink (Gelly).
• Empacotar, executar e monitorar aplicativos de streaming de dados baseados em Flink, tolerantes a falhas.
• Gerenciar diversas cargas de trabalho.
• Realizar análises avançadas.
• Configurar um cluster Flink de vários nós.
• Medir e otimizar o desempenho.
• Integrar o Flink com diferentes sistemas Big Data.
• Comparar os recursos do Flink com os de outros frameworks de processamento de big data.

Neste treinamento ao vivo conduzido por instrutor em Brasil, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas caraterísticas e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começamos com uma visão geral e nos concentramos em ferramentas específicas à medida que avançamos em uma série de estudos de caso, exercícios práticos e implantações ao vivo.No final deste treinamento, os participantes serão capazes de:

• Entender como os dados do gráfico são persistidos e percorridos.
• Selecionar a melhor estrutura para uma determinada tarefa (de bancos de dados de gráficos a estruturas de processamento em lote).
• Implementar Hadoop, Spark, GraphX e Pregel para realizar a computação de gráficos em muitas máquinas em paralelo.
• Ver problemas reais de grandes volumes de dados em termos de grafos, processos e travessias.

Este curso destina-se a programadores e cientistas de dados que pretendam compreender e implementar a IA nas suas aplicações. É dada especial atenção à análise de dados, à IA distribuída e ao processamento de linguagem natural.

O MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior. Divide-se em dois pacotes:

• O spark.mllib contém a API original construída sobre os RDDs.
• O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.

Público Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.Ao final deste treinamento, os participantes serão capazes de:

• Usar o Hortonworks para executar Hadoop de forma confiável em grande escala.
• Unificar os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark.
• Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark.
• Processar diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

O Ambari Apache Ambari é uma plataforma de gestão de código aberto para aprovisionamento, gestão, monitorização e segurança de clusters Apache Hadoop.Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão as ferramentas e práticas de gerenciamento fornecidas pela Ambari para gerenciar com sucesso os clusters Hadoop.Ao final deste treinamento, os participantes serão capazes de:

• Configurar um cluster Big Data ao vivo usando Ambari
• Aplicar os recursos e funcionalidades avançados do Ambari a vários casos de uso
• Adicionar e remover nós sem problemas, conforme necessário
• Melhorar o desempenho de um cluster Hadoop através de ajustes e ajustes

Público

• DevOps
• Administradores de sistemas
• DBAs
• Hadoop profissionais de teste

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

O Cloudera Impala é um motor de consulta de código aberto de processamento paralelo massivo (MPP) SQL para clusters Apache Hadoop.O Cloudera Impala permite que os utilizadores façam consultas de baixa latência SQL aos dados armazenados no Hadoop Distributed File System e no Apache Hbase sem necessidade de movimentação ou transformação de dados.PúblicoEste curso destina-se a analistas e cientistas de dados que efectuam análises de dados armazenados em Hadoop através de ferramentas Business Intelligence ou SQL.Após este curso, os participantes serão capazes de

• Extrair informação significativa de Hadoop clusters com Impala.
• Escrever programas específicos para facilitar a Business Inteligência em Impala SQL Dialeto.
• Resolver problemas Impala.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a arquitetos, desenvolvedores e administradores que desejam usar a Plataforma Denodo para otimizar e acelerar o gerenciamento de dados por meio da virtualização de dados.No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar a Plataforma Denodo.
• Compreender os recursos e a arquitetura da Denodo Platform.
• Compreender os principais conceitos, benefícios e casos de uso para virtualização de dados.
• Aprender a configurar e gerenciar o servidor da Plataforma Denodo.
• Implementar a segurança dos dados, o acesso dos utilizadores e a autenticação dos serviços.
• Aplicar as ferramentas e técnicas de monitorização de operações e otimização do desempenho.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados que desejam usar Apache Airflow para criar e gerenciar pipelines de dados de ponta a ponta.No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Airflow.
• Criar, programar e monitorizar pipelines de dados complexos
• Gerenciar muitos ETLs (extrair, extrair, transformar, carregar).
• Escalar e proteger Apache Airflow.

O Apache Hama é uma estrutura baseada no modelo de computação Bulk Synchronous Parallel (BSP) e é usado principalmente para análises Big Data.Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão os fundamentos de Apache Hama à medida que avançam na criação de um aplicativo baseado em BSP e um programa centrado em vértice usando as estruturas Apache Hama.No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Hama
• Compreender os fundamentos de Apache Hama e o modelo de programação Bulk Synchronous Parallel (BSP)
• Construir um programa baseado em BSP usando a estrutura Apache Hama BSP
• Construir um programa centrado em vértices usando o Apache Hama Graph Framework
• Construir, testar e depurar seus próprios aplicativos Apache Hama

Público

• Programadores

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Observação

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Este treinamento ao vivo, conduzido por instrutor, apresenta os conceitos por trás da análise de dados interativos e orienta os participantes através da implantação e uso do Zeppelin em um ambiente de usuário único ou multiusuário.Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Zeppelin
• Desenvolver, organizar, executar e compartilhar dados em uma interface baseada em navegador
• Visualizar resultados sem consultar a linha de comando ou os detalhes do cluster
• Executar e colaborar em fluxos de trabalho longos
• Trabalhar com qualquer um dos vários plug-ins de linguagem/backends de processamento de dados, como Scala (com Apache Spark), Python (com Apache Spark), Spark SQL, JDBC, Markdown e Shell.
• Integrar o Zeppelin com Spark, Flink e Map Reduce
• Proteja instâncias multiusuário do Zeppelin com o Apache Shiro

O BigTable Apache Accumulo é um armazenamento de chave/valor ordenado e distribuído que fornece armazenamento e recuperação de dados robustos e escaláveis. Baseia-se no design do BigTable da Go e é alimentado pelo Apache Hadoop, Apache Zookeeper e Apache Thrift.Este curso ao vivo, ministrado por um instrutor, aborda os princípios de funcionamento da Accumulo e orienta os participantes no desenvolvimento de uma aplicação de exemplo em Apache Accumulo.

Formato do curso

• Parte palestra, parte discussão, desenvolvimento prático e implementação, testes ocasionais para avaliar a compreensão

O Amazon Redshift é um serviço de data warehouse em nuvem petabytescale na AWS Neste treinamento ao vivo instrutor, os participantes aprenderão os fundamentos do Amazon Redshift No final deste treinamento, os participantes serão capazes de: Instalar e configurar o Amazon Redshift Carregar, configurar, implantar, consultar e visualizar dados com o Amazon Redshift Público Desenvolvedores Profissionais de TI Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada Nota Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar .

Apache Druid é um armazenamento de dados distribuído, de código aberto e orientado a colunas, escrito em Java . Ele foi projetado para ingerir rapidamente grandes quantidades de dados de eventos e executar consultas OLAP de baixa latência nesses dados. O Druid é comumente usado em aplicativos de inteligência de negócios para analisar grandes volumes de dados históricos e em tempo real. Também é adequado para alimentar painéis analíticos rápidos, interativos e para usuários finais. O Druid é usado por empresas como Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal e Yahoo. Neste curso ao vivo, ministrado por instrutor, exploramos algumas das limitações das soluções de data warehouse e discutimos como o Druid pode complementar essas tecnologias para formar uma pilha de análise de streaming flexível e escalável. Percorremos vários exemplos, oferecendo aos participantes a chance de implementar e testar soluções baseadas em Druid em um ambiente de laboratório.

Formato do Curso

• Palestra em parte, discussão em parte, prática prática pesada, testes ocasionais para avaliar a compreensão

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a desenvolvedores que desejam configurar um banco de dados Greenplum de vários nós. No final desta formação, os participantes serão capazes de

• Instalar e configurar o Pivotal Greenplum.
• Modelar os dados de acordo com as necessidades actuais e planos de expansão futuros.
• Executar diferentes técnicas para distribuir dados em vários nós.
• Melhorar o desempenho da base de dados através de tuning.
• Monitorar e solucionar problemas de um banco de dados Greenplum.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a administradores que desejam configurar Greenplum Database para soluções de inteligência de negócios e armazenamento de dados. No final desta formação, os participantes serão capazes de

• Atender às necessidades de processamento com o Greenplum.
• Realizar operações ETL para processamento de dados.
• Utilizar as infra-estruturas de processamento de consultas existentes.

Mem SQL é um sistema de gerenciamento de banco de dados SQL distribuído e em memória para nuvem e local. É um data warehouse em tempo real que fornece informações imediatamente a partir de dados ao vivo e históricos. Neste treinamento ao vivo, conduzido por instrutor, os participantes aprenderão o essencial do Mem SQL para desenvolvimento e administração. Ao final deste treinamento, os participantes serão capazes de:

• Compreender os principais conceitos e características do Mem SQL
• Instalar, projetar, manter e operar o Mem SQL
• Otimizar esquemas no Mem SQL
• Melhorar consultas no Mem SQL
• Desempenho de referência no Mem SQL
• Crie aplicativos de dados em tempo real usando Mem SQL

Público

• Desenvolvedores
• Administradores
• Engenheiros de Operação

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada