Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Programa do Curso
1: HDFS (17%)
- Descreva a função dos Daemons HDFS
- Descreva a operação normal de um cluster Apache Hadoop, tanto no armazenamento quanto no processamento de dados.
- Identifique os recursos atuais dos sistemas de computação que motivam um sistema como o Apache Hadoop.
- Classifique os principais objetivos do HDFS Design
- Dado um cenário, identifique o caso de uso apropriado para a Federação HDFS
- Identificar componentes e daemon de um cluster HDFS HA-Quorum
- Analise a função da segurança HDFS (Kerberos)
- Determine a melhor opção de serialização de dados para um determinado cenário
- Descrever caminhos de leitura e gravação de arquivos
- Identifique os comandos para manipular arquivos no Hadoop File System Shell
2: YARN e MapReduce versão 2 (MRv2) (17%)
- Entenda como a atualização de um cluster de Hadoop 1 para Hadoop 2 afeta as configurações do cluster
- Entenda como implantar MapReduce v2 (MRv2/YARN), incluindo todos os daemons YARN
- Compreender a estratégia básica de design para MapReduce v2 (MRv2)
- Determine como o YARN lida com alocações de recursos
- Identifique o fluxo de trabalho do trabalho MapReduce em execução no YARN
- Determine quais arquivos você deve alterar e como migrar um cluster do MapReduce versão 1 (MRv1) para o MapReduce versão 2 (MRv2) em execução no YARN.
3: Hadoop Planejamento de Cluster (16%)
- Principais pontos a serem considerados na escolha do hardware e dos sistemas operacionais para hospedar um cluster Apache Hadoop.
- Analise as opções na seleção de um sistema operacional
- Entenda o ajuste do kernel e a troca de disco
- Dado um cenário e um padrão de carga de trabalho, identifique uma configuração de hardware apropriada para o cenário
- Dado um cenário, determine os componentes do ecossistema que seu cluster precisa executar para cumprir o SLA
- Dimensionamento de cluster: dado um cenário e frequência de execução, identifique as especificidades da carga de trabalho, incluindo CPU, memória, armazenamento, E/S de disco
- Dimensionamento e configuração de disco, incluindo JBOD versus RAID, SANs, virtualização e requisitos de dimensionamento de disco em um cluster
- Topologias de rede: entenda o uso da rede em Hadoop (para HDFS e MapReduce) e proponha ou identifique os principais componentes de design de rede para um determinado cenário
4: Hadoop Instalação e administração de cluster (25%)
- Dado um cenário, identifique como o cluster lidará com falhas de disco e máquina
- Analisar uma configuração de log e um formato de arquivo de configuração de log
- Compreender os conceitos básicos de Hadoop métricas e monitoramento da integridade do cluster
- Identifique a função e a finalidade das ferramentas disponíveis para monitoramento de cluster
- Ser capaz de instalar todos os componentes do ecossistema no CDH 5, incluindo (mas não limitado a): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive e Pig
- Identifique a função e a finalidade das ferramentas disponíveis para gerenciar o sistema de arquivos Apache Hadoop
5: Recurso Management (10%)
- Entenda os objetivos gerais de design de cada um dos Hadoop agendadores
- Dado um cenário, determine como o Agendador FIFO aloca recursos de cluster
- Dado um cenário, determine como o Fair Scheduler aloca recursos de cluster no YARN
- Dado um cenário, determine como o Capacity Scheduler aloca recursos de cluster
6: Monitoramento e registro (15%)
- Compreenda as funções e recursos das habilidades de coleta de métricas de Hadoop
- Analise as UIs da Web NameNode e JobTracker
- Entenda como monitorar Daemons de cluster
- Identifique e monitore o uso da CPU em nós mestres
- Descrever como monitorar a troca e a alocação de memória em todos os nós
- Identificar como visualizar e gerenciar os arquivos de log de Hadoop
- Interpretar um arquivo de log
Requisitos
- Competências básicas Linux de administração
- Competências básicas de programação
35 horas
Declaração de Clientes (3)
Many hands-on sessions.
Jacek Pieczątka
Curso - Administrator Training for Apache Hadoop
Big competences of Trainer
Grzegorz Gorski
Curso - Administrator Training for Apache Hadoop
Trainer give reallive Examples
