Cursos de Mensagens Distribuídas com Apache Kafka

O Apache Samza é uma estrutura computacional assíncrona e de tempo real de código aberto para processamento de fluxo. Ele usa o Apache Kafka para mensagens e o Apache Hadoop YARN para tolerância a falhas, isolamento do processador, segurança e gerenciamento de recursos.

Este treinamento ao vivo conduzido por instrutor introduz os princípios por trás dos sistemas de mensagens e do processamento de fluxo distribuído, enquanto percorre os participantes através da criação de um projeto baseado em Samza e execução de tarefas.

No final deste treinamento, os participantes serão capazes de:

• Use o Samza para simplificar o código necessário para produzir e consumir mensagens.
• Desacoplar o tratamento de mensagens de um aplicativo.
• Use o Samza para implementar computação assíncrona em tempo quase real.
• Use o processamento de fluxo para fornecer um nível mais alto de abstração nos sistemas de mensagens.

Público

• Desenvolvedores

Formato do curso

• Palestra parcial, parte discussão, exercícios e prática prática

O Kafka Streams é uma biblioteca do lado do cliente para criar aplicativos e microsserviços cujos dados são transmitidos para e de um sistema de mensagens Kafka. Tradicionalmente, o Apache Kafka conta com o Apache Spark ou o Apache Storm para processar dados entre produtores e consumidores de mensagens. Ao chamar a API Kafka Streams de dentro de um aplicativo, os dados podem ser processados diretamente no Kafka, ignorando a necessidade de enviar os dados para um cluster separado para processamento.

Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão a integrar o Kafka Streams em um conjunto de aplicativos Java de amostra que transmitem dados para e do Apache Kafka para processamento de fluxo.

No final deste treinamento, os participantes serão capazes de:

• Entenda os recursos e vantagens do Kafka Streams em relação a outras estruturas de processamento de fluxo
• Processar dados do fluxo diretamente dentro de um cluster Kafka
• Escreva um aplicativo ou microsserviço Java ou Scala que se integre com Kafka e Kafka Streams
• Escrever código conciso que transforma tópicos de entrada do Kafka em tópicos de saída do Kafka
• Construa, empacote e implante o aplicativo

Público

• Desenvolvedores

Formato do curso

• Palestra parcial, parte discussão, exercícios e prática prática

Notas

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para

Neste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.

No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.

no final deste treinamento, os participantes poderão:

• instalar e configurar plataforma confluente.
• use ferramentas de gestão confluentes & #39; s e serviços para executar Kafka mais facilmente.
• armazenar e processar dados de fluxo de entrada.
• otimizar e gerenciar clusters Kafka.
fluxos de dados
• Secure.

formato do curso

• palestra interativa e discussão.
• lotes de exercícios e prática.
• implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

• este curso é baseado na versão de código aberto de confluent: fonte aberta confluente.
• para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Apache Kafka é uma plataforma de streaming distribuída. É, de fato, um padrão para a construção de pipelines de dados e resolve muitos casos de uso diferentes em torno do processamento de dados: ele pode ser usado como uma fila de mensagens, um log distribuído, um processador de fluxo etc.

Vamos começar com alguma teoria por trás dos pipelines de dados em geral, depois continuar com conceitos fundamentais por trás de Kafka. Também descobriremos componentes importantes como o Kafka Streams e o Kafka Connect.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a desenvolvedores que desejam transformar a arquitetura tradicional em uma arquitetura baseada em microsserviços altamente simultânea usando Spring Cloud, Kafka, Docker, Kubernetes e Redis.

No final desta formação, os participantes serão capazes de

• Configurar o ambiente de desenvolvimento necessário para a construção de microsserviços.
• Desenhar e implementar um ecossistema de microsserviços altamente concorrente usando Spring Cloud, Kafka, Redis, Docker e Kubernetes.
• Transformar serviços monolíticos e SOA em arquitetura baseada em microsserviços.
• Adotar uma abordagem DevOps para desenvolver, testar e liberar software.
• Garantir alta simultaneidade entre os microsserviços em produção.
• Monitorar os microsserviços e implementar estratégias de recuperação.
• Realizar o ajuste de desempenho.
• Aprenda sobre as tendências futuras na arquitetura de microsserviços.

Esta formação em direto, ministrada por um formador, em Brasil (online ou no local) destina-se a programadores que pretendam integrar Apache Kafka em bases de dados e aplicações existentes para processamento, análise, etc.

No final desta formação, os participantes serão capazes de

• Use o Kafka Connect para ingerir grandes quantidades de dados de um banco de dados em tópicos do Kafka.
• Ingira dados de log gerados por servidores de aplicativos em tópicos do Kafka.
• Disponibilizar todos os dados coletados para processamento de fluxo.
• Exportar dados de tópicos do Kafka para sistemas secundários para armazenamento e análise.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.

No final desta formação, os participantes serão capazes de

• Instalar e configurar Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Projetar e implantar consultas interativas e contínuas para ETL de streaming e análise em tempo real.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a administradores de sistemas que desejam configurar, implantar, gerenciar e otimizar um cluster Kafka de nível empresarial.

No final desta formação, os participantes serão capazes de

• Configurar e administrar um cluster do Kafka.
• Avaliar os benefícios e desvantagens da implantação do Kafka no local versus na nuvem.
• Implantar e monitorar o Kafka usando várias ferramentas de ambiente no local e na nuvem.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a testadores de software que desejam implementar segurança de rede medidas em um aplicativo Apache Kafka.

No final desta formação, os participantes serão capazes de

• Implantar o Apache Kafka em um servidor baseado em nuvem.
• Implementar a criptografia SSL para evitar ataques.
• Adicione autenticação ACL para rastrear e controlar o acesso do usuário.
• Garantir que clientes confiáveis tenham acesso aos clusters do Kafka com autenticação SSL e SASL.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a cientistas de dados que desejam usar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

No final desta formação, os participantes serão capazes de

• Implementar uma arquitetura de pipeline de dados para processar big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com o Apache Cassandra.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos do Apache Kafka em streaming de dados com Python.

No final deste treinamento, os participantes serão capazes de usar o Apache Kafka para monitorar e gerenciar condições em fluxos de dados contínuos usando a programação Python.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.

No final desta formação, os participantes serão capazes de utilizar Spark Streaming para processar fluxos de dados em tempo real para utilização em bases de dados, sistemas de ficheiros e painéis de controlo em tempo real.

Este treinamento ao vivo conduzido por instrutor em Brasil (online ou no local) é destinado a desenvolvedores de nível intermediário que desejam desenvolver aplicativos de big data com Apache Kafka.

No final desta formação, os participantes serão capazes de:

Desenvolva produtores e consumidores Kafka para enviar e ler dados de Kafka. Integre o Kafka com sistemas externos usando o Kafka Connect. Escreva aplicativos de streaming com Kafka Streams e ksqlDB. Integre um aplicativo cliente Kafka com o Confluent Cloud para implantações Kafka baseadas em nuvem. Ganhe experiência prática por meio de exercícios práticos e casos de uso do mundo real.

Este treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a desenvolvedores de nível intermediário que desejam aprender os fundamentos do Kafka e integrá-lo com Spring Boot.

No final desta formação, os participantes serão capazes de

Compreender o Kafka e a sua arquitetura. Aprender a instalar, configurar e montar um ambiente Kafka básico. Integrar o Kafka com Spring Boot.