Curso de DeepSpeed para Aprendizado Profundo
DeepSpeed é uma biblioteca de otimização de aprendizagem profunda que facilita o escalonamento de modelos de aprendizagem profunda em hardware distribuído. Desenvolvido por Microsoft, o DeepSpeed se integra ao Py Torch para fornecer melhor dimensionamento, treinamento mais rápido e melhor utilização de recursos.
Este treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a cientistas de dados de nível iniciante a intermediário e engenheiros de aprendizado de máquina que desejam melhorar o desempenho de seus modelos de aprendizado profundo.
Ao final deste treinamento, os participantes serão capazes de:
- Entenda os princípios do aprendizado profundo distribuído.
- Instale e configure o DeepSpeed.
- Escale modelos de aprendizado profundo em hardware distribuído usando DeepSpeed.
- Implemente e experimente os recursos do DeepSpeed para otimização e eficiência de memória.
Formato do curso
- Palestra interativa e discussão.
- Muitos exercícios e prática.
- Implementação prática em um ambiente de laboratório ao vivo.
Opções de personalização do curso
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.
Programa do Curso
Introdução
- Visão geral dos desafios de escalonamento da aprendizagem profunda
- Visão geral do DeepSpeed e seus recursos
- DeepSpeed vs. outras bibliotecas de aprendizagem profunda distribuídas
Primeiros passos
- Configurando o ambiente de desenvolvimento
- Instalando PyTorch e DeepSpeed
- Configurando o DeepSpeed para treinamento distribuído
Recursos de otimização do DeepSpeed
- Pipeline de treinamento do DeepSpeed
- ZeRO (otimização de memória)
- Checkpointing de ativação
- Checkpointing de gradiente
- Paralelismo do pipeline
Escalonamento de modelos com DeepSpeed
- Escalonamento básico usando DeepSpeed
- Técnicas avançadas de escalonamento
- Considerações de desempenho e práticas recomendadas
- Técnicas de depuração e solução de problemas
Tópicos avançados do DeepSpeed
- Técnicas avançadas de otimização
- Usando DeepSpeed com treinamento de precisão mista
- DeepSpeed em diferentes hardwares (por exemplo, GPUs, TPUs)
- DeepSpeed com múltiplos nós de treinamento
Integrando DeepSpeed com PyTorch
- Integrando DeepSpeed com fluxos de trabalho PyTorch
- Usando DeepSpeed com PyTorch Lightning
Solução de problemas
- Depurando problemas comuns do DeepSpeed
- Monitoramento e registro
Resumo e próximos passos
- Recapitulação dos principais conceitos e recursos
- Práticas recomendadas para usar o DeepSpeed em produção
- Outros recursos para aprender mais sobre o DeepSpeed
Requisitos
- Conhecimento intermédio dos princípios da aprendizagem profunda
- Experiência com PyTorch ou estruturas de aprendizagem profunda semelhantes
- Familiaridade com a programação Python
Público-alvo
- Cientistas de dados
- Engenheiros de aprendizagem automática
- Programadores
Os cursos de treinamento abertos exigem mais de 5 participantes.
Curso de DeepSpeed para Aprendizado Profundo - Reserva
Curso de DeepSpeed para Aprendizado Profundo - Consulta
DeepSpeed para Aprendizado Profundo - Solicitação de Consultoria
Próximas Formações Provisórias
Cursos Relacionados
Avançado Stable Diffusion: Deep Learning para Geração de Imagens a partir de Texto
21 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados de nível intermediário a avançado, engenheiros de aprendizado de máquina, pesquisadores de aprendizado profundo e especialistas em visão computacional que desejam expandir seus conhecimentos e habilidades em aprendizado profundo para geração de texto para imagem.
No final deste treinamento, os participantes serão capazes de:
- Compreender arquiteturas e técnicas avançadas de aprendizado profundo para geração de texto para imagem.
- Implementar modelos complexos e otimizações para síntese de imagens de alta qualidade.
- Otimize o desempenho e a escalabilidade para grandes conjuntos de dados e modelos complexos.
- Ajustar hiperparâmetros para melhor desempenho e generalização do modelo.
- Integrar Stable Diffusion com outras estruturas e ferramentas de aprendizagem profunda
AlphaFold
7 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a biólogos que desejam entender como AlphaFold funciona e usar modelos AlphaFold como guias em seus estudos experimentais.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios básicos de AlphaFold.
- Aprender como AlphaFold funciona.
- Aprender a interpretar as previsões e os resultados de AlphaFold.
Aplicação de IA do Zero
28 HorasEste é um curso de 4 dias que apresenta a IA e a sua aplicação. Existe a opção de ter um dia adicional para realizar um projeto de IA após a conclusão deste curso.
Redes Neurais de Aprendizado Profundo com Chainer
14 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a pesquisadores e desenvolvedores que desejam usar Chainer para construir e treinar redes neurais em Python, tornando o código fácil de depurar.
No final desta formação, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para começar a desenvolver modelos de redes neurais.
- Definir e implementar modelos de redes neurais usando um código fonte compreensível.
- Execute exemplos e modifique os algoritmos existentes para otimizar os modelos de treinamento de aprendizado profundo, aproveitando GPU s para alto desempenho.
Visão Computacional com Google Colab e TensorFlow
21 HorasEsta formação guiada por instrutores, ao vivo em Brasil (online ou presencial), é destinada a profissionais de nível avançado que desejam aprofundar seu conhecimento em visão computacional e explorar as capacidades do TensorFlow para desenvolver modelos sofisticados de visão usando o Google Colab.
Ao final deste treinamento, os participantes serão capazes de:
- Construir e treinar redes neurais convolucionais (CNNs) usando TensorFlow.
- Aproveitar o Google Colab para desenvolvimento de modelos escaláveis e eficientes em nuvem.
- Implementar técnicas de pré-processamento de imagens para tarefas de visão computacional.
- Implantar modelos de visão computacional para aplicações do mundo real.
- Usar transfer learning para melhorar o desempenho dos modelos CNNs.
- Visualizar e interpretar os resultados de modelos de classificação de imagens.
Aprendizagem profunda com TensorFlow em Google Colab
14 HorasEste treinamento ao vivo, conduzido por instrutor (online ou presencial) em Brasil, é direcionado a cientistas de dados e desenvolvedores intermediários que desejam entender e aplicar técnicas de aprendizado profundo usando o ambiente Google Colab.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar e navegar pelo Google Colab para projetos de aprendizado profundo.
- Compreender os fundamentos das redes neurais.
- Implementar modelos de aprendizado profundo usando TensorFlow.
- Treinar e avaliar modelos de aprendizado profundo.
- Utilizar recursos avançados do TensorFlow para aprendizado profundo.
Aprendizado Profundo para NLP (Processamento de Linguagem Natural)
28 HorasNeste treinamento conduzido por instrutor, ao vivo, os participantes aprenderão a usar bibliotecas Python para NLP enquanto criam uma aplicação que processa um conjunto de imagens e gera legendas.
Ao final deste treinamento, os participantes serão capazes de:
- Projetar e codificar DL para NLP usando bibliotecas Python.
- Criar código Python que leia uma coleção substancialmente grande de imagens e gere palavras-chave.
- Criar código Python que gere legendas a partir das palavras-chave detectadas.
Deep Learning for Vision
21 HorasPúblico-Alvo
Este curso é adequado para pesquisadores e engenheiros de Aprendizagem Profunda interessados em utilizar ferramentas disponíveis (em sua maioria open source) para analisar imagens computacionais.
O curso fornece exemplos práticos.
Edge AI com TensorFlow Lite
14 HorasEsta formação presencial ou online em Brasil é direcionada a desenvolvedores de nível intermediário, cientistas de dados e praticantes de IA que desejam aproveitar o TensorFlow Lite para aplicações de AI na borda (Edge AI).
Ao final desta formação, os participantes serão capazes de:
- Compreender os fundamentos do TensorFlow Lite e seu papel na Edge AI.
- Desenvolver e otimizar modelos de IA usando o TensorFlow Lite.
- Deployar modelos TensorFlow Lite em diversos dispositivos de borda.
- Utilizar ferramentas e técnicas para conversão e otimização de modelos.
- Implementar aplicações práticas de Edge AI usando o TensorFlow Lite.
Acelerando Aprendizado Profundo com FPGA e OpenVINO
35 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados que desejam acelerar os aplicativos de aprendizado de máquina em tempo real e implantá-los em escala.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar o kit de ferramentas OpenVINO.
- Acelerar uma aplicação de visão computacional usando um FPGA.
- Executar diferentes camadas CNN no FPGA.
- Escalar o aplicativo em vários nós em um cluster Kubernetes.
Detecção de Fraude com Python e TensorFlow
14 HorasEste treinamento conduzido por instrutor, ao vivo (online ou presencial), é direcionado a cientistas de dados que desejam usar o TensorFlow para analisar dados potenciais de fraude.
Ao final deste treinamento, os participantes serão capazes de:
- Criar um modelo de detecção de fraude em Python e TensorFlow.
- Construir regressões lineares e modelos de regressão linear para prever fraudes.
- Desenvolver uma aplicação AI de ponta a ponta para analisar dados de fraude.
Aprendizagem Profunda Distribuída com Horovod
7 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a desenvolvedores ou cientistas de dados que desejam usar Horovod para executar treinamentos de aprendizado profundo distribuídos e escalá-lo para ser executado em vários GPU s em paralelo.
No final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para começar a executar treinamentos de aprendizado profundo.
- Instalar e configurar Horovod para treinar modelos com TensorFlow, Keras, Py Torch e Apache MXNet.
- Escalar o treinamento de aprendizado profundo com Horovod para ser executado em vários GPU s.
Aprendizado Profundo com Keras
21 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a pessoas técnicas que desejam aplicar o modelo de aprendizado profundo a aplicativos de reconhecimento de imagem.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar e configurar Keras.
- Prototipar rapidamente modelos de aprendizado profundo.
- Implementar uma rede convolucional.
- Implementar uma rede recorrente.
- Execute um modelo de aprendizado profundo em uma CPU e GPU.
Introdução ao Stable Diffusion para Geração de Imagens a partir de Texto
21 HorasEste treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a cientistas de dados, engenheiros de aprendizado de máquina e pesquisadores de visão computacional que desejam aproveitar o Stable Diffusion para gerar imagens de alta qualidade para uma variedade de casos de uso.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios de Stable Diffusion e como ele funciona para a geração de imagens.
- Construir e treinar modelos Stable Diffusion para tarefas de geração de imagens.
- Aplicar Stable Diffusion a vários cenários de geração de imagens, como inpainting, outpainting e tradução de imagem para imagem.
- Otimizar o desempenho e a estabilidade dos modelos Stable Diffusion.
Tensorflow Lite para Microcontroladores
21 HorasEste treinamento presencial, conduzido por um instrutor (online ou presencial), é destinado a engenheiros que desejam escrever, carregar e executar modelos de aprendizado de máquina em dispositivos embarcados muito pequenos.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar o TensorFlow Lite.
- Carregar modelos de aprendizado de máquina em um dispositivo embarcado para que ele possa detectar voz, classificar imagens, etc.
- Adicionar IA a dispositivos de hardware sem depender da conectividade à rede.