Curso de DeepSpeed para Aprendizado Profundo
DeepSpeed é uma biblioteca de otimização de aprendizagem profunda que facilita o escalonamento de modelos de aprendizagem profunda em hardware distribuído. Desenvolvido por Microsoft, o DeepSpeed se integra ao Py Torch para fornecer melhor dimensionamento, treinamento mais rápido e melhor utilização de recursos.
Este treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a cientistas de dados de nível iniciante a intermediário e engenheiros de aprendizado de máquina que desejam melhorar o desempenho de seus modelos de aprendizado profundo.
Ao final deste treinamento, os participantes serão capazes de:
- Entenda os princípios do aprendizado profundo distribuído.
- Instale e configure o DeepSpeed.
- Escale modelos de aprendizado profundo em hardware distribuído usando DeepSpeed.
- Implemente e experimente os recursos do DeepSpeed para otimização e eficiência de memória.
Formato do curso
- Palestra interativa e discussão.
- Muitos exercícios e prática.
- Implementação prática em um ambiente de laboratório ao vivo.
Opções de personalização do curso
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.
Programa do Curso
Introdução
- Visão geral dos desafios de escalonamento da aprendizagem profunda
- Visão geral do DeepSpeed e seus recursos
- DeepSpeed vs. outras bibliotecas de aprendizagem profunda distribuídas
Primeiros passos
- Configurando o ambiente de desenvolvimento
- Instalando PyTorch e DeepSpeed
- Configurando o DeepSpeed para treinamento distribuído
Recursos de otimização do DeepSpeed
- Pipeline de treinamento do DeepSpeed
- ZeRO (otimização de memória)
- Checkpointing de ativação
- Checkpointing de gradiente
- Paralelismo do pipeline
Escalonamento de modelos com DeepSpeed
- Escalonamento básico usando DeepSpeed
- Técnicas avançadas de escalonamento
- Considerações de desempenho e práticas recomendadas
- Técnicas de depuração e solução de problemas
Tópicos avançados do DeepSpeed
- Técnicas avançadas de otimização
- Usando DeepSpeed com treinamento de precisão mista
- DeepSpeed em diferentes hardwares (por exemplo, GPUs, TPUs)
- DeepSpeed com múltiplos nós de treinamento
Integrando DeepSpeed com PyTorch
- Integrando DeepSpeed com fluxos de trabalho PyTorch
- Usando DeepSpeed com PyTorch Lightning
Solução de problemas
- Depurando problemas comuns do DeepSpeed
- Monitoramento e registro
Resumo e próximos passos
- Recapitulação dos principais conceitos e recursos
- Práticas recomendadas para usar o DeepSpeed em produção
- Outros recursos para aprender mais sobre o DeepSpeed
Requisitos
- Conhecimento intermédio dos princípios da aprendizagem profunda
- Experiência com PyTorch ou estruturas de aprendizagem profunda semelhantes
- Familiaridade com a programação Python
Público-alvo
- Cientistas de dados
- Engenheiros de aprendizagem automática
- Programadores
Os cursos de treinamento abertos exigem mais de 5 participantes.
Curso de DeepSpeed para Aprendizado Profundo - Reserva
Curso de DeepSpeed para Aprendizado Profundo - Consulta
DeepSpeed para Aprendizado Profundo - SOLICITAÇÃO DE CONSULTORIA
Próximas Formações Provisórias
Cursos Relacionados
Avançado Stable Diffusion: Deep Learning para Geração de Imagens a partir de Texto
21 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas de dados de nível intermediário a avançado, engenheiros de aprendizado de máquina, pesquisadores de aprendizado profundo e especialistas em visão computacional que desejam expandir seus conhecimentos e habilidades em aprendizado profundo para geração de texto para imagem.
No final deste treinamento, os participantes serão capazes de:
- Compreender arquiteturas e técnicas avançadas de aprendizado profundo para geração de texto para imagem.
- Implementar modelos complexos e otimizações para síntese de imagens de alta qualidade.
- Otimize o desempenho e a escalabilidade para grandes conjuntos de dados e modelos complexos.
- Ajustar hiperparâmetros para melhor desempenho e generalização do modelo.
- Integrar Stable Diffusion com outras estruturas e ferramentas de aprendizagem profunda
AlphaFold
7 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a biólogos que desejam entender como AlphaFold funciona e usar modelos AlphaFold como guias em seus estudos experimentais.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios básicos de AlphaFold.
- Aprender como AlphaFold funciona.
- Aprender a interpretar as previsões e os resultados de AlphaFold.
Aplicação de IA do Zero
28 HorasEste é um curso de 4 dias que apresenta a IA e a sua aplicação. Existe a opção de ter um dia adicional para realizar um projeto de IA após a conclusão deste curso.
Redes Neurais de Aprendizado Profundo com Chainer
14 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a pesquisadores e desenvolvedores que desejam usar Chainer para construir e treinar redes neurais em Python, tornando o código fácil de depurar.
No final desta formação, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para começar a desenvolver modelos de redes neurais.
- Definir e implementar modelos de redes neurais usando um código fonte compreensível.
- Execute exemplos e modifique os algoritmos existentes para otimizar os modelos de treinamento de aprendizado profundo, aproveitando GPU s para alto desempenho.
Visão Computacional com Google Colab e TensorFlow
21 HorasEsta formação guiada por instrutores, ao vivo em Brasil (online ou presencial), é destinada a profissionais de nível avançado que desejam aprofundar seu conhecimento em visão computacional e explorar as capacidades do TensorFlow para desenvolver modelos sofisticados de visão usando o Google Colab.
Ao final deste treinamento, os participantes serão capazes de:
- Construir e treinar redes neurais convolucionais (CNNs) usando TensorFlow.
- Aproveitar o Google Colab para desenvolvimento de modelos escaláveis e eficientes em nuvem.
- Implementar técnicas de pré-processamento de imagens para tarefas de visão computacional.
- Implantar modelos de visão computacional para aplicações do mundo real.
- Usar transfer learning para melhorar o desempenho dos modelos CNNs.
- Visualizar e interpretar os resultados de modelos de classificação de imagens.
Aprendizagem profunda com TensorFlow em Google Colab
14 HorasEste treinamento ao vivo, conduzido por instrutor (online ou presencial) em Brasil, é direcionado a cientistas de dados e desenvolvedores intermediários que desejam entender e aplicar técnicas de aprendizado profundo usando o ambiente Google Colab.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar e navegar pelo Google Colab para projetos de aprendizado profundo.
- Compreender os fundamentos das redes neurais.
- Implementar modelos de aprendizado profundo usando TensorFlow.
- Treinar e avaliar modelos de aprendizado profundo.
- Utilizar recursos avançados do TensorFlow para aprendizado profundo.
Aprendizado Profundo para NLP (Processamento de Linguagem Natural)
28 HorasNeste treinamento conduzido por instrutor, ao vivo, os participantes aprenderão a usar bibliotecas Python para NLP enquanto criam uma aplicação que processa um conjunto de imagens e gera legendas.
Ao final deste treinamento, os participantes serão capazes de:
- Projetar e codificar DL para NLP usando bibliotecas Python.
- Criar código Python que leia uma coleção substancialmente grande de imagens e gere palavras-chave.
- Criar código Python que gere legendas a partir das palavras-chave detectadas.
Deep Learning for Vision
21 HorasPúblico-Alvo
Este curso é adequado para pesquisadores e engenheiros de Aprendizagem Profunda interessados em utilizar ferramentas disponíveis (em sua maioria open source) para analisar imagens computacionais.
O curso fornece exemplos práticos.
Edge AI com TensorFlow Lite
14 HorasEsta formação presencial ou online em Brasil é direcionada a desenvolvedores de nível intermediário, cientistas de dados e praticantes de IA que desejam aproveitar o TensorFlow Lite para aplicações de AI na borda (Edge AI).
Ao final desta formação, os participantes serão capazes de:
- Compreender os fundamentos do TensorFlow Lite e seu papel na Edge AI.
- Desenvolver e otimizar modelos de IA usando o TensorFlow Lite.
- Deployar modelos TensorFlow Lite em diversos dispositivos de borda.
- Utilizar ferramentas e técnicas para conversão e otimização de modelos.
- Implementar aplicações práticas de Edge AI usando o TensorFlow Lite.
Acelerando o Deep Learning com FPGA e OpenVINO
35 HorasEste treinamento ao vivo, ministrado por um instrutor em Brasil (online ou no local), é direcionado a cientistas de dados que desejam acelerar aplicações de machine learning em tempo real e implantá-las em escala.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar o conjunto de ferramentas OpenVINO.
- Acelerar uma aplicação de visão computacional utilizando um FPGA.
- Executar diferentes camadas de CNN no FPGA.
- Escalar a aplicação em vários nós em um cluster Kubernetes.
Detecção de Fraude com Python e TensorFlow
14 HorasEste treinamento conduzido por instrutor, ao vivo (online ou presencial), é direcionado a cientistas de dados que desejam usar o TensorFlow para analisar dados potenciais de fraude.
Ao final deste treinamento, os participantes serão capazes de:
- Criar um modelo de detecção de fraude em Python e TensorFlow.
- Construir regressões lineares e modelos de regressão linear para prever fraudes.
- Desenvolver uma aplicação AI de ponta a ponta para analisar dados de fraude.
Aprendizado Profundo Distribuído com Horovod
7 HorasEste treinamento ao vivo, conduzido por instrutor em Brasil (online ou presencial), destina-se a desenvolvedores ou cientistas de dados que desejam utilizar o Horovod para executar treinamentos distribuídos de aprendizado profundo e escalá-los para rodar em múltiplas GPUs em paralelo.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para iniciar treinamentos de aprendizado profundo.
- Instalar e configurar o Horovod para treinar modelos com TensorFlow, Keras, PyTorch e Apache MXNet.
- Escalar o treinamento de aprendizado profundo com o Horovod para execução em múltiplas GPUs.
Aprendizado Profundo com Keras
21 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a pessoas técnicas que desejam aplicar o modelo de aprendizado profundo a aplicativos de reconhecimento de imagem.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar e configurar Keras.
- Prototipar rapidamente modelos de aprendizado profundo.
- Implementar uma rede convolucional.
- Implementar uma rede recorrente.
- Execute um modelo de aprendizado profundo em uma CPU e GPU.
Introdução ao Stable Diffusion para Geração de Imagens a Partir de Texto
21 HorasEste treinamento ao vivo, ministrado por instrutor (online ou presencial), destina-se a cientistas de dados, engenheiros de machine learning e pesquisadores de visão computacional que desejam aproveitar o Stable Diffusion para gerar imagens de alta qualidade em diversos casos de uso.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os princípios do Stable Diffusion e como ele funciona para geração de imagens.
- Construir e treinar modelos Stable Diffusion para tarefas de geração de imagens.
- Aplicar o Stable Diffusion em diversos cenários de geração de imagens, como inpainting, outpainting e tradução de imagem para imagem.
- Otimizar o desempenho e a estabilidade dos modelos Stable Diffusion.
Tensorflow Lite para Microcontroladores
21 HorasEste treinamento presencial, conduzido por um instrutor (online ou presencial), é destinado a engenheiros que desejam escrever, carregar e executar modelos de aprendizado de máquina em dispositivos embarcados muito pequenos.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar o TensorFlow Lite.
- Carregar modelos de aprendizado de máquina em um dispositivo embarcado para que ele possa detectar voz, classificar imagens, etc.
- Adicionar IA a dispositivos de hardware sem depender da conectividade à rede.