Entrar em Contato

Programa do Curso

Introdução à Otimização de Modelos Grandes

  • Visão geral das arquiteturas de modelos grandes.
  • Desafios no fine-tuning de modelos grandes.
  • Importância da otimização com custos eficientes.

Técnicas de Treinamento Distribuído

  • Introdução ao paralelismo de dados e de modelo.
  • Frameworks para treinamento distribuído: PyTorch e TensorFlow.
  • Escalação entre múltiplas GPUs e nós.

Quantização e Poda de Modelos

  • Compreensão das técnicas de quantização.
  • Aplicação da poda para reduzir o tamanho do modelo.
  • Trocas entre precisão e eficiência.

Otimização de Hardware

  • Escolha do hardware adequado para tarefas de fine-tuning.
  • Otimização do uso de GPUs e TPUs.
  • Utilização de aceleradores especializados para modelos grandes.

Gestão Eficiente de Dados

  • Estratégias para gerenciar grandes conjuntos de dados.
  • Pré-processamento e agrupamento (batching) para melhorar o desempenho.
  • Técnicas de aumento de dados (data augmentation).

Implantação de Modelos Otimizados

  • Técnicas para implantar modelos ajustados.
  • Monitoramento e manutenção do desempenho dos modelos.
  • Exemplos do mundo real de implantação de modelos otimizados.

Técnicas Avançadas de Otimização

  • Exploração da adaptação de baixo posto (LoRA).
  • Uso de adaptadores para fine-tuning modular.
  • Futuras tendências na otimização de modelos.

Resumo e Próximos Passos

Requisitos

  • Experiência com frameworks de deep learning como PyTorch ou TensorFlow.
  • Conhecimento sobre modelos de linguagem grandes e suas aplicações.
  • Compreensão dos conceitos de computação distribuída.

Público-Alvo

  • Engenheiros de machine learning.
  • Especialistas em IA na nuvem.
 21 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas