Entrar em Contato

Programa do Curso

Introdução ao Ajuste Fino com Eficiência de Parâmetros (PEFT)

  • Motivação e limitações do ajuste fino completo
  • Visão geral do PEFT: objetivos e benefícios
  • Aplicações e casos de uso na indústria

LoRA (Adaptação de Baixo Posto)

  • Conceito e intuição por trás do LoRA
  • Implementação do LoRA utilizando Hugging Face e PyTorch
  • Mão na massa: Ajuste fino de um modelo com LoRA

Adapter Tuning

  • Como os módulos de adapter funcionam
  • Integração com modelos baseados em transformers
  • Mão na massa: Aplicando Adapter Tuning em um modelo transformer

Prefix Tuning

  • Uso de prompts suaves para ajuste fino
  • Vantagens e limitações em comparação ao LoRA e aos adapters
  • Mão na massa: Prefix Tuning em uma tarefa de LLM

Avaliando e Comparando Métodos PEFT

  • Métricas para avaliar desempenho e eficiência
  • Trade-offs em velocidade de treinamento, uso de memória e precisão
  • Experimentos de benchmarking e interpretação dos resultados

Implantando Modelos Ajustados

  • Salvando e carregando modelos ajustados
  • Considerações para implantação de modelos baseados em PEFT
  • Integração em aplicações e pipelines

Melhores Práticas e Extensões

  • Combinação do PEFT com quantização e destilação
  • Uso em configurações de recursos limitados e multilíngues
  • Direções futuras e áreas de pesquisa ativa

Resumo e Próximos Passos

Requisitos

  • Compreensão dos fundamentos do aprendizado de máquina
  • Experiência trabalhando com modelos de linguagem grandes (LLMs)
  • Conhecimento em Python e PyTorch

Público-Alvo

  • Cientistas de dados
  • Engenheiros de IA
 14 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas