Entrar em Contato

Programa do Curso

Introdução ao Ajuste Fino Eficiente em Parâmetros (PEFT)

  • Motivação e limitações do ajuste fino completo
  • Visão geral do PEFT: objetivos e benefícios
  • Aplicações e casos de uso na indústria

LoRA (Adaptação de Baixo Posto)

  • Conceito e intuição por trás do LoRA
  • Implementação do LoRA usando Hugging Face e PyTorch
  • Prática: Ajuste fino de um modelo com LoRA

Ajuste de Adaptadores

  • Como funcionam os módulos de adaptador
  • Integração com modelos baseados em transformadores
  • Prática: Aplicação do Ajuste de Adaptadores a um modelo transformer

Ajuste de Prefixo

  • Uso de prompts suaves para ajuste fino
  • Vantagens e limitações em comparação com LoRA e adaptadores
  • Prática: Ajuste de Prefixo em uma tarefa de LLM

Avaliação e Comparação dos Métodos PEFT

  • Métricas para avaliar desempenho e eficiência
  • Compensações na velocidade de treinamento, uso de memória e precisão
  • Experiências de benchmark e interpretação dos resultados

Implantação de Modelos Ajustados

  • Salvamento e carregamento de modelos ajustados
  • Considerações de implantação para modelos baseados em PEFT
  • Integração em aplicações e pipelines

Melhores Práticas e Extensões

  • Combinação do PEFT com quantização e destilação
  • Uso em ambientes com poucos recursos e multilinguismo
  • Direções futuras e áreas de pesquisa ativa

Resumo e Próximos Passos

Requisitos

  • Conhecimento dos fundamentos de aprendizado de máquina
  • Experiência trabalhando com grandes modelos de linguagem (LLMs)
  • Conhecimento de Python e PyTorch

Público-Alvo

  • Cientistas de dados
  • Engenheiros de IA
 14 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas