Entrar em Contato

Programa do Curso

Introdução aos LLMs de Código Aberto

  • O que são modelos de peso aberto e por que são importantes.
  • Visão geral dos modelos LLaMA, Mistral, Qwen e outros modelos da comunidade.
  • Casos de uso para implantações privadas, on-premise ou seguras.

Configuração do Ambiente e Ferramentas

  • Instalação e configuração das bibliotecas Transformers, Datasets e PEFT.
  • Escolha de hardware adequado para ajuste fino.
  • Carregamento de modelos pré-treinados do Hugging Face ou de outros repositórios.

Preparação e Pré-processamento de Dados

  • Formatos de conjuntos de dados (ajuste fino por instrução, dados de chat, apenas texto).
  • Tokenização e gerenciamento de sequências.
  • Criação de conjuntos de dados personalizados e carregadores de dados.

Técnicas de Ajuste Fino

  • Ajuste fino completo padrão vs. métodos eficientes em parâmetros.
  • Apliação de LoRA e QLoRA para ajuste fino eficiente.
  • Uso da API Trainer para experimentação rápida.

Avaliação e Otimização de Modelos

  • Avaliação de modelos ajustados com métricas de geração e precisão.
  • Gerenciamento de overfitting, generalização e conjuntos de validação.
  • Dicas de ajuste de desempenho e registros.

Implantação e Uso Privado

  • Salvamento e carregamento de modelos para inferência.
  • Implantação de modelos ajustados em ambientes empresariais seguros.
  • Estratégias de implantação on-premise vs. na nuvem.

Estudos de Caso e Casos de Uso

  • Exemplos de uso empresarial de LLaMA, Mistral e Qwen.
  • Tratamento de ajuste fino multilíngue e específico de domínio.
  • Discussão: Compromissos entre modelos abertos e fechados.

Resumo e Próximos Passos

Requisitos

  • Conhecimento sobre grandes modelos de linguagem (LLMs) e sua arquitetura.
  • Experiência com Python e PyTorch.
  • Familiaridade básica com o ecossistema Hugging Face.

Público-alvo

  • Profissionais de ML.
  • Desenvolvedores de IA.
 14 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas