Curso de Ajuste Fino de LLMs de Código Aberto (LLaMA, Mistral, Qwen, etc.)

Introdução aos LLMs de Código Aberto

• O que são modelos de pesos abertos e por que são importantes
• Panorama dos modelos LLaMA, Mistral, Qwen e outros modelos da comunidade
• Casos de uso para implantações privadas, em infraestrutura local ou seguras

Configuração do Ambiente e Ferramentas

• Instalação e configuração das bibliotecas Transformers, Datasets e PEFT
• Escolha de hardware apropriado para o ajuste fino
• Carregamento de modelos pré-treinados do Hugging Face ou outros repositórios

Preparação e Pré-processamento de Dados

• Formatos de conjuntos de dados (instruções para ajuste, dados de chat, apenas texto)
• Tokenização e gerenciamento de sequências
• Criação de conjuntos de dados personalizados e carregadores de dados

Técnicas de Ajuste Fino

• Ajuste fino completo padrão versus métodos eficientes em parâmetros
• Aplicação de LoRA e QLoRA para ajuste eficiente
• Uso da API Trainer para experimentação rápida

Avaliação e Otimização do Modelo

• Avaliação dos modelos ajustados com métricas de geração e precisão
• Gestão de sobreajuste, generalização e conjuntos de validação
• Dicas de ajuste de desempenho e registro de log

Implantação e Uso Privado

• Salvamento e carregamento de modelos para inferência
• Implantação de modelos ajustados em ambientes corporativos seguros
• Estratégias de implantação em infraestrutura local versus nuvem

Estudos de Caso e Casos de Uso

• Exemplos de uso empresarial do LLaMA, Mistral e Qwen
• Lidando com ajuste fino multilíngue e específico de domínio
• Discussão: Compromissos entre modelos abertos e fechados

Resumo e Próximos Passos