Curso de Modelos de Linguagem Grandes (LLMs) e Aprendizado por Reforço (RL)

Introdução aos Modelos de Linguagem Grandes (LLMs)

• Visão geral dos LLMs
• Definição e importância
• Aplicações na IA atualmente

Arquitetura Transformer

• O que é um transformer e como ele funciona?
• Componentes principais e características
• Incorporação (embedding) e codificação posicional
• Atenção multi-cabeça
• Rede neural feed-forward
• Normalização e conexões residuais

Modelos Transformer

• Mecanismo de autoatenção
• Arquitetura encoder-decoder
• Incorporações posicionais
• BERT (Representações Codificadoras Bidirecionais de Transformers)
• GPT (Transformer Pré-treinado Generativo)

Otimização de Desempenho e Armadilhas

• Comprimento do contexto
• Mamba e modelos de espaço de estado
• Flash attention
• Transformers esparsos
• Transformers de visão
• Importância da quantização

Melhorando os Transformers

• Geração de texto aumentada por recuperação
• Mistura de modelos
• Árvore de pensamentos

Ajuste Fino (Fine-Tuning)

• Teoria da adaptação de baixo posto (low-rank adaptation)
• Fine-Tuning com QLora

Leis de Escala e Otimização em LLMs

• Importância das leis de escala para LLMs
• Escala do tamanho dos dados e do modelo
• Escala computacional
• Escala da eficiência de parâmetros

Otimização

• Relação entre o tamanho do modelo, o tamanho dos dados, o orçamento de computação e os requisitos de inferência
• Otimização do desempenho e eficiência dos LLMs
• Melhores práticas e ferramentas para treinamento e fine-tuning de LLMs

Treinamento e Ajuste Fino de LLMs

• Etapas e desafios do treinamento de LLMs do zero
• Aquisição e manutenção dos dados
• Requisitos de dados em larga escala, CPU e memória
• Desafios de otimização
• Cenário dos LLMs de código aberto

Fundamentos do Aprendizado por Reforço (RL)

• Introdução ao Aprendizado por Reforço
• Aprendizado por reforço positivo
• Definição e conceitos fundamentais
• Processo de Decisão de Markov (MDP)
• Programação dinâmica
• Métodos de Monte Carlo
• Aprendizado por Diferença Temporal

Aprendizado Profundo por Reforço

• Deep Q-Networks (DQN)
• Otimização de Política Próxima (PPO)
• Elementos do Aprendizado por Reforço

Integração de LLMs e Aprendizado por Reforço

• Combinação de LLMs com Aprendizado por Reforço
• Como o RL é utilizado em LLMs
• Aprendizado por Reforço com Feedback Humano (RLHF)
• Alternativas ao RLHF

Estudos de Caso e Aplicações

• Aplicações no mundo real
• Histórias de sucesso e desafios

Tópicos Avançados

• Técnicas avançadas
• Métodos avançados de otimização
• Pesquisas e desenvolvimentos de ponta

Resumo e Próximos Passos