Entrar em Contato

Programa do Curso

Introdução aos Modelos de Linguagem Grandes (LLMs)

  • Visão geral dos LLMs
  • Definição e importância
  • Aplicações na IA atualmente

Arquitetura Transformer

  • O que é um transformer e como ele funciona?
  • Componentes principais e características
  • Incorporação (embedding) e codificação posicional
  • Atenção multi-cabeça
  • Rede neural feed-forward
  • Normalização e conexões residuais

Modelos Transformer

  • Mecanismo de autoatenção
  • Arquitetura encoder-decoder
  • Incorporações posicionais
  • BERT (Representações Codificadoras Bidirecionais de Transformers)
  • GPT (Transformer Pré-treinado Generativo)

Otimização de Desempenho e Armadilhas

  • Comprimento do contexto
  • Mamba e modelos de espaço de estado
  • Flash attention
  • Transformers esparsos
  • Transformers de visão
  • Importância da quantização

Melhorando os Transformers

  • Geração de texto aumentada por recuperação
  • Mistura de modelos
  • Árvore de pensamentos

Ajuste Fino (Fine-Tuning)

  • Teoria da adaptação de baixo posto (low-rank adaptation)
  • Fine-Tuning com QLora

Leis de Escala e Otimização em LLMs

  • Importância das leis de escala para LLMs
  • Escala do tamanho dos dados e do modelo
  • Escala computacional
  • Escala da eficiência de parâmetros

Otimização

  • Relação entre o tamanho do modelo, o tamanho dos dados, o orçamento de computação e os requisitos de inferência
  • Otimização do desempenho e eficiência dos LLMs
  • Melhores práticas e ferramentas para treinamento e fine-tuning de LLMs

Treinamento e Ajuste Fino de LLMs

  • Etapas e desafios do treinamento de LLMs do zero
  • Aquisição e manutenção dos dados
  • Requisitos de dados em larga escala, CPU e memória
  • Desafios de otimização
  • Cenário dos LLMs de código aberto

Fundamentos do Aprendizado por Reforço (RL)

  • Introdução ao Aprendizado por Reforço
  • Aprendizado por reforço positivo
  • Definição e conceitos fundamentais
  • Processo de Decisão de Markov (MDP)
  • Programação dinâmica
  • Métodos de Monte Carlo
  • Aprendizado por Diferença Temporal

Aprendizado Profundo por Reforço

  • Deep Q-Networks (DQN)
  • Otimização de Política Próxima (PPO)
  • Elementos do Aprendizado por Reforço

Integração de LLMs e Aprendizado por Reforço

  • Combinação de LLMs com Aprendizado por Reforço
  • Como o RL é utilizado em LLMs
  • Aprendizado por Reforço com Feedback Humano (RLHF)
  • Alternativas ao RLHF

Estudos de Caso e Aplicações

  • Aplicações no mundo real
  • Histórias de sucesso e desafios

Tópicos Avançados

  • Técnicas avançadas
  • Métodos avançados de otimização
  • Pesquisas e desenvolvimentos de ponta

Resumo e Próximos Passos

Requisitos

  • Compreensão básica de Aprendizado de Máquina

Público-Alvo

  • Cientistas de dados
  • Engenheiros de software
 21 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas