Entrar em Contato
 Duração 14 horas

Programa do Curso

Introdução ao Aprendizado por Reforço a partir de Feedback Humano (RLHF)

  • O que é RLHF e por que ele é importante
  • Comparação com métodos de ajuste fino supervisionado
  • Aplicações de RLHF em sistemas de IA modernos

Modelagem de Recompensas com Feedback Humano

  • Coleta e estruturação de feedback humano
  • Construção e treinamento de modelos de recompensa
  • Avaliação da eficácia dos modelos de recompensa

Aplicação do PPO (Proximal Policy Optimization) no Treinamento

  • Visão geral dos algoritmos PPO para RLHF
  • Implementação do PPO com modelos de recompensa
  • Ajuste fino iterativo e seguro dos modelos

Ajuste Fino Prático de Modelos de Linguagem

  • Preparação de conjuntos de dados para fluxos de trabalho RLHF
  • Ajuste fino prático de um LLM menor utilizando RLHF
  • Desafios e estratégias de mitigação

Escala do RLHF para Sistemas de Produção

  • Considerações de infraestrutura e computação
  • Garantia de qualidade e ciclos de feedback contínuos
  • Melhores práticas para implantação e manutenção

Considerações Éticas e Mitigação de Viés

  • Abordagem de riscos éticos no feedback humano
  • Estratégias de detecção e correção de viés
  • Garantia de alinhamento e saídas seguras

Estudos de Caso e Exemplos do Mundo Real

  • Estudo de caso: Ajuste fino do ChatGPT com RLHF
  • Outras implantações bem-sucedidas de RLHF
  • Aprendizados e insights da indústria

Requisitos

  • Compreensão dos fundamentos de aprendizado supervisionado e aprendizado por reforço
  • Experiência com ajuste fino de modelos e arquiteturas de redes neurais
  • Familiaridade com programação em Python e frameworks de deep learning (ex.: TensorFlow, PyTorch)

Público-Alvo

  • Engenheiros de machine learning
  • Pesquisadores de IA

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas