Entrar em Contato

Programa do Curso

Introdução aos Modelos Multimodais

  • Visão geral do aprendizado de máquina multimodal
  • Aplicações de modelos multimodais
  • Desafios no tratamento de múltiplos tipos de dados

Arquiteturas para Modelos Multimodais

  • Explorando modelos como CLIP, Flamingo e BLIP
  • Compreendendo mecanismos de atenção cruz-modal
  • Considerações arquiteturais para escalabilidade e eficiência

Preparação de Conjuntos de Dados Multimodais

  • Técnicas de coleta e anotação de dados
  • Pré-processamento de entradas de texto, imagens e vídeos
  • Balanejamento de conjuntos de dados para tarefas multimodais

Técnicas de Ajuste Fino para Modelos Multimodais

  • Configuração de pipelines de treinamento para modelos multimodais
  • Gestão de memória e restrições computacionais
  • Tratamento do alinhamento entre modalidades

Aplicações de Modelos Multimodais Ajustados

  • Resposta a perguntas visuais
  • Criação de legendas para imagens e vídeos
  • Geração de conteúdo usando entradas multimodais

Otimização e Avaliação de Desempenho

  • Métricas de avaliação para tarefas multimodais
  • Otimização de latência e throughput para produção
  • Garantindo robustez e consistência entre modalidades

Implantação de Modelos Multimodais

  • Empacotamento de modelos para implantação
  • Inferência escalável em plataformas de nuvem
  • Aplicações em tempo real e integrações

Estudos de Caso e Laboratórios Práticos

  • Ajuste fino do CLIP para recuperação de imagens baseada em conteúdo
  • Treinamento de um chatbot multimodal com texto e vídeo
  • Implementação de sistemas de recuperação cruz-modal

Resumo e Próximos Passos

Requisitos

  • Proficiência em programação Python
  • Compreensão dos conceitos de aprendizado profundo
  • Experiência com ajuste fino de modelos pré-treinados

Público-Alvo

  • Pesquisadores de IA
  • Cientistas de dados
  • Profissionais de aprendizado de máquina
 28 Horas

Número de participantes


Preço por participante

Próximas Formações Provisórias

Categorias Relacionadas