Curso de Introdução aos Modelos de Linguagem Grandes (LLMs)

Introdução

• O que são Modelos de Linguagem Grandes (LLMs)?
• LLMs vs. modelos tradicionais de PLN
• Panorama das características e arquitetura dos LLMs
• Desafios e limitações dos LLMs

Compreendendo os LLMs

• O ciclo de vida de um LLM
• Como os LLMs funcionam
• Os principais componentes de um LLM: codificador, decodificador, atenção, embeddings, etc.

Iniciando o Uso

• Configurando o Ambiente de Desenvolvimento
• Instalando um LLM como ferramenta de desenvolvimento, por exemplo, Google Colab, Hugging Face

Trabalhando com LLMs

• Explorando as opções de LLMs disponíveis
• Criando e utilizando um LLM
• Ajustando (fine-tuning) um LLM em um conjunto de dados personalizado

Resumo de Textos

• Compreendendo a tarefa de resumo de textos e suas aplicações
• Utilizando um LLM para resumo extrativo e abstrativo de textos
• Avaliando a qualidade dos resumos gerados utilizando métricas como ROUGE, BLEU, etc.

Perguntas e Respostas

• Compreendendo a tarefa de perguntas e respostas e suas aplicações
• Utilizando um LLM para perguntas e respostas em domínio aberto e fechado
• Avaliando a precisão das respostas geradas utilizando métricas como F1, EM, etc.

Geração de Textos

• Compreendendo a tarefa de geração de textos e suas aplicações
• Utilizando um LLM para geração de texto condicional e incondicional
• Controlando o estilo, tom e conteúdo dos textos gerados através de parâmetros como temperatura, top-k, top-p, etc.

Integração de LLMs com Outros Frameworks e Plataformas

• Utilizando LLMs com PyTorch ou TensorFlow
• Utilizando LLMs com Flask ou Streamlit
• Utilizando LLMs com Google Cloud ou AWS

Solução de Problemas (Troubleshooting)

• Compreendendo os erros e bugs comuns em LLMs
• Utilizando TensorBoard para monitorar e visualizar o processo de treinamento
• Utilizando PyTorch Lightning para simplificar o código de treinamento e melhorar o desempenho
• Utilizando Hugging Face Datasets para carregar e pré-processar os dados

Resumo e Próximos Passos