Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Duração 14 horas
Programa do Curso
Soberania de IA e Implantação Local de LLMs
- Riscos de LLMs em nuvem: retenção de dados, treinamento com entradas, jurisdição estrangeira.
- Arquitetura do Ollama: servidor de modelos, registro e API compatível com OpenAI.
- Comparação com vLLM, llama.cpp e Text Generation Inference.
- Licenciamento de modelos: termos de Llama, Mistral, Qwen e Gemma.
Instalação e Configuração de Hardware
- Instalando o Ollama em Linux com suporte a CUDA e ROCm.
- Alternativa apenas com CPU e otimização AVX/AVX2.
- Implantação via Docker e mapeamento de volumes persistentes.
- Configuração multi-GPU e estratégias de alocação de VRAM.
Gestão de Modelos
- Buscando modelos do registro do Ollama: ollama pull llama3.
- Importando modelos GGUF do HuggingFace e TheBloke.
- Níveis de quantização: compensações entre Q4_K_M, Q5_K_M e Q8_0.
- Comutação de modelos e limites de carregamento de modelos simultâneos.
Modelfiles Personalizados
- Escrita da sintaxe do Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperatura, top_p e repeat_penalty.
- Engenharia de prompts de sistema para comportamento específico de papel.
- Criação e publicação de modelos personalizados no registro local.
Integração de API
- Endpoint /v1/chat/completions compatível com OpenAI.
- Respostas em streaming e modo JSON.
- Integração com LangChain, LlamaIndex e aplicativos personalizados.
- Autenticação e limitação de taxa com proxy reverso.
Otimização de Desempenho
- Tamanho da janela de contexto e gerenciamento do cache KV.
- Inferência em lote e processamento de solicitações paralelas.
- Alocação de threads de CPU e consciência de NUMA.
- Monitoramento da utilização de GPU e pressão de memória.
Segurança e Conformidade
- Isolamento de rede para endpoints de fornecimento de modelos.
- Filtering de entrada e pipelines de moderação de saída.
- Registro de auditoria de prompts e conclusões.
- Proveniência de modelos e verificação de hash.
Requisitos
- Administração de Linux e containers de nível intermediário.
- Compreensão de alto nível de aprendizado de máquina e modelos de transformers.
- Familiaridade com APIs REST e JSON.
Público-Alvo
- Engenheiros e desenvolvedores de IA que estão substituindo APIs de LLM em nuvem.
- Organizações com dados sensíveis que impedem o uso de modelos em nuvem.
- Equipes de governo e defesa que exigem modelos de linguagem isolados (air-gapped).
