Curso de Web Scraping com Python
O Web Scraping é uma técnica para extrair dados de um site e salvá-los em um arquivo local ou banco de dados.
Este treinamento ministrado por instrutor (online ou presencial) destina-se a desenvolvedores que desejam usar Python para automatizar o processo de crawling em muitos sites para extrair dados para processamento e análise.
No final deste treinamento, os participantes serão capazes de:
- Instalar e configurar Python e todos os pacotes relevantes.
- Recuperar e analisar dados armazenados em muitos sites.
- Compreender como funcionam os sites e como sua HTML está estruturada.
- Construir spiders para rastrear a web em larga escala.
- Usar Selenium para rastrear páginas da web impulsionadas por AJAX.
Formato do Curso
- Aula interativa e discussão.
- Muitos exercícios e prática.
- Implementação hands-on em um ambiente de laboratório ao vivo.
Opções de Customização do Curso
- Este curso pressupõe conhecimento de programação.
- Para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.
Programa do Curso
Introdução
Configurando o Ambiente de Desenvolvimento
Pré-requisito em Python: Estruturas de Dados, Condicionais, Manipulação de Arquivos, etc.
Pacotes Python para Web Scraping: Scrapy e BeautifulSoup
Como Funciona um Site
Como a HTML Está Estruturada
Fazendo uma Requisição Web
Scraping de uma Página HTML
Trabalhando com XPath e CSS
Filtrando Dados Usando Expressões Regulares
Criando um Crawler Web
Crawling Páginas AJAX e JavaScript com Selenium.
Melhores Práticas de Web Scraping
Solução de Problemas
Resumo e Conclusão
Requisitos
- Experiência em programação, preferencialmente em Python. Se os participantes tiverem experiência de programação em uma linguagem diferente de Python, o treinamento pode ser estendido para incluir mais exercícios introdutórios de Python.
Público
- Desenvolvedores
Os cursos de treinamento abertos exigem mais de 5 participantes.
Curso de Web Scraping com Python - Reserva
Curso de Web Scraping com Python - Consulta
Web Scraping com Python - Solicitação de Consultoria
Solicitação de Consultoria
Declaração de Clientes (1)
Muitos exemplos e tópicos diferentes foram abordados, desde investigações básicas até gerenciamento de login e gerenciamento de páginas dinâmicas.
Daniele Tagliaferro - Creditsafe Italia Srl
Curso - Web Scraping with Python
Máquina Traduzida
Próximas Formações Provisórias
Cursos Relacionados
Dimensionando Análise de Dados com Python e Dask
14 HorasEste treinamento liderado por instrutor (online ou presencial) é voltado para cientistas de dados e engenheiros de software que desejam usar o Dask com o ecossistema do Python para construir, escalar e analisar grandes conjuntos de dados.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente para começar a processar big data com Dask e Python.
- Explorar as funcionalidades, bibliotecas, ferramentas e APIs disponíveis no Dask.
- Compreender como o Dask acelera a computação paralela em Python.
- Aprender a escalar o ecossistema do Python (Numpy, SciPy e Pandas) usando o Dask.
- Otimizar o ambiente do Dask para manter alto desempenho no processamento de grandes conjuntos de dados.
Análise de dados em Python usando Pandas e Numpy
14 HorasEste treinamento ao vivo, ministrado por instrutor em Brasil (online ou presencial), é direcionado a desenvolvedores e analistas de dados intermediários que desejam aprimorar suas habilidades em análise e manipulação de dados usando Python, Pandas e NumPy.
No final deste treinamento, os participantes serão capazes de:
- Configurar um ambiente de desenvolvimento que inclua Python, Pandas e NumPy.
- Criar uma aplicação de análise de dados usando Pandas e NumPy.
- Realizar operações avançadas de manipulação, ordenação e filtragem de dados.
- Executar operações agregadas e analisar dados de séries temporais.
- Visualizar dados usando Matplotlib e outras bibliotecas de visualização.
- Depurar e otimizar seu código de análise de dados.
FARM (FastAPI, React e MongoDB) Desenvolvimento Full Stack
14 HorasEste treinamento liderado por instrutor (online ou presencial) é voltado para desenvolvedores que desejam usar a pilha FARM (FastAPI, React e MongoDB) para construir aplicações web dinâmicas, de alto desempenho e escaláveis.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário que integra FastAPI, React e MongoDB.
- Compreender os conceitos-chave, recursos e benefícios da pilha FARM.
- Aprender a construir APIs REST com FastAPI.
- Aprender a projetar aplicações interativas com React.
- Desenvolver, testar e implantar aplicações (front end e back end) usando a pilha FARM.
Desenvolvendo APIs com Python e FastAPI
14 HorasEste treinamento liderado por instrutor (online ou presencial) é destinado a desenvolvedores que desejam usar o FastAPI com Python para construir, testar e implantar APIs RESTful de forma mais fácil e rápida.
Ao final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente de desenvolvimento necessário para desenvolver APIs com Python e FastAPI.
- Criar APIs de maneira mais rápida e fácil usando a biblioteca FastAPI.
- Aprender como criar modelos de dados e esquemas baseados em Pydantic e OpenAPI.
- Conectar APIs a um banco de dados usando SQLAlchemy.
- Implementar segurança e autenticação em APIs usando as ferramentas do FastAPI.
- Criar imagens de contêineres e implantar APIs web em um servidor na nuvem.
Fundamentos de Aprendizado de Máquinas com Python
14 HorasO objetivo deste curso é fornecer uma competência básica na aplicação de métodos Machine Learning na prática. Através do uso do Python linguagem de programação e suas várias bibliotecas, e com base em uma série de exemplos práticos, este curso ensina como usar os blocos de construção mais importantes de Machine Learning, como tomar decisões de modelagem de dados, interpretar as saídas dos algoritmos e validar os resultados.
Nosso objetivo é dar-lhe as habilidades para entender e usar as ferramentas mais fundamentais da caixa de ferramentas de forma confiável e evitar os problemas comuns das aplicações Data Science.
Aprendizagem de Máquina com Python – 4 Dias
28 Horaso objetivo deste curso é fornecer proficiência geral na aplicação de métodos de aprendizado de máquina na prática. Através do uso da linguagem de programação Python e suas várias bibliotecas, e com base em uma infinidade de exemplos práticos, este curso ensina como usar os blocos de construção mais importantes do aprendizado de máquina, como fazer decisões de modelagem de dados, interpretar o saídas dos algoritmos e validar os resultados.
nosso objetivo é dar a você as habilidades para entender e usar as ferramentas mais fundamentais da caixa de ferramentas de aprendizado de máquina com confiança e evitar as armadilhas comuns de aplicações de data Sciences.
Acelerando Fluxos de Trabalho do Python Pandas com o Modin
14 HorasEste treinamento ao vivo conduzido por instrutor em Brasil (no local ou remoto) é destinado a cientistas e desenvolvedores de dados que desejam usar Modin para criar e implementar cálculos paralelos com Pandas para uma análise de dados mais rápida.
No final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente necessário para começar a desenvolver fluxos de trabalho Pandas em escala com Modin.
- Compreender os recursos, a arquitetura e as vantagens de Modin.
- Conhecer as diferenças entre Modin, Dask e Ray.
- Realizar operações Pandas mais rapidamente com Modin.
- Implementar toda a API Pandas e as funções.
Python para Geração de Linguagem Natural (NLG)
21 HorasNesta formação presencial e ministrada por instrutor no Brasil, os participantes aprenderão como usar Python para produzir textos de alta qualidade em linguagem natural, construindo seu próprio sistema NLG do zero. Estudos de caso também serão examinados e conceitos relevantes serão aplicados a projetos práticos de laboratório para gerar conteúdo.
No final desta formação, os participantes serão capazes de:
- Usar NLG para gerar automaticamente conteúdo para diversos setores, desde jornalismo até imóveis e relatórios meteorológicos e esportivos.
- Selecionar e organizar o conteúdo-fonte, planejar frases e preparar um sistema para a geração automática de conteúdo original.
- Compreender o pipeline NLG e aplicar as técnicas adequadas em cada etapa.
- Compreender a arquitetura de um sistema Natural Language Generation (NLG).
- Implementar os algoritmos e modelos mais adequados para análise e ordenação.
- Puxar dados de fontes públicas disponíveis bem como de bancos de dados curados para usar como material para o texto gerado.
- Substituir processos manuais e trabalhosos de redação por criação de conteúdo automatizada e gerada por computador.
Aprendizado de Máquina Avançado com Python
21 HorasNeste treinamento presencial ministrado pelo instrutor em Brasil, os participantes aprenderão as técnicas de aprendizado de máquina mais relevantes e avançadas em Python, enquanto constroem uma série de aplicações demonstrativas envolvendo imagens, música, texto e dados financeiros.
No final deste treinamento, os participantes serão capazes de:
- Implementar algoritmos e técnicas de aprendizado de máquina para resolver problemas complexos.
- Aplique o aprendizado profundo e semi-supervisionado a aplicações envolvendo imagens, música, texto e dados financeiros.
- Levar os algoritmos Python ao seu máximo potencial.
- Usar bibliotecas e pacotes como NumPy e Theano.
Python: Automatizando as Tarefas Entediantes
14 HorasEste treinamento presencial e liderado por um instrutor em Brasil é baseado no livro popular, "Automate the Boring Stuff with Python", de Al Sweigart. É destinado a iniciantes e abrange conceitos essenciais de programação em Python através de exercícios práticos e discussões. O foco está em aprender a escrever código para aumentar dramaticamente a produtividade no escritório.
Ao final deste treinamento, os participantes saberão como programar em Python e aplicar essa nova habilidade para:
- Automatizar tarefas escrevendo programas simples em Python.
- Escrever programas que possam realizar reconhecimento de padrões de texto com "expressões regulares".
- Gerar e atualizar planilhas do Excel programaticamente.
- Analisar documentos PDF e Word.
- Navegar em sites e extrair informações de fontes online.
- Escrever programas que enviam notificações por email.
- Usar as ferramentas de depuração do Python para resolver bugs rapidamente.
- Controlar o mouse e o teclado programaticamente para clicar e digitar em seu nome.
Programação Python para Finanças
35 HorasO Python é uma linguagem de programação que ganhou enorme popularidade na indústria financeira. Adotada pelos maiores bancos de investimento e fundos hedge, ela está sendo usada para construir uma ampla gama de aplicações financeiras, desde programas de negociação principais até sistemas de gerenciamento de riscos.
Neste treinamento ministrado por um instrutor ao vivo, os participantes aprenderão a usar o Python para desenvolver aplicações práticas que resolvem uma série de problemas financeiros específicos.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os fundamentos da linguagem de programação Python
- Baixar, instalar e manter as melhores ferramentas de desenvolvimento para criar aplicações financeiras em Python
- Selecionar e utilizar os pacotes Python mais adequados e técnicas de programação para organizar, visualizar e analisar dados financeiros provenientes de várias fontes (CSV, Excel, bancos de dados, web, etc.)
- Criar aplicações que resolvem problemas relacionados a alocação de ativos, análise de riscos, desempenho dos investimentos e mais
- Solucionar problemas, integrar, implantar e otimizar uma aplicação Python
Público-alvo
- Desenvolvedores
- Analistas
- Quants
Formato do curso
- Parte aula, parte discussão, exercícios e muita prática hands-on
Nota
- Este treinamento visa fornecer soluções para alguns dos principais problemas enfrentados por profissionais financeiros. No entanto, se você tiver um tópico, ferramenta ou técnica específica que deseja adicionar ou aprofundar mais, entre em contato conosco para arranjar.
Python Avançado - 4 Dias
28 HorasEste treinamento presencial e conduzido por instrutores em Brasil (online ou no local) é destinado a desenvolvedores que desejam aprender técnicas avançadas de programação em Python, incluindo como aplicar essa linguagem versátil para resolver problemas nas áreas de aplicações distribuídas, análise de dados e visualização, programação de interface do usuário (UI) e scripting de manutenção.
Programação Python
28 HorasEste curso é destinado a quem deseja aprender a linguagem de programação Python. O foco está na linguagem Python, nas bibliotecas principais e também na seleção das melhores e mais úteis bibliotecas desenvolvidas pela comunidade Python. O Python impulsiona negócios e é usado por cientistas em todo o mundo – é uma das linguagens de programação mais populares.
O curso pode ser ministrado usando a versão mais recente do Python 3.x, com exercícios práticos que aproveitam todo o seu poder. Este curso pode ser realizado em qualquer sistema operacional (todas as variantes do UNIX, incluindo Linux e Mac OS X, bem como Microsoft Windows).
Os exercícios práticos constituem cerca de 70% do tempo do curso, e aproximadamente 30% são demonstrações e apresentações. Discussões e perguntas podem ser feitas ao longo do curso.
Nota: o treinamento pode ser adaptado a necessidades específicas mediante solicitação prévia à data proposta para o curso.
Automatização de Testes com Selenium e Python
14 HorasO Selenium é um framework de código aberto para automação de testes de aplicativos web em diferentes navegadores. Com o Selenium 4, estão disponíveis APIs aprimoradas do WebDriver, localizadores relativos nativos e suporte melhorado à grade. O Python oferece simplicidade e integração forte com frameworks de teste como Pytest, tornando-o uma escolha poderosa para desenvolver suites de automação de testes escaláveis e mantidas.
Este treinamento liderado por instrutor (online ou presencial) é voltado para testadores e desenvolvedores de nível iniciante a intermediário que desejam usar o Selenium com Python para automatizar testes de aplicativos web em ambientes reais.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar e configurar o Selenium com Python em um ambiente de teste.
- Criar scripts robustos de automação de testes usando Selenium WebDriver e Pytest.
- Aplicar o Modelo de Objeto de Página (POM) para frameworks de teste mantidos.
- Executar testes em múltiplos navegadores usando Selenium Grid.
- Integrar testes automatizados com pipelines CI/CD.
- Solucionar problemas comuns e aplicar melhores práticas para estabilidade na automação.
Formato do Curso
- Palestra interativa e discussão.
- Muitos exercícios e prática.
- Implementação hands-on em um ambiente de laboratório ao vivo.
Opções de Personalização do Curso
- Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.
Sumarização de Texto com Python
14 HorasEm Python Machine Learning, o recurso de Sumarização de Texto é capaz de ler o texto de entrada e produzir um resumo de texto. Essa capacidade está disponível a partir da linha de comando ou como uma API/Biblioteca Python. Uma aplicação interessante é a criação rápida de resumos executivos; isso é particularmente útil para organizações que precisam revisar grandes volumes de dados textuais antes de gerar relatórios e apresentações.
Neste treinamento liderado por um instrutor, ao vivo, os participantes aprenderão a usar Python para criar um aplicativo simples que gera automaticamente um resumo do texto de entrada.
Ao final deste treinamento, os participantes serão capazes de:
- Usar a ferramenta de linha de comando que resume textos.
- Projetar e criar código de Sumarização de Texto usando as bibliotecas Python.
- Avaliar três bibliotecas de sumarização Python: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Público
- Programadores
- Cientistas de dados
Formato do curso
- Parte palestra, parte discussão, exercícios e prática prática pesada
