Backend + Crawler · auditor-contatos-web.onrender.com
Auditor de Contatos Web
API FastAPI com Scrapy para auditar páginas públicas, extrair e-mails e salvar histórico.
- Atuação
- Desenvolvedor Back-end
- Status
- Publicado no Render
Demonstração técnica
Auditor de Contatos Web
/ Do problema ao resultado
Problema
Encontrar contatos públicos em sites exige varredura controlada, deduplicação e histórico consultável.
Solução
API REST que agenda uma varredura em background, executa Scrapy, filtra páginas importantes, extrai e-mails e persiste os resultados.
Resultado
API online com Swagger, healthcheck, histórico de varreduras e PostgreSQL em produção.
/ Evidências do case
Escopo real da minha atuação, decisão de engenharia, dificuldade encontrada e forma de validação.
Responsabilidade
Modelagem da API, spider Scrapy, pipeline de deduplicação, persistência, documentação e deploy.
Decisão técnica
FastAPI para expor o fluxo REST e Scrapy isolado em subprocesso para manter o crawler previsível.
Desafio técnico
Transformar uma varredura assíncrona em um histórico consultável com estados de sucesso e erro.
Validação
Testes automatizados para endpoints, extração, pipeline e cenário de erro; validação manual com Postman.
Resultado observável
API online com Swagger, healthcheck, histórico de varreduras e PostgreSQL em produção.
/ Construção
O que sustenta a interface.
Crawler controlado
Filtro de páginas importantes
Extração de e-mails
Deduplicação
Histórico de varreduras
Swagger e Postman
Python · FastAPI · Scrapy · SQLAlchemy · PostgreSQL · Docker · Pytest · Render · Postman
/ Próximo case · 05
