WEB CRAWLER

Crawler são bots que rastreiam, extraem e indexam dados em tempo real na Web.

 
Podem ter diversos usos, sendo os mais comuns em mecanismos de busca ou coleta de dados. 
Esses bots também podem ser utilizados para varrer sites ou banco de dados em busca de informações estratégicas de negócios e inteligência de mercado. 

Como funciona?

Os crawlers varrem a web a partir de links e rastreiam imagens, vídeos e documentos. Depois disso, o bot compreende as informações encontradas e indexa em seu banco de dados. 
Por fim, vem a etapa de ranqueamento: conforme a pesquisa, o bot utiliza fatores de ranqueamento para retornar as informações mais relevantes no seu banco de dados para o usuário.