Robots que visitan páginas WEB

Tecnología
Un robot crawler cumple la funcionalidad de recoger la información desde una página WEB.

En los log de los servidores HTTP nombre del robot se refleja con cabecera UserAgent (versión de browser) por ejemplo Google se identifica con “Mozilla/5.0 (compatible; Googlebot/2.1”

Actualmente en el mundo existan más de 300 Robots identificados que diariamente se encargan de visitar miles de páginas web.

En la página web robotstxt existe una base de datos con detallada descripción...
Leer más