Los robots de búsqueda en Internet
De Wikilibros, la colección de libros de texto de contenido libre.
Muchos son los mecanismos y artefactos que existen en la Red para recopilar información sobre las páginas Web que publicamos día a día y que viven para rastrear, capturar y casi fagocitar toda la información posible que van encontrando. Descargan, destripan, clasifican, espían y después organizan nuestros contenidos de una forma más o menos inteligente para sus fines. Existen varios mecanismos para proteger un sitio Web ante estos Bots; intrusos que aumentan los hits a nuestras Webs y a veces sobrecargan el tráfico inoportunamente, pero que luego no hacen nada. Porque existen los Bots buenos y los Bots malos. Y es que hoy en día cualquiera puede hacerse su propio Webbot y dedicarse a descargar en su ordenador unas cuantas páginas o toda la red como Brin y Page en 1998. En argot informático existen muchos nombres para estos artefactos: WebBots, WWWBots, Web Wanderers, Crawlers, Spiders... aunque se suele usar más habitualmente el de crawler, aunque ya se sabe que sobre gustos... Desde la invención de estos artefactos, los responsables de los sitios Web se han afanado por conseguir dotar a sus Webs de una forma de protección contra la acción de los crawlers aunque siempre habrá crawlers malos que no respentan ninguna convención establecida.
