Un poquito de Historia
A principios de los 90, Internet ya tenía más de 20 años de vida, aunque aún su difusión apenas salía del círculo de estudiantes y científicos. Sin embargo, ya se podía observar una gran prolilferación de sitios web y cada vez tenía una mayor popularidad y uso generalizado. Esto hizo necesario alguna forma de buscar una información puntual entre tanta cómo estaba apareciendo y en un tiempo razonable. Aparecen entonces las primeras páginas índices con colecciones de enlaces.
Estos pequeños índices pronto se quedaron pequeños y aparecieron los directorios, que eran índices mejorados con la posibilidad de buscar en bases de datos. Estas bases de datos estaban alimentadas por los propios usuarios y webmasters que solicitaban el ingreso de una url de internet. También se vió mejorado el diseño y la presentación de los resultados.
Se había dado un gran paso, pero los directorios estaban muy limitados. Las búsquedas sólo podían hacerse sobre el título y la descripción, que además tenía que ser introducida a mano por alguna persona.
Así que basándose en la automatización del proceso y la potencia de los ordenadores apareció la tecnología spider que en siguientes capítulos veremos en profundidad.
En esto tuvieron mucho que ver unos estudiantes de la Universidad McGill de Montreal, Peter Deutsch, Alan Emtage y Bill Heelan, cuando al plantearse la pregunta¿Cómo se puede encontrar un fichero?, desarrollaron Archie, una máquina buscadora para servidores FTP.
Archie era un sistema de bases de datos, que llamaba periódicamente a las bibliotecas de ficheros para descubrir de lo que disponían. A la vez, cualquier persona podía llamar a Archie, insertar un nombre de fichero y ver en qué lugar de Internet se podía encontrar