En 1996 brewster kahle, con bruce gilliat, desarrolló software para gatear y descargar todas las páginas web de world wide world, la jerarquía de la tuza, el sistema de junta de anuncios de netnews (usenet), y el software descargable. La información recogida por estos rastreadores no incluye toda la información disponible en internet, ya que gran parte de los datos está restringido por el editor o almacenado en las bases de datos que no son accesibles. estos rastreadores también respetan la norma de exclusión de robots para sitios web cuyos propietarios optan por que no aparezcan en los resultados de búsqueda o estén en caché. Para superar las inconsistencias en sitios web parcialmente en caché, Archivo-It. org fue desarrollado en 2005 por el archivo de internet como medio de permitir a las instituciones y creadores de contenido para cosechar y preservar voluntariamente las colecciones de contenido digital, y crear archivos digitales.
Qué es un término utilizado para los programas que visitan automáticamente los sitios web y registran los datos que encuentran?
Rastreadores