Im Jahr 1996 entwickelte Brewster Kahle, mit Bruce Gilliat, Software zum kriechen und Download aller öffentlich zugänglichen World Wide Web Seiten, der Gopher-Hierarchie, dem Netnews (Usenet) Bulletin-Board-System und Download-Software. Die von diesen Crawler gesammelten Informationen beinhalten nicht alle Informationen, die im Internet verfügbar sind, da viele der Daten vom Verlag eingeschränkt oder in Datenbanken gespeichert sind, die nicht zugänglich sind. Diese Crawler respektieren auch den Roboter-Ausschluss-Standard für Websites, deren Besitzer sich dafür entscheiden, dass sie nicht in den Suche erscheinen oder zwischengespeichert werden. Um Ungereimtheiten in teilweise zwischengespeichert Web-Sites zu überwinden, wurde Archive-It.org im Jahr 2005 durch das Internet Archiv entwickelt, um Institutionen und Content-Creators zu ermöglichen, die Sammlungen von digitalen Inhalten freiwillig zu ernten und zu erhalten, und digitale Archive zu erstellen.
Wann war das Programm, das notwendig ist, um das Web zu kriechen und zu archivieren?
1996