في 1996 بروستر مااله, مع بروس gilliat, وضع برامج ل الزحف وتحميل جميع صفحات الويب العالمية التي يمكن الوصول اليها للجميع, والنظام ال الهرمي, ونظام مجلس الاعلانات (usenet), والبرامج القابلة للتنزيل. لا تشمل المعلومات التي تجمعها هذهاحفين جميع المعلومات المتاحة على الانترنت, لان الكثير من البيانات مقيدة من قبل الناشر او مخزنة في قواعد البيانات التي لا يمكن الوصول اليها. كما تحترم هذهاحفين معايير استبعاد الروبوتات لمواقع الويب التي يختار اصحابها عدم الظهور في نتائج البحث او ان تكون مؤقتا. 2005-ومن اجل التغلب على اوجه عدم التناقض في مواقع الويب مؤقتا جزئيا, تم تطوير Archive-It.org في عام 2005 بواسطة ارشيف الانترنت بوصفه وسيلة تسمح للمؤسسات و المبدعين في حصاد وحفظ مجموعات من المحتوى الرقمي, وانشاء ارشيف رقمي.
متى كان البرنامج ضروريا ل الزحف و ارشيف الويب الذي تم انشاؤه?
1996