1996 में brewster कहले, ब्रूस gilliat के साथ, सॉफ्टवेयर को क्रॉल और डाउनलोड करने के लिए सभी सार्वजनिक रूप से सुलभ वर्ल्ड वाइड वेब पेज, गोफर पदानुक्रम, netnews (यूज़नेट) बुलेटिन बोर्ड सिस्टम, और डाउनलोड करने योग्य सॉफ्टवेयर । इन क्रॉलर द्वारा एकत्र की गई जानकारी को इंटरनेट पर उपलब्ध सभी जानकारी शामिल नहीं है, क्योंकि अधिक डेटा प्रकाशक द्वारा प्रतिबंधित किया जाता है या डेटाबेस में जमा किया जाता है जो सुलभ नहीं है । ये क्रॉलर उन वेबसाइटों के लिए रोबोट अपवर्जन मानक का भी सम्मान करते हैं जिनके स्वामी उन्हें खोज परिणामों में दिखाई नहीं देते हैं या कैश नहीं कर सकते हैं । आंशिक रूप से कैश किए गए वेब साइटों में विसंगतियों को पार करने के लिए, आर्काइव-आईटी. org को 2005 में इंटरनेट संग्रह द्वारा संस्थानों और सामग्री निर्माताओं को स्वेच्छा से फसल के संग्रह और डिजिटल सामग्री के संग्रह को संरक्षित करने के एक साधन के रूप में विकसित किया गया था ।
वेबसाइटों की अधूरी प्रतियों के साथ मुद्दों को कम करने के लिए किस साइट को बनाया गया था?
आर्काइव-आईटी. org