1996年, 布鲁斯特·卡利, 与布鲁斯· gilliat, 开发软件, 以爬行和下载所有公开可访问的世界网页, gopher等级, 新闻(usenet)公告板系统, 和可下载的软件这些爬虫收集的信息不包括互联网上的所有信息, 因为很多数据受到出版商的限制或储存在无法获得的数据库中. 这些爬行者还尊重机器人 排斥 标准, 网站的主人选择他们不会出现在搜索结果或被缓存. 为了克服部分缓存的网站的不一致之处, Archive-It.org于2005年由互联网档案开发, 作为允许机构和内容创作者自愿收获和保存数字内容收藏, 并创建数字档案的一种手段.
对于自动访问网站并记录他们找到的数据的程序来说, 一个术语是什么?
爬行 者