机器人. txt被用作机器人排斥标准的一部分, 一个自愿协议, 因特网档案尊重不允许机器人把其创造者划定的某些页面索引为非限制. 因此, 因特网档案已经无法用到的一些网站, 现在通过馆机器无法进入. 目前, 互联网档案应用机器人. txt规则追溯; 如果一个网站屏蔽了互联网档案, 如医疗保健倡导者, 任何以前的存档页面都不可用. 在被封锁的地点, 只有机器人. txt文件已归档.
机器人排斥标准是什么样的协议?
自愿