Roboter. txt wird als Teil des Roboter-Ausgrenzung-Standard verwendet, ein freiwilliges Protokoll das Internet Archiv respektiert, dass, Bots von der Indexierung bestimmter Seiten, die von ihrem Schöpfer als off-Limits abgegrenzt werden. Aus diesem Grund hat das Internet-Archiv eine Reihe von Web-Sites, die jetzt durch die Wayback-Maschine unzugänglich sind, nicht erreichbar. Derzeit gilt das Internet-Archiv Roboter. txt Regeln rückwirkend; wenn eine Website das Internet-Archiv blockiert, wie zum Beispiel die Healthcare-Advocates, werden alle zuvor archiviert Seiten aus der Domain nicht ebenfalls verfügbar. In Fällen von gesperrten Websites, nur die Roboter. txt-Datei ist archiviert.
Welche Datei wird verwendet, um die Rechte zu üben, die durch den Roboter Ausgrenzung Standard befördert werden?
Roboter. txt