Robots. Txt se utiliza como parte de la norma de exclusión de robots, un protocolo voluntario que el archivo de internet respeta que los bots la de la indexación de ciertas páginas delineado por su creador como fuera de límites. Como resultado, el archivo de internet ha dejado no disponible una serie de sitios web que ahora son inaccesibles a través de la máquina wayback. Actualmente, el archivo de internet aplica robots. Txt reglas retroactivamente; si un sitio bloquea el archivo de internet, como los defensores de la salud, cualquier página previamente archivada desde el dominio se hacen no disponibles también. en casos de sitios bloqueados, sólo los robots. el archivo txt está archivado.
Si un sitio impide que el archivo de internet lo registre, qué archivo todavía se guarda?
Robots. Txt