Vamos a entrar en el archivo robots.txt de alguna gran empresa o corporación. Por ejemplo, busca el archivo robots.txt del diario elmundo.es. Haz una captura de pantalla. ¿Puedes entrar en alguno de los enlaces que ahí aparecen? Si es así, pon el enlace en tu trabajo.