El fichero robots.txt es un instrumento clave para controlar cómo los buscadores exploran tu sitio web . Permite a los bots Crear cuenta instrucciones sobre qué partes de tu sitio pueden ser rastre