Robots.txt

¿Qué es un archivo Robots.txt?


Un archivo robots.txt en un sitio web funcionará como una petición que especifica que determinados robots no hagan caso a archivos o directorios específicos en su búsqueda. Esto puede realizarse, por ejemplo, para dejar fuera de una preferencia los resultados de una búsqueda avanzada, o de la creencia que el contenido de los directorios seleccionados puede ser engañoso o inaplicable a la clasificación del sitio en su totalidad.

¿Dónde puedo gestionar el archivo Robots.txt de mi web?


Por defecto tu web ya tiene un archivo robots.txt, por lo que puedes obviar esta sección. Esta sección está destinada a aquellos usuarios con conocimientos avanzados y los cuales quieren personalizar este archivo por un motivo en concreto.

Para ello deberás entrar en CONFIG > Robots.txt.



Una vez realizados los cambios recuerda pulsar en Guardar.



Fuente: Wikipedia.org

Sugerencias y base de conocimientos