robots.txt y mapa del sitio

El mapa del sitio está en la dirección /sitemap.xml y se genera solo en cada solicitud: no hay ningún archivo en disco y no hace falta crearlo. Solo incluye las páginas con nivel de acceso «Todos»; las versiones por idioma se enumeran dentro de una misma entrada, como exige Google. Una sección oculta en algún idioma («Secciones e informadores por idiomas» en la pestaña «Idiomas del sitio») no entra en el mapa para ese idioma.

robots.txt se abre en la dirección /robots.txt: el visitante y el robot de búsqueda verán el texto, y tú, un editor. El mismo texto se edita también en la ventana de la sección, con el botón «Ajustes del módulo», campo «Contenido de robots.txt». Aquí el campo vacío tiene sentido: significa «genera automáticamente», y el motor escribirá por sí solo un archivo razonable con un enlace al mapa del sitio.

La sección robots.txt existe en todos los sitios, pero no se muestra en el menú: es normal.

Si no funciona

• No se ven los cambios en robots.txt. Si en la raíz del sitio, en el servidor, hay un archivo robots.txt real, el servidor web lo entrega y la solicitud no llega al motor. Hay que eliminar ese archivo.
• Una página no aparece en el mapa del sitio. Comprueba el nivel de acceso: todo lo que no sea «Todos» no entra en el mapa. Tampoco entran las direcciones con extensión ni los informadores.