robots.txt y mapa del sitio

El mapa del sitio se encuentra en la dirección /sitemap.xml y se genera automáticamente en cada solicitud: no hay archivo en disco ni es necesario crearlo. Solo se incluyen las páginas con nivel de acceso «Todos»; las versiones de idioma se enumeran dentro de un mismo registro, como exige Google.

robots.txt se abre en la dirección /robots.txt: el visitante y el robot de búsqueda verán el texto, y usted, el editor. Un campo vacío aquí tiene sentido: significa «generar automáticamente», y el motor escribirá un archivo razonable con enlace al mapa del sitio.

La sección robots.txt existe en cada sitio, pero no se muestra en el menú: es normal.

Si no funcionó

• Los cambios en robots.txt no se ven. Si en el servidor, en la raíz del sitio, hay un archivo real robots.txt, el servidor web lo entrega y la solicitud no llega al motor. Hay que eliminar el archivo.
• La página no está en el mapa del sitio. Compruebe el nivel de acceso: todo lo que no sea «Todos» no se incluye en el mapa. Tampoco se incluyen las direcciones con extensión ni los informadores.