robots.txt et plan du site

Le plan du site se trouve à l'adresse /sitemap.xml et est généré automatiquement à chaque requête — il n'y a pas de fichier sur le disque et il n'est pas nécessaire de le créer. Seules les pages avec le niveau d'accès « Tous » y figurent ; les versions linguistiques sont listées dans une seule entrée, comme l'exige Google.

robots.txt s'ouvre à l'adresse /robots.txt : le visiteur et le robot d'indexation verront le texte, et vous — l'éditeur. Un champ vide ici est logique : cela signifie « générer automatiquement », et le moteur écrira lui-même un fichier raisonnable avec un lien vers le plan du site.

La section robots.txt existe sur chaque site, mais elle n'apparaît pas dans le menu — c'est normal.

Si cela n'a pas fonctionné

• Les modifications de robots.txt ne sont pas visibles. Si un vrai fichier robots.txt se trouve à la racine du site sur le serveur, le serveur web le renvoie et la requête n'atteint pas le moteur. Le fichier doit être supprimé.
• La page n'est pas dans le plan du site. Vérifiez le niveau d'accès : tout sauf « Tous » n'est pas inclus dans le plan. Les adresses avec extension et les informateurs ne sont pas non plus inclus.