robots.txt e mappa del sito

La mappa del sito si trova all'indirizzo /sitemap.xml e viene generata automaticamente a ogni richiesta — non c'è alcun file su disco e non serve crearlo. Vi rientrano solo le pagine con livello di accesso «Tutti»; le versioni linguistiche sono elencate all'interno di un'unica voce, come richiede Google. Una sezione nascosta in una certa lingua («Sezioni e informer per lingua» nella scheda «Lingue del sito») non entra nella mappa per quella lingua.

robots.txt si apre all'indirizzo /robots.txt: il visitatore e il crawler dei motori di ricerca vedranno il testo, mentre tu vedrai l'editor. Lo stesso testo si modifica anche nella finestra della sezione, con il pulsante «Impostazioni del modulo», campo «Contenuto di robots.txt». Qui il campo vuoto ha un senso: significa «genera automaticamente», e il motore scriverà da sé un file sensato con il link alla mappa del sito.

La sezione robots.txt esiste su ogni sito, ma non viene mostrata nel menu — è normale.

Se non funziona

• Le modifiche a robots.txt non si vedono. Se sul server, nella radice del sito, c'è un vero file robots.txt, il server web lo restituisce e la richiesta non arriva al motore. Il file va eliminato.
• La pagina non è nella mappa del sito. Controlla il livello di accesso: tutto ciò che non è «Tutti» non entra nella mappa. Non vi rientrano nemmeno gli indirizzi con estensione e gli informer.