robots.txt e mappa del sito

La mappa del sito si trova all'indirizzo /sitemap.xml e viene generata automaticamente ad ogni richiesta — non c'è un file su disco e non serve crearlo. Vi finiscono solo le pagine con livello di accesso «Tutti»; le versioni linguistiche sono elencate all'interno di una singola voce, come richiesto da Google.

robots.txt si apre all'indirizzo /robots.txt: il visitatore e il robot di ricerca vedranno il testo, mentre tu vedrai l'editor. Un campo vuoto qui ha senso: significa «genera automaticamente», e il motore scriverà da solo un file ragionevole con il link alla mappa del sito.

La sezione robots.txt esiste su ogni sito, ma non viene mostrata nel menu — è normale.

Se non ha funzionato

• Le modifiche a robots.txt non sono visibili. Se sul server nella radice del sito c'è un file reale robots.txt, il web server lo restituisce e la richiesta non arriva al motore. Il file va eliminato.
• La pagina non è nella mappa del sito. Controlla il livello di accesso: tutto ciò che non è «Tutti» non finisce nella mappa. Non vi finiscono nemmeno gli indirizzi con estensione e gli informer.