robots.txt și harta site-ului

Harta site-ului se află la adresa /sitemap.xml și se generează automat la fiecare cerere — nu există un fișier pe disc și nu trebuie creat. Doar paginile cu nivel de acces „Toți” ajung în ea; versiunile lingvistice sunt listate în cadrul unei singure înregistrări, conform cerințelor Google.

robots.txt se deschide la adresa /robots.txt: vizitatorul și robotul de căutare văd textul, iar dumneavoastră — editorul. Un câmp gol aici are sens: înseamnă „generează automat”, iar motorul va scrie singur un fișier rezonabil cu link către harta site-ului.

Secțiunea robots.txt există pe fiecare site, dar nu este afișată în meniu — este normal.

Dacă nu a funcționat

• Modificările în robots.txt nu sunt vizibile. Dacă pe server, în rădăcina site-ului, există un fișier real robots.txt, serverul web îl servește și cererea nu ajunge la motor. Fișierul trebuie șters.
• Pagina nu este în harta site-ului. Verificați nivelul de acces: tot ce nu este „Toți” nu ajunge în hartă. De asemenea, adresele cu extensie și informerele nu sunt incluse.