robots.txt i mapa strony

Mapa strony znajduje się pod adresem /sitemap.xml i tworzy się sama przy każdym żądaniu — pliku na dysku nie ma i nie trzeba go tworzyć. Trafiają do niej tylko strony z poziomem dostępu „Wszyscy”; wersje językowe są wymieniane w jednym wpisie, zgodnie z wymaganiami Google.

robots.txt otwiera się pod adresem /robots.txt: odwiedzający i robot wyszukiwarki zobaczą tekst, a ty — edytor. Puste pole tutaj ma sens: oznacza „zbieraj automatycznie”, a silnik sam napisze rozsądny plik z linkiem do mapy strony.

Sekcja robots.txt jest na każdej stronie, ale nie jest pokazywana w menu — to normalne.

Jeśli się nie udało

• Zmiany w robots.txt nie są widoczne. Jeśli na serwerze w katalogu głównym strony leży prawdziwy plik robots.txt, serwer WWW go zwraca i żądanie nie dociera do silnika. Plik trzeba usunąć.
• Strony nie ma w mapie strony. Sprawdź poziom dostępu: wszystko poza „Wszyscy” nie trafia do mapy. Nie trafiają też adresy z rozszerzeniem i informery.