robots.txt und Sitemap

Die Sitemap liegt unter /sitemap.xml und wird bei jeder Anfrage automatisch erstellt — es gibt keine Datei auf der Festplatte und sie muss nicht angelegt werden. Nur Seiten mit der Zugriffsebene „Alle“ werden aufgenommen; Sprachversionen werden innerhalb eines Eintrags aufgelistet, wie von Google gefordert.

robots.txt wird unter /robots.txt geöffnet: Besucher und Suchmaschinen-Roboter sehen den Text, Sie sehen den Editor. Ein leeres Feld ist hier sinnvoll: Es bedeutet „automatisch erstellen“, und die Engine schreibt selbst eine vernünftige Datei mit einem Link zur Sitemap.

Der Bereich robots.txt existiert auf jeder Website, wird aber nicht im Menü angezeigt — das ist normal.

Wenn es nicht geklappt hat

• Änderungen an robots.txt sind nicht sichtbar. Wenn auf dem Server im Website-Stamm eine echte Datei robots.txt liegt, liefert der Webserver sie aus und die Anfrage erreicht die Engine nicht. Die Datei muss gelöscht werden.
• Seite ist nicht in der Sitemap. Prüfen Sie die Zugriffsebene: Alles außer „Alle“ wird nicht in die Sitemap aufgenommen. Auch Adressen mit Erweiterung und Informer werden nicht aufgenommen.