robots.txt και χάρτης ιστότοπου

Ο χάρτης ιστότοπου βρίσκεται στη διεύθυνση /sitemap.xml και δημιουργείται αυτόματα σε κάθε αίτημα — δεν υπάρχει αρχείο στον δίσκο και δεν χρειάζεται να το δημιουργήσετε. Περιλαμβάνονται μόνο σελίδες με επίπεδο πρόσβασης «Για όλους»; οι γλωσσικές εκδόσεις αναφέρονται μέσα σε μία εγγραφή, όπως απαιτεί η Google.

Το robots.txt ανοίγει στη διεύθυνση /robots.txt: ο επισκέπτης και το ρομπότ αναζήτησης βλέπουν το κείμενο, ενώ εσείς τον επεξεργαστή. Το κενό πεδίο εδώ έχει νόημα: σημαίνει «δημιούργησε αυτόματα», και η μηχανή θα γράψει μόνη της ένα λογικό αρχείο με σύνδεσμο προς τον χάρτη ιστότοπου.

Η ενότητα robots.txt υπάρχει σε κάθε ιστότοπο, αλλά δεν εμφανίζεται στο μενού — αυτό είναι φυσιολογικό.

Αν δεν λειτούργησε

• Οι αλλαγές στο robots.txt δεν φαίνονται. Αν στον διακομιστή, στη ρίζα του ιστότοπου, υπάρχει πραγματικό αρχείο robots.txt, ο διακομιστής ιστού το επιστρέφει και το αίτημα δεν φτάνει στη μηχανή. Το αρχείο πρέπει να διαγραφεί.
• Η σελίδα δεν είναι στον χάρτη ιστότοπου. Ελέγξτε το επίπεδο πρόσβασης: ό,τι δεν είναι «Για όλους» δεν περιλαμβάνεται στον χάρτη. Επίσης δεν περιλαμβάνονται διευθύνσεις με επέκταση και τα informers.