robots.txt και χάρτης ιστότοπου

Ο χάρτης ιστότοπου βρίσκεται στη διεύθυνση /sitemap.xml και δημιουργείται αυτόματα σε κάθε αίτημα — δεν υπάρχει αρχείο στον δίσκο και δεν χρειάζεται να το δημιουργήσετε. Περιλαμβάνονται μόνο σελίδες με επίπεδο πρόσβασης «Όλοι»· οι γλωσσικές εκδόσεις αναφέρονται μέσα σε μία εγγραφή, όπως απαιτεί η Google. Μια ενότητα που είναι κρυμμένη σε κάποια γλώσσα («Ενότητες και informers ανά γλώσσα» στην καρτέλα «Γλώσσες ιστότοπου») δεν περιλαμβάνεται στον χάρτη για αυτή τη γλώσσα.

Το robots.txt ανοίγει στη διεύθυνση /robots.txt: ο επισκέπτης και το ρομπότ αναζήτησης βλέπουν το κείμενο, εσείς βλέπετε τον επεξεργαστή. Το ίδιο κείμενο επεξεργάζεται και στο παράθυρο της ενότητας, με το κουμπί «Ρυθμίσεις module», πεδίο «Περιεχόμενο robots.txt». Το κενό πεδίο εδώ έχει νόημα: σημαίνει «δημιούργησε αυτόματα», και η μηχανή θα γράψει μόνη της ένα λογικό αρχείο με σύνδεσμο προς τον χάρτη ιστότοπου.

Η ενότητα robots.txt υπάρχει σε κάθε ιστότοπο, αλλά δεν εμφανίζεται στο μενού — αυτό είναι φυσιολογικό.

Αν δεν λειτούργησε

• Οι αλλαγές στο robots.txt δεν φαίνονται. Αν στον διακομιστή, στη ρίζα του ιστότοπου, υπάρχει πραγματικό αρχείο robots.txt, ο διακομιστής ιστού το επιστρέφει και το αίτημα δεν φτάνει στη μηχανή. Το αρχείο πρέπει να διαγραφεί.
• Η σελίδα δεν είναι στον χάρτη ιστότοπου. Ελέγξτε το επίπεδο πρόσβασης: ό,τι δεν είναι «Όλοι» δεν περιλαμβάνεται στον χάρτη. Επίσης δεν περιλαμβάνονται διευθύνσεις με επέκταση και informers.