robots.txt और साइटमैप

साइटमैप /sitemap.xml पते पर होता है और हर रिक्वेस्ट पर खुद बनता है — डिस्क पर फ़ाइल नहीं होती और बनाने की ज़रूरत नहीं। इसमें सिर्फ़ «सभी के लिए» एक्सेस लेवल वाले पेज आते हैं; भाषा वर्शन एक ही एंट्री में सूचीबद्ध होते हैं, जैसा Google चाहता है।

robots.txt /robots.txt पते पर खुलता है: विज़िटर और सर्च रोबोट को टेक्स्ट दिखेगा, और आपको एडिटर। यहाँ खाली फ़ील्ड का मतलब है «खुद बनाओ», और इंजन खुद साइटमैप के लिंक के साथ उचित फ़ाइल लिख देगा।

robots.txt सेक्शन हर साइट पर होता है, लेकिन मेनू में नहीं दिखता — यह सामान्य है।

अगर काम न बने

• robots.txt में बदलाव नहीं दिख रहे। अगर सर्वर पर साइट की जड़ में असली robots.txt फ़ाइल है, तो वेब सर्वर उसे ही देता है और रिक्वेस्ट इंजन तक नहीं पहुँचती। फ़ाइल हटानी होगी।
• पेज साइटमैप में नहीं है। एक्सेस लेवल जाँचें: «सभी के लिए» के अलावा कुछ भी साइटमैप में नहीं आता। एक्सटेंशन वाले पते और इन्फ़ॉर्मर भी नहीं आते।