robots.txt और साइटमैप

साइटमैप यहाँ स्थित है /sitemap.xml और हर अनुरोध पर स्वयं बनता है — डिस्क पर कोई फ़ाइल नहीं है और इसे बनाने की आवश्यकता नहीं है। इसमें केवल «सभी के लिए» पहुँच स्तर वाले पृष्ठ शामिल होते हैं; भाषा संस्करण एक ही प्रविष्टि में सूचीबद्ध होते हैं, जैसा कि Google आवश्यक करता है। किसी भाषा में छिपा हुआ अनुभाग («भाषाओं के अनुसार अनुभाग और सूचनाकर्ता» «साइट की भाषाएँ» टैब पर) उस भाषा के लिए साइटमैप में शामिल नहीं होता।

robots.txt यहाँ खुलता है /robots.txt: आगंतुक और सर्च इंजन रोबोट टेक्स्ट देखेंगे, और आप — संपादक। वही टेक्स्ट अनुभाग विंडो में भी «मॉड्यूल सेटिंग्स» बटन, फ़ील्ड «robots.txt की सामग्री»से संपादित किया जाता है। यहाँ खाली फ़ील्ड का अर्थ है «स्वचालित रूप से बनाएं», और इंजन स्वयं साइटमैप के लिंक के साथ एक उपयुक्त फ़ाइल लिखेगा।

robots.txt अनुभाग हर साइट पर होता है, लेकिन मेनू में नहीं दिखाया जाता — यह सामान्य है।

यदि सफल नहीं हुआ

• robots.txt में परिवर्तन दिखाई नहीं दे रहे हैं। यदि सर्वर पर साइट की जड़ में वास्तविक फ़ाइल robots.txtमौजूद है, तो वेब सर्वर उसे प्रदान करता है और अनुरोध इंजन तक नहीं पहुँचता। फ़ाइल को हटाना होगा।
• पृष्ठ साइटमैप में नहीं है। पहुँच स्तर जाँचें: «सभी के लिए» के अलावा कुछ भी साइटमैप में शामिल नहीं होता। एक्सटेंशन वाले पते और सूचनाकर्ता भी शामिल नहीं होते।