robots.txt وخريطة الموقع

خريطة الموقع تقع على العنوان /sitemap.xml ويتم إنشاؤها تلقائيًا عند كل طلب — لا يوجد ملف على القرص ولا حاجة لإنشائه. لا تدخل فيها إلا الصفحات ذات مستوى الوصول «الجميع»؛ وتُدرج النسخ اللغوية داخل سجل واحد، كما تشترط Google. القسم المخفي في لغة معينة («الأقسام والمعلومات حسب اللغات» في تبويب «لغات الموقع») لا يدخل في خريطة تلك اللغة.

robots.txt يُفتح على العنوان /robots.txt: يرى الزائر ومحرك البحث النص، بينما تراه أنت كمحرر. يُحرَّر النص نفسه أيضًا في نافذة القسم، بزر «إعدادات الوحدة»، الحقل «محتوى robots.txt». الحقل الفارغ هنا منطقي: يعني «أنشئ تلقائيًا»، وسيكتب المحرك بنفسه ملفًا معقولًا مع رابط لخريطة الموقع.

قسم robots.txt موجود في كل موقع، لكنه لا يظهر في القائمة — وهذا طبيعي.

إذا لم ينجح الأمر

• التغييرات في robots.txt غير مرئية. إذا كان على الخادم في جذر الموقع ملف حقيقي باسم robots.txt، فسيقوم خادم الويب بتقديمه ولن يصل الطلب إلى المحرك. يجب حذف الملف.
• الصفحة غير موجودة في خريطة الموقع. تحقق من مستوى الوصول: كل ما عدا «الجميع» لا يدخل في الخريطة. كما لا تدخل العناوين ذات الامتداد والمعلومات.