robots.txt وخريطة الموقع

خريطة الموقع موجودة على العنوان /sitemap.xml وتُجمّع تلقائيًا عند كل طلب — لا يوجد ملف على القرص ولا حاجة لإنشائه. تدخل فيها فقط الصفحات بمستوى وصول «الجميع»؛ وتُدرج النسخ اللغوية داخل سجل واحد، كما يطلب Google.

robots.txt يُفتح على العنوان /robots.txt: الزائر وعنكبوت البحث يريان النص، وأنت ترى المحرر. الحقل الفارغ هنا منطقي: يعني «جمّع تلقائيًا»، وسيكتب المحرك بنفسه ملفًا معقولًا مع رابط لخريطة الموقع.

قسم robots.txt موجود في كل موقع، لكنه لا يظهر في القائمة — هذا طبيعي.

إذا لم تنجح

• التغييرات في robots.txt غير ظاهرة. إذا كان على الخادم في جذر الموقع ملف robots.txt حقيقي، فخادم الويب يقدمه ولا يصل الطلب إلى المحرك. يجب حذف الملف.
• الصفحة غير موجودة في خريطة الموقع. تحقق من مستوى الوصول: كل ما عدا «الجميع» لا يدخل الخريطة. كذلك لا تدخل العناوين ذات الامتداد والمعلوماتية.