robots.txt و نقشه سایت

نقشه سایت در آدرس /sitemap.xml قرار دارد و در هر درخواست خودکار ساخته می‌شود — فایلی روی دیسک وجود ندارد و نیازی به ساخت آن نیست. فقط صفحاتی با سطح دسترسی «همه» در آن قرار می‌گیرند؛ نسخه‌های زبانی درون یک رکورد فهرست می‌شوند، همان‌طور که گوگل می‌خواهد.

robots.txt در آدرس /robots.txt باز می‌شود: بازدیدکننده و ربات جستجو متن را می‌بینند و شما ویرایشگر را. فیلد خالی در اینجا معنی‌دار است: یعنی «خودکار بساز» و موتور خودش فایل معقولی با پیوند به نقشه سایت می‌نویسد.

بخش robots.txt در هر سایت وجود دارد، اما در منو نمایش داده نمی‌شود — این طبیعی است.

اگر نشد

• تغییرات در robots.txt دیده نمی‌شود. اگر روی سرور در ریشه سایت فایل واقعی robots.txt وجود داشته باشد، وب‌سرور آن را برمی‌گرداند و درخواست به موتور نمی‌رسد. فایل باید حذف شود.
• صفحه در نقشه سایت نیست. سطح دسترسی را بررسی کنید: هر چیزی غیر از «همه» در نقشه قرار نمی‌گیرد. همچنین آدرس‌های دارای پسوند و اینفورمرها نیز قرار نمی‌گیرند.