robots.txt و نقشه سایت

نقشه سایت در آدرس زیر قرار دارد /sitemap.xml و در هر درخواست به صورت خودکار ساخته می‌شود — فایلی روی دیسک وجود ندارد و نیازی به ایجاد آن نیست. فقط صفحاتی با سطح دسترسی «همه» در آن قرار می‌گیرند؛ نسخه‌های زبانی درون یک ورودی فهرست می‌شوند، همان‌طور که گوگل می‌خواهد. بخشی که در یک زبان پنهان شده است («بخش‌ها و اطلاع‌رسان‌ها بر اساس زبان» در تب «زبان‌های سایت»)، برای آن زبان در نقشه قرار نمی‌گیرد.

robots.txt در آدرس زیر باز می‌شود /robots.txt: بازدیدکننده و ربات جستجوگر متن را می‌بینند، و شما — ویرایشگر. همان متن در پنجره بخش نیز با دکمه «تنظیمات ماژول»، فیلد «محتوای robots.txt»ویرایش می‌شود. خالی بودن این فیلد معنی‌دار است: یعنی «به صورت خودکار جمع‌آوری کن»، و موتور خودش فایل معقولی با پیوند به نقشه سایت می‌نویسد.

بخش robots.txt در هر سایتی وجود دارد، اما در منو نمایش داده نمی‌شود — این طبیعی است.

اگر موفق نشد

• تغییرات در robots.txt دیده نمی‌شوند. اگر روی سرور در ریشه سایت فایل واقعی robots.txtوجود داشته باشد، وب‌سرور آن را ارائه می‌دهد و درخواست به موتور نمی‌رسد. فایل باید حذف شود.
• صفحه در نقشه سایت نیست. سطح دسترسی را بررسی کنید: هر چیزی غیر از «همه» در نقشه قرار نمی‌گیرد. همچنین آدرس‌های دارای پسوند و اطلاع‌رسان‌ها نیز قرار نمی‌گیرند.