robots.txt ve site haritası

Site haritası şu adreste bulunur /sitemap.xml ve her istekte kendiliğinden oluşturulur — diskte dosya yoktur ve oluşturulmasına gerek yoktur. Haritaya yalnızca erişim düzeyi «Herkese» olan sayfalar girer; dil sürümleri Google'ın gerektirdiği gibi tek bir kayıt içinde listelenir. Belirli bir dilde gizlenen bölüm («Dillere göre bölümler ve bilgi kutuları», «Site dilleri» sekmesinde), o dil için haritaya girmez.

robots.txt şu adreste açılır /robots.txt: ziyaretçi ve arama motoru botu metni görür, siz ise düzenleyiciyi. Aynı metin bölüm penceresinde «Modül ayarları» düğmesiyle, şu alanda da düzenlenir: «robots.txt içeriği». Buradaki boş alan anlamlıdır: «otomatik oluştur» demektir ve motor site haritasına bağlantı içeren makul bir dosyayı kendisi yazar.

robots.txt bölümü her sitede vardır, ancak menüde gösterilmez — bu normaldir.

Eğer başarılı olmadıysa

• robots.txt'deki değişiklikler görünmüyor. Sunucuda sitenin kök dizininde gerçek bir robots.txtdosyası varsa, web sunucusu onu sunar ve istek motora ulaşmaz. Dosya silinmelidir.
• Sayfa site haritasında yok. Erişim düzeyini kontrol edin: «Herkese» dışındaki hiçbir şey haritaya girmez. Uzantılı adresler ve bilgi kutuları da girmez.