robots.txt ve site haritası

Site haritası /sitemap.xml adresinde bulunur ve her istekte otomatik oluşturulur — diskte dosya yoktur ve oluşturmanıza gerek yoktur. Yalnızca erişim düzeyi «Herkes» olan sayfalar dahil edilir; dil sürümleri Google'ın istediği gibi tek bir kayıt içinde listelenir.

robots.txt /robots.txt adresinde açılır: ziyaretçi ve arama robotu metni görür, siz ise düzenleyiciyi görürsünüz. Buradaki boş alan anlamlıdır: «otomatik oluştur» demektir ve motor site haritasına bağlantı içeren makul bir dosyayı kendisi yazar.

robots.txt bölümü her sitede vardır ancak menüde gösterilmez — bu normaldir.

Başarısız olursa

• robots.txt'deki değişiklikler görünmüyor. Sunucuda sitenin kökünde gerçek bir robots.txt dosyası varsa, web sunucusu onu sunar ve istek motora ulaşmaz. Dosya silinmelidir.
• Sayfa site haritasında yok. Erişim düzeyini kontrol edin: «Herkes» dışındaki hiçbir şey haritaya girmez. Uzantılı adresler ve bilgi formları da girmez.