robots.txtとサイトマップ

サイトマップは/sitemap.xmlにあり、リクエストごとに自動生成されます。ディスク上のファイルではなく、作成する必要もありません。アクセスレベルが「全員」のページのみが含まれ、言語バージョンはGoogleの要件に従って1つのエントリ内にリストされます。

robots.txtは/robots.txtで開きます。訪問者と検索ロボットにはテキストが表示され、あなたにはエディタが表示されます。ここで空のフィールドは意味があります：「自動生成」を意味し、エンジンがサイトマップへのリンクを含む適切なファイルを自動的に作成します。

robots.txtセクションはすべてのサイトにありますが、メニューには表示されません。これは正常です。

うまくいかない場合

• robots.txtの変更が反映されない。 サーバーのサイトルートに実際のrobots.txtファイルがある場合、ウェブサーバーがそれを返し、リクエストがエンジンに到達しません。ファイルを削除する必要があります。
• ページがサイトマップにない。 アクセスレベルを確認してください。「全員」以外はサイトマップに含まれません。また、拡張子付きのアドレスやインフォーマーも含まれません。