robots.txt এবং সাইটম্যাপ

সাইটম্যাপ /sitemap.xml ঠিকানায় অবস্থিত এবং প্রতিটি অনুরোধে স্বয়ংক্রিয়ভাবে তৈরি হয় — ডিস্কে কোনও ফাইল নেই এবং এটি তৈরি করার প্রয়োজন নেই। শুধুমাত্র «সবার জন্য» অ্যাক্সেস স্তরের পৃষ্ঠাগুলি এতে অন্তর্ভুক্ত হয়; ভাষা সংস্করণগুলি Google-এর প্রয়োজন অনুসারে একটি এন্ট্রির মধ্যে তালিকাভুক্ত করা হয়।

robots.txt /robots.txt ঠিকানায় খোলে: দর্শক এবং অনুসন্ধান রোবট টেক্সট দেখবে, এবং আপনি — সম্পাদক। এখানে খালি ফিল্ড অর্থপূর্ণ: এর মানে «স্বয়ংক্রিয়ভাবে সংগ্রহ করুন», এবং ইঞ্জিন নিজেই সাইটম্যাপের লিঙ্ক সহ একটি যুক্তিসঙ্গত ফাইল লিখবে।

robots.txt বিভাগ প্রতিটি সাইটে আছে, কিন্তু মেনুতে এটি দেখানো হয় না — এটি স্বাভাবিক।

যদি কাজ না হয়

• robots.txt-এ পরিবর্তনগুলি দৃশ্যমান নয়। যদি সার্ভারে সাইটের রুটে একটি প্রকৃত robots.txt ফাইল থাকে, ওয়েব সার্ভার এটি পরিবেশন করে এবং অনুরোধ ইঞ্জিনে পৌঁছায় না। ফাইলটি মুছে ফেলতে হবে।
• পৃষ্ঠাটি সাইটম্যাপে নেই। অ্যাক্সেস স্তর পরীক্ষা করুন: «সবার জন্য» ছাড়া সবকিছু সাইটম্যাপে অন্তর্ভুক্ত হয় না। এক্সটেনশন সহ ঠিকানা এবং ইনফরমারগুলিও অন্তর্ভুক্ত হয় না।