robots.txt এবং সাইটম্যাপ

সাইটম্যাপ অবস্থিত /sitemap.xml এবং প্রতিটি অনুরোধে স্বয়ংক্রিয়ভাবে তৈরি হয় — ডিস্কে কোনো ফাইল নেই এবং এটি তৈরি করার প্রয়োজন নেই। এতে শুধুমাত্র 'সবার জন্য' অ্যাক্সেস লেভেলের পৃষ্ঠাগুলি অন্তর্ভুক্ত হয়; ভাষার সংস্করণগুলি Google-এর প্রয়োজন অনুসারে একটি এন্ট্রির মধ্যে তালিকাভুক্ত করা হয়। কোনো ভাষায় লুকানো বিভাগ ('ভাষা অনুসারে বিভাগ এবং ইনফর্মার' 'সাইটের ভাষা' ট্যাবে) সেই ভাষার জন্য সাইটম্যাপে অন্তর্ভুক্ত হয় না।

robots.txt এখানে খোলা হয় /robots.txt: দর্শনার্থী এবং সার্চ রোবট টেক্সট দেখতে পাবে, এবং আপনি — সম্পাদক। একই টেক্সট বিভাগের উইন্ডোতেও সম্পাদনা করা যায়, 'মডিউল সেটিংস' বোতাম, ক্ষেত্র 'robots.txt এর বিষয়বস্তু'। এখানে খালি ক্ষেত্র অর্থপূর্ণ: এর মানে 'স্বয়ংক্রিয়ভাবে সংগ্রহ করুন', এবং ইঞ্জিন নিজেই সাইটম্যাপের লিঙ্ক সহ একটি যুক্তিসঙ্গত ফাইল লিখবে।

robots.txt বিভাগ প্রতিটি সাইটে আছে, কিন্তু মেনুতে এটি দেখানো হয় না — এটি স্বাভাবিক।

যদি কাজ না হয়

• robots.txt-এ পরিবর্তনগুলি দৃশ্যমান নয়। যদি সার্ভারে সাইটের রুটে একটি প্রকৃত ফাইল থাকে robots.txt, ওয়েব সার্ভার এটি পরিবেশন করে এবং অনুরোধ ইঞ্জিনে পৌঁছায় না। ফাইলটি মুছে ফেলতে হবে।
• পৃষ্ঠাটি সাইটম্যাপে নেই। অ্যাক্সেস লেভেল পরীক্ষা করুন: 'সবার জন্য' ছাড়া সবকিছু সাইটম্যাপে অন্তর্ভুক্ত হয় না। এক্সটেনশন সহ ঠিকানা এবং ইনফর্মারগুলিও অন্তর্ভুক্ত হয় না।