Blocked by robots.txt সমাধান! Submitted URL Blocked by robots.txt in Google Search Consol?

Blocked by robots.txt সমাধান: গুগল সার্চ কনসোলের ইনডেক্সিং সমস্যা দূর করুন

গুগল সার্চ কনসোলে (GSC) অনেক সময় "Submitted URL Blocked by robots.txt" ওয়ার্নিং দেখা যায়। এর মানে হলো, আপনি গুগলকে আপনার সাইটের কোনো পেজ ইনডেক্স করতে বলছেন, কিন্তু আপনার সাইটের robots.txt ফাইলটি গুগল ক্রলারকে সেই পেজে প্রবেশ করতে বাধা দিচ্ছে। আজ আমরা জানবো কেন এই সমস্যা হয় এবং কিভাবে এটি স্থায়ীভাবে সমাধান করবেন।

কেন এই ওয়ার্নিংটি আসে?

robots.txt হলো একটি নির্দেশিকা ফাইল যা সার্চ ইঞ্জিন ক্রলারদের জানায় আপনার সাইটের কোন কোন পেজে তারা যেতে পারবে এবং কোনগুলোতে পারবে না। যদি ভুলবশত আপনার গুরুত্বপূর্ণ কোনো পেজ বা ক্যাটাগরি 'Disallow' করা থাকে, তবে গুগল সেটি ইনডেক্স করতে পারে না।

ভুল কনফিগারেশনের উদাহরণ:

Disallow: /search/
Disallow: /label/
Disallow: /private/

যদি আপনার কোনো গুরুত্বপূর্ণ পোস্টের URL-এ উপরের শব্দগুলো থাকে, তবে গুগল সেটি ব্লক করে দিবে।

“Blocked by robots.txt” সমস্যার সমাধান

এই সমস্যাটি সমাধান করতে নিচের ধাপগুলো অনুসরণ করুন:

ধাপ ১: URL Inspection টুল ব্যবহার: গুগল সার্চ কনসোলে গিয়ে আপনার ব্লক হওয়া URL-টি সার্চ বারে দিন। সেখানে 'Test Live URL' বাটনে ক্লিক করে নিশ্চিত হোন যে সমস্যাটি আসলেই robots.txt ফাইলের কারণে কি না।

ধাপ ২: robots.txt ফাইল চেক: আপনার ব্রাউজারে yourdomain.com/robots.txt লিখে সার্চ করুন। দেখুন সেখানে কোনো 'Disallow' কমান্ড আপনার প্রয়োজনীয় পেজকে ব্লক করছে কি না।

ধাপ ৩: ফাইল এডিট (Blogger/WordPress): যদি কোনো ভুল নিয়ম থাকে তবে সেটি সরিয়ে দিন। একটি আদর্শ robots.txt ফাইল নিচের মতো হওয়া উচিত:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /login/
Sitemap: https://yourdomain.com/sitemap.xml

ধাপ ৪: Recrawl অনুরোধ: ফাইলটি ঠিক করার পর সার্চ কনসোলে ফিরে যান এবং "Validate Fix" বাটনে ক্লিক করুন অথবা "Request Indexing" অপশনে চাপ দিন।

ইন্ডেক্সড কিন্তু ব্লকড (Indexed though blocked)?

কখনও কখনও গুগল পেজটি ইনডেক্স করে ফেলে কিন্তু robots.txt দিয়ে ব্লক করা থাকে। এটি দূর করতে হলে আপনাকে হয় robots.txt থেকে ব্লক সরাতে হবে অথবা পেজটিতে 'noindex' মেটা ট্যাগ ব্যবহার করতে হবে।

আরও পড়ুন: কিভাবে সাইটম্যাপ (Sitemap) তৈরি করে গুগলে দ্রুত ইন্ডেক্স করবেন?

আমার শেষ কথা

সার্চ ইঞ্জিন অপ্টিমাইজেশন বা SEO-এর জন্য robots.txt ফাইলটি খুবই সংবেদনশীল। সামান্য ভুল পুরো সাইটের র‍্যাঙ্কিং কমিয়ে দিতে পারে। তাই কোনো পরিবর্তন করার আগে অবশ্যই ব্যাকআপ রাখুন। এই সমস্যার প্র্যাকটিক্যাল সমাধান দেখতে আমার ইউটিউব চ্যানেল TechSohag এর ভিডিওটি দেখতে পারেন।

ব্লগিং ও এসইও বিষয়ক নিয়মিত আপডেট পেতে ভিজিট করুন TechSohag.Com। ধন্যবাদ!

সঠিক টেকনিক্যাল এসইও আপনার সাইটকে নিয়ে যাবে গুগল সার্চের শীর্ষে।