پس از این که سایت خود را در بخش سرچ کنسول گوگل ثبت کنید، گوگل از نظر یک کاربر شروع به بررسی صفحات سایت شما میکند. در این بررسی، چنانچه گوگل با خطایی مواجه شود که امکان دسترسی به صفحهای از سایت شما را مسدود کرده است، در طی یک ایمیل آن را به شما اطلاع میدهد. همچنین در بخش Coverage issue نیز جزییات خطاها را نمایش میدهد تا بتوانید به سرعت آن را برطرف کنید.
یکی از این خطاها، Submitted URL blocked by robots.txt است که جزء دستهی top error قرار میگیرد و به این معنی است که باید به سرعت رفع شود تا دسترسی به آن برای کاربر فراهم شود.
در این مطلب بخوانید
robots.txt
فایل robot.txt یکی از فایلهای مهم سئو سایت است. رباتهای جستجوی گوگل در نمایش سایت به کاربر تصمیم گیرنده هستند. این فایل برای گزارش صفحات سایت به موتورهای جستجو به منظور نمایش یا عدم نمایش صفحات سایت به کار برده میشود.
robot.txt یک فایل متنی است که قابل دسترسی و ویرایش است. یعنی میتوان دستورات دلخواه را در آن وارد کرد وبه اصطلاح آن را بهینهسازی کرده و به افزایش رتبه سایت خود کمک کنید. این فایل در روت اصلی هاست قرار میگیرد. میتوانید با وارد کرد آدرس سایت خود و نام این فایل به این شکل ” www.yourwebsite.ir/robots.txt”، به آن دسترسی داشته باشید.
نحوه کار فایل robot.txt
گوگل قبل از کرول صفحات برای پیدا کردن محتوا، ابتدا فایل robot.txt را بررسی و طبق دستورات موجود در فایل شروع به ایندکس صفحات برای نمایش آنها میکند.
یکی از کاربردهای فایل robot.txt، جلوگیری از ایندکس شدن صفحات سایت است. شما میتوانید در فایل robot.txt مشخص کنید کدام صفحات توسط گوگل بررسی و ایندکس شوند. به این صورت که با وارد کردن کدهایی و اعمال دستوراتی نظیر allow/disallow در این فایل، گوگل را از ایندکس کردن صفحات مورد نظر خود منع کنید.
حال اگر شما درخواست ایندکس صفحهای را دادهاید و یا صفحهای را قبلا ایندکس کردهاید اما این صفحه توسط فایل robot.txt محدود شدهاست، خطای Submitted URL blocked by robots.txt رخ میدهد.
برای حل این خطا دو راه حل وجود دارد:
محدودیت صفحه مورد نظر برای ایندکس را در فایل robot.txt اصلاح کنید تا ایندکس انجام شود و روی دکمه Validate Fix کلیک کنید.
یا اینکه صفحه مورد نظر را از لیست درخواست ایندکس حذف کنید تا خطا برطرف شود.
سخن پایانی
خطای Submitted URL blocked by robots.txt به ندرت رخ میدهد اما اگر با آن مواجه شدید، به سرعت برای رفع آن اقدام کنید تا در رتبهبندی سایت شما توسط گوگل، تاثیر منفی نداشته باشد.
