30 می 2026

بهینه‌سازی نقشه سایت و Robots.txt برای خزش بهتر گوگل

فرض کنید یک رستوران بزرگ دارید و گوگل مانند یک بازدیدکننده است که قصد دارد تمام بخش‌های آن را بررسی کند.

اگر در ورودی رستوران یک منوی مرتب در اختیار او قرار دهید و مشخص کنید کدام بخش‌ها مهم‌تر هستند، کار او بسیار ساده‌تر خواهد شد. همچنین اگر توضیح دهید برخی بخش‌ها نیازی به بررسی ندارند، درک دقیق‌تری از ساختار مجموعه شما پیدا می‌کند.

در فضای سئو، Sitemap نقش همان منوی راهنما را دارد و robots.txt مانند یک دستورالعمل برای مسیرهای مجاز و غیرمجاز عمل می‌کند.

این دو فایل به گوگل کمک می‌کنند تا بهتر متوجه شود کدام صفحات سایت اهمیت بیشتری دارند و کدام بخش‌ها نیازی به بررسی ندارند.

در این مطلب بخوانید

نقشه سایت (Sitemap) چیست؟

نقشه سایت یا Sitemap فایلی است که فهرستی از صفحات مهم سایت را در خود دارد و به گوگل اعلام می‌کند:
«این صفحات وجود دارند و لطفاً آن‌ها را بررسی کنید.»

اگر سایت را مانند یک شهر در نظر بگیریم، Sitemap نقش نقشه آن شهر را دارد. بدون این نقشه، گوگل باید صرفاً از طریق لینک‌ها مسیر خود را پیدا کند که در این حالت ممکن است برخی صفحات، به‌ویژه:

صفحات جدید
صفحات بدون لینک داخلی قوی
یا صفحات عمیق‌تر سایت

از دید گوگل پنهان بمانند.

این فایل معمولاً با آدرس yoursite.com/sitemap.xml در دسترس است و با فرمت XML ساخته می‌شود.

نکته مهم این است که در بیشتر سیستم‌های مدیریت محتوا مانند وردپرس، نیازی به ساخت دستی این فایل وجود ندارد و افزونه‌هایی مانند Yoast SEO یا Rank Math آن را به‌صورت خودکار تولید و به‌روزرسانی می‌کنند.

چرا نقشه سایت اهمیت دارد؟

نقشه سایت سه کاربرد اصلی برای وب‌سایت دارد.

اول اینکه باعث می‌شود گوگل سریع‌تر از انتشار صفحات جدید مطلع شود. برای مثال، اگر یک مقاله جدید منتشر کنید، وجود Sitemap می‌تواند باعث شود این صفحه در مدت کوتاه‌تری ایندکس شود، در حالی که بدون آن ممکن است چند روز طول بکشد.

دوم اینکه صفحات یتیم (Orphan Pages) را به گوگل معرفی می‌کند؛ یعنی صفحاتی که از هیچ بخش دیگری از سایت به آن‌ها لینک داده نشده است.

سوم اینکه در سایت‌های بزرگ با صدها یا هزاران صفحه، Sitemap عملاً یک ابزار ضروری است تا مطمئن شوید گوگل همه محتوای شما را به‌درستی شناسایی می‌کند.

نقشه سایت تضمین نمی‌کند صفحات شما حتماً ایندکس شوند، اما شانس دیده شدن آن‌ها را به شکل قابل توجهی افزایش می‌دهد.

بهینه‌سازی نقشه سایت و Robots.txt برای خزش بهتر گوگل

محدودیت‌های نقشه سایت

نقشه سایت در استاندارد گوگل دو محدودیت اصلی دارد:

حداکثر ۵۰ هزار URL در هر فایل
حداکثر حجم ۵۰ مگابایت

اگر سایت کوچکی دارید (مثلاً یک وبلاگ شخصی)، این محدودیت‌ها عملاً تأثیری روی شما ندارند. اما در سایت‌های بزرگ مثل فروشگاه‌های اینترنتی با تعداد بالای محصولات، از ساختاری به نام Sitemap Index استفاده می‌شود.

در این روش، یک فایل اصلی ایجاد می‌شود که به چندین نقشه سایت کوچک‌تر اشاره می‌کند؛ برای مثال:

یک Sitemap برای مقالات
یک Sitemap برای محصولات
یک Sitemap برای دسته‌بندی‌ها

در وردپرس، این ساختار معمولاً به‌صورت خودکار توسط افزونه‌های سئو مدیریت می‌شود و نیازی به تنظیم دستی ندارد.

۷ نکته مهم برای داشتن یک Sitemap استاندارد

برای اینکه نقشه سایت شما عملکرد درستی داشته باشد، بهتر است به این نکات توجه کنید:

فقط صفحات مهم و قابل ایندکس را در Sitemap قرار دهید
صفحاتی مثل سبد خرید، ورود، حساب کاربری و صفحات جستجوی داخلی نباید در Sitemap باشند
صفحات حذف‌شده یا تغییر آدرس داده‌شده باید از Sitemap خارج شوند
تگ lastmod را فقط زمانی به‌روزرسانی کنید که محتوای صفحه واقعاً تغییر کرده باشد
نقشه سایت را حتماً در Google Search Console ثبت کنید
آدرس Sitemap را در فایل Robots.txt نیز قرار دهید
از آدرس‌های HTTPS استفاده کنید و Sitemap را در ریشه دامنه قرار دهید

Robots.txt چیست؟

فایل Robots.txt یک فایل متنی ساده است که در مسیر اصلی سایت (مثل yoursite.com/robots.txt) قرار می‌گیرد و به موتورهای جستجو می‌گوید کدام بخش‌ها را بررسی کنند و کدام بخش‌ها را نادیده بگیرند.

به زبان ساده، این فایل مانند یک راهنمای ورودی برای ربات‌های گوگل عمل می‌کند.

برای درک بهتر، می‌توان سایت را مانند یک خانه در نظر گرفت. در این حالت، Robots.txt مشخص می‌کند بازدیدکننده از کدام اتاق‌ها می‌تواند بازدید کند و کدام بخش‌ها خصوصی هستند.

یک نکته بسیار مهم درباره Robots.txt

نکته‌ای که معمولاً اشتباه برداشت می‌شود این است که:

Robots.txt جلوی ایندکس شدن صفحه را نمی‌گیرد، بلکه فقط از خزش (crawl) جلوگیری می‌کند.

یعنی اگر یک صفحه با این فایل مسدود شود اما از جای دیگری لینک داشته باشد، ممکن است همچنان در نتایج گوگل دیده شود (بدون توضیحات کامل).

اگر هدف شما این است که یک صفحه اصلاً در نتایج گوگل نمایش داده نشود، باید از تگ noindex استفاده کنید، نه Robots.txt.

ساختار ساده یک Robots.txt استاندارد

نمونه زیر یک فایل Robots.txt استاندارد برای سایت وردپرسی است:

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Allow: /wp-admin/admin-ajax.php

Sitemap: https://yoursite.com/sitemap_index.xml

در این فایل:

User-agent مشخص می‌کند قوانین برای همه ربات‌ها اعمال شود
Disallow مسیرهایی را مشخص می‌کند که نباید بررسی شوند
Allow استثناهایی را تعریف می‌کند
Sitemap آدرس نقشه سایت را به گوگل معرفی می‌کند

چه صفحاتی را باید با Robots.txt مسدود کنیم؟

به‌طور کلی بهتر است این صفحات از دسترس ربات‌ها خارج شوند:

صفحات مدیریت سایت
صفحات ورود و ثبت‌نام
سبد خرید و پرداخت
صفحات حساب کاربری
نتایج جستجوی داخلی سایت
صفحات تکراری یا فیلترشده (با پارامترها)

در مقابل، صفحات مهم مثل:

مقالات وبلاگ
صفحات محصول
دسته‌بندی‌ها
صفحه تماس و درباره ما

نباید مسدود شوند، چون این کار می‌تواند به سئوی سایت آسیب بزند.

رابطه نقشه سایت و Robots.txt با بودجه خزش گوگل

گوگل برای هر سایت یک «بودجه خزش» در نظر می‌گیرد، یعنی تعداد مشخصی از صفحات که در یک بازه زمانی بررسی می‌کند.

اگر سایت شما کوچک باشد (مثلاً چند صد یا چند هزار صفحه)، معمولاً این موضوع تأثیر زیادی ندارد. اما در سایت‌های بزرگ مثل فروشگاه‌های اینترنتی یا سایت‌های خبری، این موضوع کاملاً مهم می‌شود.

فرض کنید گوگل روزانه فقط ۱۰۰۰ صفحه از سایت شما را بررسی می‌کند. اگر این تعداد صرف صفحات بی‌ارزش مثل فیلترها یا صفحات تکراری شود، صفحات مهم‌تر مثل محصولات جدید یا مقالات تازه دیرتر ایندکس می‌شوند.

اینجاست که نقش این دو فایل مشخص می‌شود:

Robots.txt کمک می‌کند صفحات غیرضروری اصلاً بررسی نشوند
Sitemap کمک می‌کند صفحات مهم سریع‌تر شناسایی شوند

در واقع این دو فایل کمک می‌کنند بودجه خزش گوگل دقیق‌تر و هوشمندانه‌تر مصرف شود.

چطور بفهمیم همه چیز درست تنظیم شده است؟

برای اطمینان از عملکرد درست Sitemap و Robots.txt، چند بررسی ساده کافی است:

۱. استفاده از Google Search Console

اگر سایت را هنوز در آن ثبت نکرده‌اید، بهتر است این کار را انجام دهید.
در بخش Sitemaps آدرس نقشه سایت را ثبت کنید تا گوگل وضعیت ایندکس شدن صفحات را گزارش دهد.

۲. بررسی گزارش ایندکس

در بخش Pages یا Coverage می‌توانید ببینید:

چه صفحاتی ایندکس شده‌اند
چه صفحاتی مشکل دارند

۳. بررسی مستقیم Robots.txt

کافی است آدرس yoursite.com/robots.txt را در مرورگر باز کنید تا مطمئن شوید تنظیمات درست هستند و چیزی اشتباه وارد نشده است.

۴. تست قبل از تغییرات مهم

اگر قصد تغییر در Robots.txt دارید، بهتر است قبل از انتشار، آن را تست کنید. چون یک خطای کوچک می‌تواند باعث شود کل سایت از دید گوگل خارج شود.

اشتباهات رایج در Sitemap و Robots.txt

۱. بلاک کردن کل سایت

یکی از خطرناک‌ترین اشتباهات این است که در Robots.txt نوشته شود:

Disallow: /

این یعنی شما به گوگل گفته‌اید هیچ بخشی از سایت را بررسی نکند و نتیجه آن حذف کامل سایت از نتایج جستجو خواهد بود.

۲. استفاده همزمان از noindex و Sitemap

قرار دادن صفحات noindex در Sitemap یک تناقض ایجاد می‌کند. چون از یک طرف می‌خواهید گوگل صفحه را ببیند، از طرف دیگر می‌گویید ایندکس نکند.

۳. تغییر بی‌دلیل تاریخ صفحات

اگر بدون تغییر واقعی محتوا، تاریخ همه صفحات در Sitemap را به‌روز کنید، ممکن است اعتماد گوگل کاهش پیدا کند.

۴. مسدود کردن فایل‌های CSS و JS

اگر این فایل‌ها در Robots.txt بسته شوند، گوگل نمی‌تواند سایت را درست رندر کند و این موضوع ممکن است روی رتبه تأثیر منفی بگذارد.

۵. فراموش کردن معرفی Sitemap در Robots.txt

یکی از موارد ساده اما مهم این است که آدرس Sitemap داخل Robots.txt هم قرار بگیرد.

توصیه سفیر به شما !

توصیه سفیر به شما این است که قبل از استفاده، حتماً با یک متخصص مشورت کنید یا در صورت داشتن آشنایی اولیه، از ابزارهایی مانند ChatGPT برای بررسی و اطمینان بیشتر استفاده کنید.