فایل robots.txt: راهنمای جامع و کامل
فایل robots.txt یکی از ابزارهای مهم در بهینهسازی موتورهای جستجو (SEO) و مدیریت وبسایت است. در این راهنما، تمامی جنبههای مهم این فایل را بررسی میکنیم.
مفهوم اصلی robots.txt چیست؟
فایل robots.txt یک فایل متنی ساده است که در مسیر ریشه وبسایت قرار میگیرد و به خزندههای موتورهای جستجو (web crawlers) اطلاع میدهد که کدام قسمتهای سایت را میتوانند بررسی کنند و کدام قسمتها را باید نادیده بگیرند. این فایل بخشی از پروتکل استاندارد محدودیت روباتها (Robots Exclusion Protocol) است.
چرا robots.txt مهم است؟
- مدیریت منابع سرور: با محدود کردن خزش صفحات غیرضروری، بار روی سرور را کاهش میدهد.
- جلوگیری از ایندکس محتوای خصوصی: از دسترسی موتورهای جستجو به بخشهای خصوصی سایت جلوگیری میکند.
- بهینهسازی بودجه خزش: کمک میکند تا موتورهای جستجو زمان خود را روی صفحات مهمتر متمرکز کنند.
- مدیریت محتوای تکراری: میتواند از ایندکس شدن محتوای تکراری جلوگیری کند.
موقعیت و دسترسی به فایل robots.txt
فایل robots.txt باید دقیقاً در مسیر ریشه دامنه قرار گیرد:
- برای دامنه اصلی: https://example.com/robots.txt
- برای زیردامنه: https://subdomain.example.com/robots.txt
هر دامنه و زیردامنه باید فایل robots.txt مخصوص به خود را داشته باشد.
ساختار و دستورات اصلی robots.txt
دستورات پایه
User-agent: [نام روبات]
Disallow: [مسیر ممنوعه]
Allow: [مسیر مجاز]
- User-agent: مشخص میکند که قوانین برای کدام روباتها اعمال شود.
- Disallow: مسیرهایی که نباید خزش شوند.
- Allow: مسیرهایی که میتوانند خزش شوند (برای استثنا قائل شدن در زیرمجموعه یک مسیر ممنوعه).
مثالهای کاربردی
- ممنوع کردن تمام روباتها از کل سایت:
User-agent: *
Disallow: /
- اجازه دسترسی کامل به تمام روباتها:
User-agent: *
Disallow:
- ممنوع کردن روبات خاص (مثلاً گوگل) از یک مسیر:
User-agent: Googlebot
Disallow: /private/
- ممنوع کردن چندین مسیر:
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /tmp/
- استفاده از Allow برای استثناها:
User-agent: *
Disallow: /content/
Allow: /content/public/
دستورات پیشرفتهتر
Sitemap
میتوانید مسیر نقشه سایت (sitemap) را در robots.txt قرار دهید:
Sitemap: https://example.com/sitemap.xml
Crawl-delay
برای تنظیم فاصله زمانی بین هر درخواست روبات (بیشتر برای روباتهای Bing و Yahoo کاربرد دارد):
User-agent: Bingbot
Crawl-delay: 10
نوسینتکس برای گوگل و بینگ
گوگل و بینگ هر دو از ماژولهای * و $ در مسیرها پشتیبانی میکنند:
User-agent: Googlebot
Disallow: /*.pdf$ # ممنوع کردن تمام فایلهای PDF
نکات مهم در نوشتن robots.txt
- موردحساس بودن: فایل robots.txt نسبت به حروف بزرگ و کوچک حساس است. برای مثال /Private/ با /private/ متفاوت است.
- محدودیتهای امنیتی: فایل robots.txt یک مکانیزم امنیتی نیست. روباتهای مخرب میتوانند این دستورات را نادیده بگیرند.
- خطاهای رایج:
- استفاده از فضای خالی بین دستورات و مقادیر
- قرار ندادن فایل در مسیر صحیح
- استفاده نادرست از علامتها و نمادها
- تأثیر بر SEO: محدود کردن بیش از حد صفحات میتواند به رتبهبندی سایت آسیب برساند.
- تست فایل: همیشه فایل robots.txt خود را با ابزارهای مخصوص تست کنید.
راهنمای گام به گام نوشتن فایل robots.txt مناسب
1. شناسایی مسیرهای مهم
ابتدا مشخص کنید که کدام قسمتهای سایت باید برای موتورهای جستجو قابل دسترسی باشند و کدامها نباید ایندکس شوند:
- صفحات مربوط به مدیریت (admin)
- صفحات ورود و پنل کاربری
- فایلهای موقت
- صفحات آزمایشی و توسعه
- صفحات تکراری یا پیشنمایش
2. نوشتن فایل اصلی
یک فایل متنی ساده با نام robots.txt ایجاد کنید و قوانین مورد نیاز را بنویسید:
# robots.txt برای example.com
# آخرین بهروزرسانی: [تاریخ]
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /tmp/
Disallow: /private-files/
Allow: /public/downloads/
# قوانین خاص برای Google
User-agent: Googlebot
Disallow: /not-for-google/
# قوانین خاص برای Bingbot
User-agent: Bingbot
Disallow: /not-for-bing/
Crawl-delay: 5
# نقشه سایت
Sitemap: https://example.com/sitemap.xml
3. بارگذاری فایل
فایل robots.txt را در مسیر ریشه وبسایت خود قرار دهید.
4. تست فایل
از ابزارهای زیر برای بررسی صحت فایل خود استفاده کنید:
- Google Search Console
- ابزار تست robots.txt آنلاین
5. بررسی و بهروزرسانی منظم
فایل robots.txt را به طور منظم (مثلاً هنگام تغییرات ساختاری در سایت) بررسی و بهروز کنید.
نمونههای کاربردی robots.txt
برای یک وبلاگ یا سایت محتوایی
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Sitemap: https://yourblog.com/sitemap.xml
برای یک فروشگاه آنلاین
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search?*
Disallow: /*?orderby=
Disallow: /*?filter=
Sitemap: https://yourstore.com/sitemap.xml
برای سایت در حال توسعه
User-agent: *
Disallow: /
عیبیابی مشکلات رایج robots.txt
- عدم رعایت مسیرها: اطمینان حاصل کنید که مسیرها با / شروع میشوند.
- عدم رعایت سلسله مراتب دستورات: دستورات Disallow باید بعد از User-agent قرار گیرند.
- تداخل قوانین: قوانین با اولویت بالاتر مشخص شوند.
- نادیده گرفتن فایل توسط روباتها: بررسی کنید که آیا فایل در مسیر صحیح قرار گرفته است.
نتیجهگیری
فایل robots.txt یک ابزار قدرتمند برای مدیریت نحوه خزش موتورهای جستجو در سایت شماست. با استفاده صحیح از آن میتوانید تجربه کاربری بهتر و بهینهسازی بهتری برای موتورهای جستجو فراهم کنید. به یاد داشته باشید که این فایل را به طور منظم بررسی و بروزرسانی کنید، به ویژه هنگامی که تغییرات ساختاری در سایت خود ایجاد میکنید.