استاندارد استثناء کردن ربات‌ها: تفاوت میان نسخه‌ها

'''استاندارد استثنا کردن ربات‌ها''' که همچنین به پروتکل استثنا کردن ربات‌ها شناخته می‌شود یا به زبان ساده‌تر همان robots.txt می‌باشد معیاری برای ارتباط با خزنده‌های وب و روبات‌های وب است. این استاندارد توسط وبسایت‌ها استفاده می‌شود تا چگونگی آگاهی دادن به web robotها دربارهٔ اینکه کدام قسمت از صفحات وب نباید مورد پیمایش قرار گیرد را مشخص کند. ربات‌ها اغلب برای دسته‌بندی کردن وبسایت‌ها توسط موتورهای جستجو مورد استفاده قرار می‌گیرند البته همهٔ ربات‌ها از این معیارها پیروی نمی‌کنند حتی email harvesters، spambots malware و ربات‌هایی که آسیب‌پذیری‌های امنیتی را چک می‌کنند ممکن است کار خود را از قسمت‌هایی از وبسایت شروع کنند که به آنها اجازهٔ ورود داده نشده.