استاندارد استثناء کردن ربات‌ها: تفاوت میان نسخه‌ها

 

== تاریخچه ==

این استاندارد توسط فردی به نام Martijn Koster در فوریه سال ۱۹۹۴ در حالیکه مشغول به کار برای Nexor بر روی لیست پستی www-talk بود ارائه شد که درواقع اصلی‌ترین کانال ارتباط برای فعالیت‌های WWW-related در آن زمان محسوب می‌شد. Charles Stross ادعا می‌کند که او بعد از نوشتن یک خزندهٔ وب مخرب که موجب قطع ارتباط سهوی (denial of service)برای سرورهای Koster شد باعث شد تا koster این پیشنهاد را بدهد.

 

 

== دربارهٔ استاندارد ==

زمانی که صاحب سایت قصد دادن دستورالعمل‌ها به یک web robots را دارد آن‌ها یک فایل متنی درواقع robots.txt را در ریشه یک وبسایت قرار می‌دهند مانند https://www.example.com/robots.txt این فایل نوشتاری، شامل دستوالعمل در یک قالب‌بندی خاص می‌باشد (مثال زیر را ببینید) ربات‌هایی که از این دستورالعمل‌ها پیروی می‌کنند، سعی می‌کنند که قبل از گرفتن فایل دیگری از این وبسایت، این فایل را بگیرند و دستورالعمل‌ها را بخوانند. درصورت موجود نبودن این فایل ربات‌ها بافرض اینکه صاحب سایت قصد ارائهٔ هیچ دستورالعمل خاصی را ندارد، کل سایت را می‌خزند.

 

 

== جستارهای وابسته ==

== منابع ==

{{پانویس}}

 

 

== مثال‌ها ==

این دستور به همهٔ ربات‌ها می‌گوید که می‌توانند از همهٔ فایل‌ها بازدید کنند چون علامت * یه معنی همهٔ ربات‌ها می‌باشد و چون دستور <code>disallow</code> هیچ مقداری ندارد به این معنی است که هیچ صفحه‌ای disallowed نشده.