نوایندکس
قراردادن مقدار نوایندکس (به انگلیسی: noindex) در متاتگ این درخواست را از رباتهای خزنه اینترنتی دارد که از فهرست کردن یک صفحه وب اجتناب کنند.[۱][۲] دلایلی که ممکن است بخواهید از این متا تگ استفاده کنید عبارتند از: توصیه به روباتها برای فهرست نکردن پایگاه دادههای بسیار بزرگ، صفحات وب که بسیار گذرا و موقتی هستند، صفحات وب در حال توسعه، یا چاپگر و نسخههای موبایل پسند. البته تفسیر تگ noindex گاهی از یک موتور جستجو به موتور جستجوی دیگر کمی متفاوت است.
نوایندکس سازی کل صفحات
ویرایش<html>
<head>
<meta name="robots" content="noindex">
<title>Don't index this page</title>
</head>
مقادیر قابل قبول برای متاتگ robots عبارتند از: "none", "all", "index", "noindex", "nofollow" و "follow". استفاده ترکیبی از این مقادیر نیز ممکن است.[۱] برای مثال:
<meta name="robots" content="noindex, follow">
دستورالعملهای محدود به یک ربات خاص
ویرایشدستورالعمل نوایندکس را میتوان تنها به رباتهای خاصی با تعیین اسم ربات در مقدار "name" در متاتگ محدود کرد.
به عنوان مثال، برای مسدود کردن ربات گوگل:[۳]
<meta name="googlebot" content="noindex">
یا برای مسدود کردن ربات بینگ:
<meta name="bingbot" content="noindex">
یا برای مسدود کردن ربات بایدو:
<meta name="baiduspider" content="noindex">
فایل robots.txt
ویرایشفایل robots.txt میتواند برای جلوگیری از خزیدن رباتها استفاده شود.
نوایندکس کردن بخشی از یک صفحه
ویرایشهمچنین ممکن است بخشی از یک صفحه وب، به عنوان مثال متن ناوبری، از نمایه شدن به جای کل صفحه حذف شود. تکنیکهای مختلفی برای انجام این کار وجود دارد. امکان استفاده از چندین در ترکیب وجود دارد. عنکبوت اصلی نمایه سازی گوگل، Googlebot، هیچیک از این تکنیکها را نمیشناسد.
تگ <noindex>
ویرایشموتور جستجوی روسی یاندکس تگ جدید <noindex> را معرفی کرد که از ایندکس محتوای بین تگها جلوگیری میکند. برای معتبر ماندن کد صفحات، میتوان از <!--noindex--> استفاده کرد.[۴]
<p>
Do index this text.
<noindex>Don't index this text.</noindex>
<!--noindex-->Don't index this text.<!--/noindex-->
</p>
سایر خزندههای وب نیز تگ <noindex> را میشناسند.[۵]
میکروفرمت
ویرایشمشخصات میکروفرمتهای پیش نویس ۲۰۰۵ با همین عملکرد وجود دارد. نمایه حذف ربات به دنبال ویژگی و مقدار class="robots-noindex" در تگهای HTML میگردد:[۶]
<p>Do index this text.</p>
<div class="robots-noindex">Don't index this text.</div>
<span class="robots-noindex">Don't index this text.</span>
<p class="robots-noindex">Don't index this text.</p>
استفاده ترکیبی از مقادیر نیز ممکن است،[۶] برای مثال:
<div class="robots-noindex robots-follow">Text.</div>
یاهو
ویرایشدر سال ۲۰۰۷، یاهو! عملکرد مشابه میکروفرمت را به خزنده خود معرفی کرد. با این حال، عنکبوتخزنده یاهو از این نظر ناسازگار است که به دنبال مقدار class="robots-nocontent" و فقط این مقدار میگردد:[۷]
<p>Do index this text.</p>
<div class="robots-nocontent">Don't index this text.</div>
<span class="robots-nocontent">Don't index this text.</span>
<p class="robots-nocontent">Don't index this text.</p>
شیرپوینت
ویرایشآیفیلتر شیرپوینت ۲۰۱۰ محتوای داخل یک تگ <div> با ویژگی و مقدار class="noindex" را حذف می کند. همچنین مشخص نیست که آیا این ویژگی را میتوان برای تگهایی غیر از <div> اعمال کرد یا خیر.[۸]
<p>Do index this text.</p>
<div class="noindex">Don't index this text.</div>
نظرات ساختاریافته
ویرایشجستجوگر گوگل از نظرات ساختاریافته استفاده میکند:[۹]
<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>
سایر خزندهها از نظرات ساختاریافته خود استفاده میکنند.
- ویژگی لینک نوفالو
- استاندارد حذف رباتها
منابع
ویرایش- ↑ ۱٫۰ ۱٫۱ Robots and the META element, Official W3 specification
- ↑ About the Robots <META> tag
- ↑ Using meta tags to block access to your site, Google Webmasters Tools Help
- ↑ "Using HTML tags". webmaster → help. Yandex. Section: <noindex> tag. Retrieved March 25, 2013.
- ↑ "General Search FAQ". Help. Atomz. 2013. Section: How do I exclude parts of my site from being searched?. Archived from the original on 8 December 2021. Retrieved March 23, 2013.
Need to prevent parts of individual pages from being searched? If you want to exclude portions of a page from indexing, surround the text with <noindex> and </noindex> tags. This is useful, for example, if you want to exclude navigation text from searches.
(نیازمند ثبتنام) - ↑ ۶٫۰ ۶٫۱ Janes, Peter (June 18, 2005). "Robot Exclusion Profile". Microformats. Retrieved March 24, 2013.
- ↑ Garg, Priyank (May 2, 2007). "Introducing Robots-Nocontent for Page Sections". Yahoo! Search Blog. Yahoo!. Archived from the original on August 20, 2014. Retrieved March 23, 2013.
- ↑ "Control Search Indexing (Crawling) Within a Page with Noindex". Microsoft Developer. Microsoft. June 7, 2010. Archived from the original on November 4, 2017. Retrieved November 4, 2017.
- ↑ "Administering Crawl: Preparing for a Crawl". Google Search Appliance. Google Inc. August 23, 2012. Section: Excluding Unwanted Text from the Index. Archived from the original on November 23, 2012. Retrieved March 23, 2013.