تفاوت میان نسخه‌های «خزنده وب»

۹۲۴ بایت اضافه‌شده ،  ۴ سال پیش
افزودن لیستی از خزنده های وب و کمی توضیحات
برچسب‌ها: ویرایش با تلفن همراه ویرایش با مرورگر تلفن همراه
(افزودن لیستی از خزنده های وب و کمی توضیحات)
== دلایل استفاده ==
به عنوان مثال [[موتورهای جستجوگر]] با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت ، آنالیز و رده‌بندی می‌کند.
 
== نمونه‌ها ==
* Googlebot
* FAST Crawler: یک خزنده‌ی [[رایانش توزیع‌شده|توزیع‌شده]].
* GM Crawl: یک خزنده‌ی بسیار [[مقیاس‌پذیری|مقیاس‌پذیر]] که به شیوه‌ی [[اجاره نرم‌افزار|نرم‌افزار اجاره‌ای]] قابل استفاده است.
* Bingbot: نام خزنده‌ی مربوط به موتور جستجوی [[بینگ]] متعلق به شرکت [[مایکروسافت]]. جایگزین [[wikipedia:Msnbot|Msnbot]].
* PolyBot
* RBSE
* Swiftbot
* WebCrawler
* ''WebRACE''
* WebFountain
* World Wide Web Worm
* Yahoo! Slurp
 
=== نمونه‌های [[متن‌باز]] ===
* Frontena
* GNU Wget
* GRUB
* Heritrix
* [http://www.htdig.org/ ht://Dig]
* HTTrack
* mnoGoSearch
* news-please
* Apache Nutch
* Open Search Server
* PHP-Crawler
* Scrapy
* Seeks
* Sphinx
* StormCrawler
* Xapian
* YaCy
* Octoparse
 
== منابع ==
۸۳

ویرایش