میانگین رتبه متقابل

میانگین رتبه متقابل یک معیار آماری برای ارزیابی هر فرآیندی است که فهرستی از پاسخ‌های احتمالی به نمونه‌ای از پرس‌وجوها را تولید می‌کند که بر اساس احتمال صحت مرتب شده‌اند. رتبه متقابل پاسخ هر پرسش، معکوس ضربی رتبه اولین پاسخ صحیح است: ۱ برای مقام اول،^۱⁄_۲ دوم،^۱⁄_۳ سوم و غیره. میانگین رتبه متقابل میانگین رتبه‌های متقابل نتایج برای یک نمونه از پرس و جوها، Q، است:

${\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!$

بطوریکه ${\text{rank}}_{i}$ به موقعیت رتبه اولین سند مرتبط برای پرس و جوی i-ام اشاره دارد.

مقدار متقابل میانگین رتبه متقابل با میانگین هارمونیک رتبه‌ها مطابقت دارد.

مثال

به عنوان مثال، فرض کنید ما سه نمونه پرس و جو زیر را برای سیستمی داریم که سعی می‌کند کلمات انگلیسی را به جمع آنها ترجمه کند. در هر مورد، سیستم سه حدس می‌زند، که اولین حدس آن چیزی است که فکر می‌کند به احتمال زیاد درست است:

پرس و جو	نتایج پیشنهادی	پاسخ صحیح	رتبه	رتبه متقابل
گربه	گربه، گربه، گربه	گربه‌ها	۳	۱/۳
چنبره	توری، توری، چنبره	توری	۲	۱/۲
ویروس	ویروس‌ها، ویروس‌ها، ویروس‌ها	ویروس‌ها	۱	۱

با توجه به این سه نمونه، می‌توانیم میانگین رتبه متقابل را به صورت (۱/۳) محاسبه کنیم + ۱/۲ + ۱)/۳ = ۱۱/۱۸ یا حدود ۰٫۶۱.

اگر هیچ‌یک از نتایج پیشنهادی درست نباشد، رتبه متقابل ۰ است. توجه داشته باشید که فقط رتبه اولین پاسخ مرتبط در نظر گرفته می‌شود، پاسخ‌های احتمالی مرتبط بیشتر نادیده گرفته می‌شوند. اگر کاربران به موارد مرتبط دیگری نیز علاقه‌مند هستند، میانگین دقت متوسط یک معیار بالقوه جایگزین است.

جستارهای وابسته

• بازیابی اطلاعات
• پرسش و پاسخ