زیان هابر

در علم آمار، زیان هابر یک تابع زیان است که در رگرسیون لجستیک استفاده شده که نسبت به داده‌های خروجی در مقایسه با زیان خطای مربع حساس است. این گزاره گاهی برای طبقه‌بندی نیز استفاده می‌شود.

تعریف

تابع زیان هابر مجازات‌های انجام شده توسط یک تابع تخمین f را شرح می‌دهد. هابر این تابع را در سال ۱۹۶۴ به صورت زیر تعریف کرد:

$L_{\delta }(a)={\begin{cases}{\frac {1}{2}}{a^{2}}&{\text{for }}|a|\leq \delta ,\\\delta (|a|-{\frac {1}{2}}\delta ),&{\text{otherwise.}}\end{cases}}$

این تابع، برای مقادیر کوچک a درجه دوم و برای مقادیر بزرگ خطی است، با مقادیر برابر و دامنه‌های مختلف در دو نقطه که $|a|=\delta$. مقدار a معمولاً به باقیمانده اشاره دارد که تفاوت بین ارزش‌های مشاهده شده و پیش‌بینی شده‌است، یعنی $a=y-f(x)$. بنابراین حالت قبل را به صورت زیر بسط می‌دهیم:

$L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}(y-f(x))^{2}&{\textrm {for}}|y-f(x)|\leq \delta ,\\\delta \,|y-f(x)|-{\frac {1}{2}}\delta ^{2}&{\textrm {otherwise.}}\end{cases}}$

محرک

دو تابع زیان بسیار معمول توابع، زیان مربع یعنی $L(a)=a^{2}$و زیان قدرمطلق $L(a)=|a|$هستند. تابع زیان مربع نتیجه ای در برآوردگر بی بایاس میانگین محاسباتی است و تابع زیان قدرمطلق، نتیجه ای در تخمین‌گر بایاس نشده میانه و تخمین‌گر بایاس نشده میانه ژئومتری است. زیان مربع دارای مزیت‌های بسیاری است که تمایل به غربالگری دارد و این برای زمانی است که جمع روی مجموعه ای از aها یعنی $(\sum _{i=1}^{n}L(a_{i}))$میانگین نمونه تحت تأثیر چندین مقدار بزرگ و خاص است.

همان‌طور که در بالا تعریف شد، تابع هابر زیان در همسایگی یکنواخت از کمترین مقدار a=۰ محسوس است. با توجه به کران همسایگی یکنواخت، تابع هابر زیان دارای توسیع متفاوتی نسبت تابع آفین در نقاط $a=-\delta$و $a=\delta$است.

تابع زیان شبه هابر

تابع زیان شبه هابر به عنوان تخمین ساده ای از تابع هابر زیان است که بهترین خواص توابع زیان مربع و زیان قدرمطلق را زمانی که نسبت به کمترین و کمتر برای مقادیر زیاد با قویا محدب سازی بیان می‌کند. این وضعیت را می‌توان با مقدار دلتا کنترل کرد. تابع زیان شبه هابر تضمین می‌کند که مشتقات برای تمام درجه‌های پیوسته هستند و به صورت زیر تعریف می وشد:

$L_{\delta }(a)=\delta ^{2}\left({\sqrt {1+(a/\delta )^{2}}}-1\right).$

به این ترتیب این تابع مقدار $a^{2}/2$ را برای مقدار کوچک $a$تخمین می‌زند و تقریباً یک خط مستقیم با شیب دلتا برای مقادیر بزرگ a است.

انواع طبقه‌بندی

برای طبقه‌بندی، مقدار زیان هابر، هابر اصلاح شده نامیده می‌شود. با توجه به تابع پیش‌بینی f و برچسب $y\in \{+1,-1\}$ تعریف هابر اصلاح شده به صورت زیر است:

$L(y,f(x))={\begin{cases}\max(0,1-y\,f(x))^{2}&{\textrm {for}}\,\,y\,f(x)\geq -1,\\-4y\,f(x)&{\textrm {otherwise.}}\end{cases}}$

مقدار ماکزیمم $\max(0,1-y\,f(x))$ زیان مدار است که توسط دستگاه‌های بردار پشتیبانی استفاده می‌شود.

جستارهای وابسته

• رگرسیون لجستیک
• تابع تخمین
• برآوردگر بی بایاس میانگین محاسباتی

منابع

https://en.wikipedia.org/wiki/Huber_loss