خطای میانگین مربعات: تفاوت میان نسخه‌ها
محتوای حذف‌شده محتوای افزوده‌شده
ابرابزار |
ادامه کار برچسب‌ها: متن دارای ویکی‌متن نامتناظر ویرایشگر دیداری |
||
خط ۱۲:
:<math>\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(Y_i-\hat{Y_i})^2.</math>
که در آن <math>\left(\frac{1}{n}\sum_{i=1}^n \right)</math> عمل میانگین‌گیری را انجام می‌دهد و <math>(Y_i-\hat{Y_i})^2</math> مقدار مربع خطای هر داده را محاسبه می‌کند. پس MSE میانگین مربع خطاها است.
=== تخمین گر ===
MSE از یک تخمینگر <math>\hat{\theta}</math>با توجه به پارامتر نامعلوم <math>\theta</math>به صورت زیر تعریف می شود:
.<math>\operatorname{MSE(\hat{\theta})}=E_{\hat{\theta}}[(\hat{\theta}-\theta)^2]</math>
این تعریف وابسته به پارامتر نامعلوم و MSE یک ویژگی برای تخمین گر است. از آنجا که MSE امید ریاضی است پس نمی تواند متغیر تصادفی باشد. MSE می تواند یک تابع از پارامترهای نامشخص باشد که در این صورت هر تخمین گر MSE یک تابع داده بر اساس تخمین پارامتر ها است، پس یک متغیر تصادفی است. این شاخص را می تواند به صورت جمع واریانس تخمینگر و مربع بایاس نیز نوشت:
<math>\operatorname{MSE(\hat{\theta})}=Var_{\hat{\theta}}(\hat{\theta})+Bias(\hat{\theta},\theta)^2 .</math>
=== رابطه با واریانس و بایاس یک برآوردگر ===
سطر ۳۴ ⟵ ۴۳:
&= \operatorname{Var}_{\hat\theta}(\hat\theta)+ \operatorname{Bias}_{\hat\theta}(\hat\theta,\theta)^2
\end{align}</math>
=== رگرسیون ===
در تجزیه و تحلیل رگرسیون، این شاخص گاهی برای مقدار غیربایاس واریانس خطا مورد استفاده قرار می گیرد و این به معنای باقیمانده تقسیم مربعات بر درجه آزادی است. در تجزیه و تحلیل رگرسیون از MSE به عنوان میانگین خطای مربع پیش بینی یا خطای مربع میانگین بیرون از نمونه یاد می شود و این می تواند اشاره ای به میانگین مقدار انحراف مربعات پیش بینی ها از مقادیر واقعی داشته باشد. این را می توان در یک فضای آزمایش خارج از نمونه بررسی کرد.
== مثال ها ==
=== میانگین ===
فرض کنید یک نمونه تصادفی <math>n</math>تایی از <math>X_1,\dots,X_n</math>داشته باشیم. این نمونه ها را از جامعه ای انتخاب کردیم که واحد های نمونه با جایگزینی انتخاب شده اند. این واحد ها در یک زمان انتخاب شده اند و واحدهای قبلا انتخاب شده نیز هنوز معتبر هستند. در این حالت تخمین گر معمولی برای <math>\mu</math> میانگین نمونه است:
<math>\bar{X}= \frac{1}{n}\Sigma_{i=1}^{n} X_{i}</math>
که مقدار مورد انتظار برابر با میانگین واقعی است و MSE برابر است با:
<math>\operatorname{MSE(\bar X)}=E[(\bar X - \mu )^2 ]= (\frac{\sigma}{\sqrt n})^2 = \frac{\sigma ^2}{n} .</math>
جایی که <math>\sigma ^2</math>واریانس جامعه است.
برای توزیع گوسی این بهترین تخمینگر غیربایاس است.
=== واریانس ===
تخمین گر معمولی برای واریانس، واریانس نمونه تصحیح شده است:
<math>S^2_{n-1} = \frac{1}{n-1}\sum_{i=1}^n\left(X_i-\overline{X} \right)^2 =\frac{1}{n-1}\left(\sum_{i=1}^n X_i^2-n\overline{X}^2\right).</math>
و MSE:
<math>\operatorname{MSE}(S^2_{n-1})= \frac{1}{n} \left(\mu_4-\frac{n-3}{n-1}\sigma^4\right) =\frac{1}{n} \left(\gamma_2+\frac{2n}{n-1}\right)\sigma^4</math>
که در آن <math>\mu _4</math>چهارمین نقطه توزیع مرکزی یا جامعه است.
با این حال می توان از تخمین گرهای دیگری برای <math>\sigma ^2</math>استفاده کرد که متناسب با <math>S^2_{n-1}</math>هستند و یک انتخاب مناسب همیشه می تواند کمترین میزان خطای مینگین مربع را داشته باشد. اگر داشته باشیم:
<math>S^2_a = \frac{n-1}{a}S^2_{n-1}= \frac{1}{a}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2</math>
آنگاه:
<math>\begin{align}
\operatorname{MSE}(S^2_a)&=\operatorname{E}\left[\left(\frac{n-1}{a} S^2_{n-1}-\sigma^2\right)^2 \right] \\
&= \operatorname{E}\left[ \frac{(n-1)^2}{a^2} S^4_{n-1} -2 \left ( \frac{n-1}{a} S^2_{n-1} \right ) \sigma^2 + \sigma^4 \right ] \\
&= \frac{(n-1)^2}{a^2} \operatorname{E}\left[ S^4_{n-1} \right ] - 2 \left ( \frac{n-1}{a}\right ) \operatorname{E}\left[ S^2_{n-1} \right ] \sigma^2 + \sigma^4 \\
&= \frac{(n-1)^2}{a^2} \operatorname{E}\left[ S^4_{n-1} \right ] - 2 \left ( \frac{n-1}{a}\right ) \sigma^4 + \sigma^4 && \operatorname{E}\left[ S^2_{n-1} \right ] = \sigma^2 \\
&= \frac{(n-1)^2}{a^2} \left ( \frac{\gamma_2}{n} + \frac{n+1}{n-1} \right ) \sigma^4- 2 \left ( \frac{n-1}{a}\right ) \sigma^4+\sigma^4 && \operatorname{E}\left[ S^4_{n-1} \right ] = \operatorname{MSE}(S^2_{n-1}) + \sigma^4 \\
&=\frac{n-1}{n a^2} \left ((n-1)\gamma_2+n^2+n \right ) \sigma^4- 2 \left ( \frac{n-1}{a}\right ) \sigma^4+\sigma^4
\end{align}</math>
و این دارای کمترین مقدار است زمانی که:
<math>a=\frac{(n-1)\gamma_2+n^2+n}{n} = n+1+\frac{n-1}{n}\gamma_2.</math>
در یک توزیع گوسی زمانی که <math>\gamma_2=0</math>میزان MSE به حداقل می رسد.
=== توزیع گوسی ===
در جدول زیر می توانید چندین تخمین گر از مقادیر صحیح جامعه برای حالت گوسی ببینید.
{| class="wikitable"
!مقدار واقعی
!تخمین گر
!خطای میانگین مربعات
|-
|<math>\theta=\mu</math>
|<math>\hat{\theta}</math> = the unbiased estimator of the [[population mean]], <math>\overline{X}=\frac{1}{n}\sum_{i=1}^n(X_i)</math>
|<math>\operatorname{MSE}(\overline{X})=\operatorname{E}((\overline{X}-\mu)^2)=\left(\frac{\sigma}{\sqrt{n}}\right)^2</math>
|-
|<math>\theta=\sigma^2</math>
|<math>\hat{\theta}</math> = the unbiased estimator of the [[population variance]], <math>S^2_{n-1} = \frac{1}{n-1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2</math>
|<math>\operatorname{MSE}(S^2_{n-1})=\operatorname{E}((S^2_{n-1}-\sigma^2)^2)=\frac{2}{n - 1}\sigma^4</math>
|-
|<math>\theta=\sigma^2</math>
|<math>\hat{\theta}</math> = the biased estimator of the [[population variance]], <math>S^2_{n} = \frac{1}{n}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2</math>
|<math>\operatorname{MSE}(S^2_{n})=\operatorname{E}((S^2_{n}-\sigma^2)^2)=\frac{2n - 1}{n^2}\sigma^4</math>
|-
|<math>\theta=\sigma^2</math>
|<math>\hat{\theta}</math> = the biased estimator of the [[population variance]], <math>S^2_{n+1} = \frac{1}{n+1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2</math>
|<math>\operatorname{MSE}(S^2_{n+1})=\operatorname{E}((S^2_{n+1}-\sigma^2)^2)=\frac{2}{n + 1}\sigma^4</math>
|}
== جستارهای وابسته ==
| |||