توزیع نرمال چند متغیره

در نظریه احتمال و آمار، توزیع نرمال چند متغیره، توزیع گاوسی چند متغیره، یا توزیع نرمال توأم یک تعمیم از توزیع نرمال یک بعدی (تک متغیره) به ابعاد بالاتر است. یک تعریف این است که اگر هر ترکیب خطی از k عضو یک بردار، توزیع نرمال تک متغیره داشته باشد، به یک بردار تصادفی k متغیره گفته می‌شود که به‌طور نرمال توزیع شده‌است. اهمیت آن عمدتاً از قضیه حد مرکزی چند متغیره ناشی می‌شود. برای توصیف هر مجموعه ای از متغیرهای تصادفی با ارزش حقیقی که احتمالاً همبسته اند و هر کدام حول مقداری متوسط جمع می‌شوند، اغلب از توزیع نرمال چندمتغییره استفاده می‌شود.

تعاریف

علامت گذاری و پارامترسازی

توزیع نرمال چند متغیره یک بردار تصادفی k بعدی به صورت $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ را می‌توان با نماد زیر نوشت:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

یا برای اینکه با صراحت نشان دهیم X از بعد k است،

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

با بردار میانگین k بعدی

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\textbf {T}},$

و ماتریس کوواریانس $k\times k$

$\Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

به طوری که $1\leq i,j\leq k.$ معکوس ماتریس کوواریانس را ماتریس دقت می‌نامند که به صورت ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$ نمایش داده می‌شود.

بردار تصادفی نرمال استاندارد

یک بردار تصادفی حقیقی به صورت $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$، بردار تصادفی نرمال استاندارد نامیده می‌شود اگر تمام اعضای $X_{n}$ مستقل و هر کدام یک متغیر تصادفی با میانگین صفر و واریانس ۱ باشند که به‌طور نرمال توزیع شده‌اند یعنی $X_{n}\sim \ {\mathcal {N}}(0,1)$ برای همه $n$ها.

بردار تصادفی نرمال متمرکز

یک بردار تصادفی حقیقی به صورت $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$، بردار تصادفی نرمال متمرکز نامیده می‌شود اگر ماترس${\boldsymbol {A}}$ با ابعاد $k\times \ell$ وجود داشته باشد به طوری که ${\boldsymbol {A}}\mathbf {Z}$ توزیع مشابهی با $\mathbf {X}$ داشته و $\mathbf {Z}$ یک بردار تصادفی نرمال استاندار $\ell$ متغیره باشد.

بردار تصادفی نرمال

یک بردار تصادفی حقیقی به صورت$\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$، بردار تصادفی معمولی نامیده می‌شود اگر بردار تصادفی نرمال استاندارد $\mathbf {Z}$ با بعد $\ell$ ، بردار $\mathbf {\mu }$ با بعد $k$ و ماتریس ${\boldsymbol {A}}$ با ابعاد $k\times \ell$ وجود داشته باشد، به طوری که $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu }$ .

به نمادگذاری ریاضی:

$\mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ for }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

در اینجا ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$، ماتریس کوواریانس است.

در حالت انحطاط که در آن ماتریس کوواریانس منفرد است، توزیع مربوطه فاقد چگالی است. برای جزئیات بیشتر به بخش زیر مراجعه کنید. این مورد مکرراً در آمار به وجود می‌آید. برای مثال، در توزیع بردار باقیمانده در رگرسیون حداقل مربعات معمولی. $X_{i}$ها به‌طور کلی مستقل نیستند. آنها را می‌توان به عنوان نتیجه اعمال ماتریس ${\boldsymbol {A}}$ به مجموعه ای از متغیرهای گاوسی مستقل $\mathbf {Z}$ مشاهده کرد.

تعاریف معادل

تعاریف زیر معادل تعریف فوق می‌باشد. یک بردار تصادفی به فرم $\mathbf {X} =(X_{1},\ldots ,X_{k})^{T}$ اگر یکی از شرایط معادل زیر را برآورده کند، دارای توزیع نرمال چند متغیره است.

• هر ترکیب خطی به فرم $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ از اعضای آن به طور نرمال توزیع شده باشد. یعنی برای هر بردار ثابت $\mathbf {a} \in \mathbb {R} ^{k}$ ، متغیر تصادفی $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ دارای یک توزیع نرمال تک متغیره باشد، که در آن توزیع نرمال تک متغیره با واریانس صفر جرم نقطه ای بر میانگین آن است.
• یک بردار $\mathbf {\mu }$ با k بعد و یک ماتریس مثبت نیمه معین و متقارن ${\boldsymbol {\Sigma }}$ با ابعاد $k\times k$ وجود دارد، به طوری که تابع مشخصه از $\mathbf {X}$ به صورت زیر می‌باشد.
  $$\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$$

توزیع نرمال کروی را می‌توان به عنوان توزیع منحصربفردی توصیف کرد که در آن اجزا در هر سیستم مختصات متعامد مستقل هستند.

تابع چگالی

توزیع احتمال توأم نرمال دو متغیره

مورد غیر منحط

هنگامی که ماتریس کوواریانس متقارن ${\boldsymbol {\Sigma }}$، مثبت قطعی باشد به توزیع نرمال چند متغیره «غیر انحطاط» گفته می‌شود. در این حالت توزیع دارای تابع چگالی احتمال به صورت زیر است

$f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}$

جایی که ${\mathbf {x} }$ یک بردار ستونی k بعدی حقیقی است و $|{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}$ دترمینان ماتریس ${\boldsymbol {\Sigma }}$، همچنین به عنوان واریانس تعمیم یافته شناخته می‌شود. اگر ${\boldsymbol {\Sigma }}$ یک ماتریس $1\times 1$ باشد، معادله بالا به معادله متناظر در توزیع نرمال تک متغیره تقلیل می‌یابد.

نسخه متقارن دایره ای توزیع نرمال مختلط شکی با کمی تفاوت دارد.

در هر مکان هندسی، مکان نقاط در فضای k -بعدی که هر کدام مقدار خاصی از چگالی را می‌دهند، یک بیضی یا تعمیم ابعاد بالاتر آن را می‌دهد. از این رو نرمال چند متغیره یک مورد خاص از توزیع‌های بیضوی است.

کمیت ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ به عنوان فاصله ماهالانوبیس شناخته می‌شود که نشان دهنده فاصله نقطه آزمایشی ${\mathbf {x} }$ از میانگین ${\boldsymbol {\mu }}$ است. توجه داشته باشید که در صورتی که $k=1$ ، توزیع به یک توزیع نرمال تک متغیره کاهش می‌یابد و فاصله ماهالانوبیس به قدر مطلق نمره استاندارد کاهش می‌یابد.

مورد دو متغیره

در حالت غیر منفرد ۲ بعدی ($k=\operatorname {rank} \left(\Sigma \right)=2$)، تابع چگالی احتمال یک بردار ${\text{[XY]′}}$ به صورت زیر است:

$f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)$

به طوریکه که $\rho$ همبستگی بین $X$ و $Y$ و $\sigma _{X}>0$ و $\sigma _{Y}>0$ . در این مورد،

${\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.$

در حالت دو متغیره، اولین شرط معادل برای بازسازی چند متغیره نرمال بودن را می‌توان کمتر محدود کرد، زیرا نشان دادن اینکه تعداد شمارایی از ترکیبات خطی متمایز $X$ و $Y$ نرمال هستند، برای نتیجه‌گیری این که بردار ${\text{[XY]′}}$ دو متغیره نرمال است کافی است.

جایگاه‌های دو متغیره ایزو چگالی رسم شده در $x,y$ صفحه بیضی‌هایی هستند که محورهای اصلی آنها با بردارهای ویژه ماتریس کوواریانس ${\boldsymbol {\Sigma }}$ ساخته می‌شوند. (نیمه قطر اصلی و فرعی بیضی برابر است با ریشه مربع مقادیر ویژه مرتب شده).

توزیع نرمال دو متغیره متمرکز در نقطه $(1,3)$ با انحراف از معیار ۳ در جهت تقریباً $(0.878,0.478)$ از ۱ در جهت متعامد.

هر چه قدر مطلق پارامتر همبستگی $\rho$ افزایش بیابد، این نقطه‌ها به سمت خط زیر فشرده می‌شوند:

$y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.$

این به این دلیل است که این عبارت، با $\operatorname {sgn}(\rho )$ (که در آن sgn تابع علامت است) با $\rho$ ، بهترین پیش‌بینی بی طرفانه خطی از $Y$ با مقادیر داده شده از $X$ است.

مورد منحط

اگر ماتریس کوواریانس ${\boldsymbol {\Sigma }}$ رتبه کامل نباشد، پس توزیع نرمال چند متغیره منحط است و چگالی ندارد. به‌طور دقیق تر، توزیع مذکور با توجه به اندازه لبگ k بعدی (که معیار معمولی در دوره‌های احتمال در سطح حساب دیفرانسیل و انتگرال است) چگالی ندارد. گفته می‌شود که فقط بردارهای تصادفی که توزیع آنها نسبت به یک اندازه‌گیری کاملاً پیوسته‌است، چگالی دارند (با توجه به آن اندازه). برای صحبت در مورد چگالی اما ساده‌تر است که از پرداختن به عوارض تئوری اندازه‌گیری اجتناب کنیم و به زیر مجموعه ای از $\operatorname {rank} ({\boldsymbol {\Sigma }})$ از مختصات $\mathbf {x}$ به طوری که ماتریس کوواریانس برای این زیر مجموعه مثبت معین است توجه کنیم. سپس سایر مختصات را می‌توان به عنوان تبدیل افاینی از این مختصات انتخابی در نظر گرفت.

برای صحبت معنادار در مورد چگالی‌ها در موارد منفرد، باید یک معیار پایه متفاوت را انتخاب کنیم. با استفاده از قضیه فروپاشی می‌توانیم محدودیتی از اندازه‌گیری Lebesgue را به مقداری تعریف کنیم که زیرفضای متناظر با $\mathbb {R} ^{k}$ که به ابعاد $\operatorname {rank} ({\boldsymbol {\Sigma }})$ از توزیع گاوسی پشتیبانی کند، یعنی $\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\}$ . با توجه به این معیار، توزیع دارای چگالی موتیف زیر است:

$f(\mathbf {x} )=\left(\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})\right)^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{+}(\mathbf {x} -{\boldsymbol {\mu }})}$

به طوریکه که ${\boldsymbol {\Sigma }}^{+}$ وارون تعمیم یافته‌است و det* شبه دترمینان است.

تابع توزیع تجمعی

مفهوم تابع توزیع تجمعی در بعد ۱ را می‌توان به دو صورت به حالت چند بعدی، بر اساس مناطق مستطیلی و بیضی شکل گسترش داد.

راه اول این است که تابع توزیع تجمیعی $F(\mathbf {x} )$ از یک بردار تصادفی $\mathbf {X}$ را به عنوان احتمالی که همه اجزای $\mathbf {X}$ کمتر یا مساوی با مقادیر مربوطه در بردار هستند $\mathbf {x}$ تعریف کنیم:

توزیع تجمعی و چگالی احتمال

$F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).$

اگرچه هیچ فرم بسته‌ای برای آن وجود ندارد $F(\mathbf {x} )$ ، تعدادی الگوریتم وجود دارد که آن را به صورت عددی تخمین می‌زنند.

راه دیگر این است که تابع توزیع تجمیعی $F(r)$ را به عنوان احتمال قرار گرفتن نمونه در داخل بیضی که با فاصله ماهالانوبیس $r$ از تعمیم مستقیم انحراف معیار گاوسی قرار دارد تعریف کنیم.