مدل خطی تعمیم‌یافته

مدل خطی تعمیم‌یافته (به انگلیسی: Generalized Linear Model) تعمیم رگرسیون خطی است برای داده‌هایی که توزیع نرمال ندارند. به عنوان مثال، پیش‌بینی تعداد خرابی، که کمیتی گسسته‌است، یا زمان انتظار، که کمیتی مثبت‌است، را می‌توان به کمک مدل خطی تعمیم‌یافته انجام داد. این مدل ها توسط John Nelder و Robert Wedderburn با هدف ساخت یک روش واحد برای مدل های آماری متفاوت مانند رگرسیون خطی، رگرسیون لجستیک، رگرسیون پواسون ارائه شد. این روش ها از MLE برای تخمین پارامتر هایشان استفاده می‌کنند. ایده کلی این روش این است که به جای فرض بر روی توابع مختلف در رگرسیون های ذکر شده ما با دانستن توزیع داده ها (صرفا شکل توزیع و نه متغیر های آن) که عموما یک فرض منطقی که از مسئله به دست می‌آید، تخمین خود برای مدل را به دست می آوریم.

این مدل از سه جزء تشکیل‌یافته‌است:

الف) توزیعی برای متغیر پاسخ $\mathbf {y}$، که معمولاً از خانواده نمایی با بیش‌پراکندگی $d(\tau )$ انتخاب می‌شود:

$f_{Y}(\mathbf {y} |{\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp {\left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (y)-A({\boldsymbol {\theta }})}{d(\tau )}}\right)}.\,\!$

بیش‌پراکندگی برای مدل‌سازی واریانس‌های بالا و پایین به‌کار می‌رود.

ب) پیش‌بینی خطی براساس متغیر کنترل $\mathbf {X}$:

${\boldsymbol {\eta }}=\mathbf {X} {\boldsymbol {\beta }}.\,$

ج) تابع پیوند $g$ که یک تابع اکیداً یکنواست و دو مؤلفه بالا را به هم ارتباط می‌دهد:

${\boldsymbol {\eta }}=g(\mathbb {E} [\mathbf {Y} ])=\mathbf {X} {\boldsymbol {\beta }}.\,$

مثال

می‌خواهیم ثابت کنیم که با ۳ فرض بالا و با دانستن توزیع منطقی یک سری داده می‌توان روابط رگرسیون لجستیک را بدون فرض خاصی بر روی تابع سیگموید بدست آورد. مسئله رگرسیون لجستیک یک طبقه بندی دو کلاسه (باینری) است. ما به دنبال $y\in \{0,1\}$ برای نقاط مجموعه داده های خود هستیم. با توجه به نوع مسئله به صورت منطقی می‌توانیم فرض کنیم که داده های ما از یک توزیع برنولی تولید می‌شوند. کافی است توزیع برنولی را به صورت خاصی از توزیع خانواده نمایی بنویسیم. فرض کنید توزیع ما به صورت $Bernoulli(\phi )$ می‌باشد.

$=\phi$ $h_{\theta }(x)=E[y|x;\theta ]$

${\frac {1}{1+e^{-}\eta }}$=

${\frac {1}{1+e^{-\theta ^{T}x}}}$=

در نتیجه با فرض مدل خطی تعمیم یافته ، این که تابع پیش بینی رگرسیون لجستیک، همان تابع سیگموید است را ثابت کردیم. نکته قابل ذکر این است که ما فرضی بر روی تابع فرض خود یا $h_{\theta }(x)$ نگذاشتیم و تمامی این نتایج از خطی فرض کردن پارامتر $\eta$ نتیجه می‌شوند. مدل های خطی تعمیم یافته به همین هدف درست شدند که روش های مختلف رگرسیون را به یک پارامترسازی و مدلسازی تبدیل کنند.

توابع پیوند

همانطور که در مثال بالا و در تعریف مدل های تعمیم یافته خطی گفته شد، برای به دست آوردن رابطه بین پارامتر $\eta$ و $\mathbb {E} [\mathbf {Y} ]$ ما نیاز به تابع پیوند داریم. این توابع با استفاده از توزیع فرض شده بر روی داده ها به دست می آیند. در جدول زیر توابع پیوند برای توزیع های معروف ذکر شده است.

برخی توزیع های معروف به همراه تابع پیوند

توزیع	دامنه توزیع	نام تابع پیوند	تابع پیوند, $\mathbf {X} {\boldsymbol {\beta }}=g(\mu )\,\!$	تابع میانگین
نرمال	حقیقی: $(-\infty ,+\infty )$	همانی	$\mathbf {X} {\boldsymbol {\beta }}=\mu \,\!$	$\mu =\mathbf {X} {\boldsymbol {\beta }}\,\!$
نمایی	حقیقی: $(0,+\infty )$	منفی معکوس	$\mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!$	$\mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!$
گاما
گاوسی معکوس	حقیقی: $(0,+\infty )$	مجذور معکوس	$\mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!$	$\mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!$
پوآسون	صحیح: $0,1,2,\ldots$	لگاریتم	$\mathbf {X} {\boldsymbol {\beta }}=\ln(\mu )\,\!$	$\mu =\exp(\mathbf {X} {\boldsymbol {\beta }})\,\!$
برنولی	صحیح: $\{0,1\}$	لاجیت	$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$	$\mu ={\frac {\exp(\mathbf {X} {\boldsymbol {\beta }})}{1+\exp(\mathbf {X} {\boldsymbol {\beta }})}}={\frac {1}{1+\exp(-\mathbf {X} {\boldsymbol {\beta }})}}\,\!$
باینومیال	صحیح: $0,1,\ldots ,N$		$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{n-\mu }}\right)\,\!$
چندجمله ای	K بردار از اعداد صحیح: $[0,N]$		$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$

محدب بودن مدل های خطی تعمیم یافته

مدل های خطی تعمیم یافته ویژگی هایی دارند که استفاده از آن ها را بسیار راحت می کند. امید ریاضی و واریانس Y از روابط زیر پیروی می کند که a پارامتر توزیع خانواده نمایی است.

$E[Y|X;\theta ]={\frac {\partial a}{\partial \eta }}$

$Var[Y|X;\theta ]={\frac {\partial ^{2}a}{\partial \eta ^{2}}}$

با استفاده از این دو رابطه می توان ثابت کرد که این مدل ها محدب هستند. اثبات این قضیه به صورت زیر است.

$l(\theta )=-\sum _{i=1}^{m}\log p(y^{(i)}|x^{(i)};\theta )$

$=\sum _{i=1}^{m}-\log b(y^{(i)})-\theta ^{T}x^{(i)}y^{(i)}+a(\theta ^{T}x^{(i)})$

${\frac {\partial l}{\partial \theta _{j}}}=\sum _{i=1}^{m}[a'(\theta ^{T}x^{(i)})-y^{(i)}]x_{j}^{(i)}$

$H_{jk}={\frac {\partial ^{2}l}{\partial \theta _{j}\theta _{k}}}=\sum _{i=1}^{m}a^{''}(\theta ^{T}x^{(i)})x_{j}^{(i)}x_{k}^{(i)}$

$z^{T}Hz=\sum _{i=1}^{m}\sum _{j=1}^{n}\sum _{k=1}^{n}a^{''}(\theta ^{T}x^{(i)})x_{j}^{(i)}x_{k}^{(i)}z_{j}z_{k}$

$\sum _{i=1}^{m}a''(\theta ^{T}x^{(i)})[(x^{(i)})^{T}z]^{2}$

$a''(\theta {\textbf {)}}=Var(Y|X;theta)\geq 0\rightarrow z^{T}Hz\geq 0$

جستارهای وابسته

• خانواده نمایی