تئوری کارانن-لوف

قضیهٔ کارهونِن-لُواِو (به انگلیسی: Karhunen-Loève Theorem)، یک فرایند تصادفی در یک بازهٔ کران‌دار را با ترکیب خطی نامحدودی از توابع متعامد نمایش می‌دهد.

این قضیه به افتخار کاری کارهونِن و میشل لُواِو نامیده شده‌است، و به آن قضیه Kosambi-Karhunen-Loève هم گفته می‌شود.

این تبدیل هم‌چنین به تبدیل هُتِلینگ و تبدیل بردار ویژه نیز شناخته می‌شود و با تحلیل مولفه اصلی (به انگلیسی: Principal Component Analysis, PCA) مرتبط است که در پردازش تصویر و آنالیز داده‌ها، فراوان استفاده می‌شود.

در مقایسه با تبدیل فوریه، که ضرایب آن اعداد معیّن (deterministic)، و پایه‌های آن، توابع سینوسی هستند، ضرایب تبدیل کارهونن-لُواِو، متغیرهای تصادفی هستند و پایه‌های آن، بستگی به فرایند دارند. می‌توان گفت این تبدیل به‌گونه‌ای با فرایند تصادفی سازگار می‌شود که به بهترین پایه‌ها برای آن فرایند می‌انجامد.

برای یک فرایند تصادفی متمرکز {X_t}_{t ∈ [a, b]} (E[X_t] = 0، t ∈ [a, b]) می‌نویسیم:

$X_{t}=\sum _{k=1}^{\infty }Z_{k}c_{k}(t)$

که در آن $Z_{k}$ها متغیرهای تصادفی، و دوبه‌دو ناهمبسته هستند و $c_{k}$ها، توابع پیوسته حقیقی در بازهٔ [a, b] و دوبه‌دو در L²([a, b]) متعامد هستند. فرایندی که متمرکز نیست را می‌توان با X_t − E[X_t] متمرکز کرد.

اگر فرایند گاوسی باشد، $Z_{k}$ها گاوسی، و مستقل آماری هستند. یک مثال از یک فرایند متمرکز در بازهٔ [0, 1]، فرایند وینر است.

فرمول

• X_t یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) تعریف می‌شود و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس K_X(s, t). به این ترتیب:

$\forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),$

$\forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,$

$\forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].$

• یک عملگر خطی T_KX را در K_X اعمال می‌کنیم. T_KX به این صورت تعریف می‌شود:

$T_{K_{X}}:L^{2}([a,b])\to L^{2}([a,b]):f\mapsto T_{K_{X}}f=\int _{a}^{b}K_{X}(s,\cdot )f(s)ds$

ازآنجاکه T_KX یک عمل‌گر خطی‌ست، مقدار ویژه λ_k و تابع ویژه e_k دارد، که در معادله‌ انتگرالی زیر، به هم مربوط می‌شوند:

$\int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)$

بیانی از قضیه

قضیه. X_t را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس پیوستهٔ K_X(s, t) در نظر می‌گیریم.

حال K_X(s, t) یک هسته ی Mercer است و e_k را یک پایهٔ متعامد بر روی L²([a, b]) می‌گیریم که از توابع ویژهٔ T_KX دارای مقدار ویژهٔ λ_k تشکیل شده‌است. می‌توان X_t را به صورت زیر بیان کرد

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

که در L² هم‌گراست و

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

همچنین متغیرهای تصادفی Z_k دارای میانگین صفر، ناهم‌بسته و دارای واریانس λ_k هستند

$\mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N}$

اثبات

• تابع کوواریانس K_X شرایط تعریف هسته‌ی Mercer را داراست. طبق تئوری Mercer، یک مجموعهٔ {λ_k, e_k(t)} وجود دارد که از مقدار ویژه‌ها و توابع ویژهٔ T_KX، یک مجموعه متعامد از L²([a,b]) تشکیل می‌دهند و K_X را نیز می‌توان به صورت زیر نمایش داد:

$K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)$

• فرایند X_t می‌تواند به صورت تابعی از e_kها به صورت زیر بسط پیدا کند:

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

که در آن ضرایب (متغیرهای تصادفی) Z_k به صورت زیر به دست می‌آیند:

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

• حال خواهیم داشت:

${\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)dt\right)ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}$

که در آن از این نکته استفاده شده است که e_kها توابع ویژهٔ T_KX بوده و متعامد هستند.

• حال نشان می‌دهیم که همگرایی در L² است. فرض می‌کنیم

$S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).$

آنگاه:

${\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{l}e_{k}(t)e_{l}(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}$

که طبق قضیهٔ Mercer به صفر میل می‌کند.

مشخصات تبدیل کارهونن-لُواِو

حالت خاص: توزیع گاوسی

ازآنجاکه حد امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت: قضیه. متغیر تصادفی Z_i دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل است اگر فرایند اولیه {X_t}_t گاوسی باشد.

در این حالت (گاوسی بودن)، از آنجایی که Z_iها مستقل هستند، می‌توان گفت:

$\lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )$

almost surely.

بسط کارهونِن-لُواِو فرایند را ناهمبسته می‌کند

این نتیجه از استقلال Z_k حاصل می‌شود.

بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل می‌رساند

در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند. به‌طور دقیق تر، برای هر پایهٔ متعامد {f_k} از فضای L²([a, b])، می‌توان فرایند X_t را به صورت زیر تجزیه کرد:

$X_{t}(\omega )=\sum _{k=1}^{\infty }A_{k}(\omega )f_{k}(t)$

که در آن

$A_{k}(\omega )=\int _{a}^{b}X_{t}(\omega )f_{k}(t)\,dt$

و می‌توان X_t را با جمع متناهی زیر برای هر عدد صحیح 'N به صورت زیر تخمین زد

${\hat {X}}_{t}(\omega )=\sum _{k=1}^{N}A_{k}(\omega )f_{k}(t)$

یافتن واریانس

یک نتیجهٔ مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که Z_kها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که X_t برابر است با جمع واریانس جملات جمع، داریم:

${\mbox{Var}}[X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}{\mbox{Var}}[Z_{k}]=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}$

تعریف شده روی [a, b] و استفاده از این مسئله که e_kها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با:

$\int _{a}^{b}{\mbox{Var}}[X_{t}]dt=\sum _{k=1}^{\infty }\lambda _{k}$