قضیه انحرافات بزرگ

در نظریهٔ احتمال، تئوری انحرافات بزرگ (به انگلیسی: Large Deviations Theory) مربوط است به بررسی رفتار حدی دنباله‌ای از توزیع‌های آماری، در طی مشاهدهٔ داده‌های جدید. برخی از ایده‌های اساسی تئوری را می‌توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه‌ای که امروزه می‌شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مفهوم همگرایی اندازهٔ توزیع‌های احتمالی را پایه‌ریزی می‌کند. اگر بخواهیم این تئوری را کمی غیررسمی‌تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع‌های آماری، بخصوص رفتار دنباله‌ای (به انگلیسی: Tail behavior)، در شرایطی که داده‌های جدید مشاهده می‌شود.

مثال‌های مقدماتی

یک مثال مقدماتی

مثالی را در نظر بگیرید که در آن یک سکه متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می‌کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با $X_{i}$ نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می‌دهیم. حال فرض کنیم $M_{N}$ میانگین بعد از پرتاپ $N$ امین سکه را نشان دهد.

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$

می دانیم که مقدار $M_{N}$ بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار $N$ بزرگتر شود، توزیع $M_{N}$ به $0.5=\operatorname {E} [X_{1}]$ (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد. همچنین بر اساس قضیهٔ حد مرکزی می دانیم که $M_{N}$ دارای توزیع نرمال حول $0.5$ به ازای مقادیر بزرگ $N$ است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می‌تواند در مورد رفتار $M_{N}$ ارائه دهد. مثلاً به آسانی می‌توانیم توزیع دنباله‌ای $M_{N}$ یا $P(M_{N}>x)$ (احتمال اینکه متغیر تصادفی $M_{N}$ بزرگنر از مقدار ثابت $x$ باشد، به ازای مقدار ثابتی از $N$.) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار $x$ خیلی دور از $\operatorname {E} [X_{1}]$ چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله‌ای وقتی $N\to \infty$ چیزی بیان نمی‌کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده‌ها در نزدیکی نقطهٔ حدی در اختیار می گدارد. بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ $0.5<x<1$ بگذارید احتمال دنباله‌ای $P(M_{N}>x)$ را محاسبه کنیم. تعریف می‌کنیم:

$I(x)=x\,{\text{ln}}x+(1-x)\,{\text{ln}}(1-x)+{\text{ln}}2$

توجه کنید که تابع $I(x)$، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم $P(M_{N}>x)<\exp(-NI(x))$. این کران یک کران تنگ است؛ به این مفهوم که $I(x)$ را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت $N$ نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می‌توان با اضافه کردن یک ضریب از مرتبهٔ $1/{\sqrt {N}}$ همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله‌ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می‌آوریم:

$P(M_{N}>x)\approx \exp(-NI(x)).$

احتمال $P(M_{N}>x)$ به صورت احتمالی کاهش می‌یابد، هرچه $N$ به سمت بی‌نهایت میل می‌کند، با نرخی که تابع $x$ است. این فرمول احتمال دنباله‌ای میانگین نمونه‌ای داده‌های i.i.d. را تقریب می‌زند و همگرایی آن‌ها را هرچه تعداد آن‌ها افزایش می‌یابد را بدست می‌دهد.

انحرافات بزرگ برای مجموع متغیرهای مستقل

در مثال فوق فرض کردیم که انداختن سکه در دفعات پی در پی مستقل از همدیگر هستند. در واقع احتمال پشت/رو آمدن در هر دفعه مستقل از نتیجهٔ آزمایش قبل است. فرض کنید $X,X_{1},X_{2},...$ متغیرهای تصادفی مستقل با توزیع یکسان (i.i.d.) باشند. حد زیر برقرار است:

$\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x).$

تابع $I(\cdot )$ تابع نرخ، تابع کرامر یا تابع تابع آنترپی نامیده می‌شود. حد نوشته شده در قسمت فوق به این معنی است که به ازای مقادیر بزرگ $N$:

$P(M_{N}>x)\approx \exp[-NI(x)],$

که نتیجهٔ قضیهٔ انحرافات بزرگ است.

اگر توزیع $X$ را بدانیم، عبارتی صریح می‌توان برای تابع نرخ بدست آورد. این عبارت صریح توسط تبدیل لژاندر-فنشل به دست می‌آید:

$I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )],$

که در آن

$\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]$

تابع cumulant generating یا GCF نامیده می‌شود و $\operatorname {E}$ امید ریاضی اماری است. اگر $X$ دارای توزیع نرمال باشد، تابع نرخ یک سهمی با مقدار حداکثر در میانگین توزیع نرمال خواهد بود. اگر $\{X_{i}\}$ یک زنجیرهٔ ماکوف باشد، نسخه‌ای از قضیهٔ انحرافات بزرگ برای آن برقرار است.

جستارهای وابسته

• قضیه انحرافات بزرگ کرامر
• نامساوی چرنوف
• لم وارادهان
• انحرافات بزرگ توابع گوسی تصادفی

منابع

• Special invited paper: Large deviations by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214/07-AOP348
• Entropy، Large Deviations and Statistical Mechanics by R.S. Ellis، Springer Publication. ISBN 3-540-29059-1
• Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall ISBN 0-412-06311-5
• Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer ISBN 0-387-98406-2
• Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer ISBN 0-387-98362-7