قانون اعداد بزرگ

در نظریهٔ احتمالات، قانون اعداد بزرگ قضیه‌ای است که نتیجهٔ انجام یک آزمایش مشابه را برای چندین بار توصیف می‌کند. طبق این قانون، میانگین نتایج به‌دست‌آمده از تعداد زیادی آزمایش، باید به مقدار مورد انتظار (امید ریاضی) نزدیک باشد و با انجام آزمایش‌های بیشتر به مقدار مورد انتظار نزدیک‌تر می‌شود.

نکتهٔ مهم دربارهٔ قانون اعداد بزرگ این است که این قانون - همان‌طور که از نامش پیداست - تنها زمانی اعمال می‌شود که تعداد زیادی مشاهدات در نظر گرفته شود. هیچ اصلی وجود ندارد که تعداد کمی از مشاهدات با مقدار مورد انتظار منطبق شود.

همچنین مهم است که توجه داشته باشید که قانون اعداد بزرگ فقط برای میانگین اعمال می‌شود. صورت ریاضی آن بدین شکل است:

$$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {X_{i}}{n}}-{\overline {X}}=0$$

فرمول‌های دیگری که مشابه به نظر می‌رسند قابل قبول نیستند. مانند انحراف معیارِ "نتایج نظری":

$$\sum _{i=1}^{n}X_{i}-n\times {\overline {X}}$$

این فرمول نه تنها با افزایش n به سمت صفر همگرا نمی‌شود، بلکه با افزایش n به یک مقدار ثابت میل خواهد کرد.

مثال‌ها

۴۰۰ پیکسل

به عنوان یک مثال، وقتی یک تاس شش‌وجهی را یک بار بریزیم، یکی از عددهای ۱، ۲، ۳، ۴، ۵ یا ۶ به دست خواهد آمد. اگر این آزمایش را تکرار کنیم، هر دفعه یکی از این اعداد به دست می‌آیند و اگر تاس نااریب باشد، احتمال دیده شدن این اعداد با هم برابر است. در نتیجه، امید ریاضی عددی که با ریختن هر بار تاس به دست می‌آید، طبق این فرمول:

${\tfrac {1+2+3+4+5+6}{6}}=3.5.$

برابر با ۳٫۵ است. طبق قانون اعداد بزرگ، هرگاه آزمایش ریختن تاس را به دفعات زیاد تکرار کنیم، میانگین اعدادی که به دست می‌آید، تدریجاً به ۳٫۵ نزدیک خواهد شد.

به‌طور مثال می‌توان به آزمایش پرتاب سکه اشاره کرد. همان‌طور که می‌دانیم نتیجه این آزمایش توزیع برنولی دارد. اگر فقط یک بار آزمایش را انجام دهیم، احتمال رو آمدن سکه برابر ۱/۲ است، طبق قانون اعداد بزرگ اگر تعداد پرتاب‌ها زیاد باشد، نسبت تعداد رو آمدن‌ها به تعداد کل پرتاب‌ها به ۱/۲ میل می‌کند مشخص است که اختلاف تعداد روها و پشت‌ها با زیاد شدن تعداد آزمایش‌ها افزایش پیدا می‌کند. پس احتمال کوچک بودن اختلاف روها و پشت‌ها به سمت عدد صفر میل می‌کند. هم چنین می‌توان نتیجه گرفت که نسبت اختلاف روها و پشت‌ها به تعداد کل پرتاب‌ها نیز به سمت صفر می‌روند. از این حقیقت در می‌یابیم که با وجود رشد اختلاف بین تعداد روها و پشت‌ها در انجام این آزمایش به دفعات زیاد، سرعت این رشد از سرعت افزایش تعداد کل پرتاب‌ها کم‌تر است.

تاریخچه

انتشار (Diffusion) نمونه‌ای از قانون اعداد بزرگ است. در ابتدا، مولکول‌های املاح در سمت چپ مانع [خط سرخابی] قرار دارند و هیچ کدام در سمت راست وجود نیستند. مانع برداشته می‌شود، و املاح پخش می‌شوند تا کل ظرف را پر کنند. شکل بالا: حرکت یک مولکول که حرکت کاملا تصادفی به نظر می‌رسد. شکل وسط: با تعداد مولکول‌های بیشتر، به وضوح روندی وجود دارد که املاح ظرف را بیشتر و بیشتر پر می‌کند. شکل پایین: با تعداد بسیار زیادی مولکول املاح (بیش از حد برای دیدن)، به نظر می‌رسد املاح به آرامی و به طور سیستماتیک از مناطق با غلظت بالا به مناطق با غلظت پایین حرکت می‌کنند.

(Gerolamo Cardano (۱۵۰۱–۱۵۷۶ جیرولامو کاردانو ریاضی‌دان ایتالیایی بدون اثبات ریاضی بر این باور بود که دقت نتایج تجربی در آمار با افزایش تعداد دفعات آزمایش بیشتر می‌شود. این فرضیه بعدها تحت عنوان قانون اعداد بزرگ اثبات شد و مورد توجه قرار گرفت. حالت خاصی از این قانون برای متغیرهای برنولی برای نخستین بر توسط ژاکوب برنولی اثبات شد. او این قانون را قضیهٔ طلایی نامید، ولی بعدها با نام قانون اعداد بزرگ مشهور شد. در سال ۱۸۳۵ سیمون دنیز پواسون این قانون را با نام قانون اعداد بزرگ توضیح داد. هم‌اکنون این قضیه با هر دو نام ذکر شده شناخته می‌شود. بعد از برنولی و پواسون ریاضیدانان دیگری مانند مارکف، چبیشف، بورل و کولموگرف برای بهبود این تعریف و اثبات آن تلاش کردند و در نهایت الکساندر کینچین برای هر متغیر تصادفی دلخواه آن را اثبات کرد. این تلاش‌ها منجر به پیدایش دو حالت مختلف از این قانون شد. این دو قسمت عبارت است از قانون ضعیف و قوی. قانون ضعیف و قوی اعداد بزرگ دو قانون متفاوت نیستند. بلکه این دو قانون از دو دیدگاه متفاوت موضوع همگرایی احتمال وقتی تعداد دفعات آزمایش زیاد است، به مقدار میانگین را توضیح می‌دهند. همچنین می‌توان قانون ضعیف را از قانون قوی نتیجه گرفت.

گفتنی است نصرا... اعتمادی احتمال‌دان ایرانی اثباتی بدیع برای قانون اعداد بزرگ در سال ۱۹۸۱ میلادی ارائه داد که هم‌اکنون در بسیاری از کتاب‌های نظریهٔ احتمال مانند کتاب P. Billingsley) Probability and Measure) درج شده است. در این اثبات، شرط استقلال توام متغیرهای تصادفی به شرط استقلال دو به دو کاهش یافته است و افزون بر این، از شیوه‌ای بدیع در اثبات استفاده شده است.

شکل‌های قانون اعداد بزرگ

دو شکل متفاوت برای قانون اعداد بزرگ وجود دارد که در زیر به بررسی آن‌ها پرداخته شده است: قانون ضعیف اعداد بزرگ و قانون قوی اعداد بزرگ. برای دنبالهٔ نامتناهی X₁, X₂, ... که شامل متغیر های تصادفی مستقل با توزیع یکسان و با امید ریاضی‌های برابر ( E(X₁) = E(X₂) = ...= µ ) باشد، هر دو شکل قانون - با قطعیتی نسبی - بیان می‌دارد که میانگین نمونه ${\textstyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}$ به امید ریاضی اعضای دنباله میل می‌کند:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty$$

با فرض متناهی بودن واریانس$\operatorname {Var} (X_{i})=\sigma ^{2}$ (به ازای هر i) و عدم وجود همبستگی بین متغیر های تصادفی، واریانس میانگین n متغیر تصادفی برابر است با:

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

توجه کنید که فرض متناهی بودن واریانس‌ها $\operatorname {Var} (X_{1})=\operatorname {Var} (X_{2})=\ldots =\sigma ^{2}<\infty$ الزامی نیست. نامتناهی یا بزرگ بودن واریانس باعث آرام شدن همگرایی می‌شود، اما در هر صورت قانون اعداد بزرگ صدق می‌کند. این فرض معمولا برای این استفاده می‌شود تا اثبات‌ها راحت و کوتاه‌تر شوند.

در هر دو شکل قانون، استقلال همزمان بین همهٔ متغیرها می‌تواند با استقلال دو به دوی آن‌ها جایگزین شود.

تفاوت میان شکل قوی و ضعیف به دلیل تفاوت میان همگرایی است. برای اطلاعات بیشتر در مورد این نوع‌ها، همگرایی متغیرهای تصادفی را ببینید.

قانون ضعیف

قانون ضعیف اعداد بزرگ (قانون خینشین) بیان ‌می‌دارد که میانگین نمونه به صورت احتمالی مقدار امید ریاضی میل

شبیه سازی ای که قانون اعداد بزرگ را به تصویر می‌کشد.در هر فریم، یک سکه که یک طرف آن قرمز و طرف دیگر آن آبی است انداخته می‌شود و نقطه ای به ستون مربوط به نتیجه ظاهر شده اضافه می‌شود. یک نمودار دایره ای سهم هر رنگ را در نمونه های مشاده شده نشان می‌دهد. دقت کنید که در ابتدای آزمایش نمودار تغییرات زیادی دارد، اما با افزایش تعداد پرتاب ها، سهم هر بخش نمودار به 50% نزدیک می‌شود.

می‌کند:

${\overline {X}}_{n}\ \xrightarrow {P} \ \mu \quad {\textrm {when}}\ n\to \infty .$

یعنی به ازای هر مقدار مثبت ε،

$\lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.$

به عبارتی، این قانون بیان می‌کند که برای هر مقدار هر قدر کوچکی که برای اپسیلون در نظر بگیریم، با داشتن نمونه‌ای به اندازهٔ کافی بزرگ، با احتمال بالایی میانگین مشاهده‌ها به مقدار امید ریاضی نزدیک است؛ یعنی حداکثر به اندازه اپسیلون با آن اختلاف دارد.

همان‌طور که گفته شد، قانون ضعیف زمانی که صدق می‌کند که متغیرهای تصادفی مستقل و دارای توزیع یکسان باشند، اما این قانون در بعضی حالات دیگر نیز صدق می‌کند. به عنوان مثال، واریانس متغیرهای تصادفی دنباله می‌توانند متفاوت باشند، در صورتی که امید ریاضی آن‌ها یکسان باشد. چبیشف در سال ۱۸۶۷ ثابت کرد که اگر واریانس‌ها متناهی باشند، قانون ضعیف اعداد بزرگ برقرار است. در حقیقت اگر با میل کردن n به بی‌نهایت، مقدار واریانس میانگین به صفر میل کند، این اثبات چبیشف برقرار است. به عنوان مثال فرض کنید هر متغیر تصادفی در دنباله از توزیع گاوسی با میانگین صفر اما واریانس $2n/\log(n+1)$ (که مقداری متناهی نیست) پیروی کند. در هر مرحله، میانگین به صورت نرمالی توزیع می‌شود. واریانس مجموع برابر مجموع واریانس‌ها است، که به $n^{2}/\log n$ میل می‌کند. پس واریانس میانگین هم به $1/\log n$ میل می‌کند و در نتیجه به صفر میل می‌کند.

همچنین مثال‌هایی وجود دارد که با وجود اینکه امید ریاضی وجود ندارد، قانون ضعیف صدق می‌کند.

قانون قوی

قانون قوی اعداد بزرگ (قانون کولموگوروف) بیان می‌کند که میانگین نمونه به مقدار امید ریاضی تقریبا میل می‌کند.

${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\text{a.s.}} \ \mu \qquad {\textrm {when}}\ n\to \infty .\\{}\end{matrix}}.$

یعنی

$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.$

این بدین معناست که احتمال اینکه، با میل کردن تعداد نمونه‌ها به بی‌نهایت، میانگین نمونه‌ها به مقدار امید ریاضی میل کند، برابر ۱ است.

اثبات این این قانون سخت‌تر از اثبات قانون ضعیف است.

همگرایی تقریبی (تقریبا میل می‌کند) با عنوان همگرایی قوی متغیرهای تصادفی نیز شناخته می‌شود. این شکل از قانون به این دلیل با عنوان قانون قوی بیان می‌شود که برای متغیرهای تصادفی‌ای که قویا همگرا هستند (تقریبا میل می‌کنند)، می‌توان تضمین کرد که به صورت احتمالی همگرا هستند (همان نوع همگرایی در قانون ضعیف). با این حال قانون ضعیف در برخی شرایط صدق می‌کند که قانون قوی صدق نمی‌کند و همگرایی فقط ضعیف است (همگرایی احتمالی است).

تفاوت قانون قوی و ضعیف

قانون ضعیف بیان می‌کند که برای یک n مشخص بزرگ، میانگین ${\overline {X}}_{n}$ به احتمال خوبی نزدیک μ است. در نتیجه، امکان اینکه $|{\overline {X}}_{n}-\mu |>\varepsilon$ بی‌نهایت بار رخ بدهد (البته در بازه‌های خیلی نادر و اندک) را نفی نمی‌کند. (لزوما $|{\overline {X}}_{n}-\mu |\neq 0$ برای همهٔ nها برقرار نیست).

قانون قوی نشان می‌دهد که تقریبا با اطمینان می‌توان گفت که این امکان رخ نمی‌دهد. به طور ویژه، دلالت بر این می‌کند که به احتمال ۱، به ازای هر ε > 0 ، نامساوی $|{\overline {X}}_{n}-\mu |<\varepsilon$ به ازای nهای به قدر کافی بزرگ، برقرار است.

محاسبه توزیع تجربی یک متغیر تصادفی

فرض کنید X₁ ,X₂,... ,X_n متغیر های تصادفی مستقل با توزیع تجمعی یکسان F(X) باشند. حال برای هر X_i متغیر تصادفی 𝐼_𝑖 را برای رویداد 𝑋_𝑖 ≤ 𝑥 برابر یک و در غیر اینصورت برابر صفر تعریف می کنیم.

آنگاه می توان توزیع تجمعی تجربی را به شکل زیر تعریف کرد :

${\hat {F_{n}}}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{i}$

از آنجایی که F(x) = E(I_i) است . با استفاده از قانون بزرگ برای n های به اندازه کافی بزرگ تقریب مورد نظر معتبر است :

${\hat {F_{n}}}(x)\approx F(x)$

انتگرال گیری با استفاده از احتمالات و قانون اعداد بزرگ (الگوریتم مونت کارلو):

برای محاسبه انتگرال تابع 𝑓∶𝑅 →[0,𝑐] در بازه [a,b] می توان تعداد زیادی نقطه دو بعدی تصادفی با توزیع یکنواخت در ناحیه 𝑎≤𝑥≤𝑏 و 0≤𝑦≤𝑐 انتخاب کرد . حال برای هر نقطه متغیر تصادفی برنولی 𝐼_𝑖 را در صورتی که زیر نمودار باشد برابر یک و در غیر اینصورت برابر صفر تعریف کرد.

𝐼_𝑖 ها یک مجموعه متغیر تصادفی مستقل از هم با توزیع یکسان را تشکیل می دهند که امید ریاضی آن با توجه به یکنواخت بودن انتخاب نقاط برابر ${\frac {s}{c(b-a)}}$ است که s برابر مساحت زیر نمودار و در واقع مقدار انتگرال مورد نظر است.

بنابراین برای n های به اندازه کافی بزرگ و با استفاده از قانون اعداد بزرگ می توان نتیجه گرفت :

$E(I)\approx {\frac {1}{n}}\sum _{i=1}^{n}I_{i}\Rightarrow s\approx c(b-a){\frac {1}{n}}\sum _{i=1}^{n}I_{i}\Rightarrow \int _{a}^{b}f(x)dx=c(b-a){\frac {1}{n}}\sum _{i=1}^{n}I_{i}$

قانون uniform اعداد بزرگ :

با دانستن شیوه محاسبه تجربی توزیع تجمعی می توان قانون uniform اعداد بزرگ را به صورت زیر تعریف کرد :

اگر ℱ را یک مجموعه از تابع های انتگرال پذیر حقیقی مقدار با دامنه 𝞆 در نظر بگیریم و X₁ ,X₂,... ,X_n متغیرهای تصادفی مستقل با توزیع P تعریف شده روی 𝞆 باشند آنگاه متغیر تصادفی زیر را تعریف می کنیم :

$||P_{n}-P||_{F}=\sup _{f\in F}|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})-E[f(x)]|$

که در واقع این متغیر مقدار انحراف توزیع تجربی بدست آمده را از توزیع حقیقی نشان می دهد.

می گوییم ℱ یک مجموعه Glivenko-Cantelli برای P است اگر متغیر تصادفی تعریف شده در بالا هنگامی که n به بی نهایت میل می کند به صفر میل کند.

پیوند به بیرون

• [۱]