رگرسیون لجستیک: تفاوت میان نسخه‌ها
محتوای حذف‌شده محتوای افزوده‌شده
فرمول گرادیان افزایشی بروز شد. برچسب‌ها: متن دارای ویکی‌متن نامتناظر ویرایشگر دیداری |
بدون خلاصۀ ویرایش برچسب‌ها: متن دارای ویکی‌متن نامتناظر ویرایشگر دیداری |
||
خط ۲۷:
اگر برای داده <math>i</math> ام <math>y_i = 1</math> باشد، هدف افزایش<math>\Pr\left(y_i = 1|\vec{x^i};\vec{\beta}\right)</math> است و اگر <math>y_i</math> صفر باشد هدف افرایش مقدار <math>\Pr\left(y_i = 0|\vec{x^i};\vec{\beta}\right)</math> است. ازینرو از فرمول <math>Pr(y_i=1|\vec{x^{i}}; \vec{\beta})^{y_i} \times Pr(y_i=0|\vec{x^{i}}; \vec{\beta})^{1-y_i} </math> استفاده می کنیم که اگر <math>y_i = 1</math>باشد، فرمول به ما <math>\Pr\left(y_i = 1|\vec{x^i};\vec{\beta}\right)</math> را بدهد و اگر <math>y_i = 0</math> بود به ما <math>\Pr\left(y_i = 0|\vec{x^i};\vec{\beta}\right)</math> را بدهد.
حال برای بدست آوردن پارامتر بهینه باید <math>\vec{\beta}</math> یی پیدا کنیم که مقدار <math>L(D, \vec{\beta})</math> را بیشینه کند. از آنجا که این تابع نسبت به <math>\vec{\beta}</math> مقعر است حتما یک بیشینه مطلق دارد. برای پیدا کردن جواب می توان از روش گرادیان افزایشی از نوع تصادفی اش استفاده کرد (Stochastic Gradient Ascent). در این روش هر بار یک مثال را بصورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان درست نمایی را حساب میکنیم و کمی در جهت گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان میدهد، برای همین در آن جهت کمی
\left(y_i - \frac{1}{1+e^{-\left(\beta_0 + \beta_1 x_{1,i} + \cdots + \beta_k x_{k,i}\right)}}\right)\vec{x^{i}}_j</math> مشتق جزئی داده <math>i</math>ام در بُعد <math>j</math>ام است:
| |||