رگرسیون لجستیک: تفاوت میان نسخه‌ها

'''رگرسیون لوجستیکلجستیک''' یک مدل آماری [[رگرسیون]] برای متغیرهای وابسته دوسویی مانند بیماری یا سلامت، مرگ یا زندگی است. این مدل را می‌توان به عنوان مدل خطی تعمیم‌یافته‌ای که از تابع [[لوجیت]] به عنوان تابع پیوند استفاده می‌کند و خطایش از توزیع چندجمله‌ای پیروی می‌کند، به‌حساب‌آورد.

رگرسیون لوجستیکلجستیک می‌تواند یک مورد خاص از مدل خطی عمومی و [[رگرسیون خطی]] دیده شود. مدل رگرسیون لوجستیک،لجستیک، بر اساس فرض‌های کاملاً متفاوتی (دربارهٔ رابطه متغیرهای وابسته و مستقل) از [[رگرسیون خطی]] است. تفاوت مهم این دو مدل در دو ویژگی رگرسیون لوجستیکلجستیک می‌تواند دیده شود. اول توزیع شرطی <math>y|\vec{x}</math> یک توزیع برنولی به جای یک توزیع گوسی است چونکه متغیر وابسته دودویی است. دوم مقادیر پیش‌بینی احتمالاتی است و محدود بین بازه صفر و یک و به کمک تابع توزیع لوجستیکلجستیک بدست می‌آید رگرسیون لوجستیکلجستیک احتمال خروجی پیش‌بینی می‌کند.

پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آنها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر [[بیش‌برازش]] (Overfitting) برای مدل بیشتر است.<ref>{{Cite journal|last=Bühlmann|first=Peter|last2=van de Geer|first2=Sara|date=2011|title=Statistics for High-Dimensional Data|url=https://link.springer.com/book/10.1007/978-3-642-20192-9|journal=Springer Series in Statistics|language=en-gb|doi=10.1007/978-3-642-20192-9|issn=0172-7397}}</ref> پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از [[بیش‌برازش]] در مدلهای خطی مانند رگرسیون خطی یا رگرسیون لوجستیکلجستیک جریمه‌ای به تابع ضرر اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. تابع ضرر را در رگرسیون لوجستیکلجستیک با منفی لگاریتم درست‌نمایی تعریف می‌کنیم تا کمینه کردن آن به بیشینه کردن تابع درست نمایی بیانجامد. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدلهای خطی روشهای <math>L1</math> و <math>L2</math> هستند.<ref>{{یادکرد کتاب|نشانی=https://link.springer.com/chapter/10.1007/978-3-642-20192-9_8|عنوان=Theory for ℓ1/ℓ2-penalty procedures|نام خانوادگی=Bühlmann|نام=Peter|نام خانوادگی۲=van de Geer|نام۲=Sara|تاریخ=2011|ناشر=Springer Berlin Heidelberg|شابک=9783642201912|مکان=Berlin, Heidelberg|صفحات=249–291|زبان=en|doi=10.1007/978-3-642-20192-9_8}}</ref> در روش <math>L1</math> ضریبی از نُرمِ <math>L1</math> به تابع ضرر اضافه می‌شود و در روش <math>L2</math> ضریبی از نُرمِ <math>L2</math> که همان نُرمِ اقلیدسی است به تابع ضرر اضافه می‌شود.