رگرسیون لجستیک: تفاوت میان نسخه‌ها

پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آنها سنجیده می شود. هرچه این پیچیدگی بیشتر باشد خطر [[بیش‌برازش]] (Overfitting) برای مدل بیشتر است.<ref>{{Cite journal|last=Bühlmann|first=Peter|last2=van de Geer|first2=Sara|date=2011|title=Statistics for High-Dimensional Data|url=https://link.springer.com/book/10.1007/978-3-642-20192-9|journal=Springer Series in Statistics|language=en-gb|doi=10.1007/978-3-642-20192-9|issn=0172-7397}}</ref> پدیده بیش‌برازش زمانی رخ می دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی شود. برای جلوگیری از [[بیش‌برازش]] در مدلهای خطی مانند رگرسیون خطی یا رگرسیون لوجستیک جریمه‌ای به تابع ضرر اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. تابع ضرر را در رگرسیون لوجستیک با منفی لگاریتم درست‌نمایی تعریف میکنیم تا کمینه کردن آن به بیشینه کردن تابع درست نمایی بیانجامد. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدلهای خطی روشهای <math>L1</math> و <math>L2</math> هستند.<ref>{{یادکرد کتاب|نشانی=https://link.springer.com/chapter/10.1007/978-3-642-20192-9_8|عنوان=Theory for ℓ1/ℓ2-penalty procedures|نام خانوادگی=Bühlmann|نام=Peter|نام خانوادگی۲=van de Geer|نام۲=Sara|تاریخ=2011|ناشر=Springer Berlin Heidelberg|شابک=9783642201912|مکان=Berlin, Heidelberg|صفحات=249–291|زبان=en|doi=10.1007/978-3-642-20192-9_8}}</ref> در روش <math>L1</math> ضریبی از نُرمِ <math>L1</math> به تابع ضرر اضافه می‌شود و در روش <math>L2</math> ضریبی از نُرمِ <math>L2</math> که همان نُرمِ اقلیدسی است به تابع ضرر اضافه می‌شود.