حذف تصادفی (شبکه‌های عصبی)

حذف تصادفی یک روشِ تنظیم مدل (به انگلیسی: regularization)، برای کاهش بیش‌برازش (به انگلیسی: overfitting) در شبکه‌های عصبی است.^[۱] در این روش، درصدی از وزن‌های یک شبکه عصبی هر بار به صورت تصادفی از روند یادگیری حذف می‌شود.^[۲]^[۳] برای یادگیری وزن‌های شبکه عصبی از الگوریتم گرادیان کاهشی تصادفی استفاده می‌شود، و هر بار وزن‌های شبکه با استفاده از زیرمجموعه‌ای کوچک از داده‌ها به صورت متناوب بروز می‌شوند تا تابع ضررِ به اندازه کافی کوچک شود. در روش حذف تصادفی هر بار که وزن‌ها بروز می‌شوند یک سری از آن‌ها را به صورت تصادفی از پروسه یادگیری حذف می‌شوند.^[۳]

جستارهای وابسته ویرایش

منابع ویرایش

↑ Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [cs.NE].
↑ "Dropout: A Simple Way to Prevent Neural Networks from Overfitting". Jmlr.org. Retrieved July 26, 2015.
↑ ^۳٫۰ ^۳٫۱ Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron; Bengio, Yoshua (2013-12-20). "An empirical analysis of dropout in piecewise linear networks". arXiv:1312.6197 [stat.ML].

[MyUser_Arxiv.org_July_26_2015c-1] Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [cs.NE].

[MyUser_Jmlr.org_July_26_2015c-2] "Dropout: A Simple Way to Prevent Neural Networks from Overfitting". Jmlr.org. Retrieved July 26, 2015.

[:0-3] ۳٫۰ ^۳٫۱ Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron; Bengio, Yoshua (2013-12-20). "An empirical analysis of dropout in piecewise linear networks". arXiv:1312.6197 [stat.ML].

[۱]

[۲]

[۳]