باز کردن منو اصلی

حذف تصادفی یک روشِ تنظیم مدل (regularization)، برای کاهش بیش‌برازش (overfitting) در شبکه‌های عصبی است.[۱] در این روش، درصدی از وزن‌های یک شبکه عصبی هر بار به صورت تصادفی از روند یادگیری حذف می‌شود.[۲][۳] برای یادگیری وزن‌های شبکه عصبی از الگوریتم گرادیان کاهشی تصادفی استفاده می‌شود، و هر بار وزن‌های شبکه با استفاده از زیرمجموعه‌ای کوچک از داده‌ها به صورت متناوب بروز می‌شوند تا تابع ضررِ به اندازه کافی کوچک شود. در روش حذف تصادفی هر بار که وزن‌ها بروز می‌شوند یک سری از آن‌ها را به صورت تصادفی از پروسه یادگیری حذف می‌شوند.[۳]

جستارهای وابستهویرایش

منابعویرایش

  1. Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [cs.NE].
  2. "Dropout: A Simple Way to Prevent Neural Networks from Overfitting". Jmlr.org. Retrieved July 26, 2015.
  3. ۳٫۰ ۳٫۱ Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron; Bengio, Yoshua (2013-12-20). "An empirical analysis of dropout in piecewise linear networks". arXiv:1312.6197 [stat.ML].