گرادیان کاهشی تصادفی: تفاوت میان نسخه‌ها

تا به حال چندین روش نوین برای کاهش سریع‌تر گرادیان کاهشی ابداع شده که ذیلاً بعضی مورد بررسی قرار گرفته‌اند.<ref name="Rumelhart19862">{{cite journal|last=Rumelhart|first=David E.|author2=Hinton, Geoffrey E.|author3=Williams, Ronald J.|date=8 October 1986|title=Learning representations by back-propagating errors|journal=Nature|volume=323|issue=6088|pages=533–536|bibcode=1986Natur.323..533R|doi=10.1038/323533a0}}</ref><ref name=":0">{{cite journal|last1=Polyak|first1=Boris T.|last2=Juditsky|first2=Anatoli B.|year=1992|title=Acceleration of stochastic approximation by averaging|url=http://www.meyn.ece.ufl.edu/archive/spm_files/Courses/ECE555-2011/555media/poljud92.pdf|journal=SIAM J. Control Optim.|volume=30|issue=4|pages=838–855|doi=10.1137/0330046}}</ref><ref name="duchi">{{cite journal|last1=Duchi|first1=John|last2=Hazan|first2=Elad|last3=Singer|first3=Yoram|date=|year=2011|title=Adaptive subgradient methods for online learning and stochastic optimization|url=http://jmlr.org/papers/volume12/duchi11a/duchi11a.pdf|journal=[[Journal of Machine Learning Research|JMLR]]|volume=12|pages=2121–2159}}</ref><ref name=":1">Tieleman, Tijmen and Hinton, Geoffrey (2012). Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural Networks for Machine Learning</ref><ref name="Adam2014">{{cite arXiv|last1=Diederik|first1=Kingma|first2=Jimmy|last2=Ba|eprint=1412.6980|title=Adam: A method for stochastic optimization|year=2014|class=cs.LG}}</ref>

این روش نتایج بسیار خوبی برای مسائل مختلف بهینه‌سازی داده‌است.<ref>{{Cite web|url=http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf|title=Overview of mini-batch gradient descent|last=Hinton|first=Geoffrey|authorlink=Geoffrey Hinton|date=|website=|publisher=|pages=27–29|access-date=27 September 2016}}</ref>