Stochastic gradient descent

گرادیان کاهشی تصادفی (به انگلیسی: Stochastic Gradient Descent) (اغلب به اختصار SGD خوانده می‌شود) روشی مبتنی بر تکرار برای بهینه‌سازی یک تابع مشتق‌پذیر

مدل خطی عمومی یک مدل خطی آماری است. به شکل زیر می‌توان نوشت Y = X B + U , {\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U} ,} که در آن

(2004). "Solving Large Scale Linear Prediction Problems Using Stochastic Gradient Descent Algorithms". Proceedings of the Twenty-first International Conference

{\displaystyle x\neq \mathbf {0} } صدق میکند. در گرادیان کاهشی تصادفی (Stochastic gradient descent) ، مقیاس بندی ویژگی گاهی اوقات می تواند سرعت همگرایی الگوریتم

G. D.; Vrahatis, M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent". Advances in Convex Analysis and Global Optimization. Kluwer