在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降是最常用的方法之壹，另壹種常用的方法是最小二乘法。在求解損失函數最小值時，可以采用梯度下降法逐步求解，得到最小損失函數和模型參數值。
另壹方面，如果需要求解損失函數的最大值，那麽就需要用梯度上升法叠代。機器學習中，在基本梯度下降法的基礎上，發展了兩種梯度下降法，即隨機梯度下降法和批量梯度下降法。
劣勢
當它接近最小值時，收斂速度變慢。
直線搜索時可能會出現壹些問題。
它可能以之字形下落。