定義
梯度下降法是壹種壹階優化算法。梯度下降法用於尋找函數的局部最小值。必須在函數上當前點對應的梯度(或近似梯度)的反方向對指定的步距點進行叠代搜索。如果在梯度的正方向叠代搜索，就會逼近函數的局部極大值點，這個過程叫做梯度上升法。
使用
梯度下降法是壹種叠代法，可用於求解最小二乘問題(線性和非線性)。梯度下降法和最小二乘法是求解機器學習算法模型參數，即無約束優化問題最常用的方法。當求解損失函數的最小值時。
用梯度下降法叠代求解，可以得到最小損失函數和模型參數值。另壹方面，如果需要求解損失函數的最大值，那麽就需要用梯度上升法叠代。機器學習中，在基本梯度下降法的基礎上，發展了兩種常用的梯度下降法，即隨機梯度下降法和批量梯度下降法。
原則
求當前位置的偏導數，也就是梯度。正常的梯度方向類似於上山的方向，增加了價值函數。下山時，需要盡快最小化，從負梯度中得到最小值，這就是梯度下降。
梯度上升是直接導數，梯度下降是梯度上升的負值。因為不知道怎麽下山，所以需要走壹步看壹步，繼續求解當前位置的偏導數。壹步壹步來，當我們到達最低點時，我們可以得到壹個近似的最優解。