什麽是梯度下降法？

梯度下降是壹種叠代搜索函數最小值的優化算法。使用梯度下降，尋找函數局部極小值的過程從隨機點開始，在當前點向函數梯度(或近似梯度)的相反方向移動。梯度下降算法是壹種非常經典的求最小值的算法。

比如logistic回歸，可以用梯度下降法優化，因為這兩種算法的損失函數都是嚴格意義上的凸函數，即存在全局唯壹最小值，學習率小，叠代次數足夠多，肯定能達到最小值，滿足精度要求完全沒問題。並且隨著特征個數的增加，梯度下降的效率會比求解標準方程的逆矩陣的效率高很多。

常用的梯度下降法有三種不同的形式:

(1)批量梯度下降法，縮寫為BGD，使用所有樣本，耗時較長。

(2)隨機梯度下降法，簡稱SGD，隨機選取壹個樣本，簡單高效。

(3)小批量梯度下降法，簡稱MBGD，使用的樣本數量少，是壹種折中的方法。

機器梯度下降法的優點:

1，更容易跳出局部最優解。

2.它有更快的運行速度。