什麽是梯度下降法？

梯度下降法是壹種基於搜索的優化方法，實際上並不是機器學習算法，但在機器學習領域，很多算法都是基於梯度下降法，其主要作用是尋找目標函數的最優解。

在求解損失函數最小值時，可以采用梯度下降法逐步求解，得到最小損失函數和模型參數值。另壹方面，如果需要求解損失函數的最大值，那麽就需要用梯度上升法叠代。機器學習中，在基本梯度下降法的基礎上，發展了兩種梯度下降法，即隨機梯度下降法和批量梯度下降法。

常用的梯度下降法有三種不同的形式:

(1)批量梯度下降法，縮寫為BGD，使用所有樣本，耗時較長；

(2)隨機梯度下降法(簡稱SGD)，隨機選取壹個樣本，簡單高效；

(3)小批量梯度下降法，簡稱MBGD，使用的樣本數量少，是壹種折中的方法。