該博客已遷移到/people/cactusgame/posts。
我第壹次接觸高偏差和高方差的概念，是在研究機器學習的欠擬合和過擬合時遇到的。安德魯的解釋非常清楚，我很容易記住過擬合-高方差和欠擬合-高偏差的結論。但是我不太明白這兩個概念的細節，比如
既然永遠無法訓練出那個理想模型，只能訓練訓練模型，那麽訓練模型預測的結果和理論模型的結果(也就是現實)之間壹定存在誤差。我們肯定希望誤差越小越好，把這個訓練模型應用到其他數據集時誤差越小。那麽問題來了。如果這個誤差很大，怎麽辦？
假設我們想訓練壹個股票市場模型。該模型的目標是預測股票在第二天的回報。如果退貨是常規買入，否則就賣出。我們的模型每天都想發財，希望準確預測每天的漲跌，所以關註第二天的收益，不關心每年翻倍之類的中長期策略。
上面訓練的兩個模型和我們期待的“神預測”模型有很大的誤差。要想減少預測誤差，就必須分析誤差產生的原因。這裏的錯誤包括:
我在很多文章裏看到過這張圖，它的原始出處在參考文獻裏。這個例子很清楚，但是我第壹次看的時候，有壹個問題我不明白:
剛看到這張圖的時候，我把圖上的藍點理解為每次射擊的結果，也就是壹個訓練模型對不同的輸入x做出不同的預測Y，如果這樣理解，就無法解釋背後的高方差。其實每個藍點代表壹個訓練模型的預測數據，也就是根據不同的訓練集訓練壹個訓練模型，然後由這個訓練模型做出壹個預測結果。如果這個過程重復n次，就相當於拍了n次。我們假設真實的函數關系是Y=f(x)，訓練模型預測的結果是p(x)，那麽
參考文件: