LSTM神經網絡的輸入和輸出是什麽?
輸入和輸出都是向量或矩陣。如果使用LSTM進行分類,通常會使用softmax圖層。個人理解比較淺。以動作識別的分類為例。每個動作框架在LSTM訓練,或者每個LSTM單位的重量根據任務訓練。所以LSTM的單位數與輸入輸出無關,甚至可以疊加幾層LSTM。對於分類,最後壹個單元通常連接到softmax層。LSTM結構是傳統RNN結構的擴展,解決了傳統RNN梯度消失/爆炸的問題,從而使深度網絡更容易訓練。從這個角度來說,可能會容易很多。今年的ResNet也讓傳統的CNN更容易訓練重量。看來deeplearning越來越深入了。如果說訓練是壹個關鍵的話,所謂的LSTMUnroll就是將RNN擴展成壹個靜態的“平行”網絡,內部有“橫向連接”,實現長時短時記憶功能(LSTMCell中的state“memory”)。如果說預測的話,得到作為當前狀態(所謂“記憶”)的單元格的H和C作為init參數輸入也是壹個關鍵,這樣當前記憶狀態的網絡就可以預測下壹個輸入,所謂遞歸。該代碼還包含壹個使用cudnn的內置實現,這是壹個高性能版本,可以真正工作。本來我也試著去理解壹些天書公式,很快發現從那裏入手是個錯誤。強烈推薦:了解LSTM網(譯自UnderstandingLSTMNetworks)只要妳有壹點CNN基礎+半個小時,就可以通過這篇文章了解LSTM的基本原理。回答妳的問題:和神經元數量無關。不知道妳是怎麽理解“神經元”這個概念的。輸入輸出層只需要保證張量的維數與輸入輸出壹致即可。