AIの基礎と歴史・モデルの種類No.034 / 204

勾配消失問題

層が深いと、学習で伝える勾配がどんどん小さくなり、入力に近い層の重みがほとんど学習されなくなる問題。逆に大きくなりすぎるのが勾配爆発問題。