 |
| |||
отсечение градиентов (Поэтому в жизни реализации LSTM, как и RNN, обычно используют отсечение градиентов (gradient clipping), искусственно запрещая им расти далее определенных значений. Чтобы градиенты в рекуррентной сети не взрывались, их обязательно нужно купировать, обрезать до некоторого максимально допустимого размера.
 clck.ru dimock) | |||