Deep Learning Clase 05 深層学習
Redes recurrentes: RNN, LSTM y GRU
De la estructura espacial a la temporal: una celda que se reutiliza en cada paso, por qué el gradiente se desvanece a lo largo del tiempo y cómo la LSTM y la GRU lo resuelven con compuertas y una memoria aditiva.
Universidad Panamericana · Maestría en Ciencia de Datos · 34 diapositivas · en inglés
Usa ← → o haz clic sobre la diapositiva para avanzar.
Contenido
Cada tema abre la presentación en esa diapositiva. Las diapositivas de esta clase están en inglés.
Recurrence
The catch
LSTM
- 10 LSTM: add a memory highway.
- 11 The cell state: a lightly-touched conveyor belt.
- 12 Forget gate: what to drop.
- 13 Input gate + candidate: what new info to write.
- 14 Updating memory — by addition.
- 15 Output gate: what to expose.
- 16 The full cell, assembled.
- 17 Why it works: additive update = preserved signal.
RNN · LSTM · GRU
Big picture