Deep Learning

Universidad Panamericana · Master’s in Data Science
Instructor: Dr. León Palafox

Course Description

A comprehensive journey through the foundations and state-of-the-art of Deep Neural Networks, from the mathematical basics of the Perceptron through Transformers and generative models.

Course at a glance

#	Session	Resources
1	Introducción: representaciones, herramientas, perceptrón y backpropagation	Deck · PDF · Colab
2	Redes neuronales convolucionales: invarianza, convolución y pooling	Deck · PDF · Colab
3	Embeddings en CNN: de píxeles a vectores y aplicaciones	Deck · PDF · Colab
4	Regularización y transfer learning: generalización y CNN en la práctica	Deck · PDF
5	Redes recurrentes: RNN, LSTM y GRU, de la recurrencia a las compuertas	Deck · PDF
6	Attention and the Transformer architecture	Próximamente
7	Pretrained language models: BERT, GPT	Próximamente
8	Generative models: VAEs and GANs	Próximamente

Provisional syllabus. The session schedule will be posted once finalized.

---

Detailed syllabus

Clase 1 — Introducción al aprendizaje profundo

Por qué la representación de los datos lo cambia todo. · Slides & outline → · PDF ↓ · Notebook en Colab ↗

1. El curso — objetivos, metodología, mapa del curso y evaluación (60% proyecto final en equipos de hasta 3; 40% tareas y participación).
2. Representaciones y aplicaciones — el problema de clasificación, cómo un cambio de coordenadas vuelve separable un problema, capas de representación, IA vs. ML vs. DL, y el papel de las GPUs, CUDA y la escala de datos. Casos: AlphaFold y modelos de lenguaje.
3. Herramientas — PyTorch, Keras y la historia de los frameworks de deep learning.
4. Redes y entrenamiento — el perceptrón, funciones de activación, redes de neuronas, el ciclo de entrenamiento, backpropagation y gradientes que se desvanecen; un primer vistazo a redes convolucionales y recurrentes.

Clase 2 — Redes neuronales convolucionales

Un mismo filtro recorre toda la imagen. · Slides & outline → · PDF ↓ · Notebook en Colab ↗

1. Invarianza y características locales — por qué un dígito girado, desplazado o escalado es otra imagen píxel por píxel; aumentar los datos artificialmente frente a modelar las transformaciones; características locales y estacionaridad.
2. Convolución y pooling — el filtro que recorre la imagen, la convolución como ecuación, max y average pooling, y por qué compartir pesos equivale a entrenar con un conjunto de datos mucho más grande.
3. Datos — CIFAR-10, ImageNet y el reto ILSVRC, donde AlexNet (2012) mostró lo que podían hacer las CNN entrenadas en GPUs.

Clase 3 — Embeddings en CNN

De una imagen a un vector reutilizable. · Slides & outline → · PDF ↓ · Notebook en Colab ↗

1. Embeddings — representaciones visuales, similitud más allá de los píxeles y un experimento con transformaciones de una misma imagen.
2. De píxeles a vectores — backbone y head de clasificación, jerarquía de características, feature maps y Global Average Pooling.
3. Del clasificador al encoder — quitar la última capa, reutilizar la representación y extraer un embedding de 2048 dimensiones con ResNet-50.
4. Aplicaciones — búsqueda visual por similitud, clustering sin etiquetas, transferencia de aprendizaje y detección de anomalías.
5. Buenas prácticas — elegir modelo y capa de extracción, congelar o ajustar el backbone, normalizar los vectores y escoger una métrica de similitud.

Clase 4 — Regularización y transfer learning

Cómo hacer que una CNN funcione en el mundo real. · Slides & outline → · PDF ↓

1. Repaso y aplicaciones — convolución, pooling y aprendizaje jerárquico; visión en medicina, búsqueda visual, segmentación y video.
2. Generalización y regularización — overfitting, Dropout, BatchNorm y data augmentation para entrenar con pocos datos y mejorar la generalización.
3. Transfer learning — modelos preentrenados, extracción de características frente a fine-tuning y adaptación de la cabeza de clasificación.
4. Práctica y evaluación — anatomía de una solución de visión, entrenamiento y comparación de modelos, accuracy, precision, recall y matriz de confusión.

Clase 5 — Redes recurrentes: RNN, LSTM y GRU

De la estructura espacial a la temporal. · Slides & outline → · PDF ↓ · Diapositivas en inglés

1. Motivación — lo que un MLP y una CNN no pueden hacer con secuencias: longitud variable, orden y memoria a distancias arbitrarias.
2. La recurrencia — una misma celda reutilizada en cada paso, el estado oculto como resumen comprimido, el desenrollado en el tiempo, compartir pesos a lo largo del tiempo (el truco de la CNN en otro eje) y las formas de entrada y salida: one-to-many, many-to-one y many-to-many.
3. El problema — backpropagation a través del tiempo: gradientes que explotan (se corrigen con gradient clipping) y gradientes que se desvanecen en silencio.
4. LSTM — el estado de celda como autopista de memoria; compuertas de olvido, entrada y salida, y por qué una actualización aditiva preserva la señal.
5. GRU — dos compuertas (reset y update) y un solo estado; comparación lado a lado de RNN, LSTM y GRU con ejemplos, y cuándo usar cada una.
6. En la práctica — redes bidireccionales y apiladas, padding, masking y empaquetado de secuencias en PyTorch.
7. Panorama — por qué los Transformers las reemplazaron, dónde siguen vivas (streaming, dispositivos embebidos, series de tiempo) y su regreso con Mamba, RWKV y xLSTM; cierra con un ejemplo resuelto paso a paso de una LSTM sobre “the movie was not good”.

Assessment

Assessment details and grading weights have not yet been posted.

Schedule & Office Hours

Lecture times and office hours have not yet been posted.

Contact: León Palafox