Deep Learning

Backprop, MLP, atención, Transformers, entrenamiento y fine-tuning.

Volver a los 11 temas · Referencia · el temario oficial: Syllabus IOAI

📋 En el syllabus oficial: sección 4. Neural networks and deep learning.

La sección 4 del syllabus y el núcleo de la olimpiada. Si solo pudieras entrenar un tema, es este: el fine-tuning de un modelo preentrenado resuelve, total o parcialmente, la mayoría de las tareas.

📌 Qué abarca

  • Bases 🧠💻: perceptrón, descenso de gradiente, backpropagation, activaciones (ReLU, Sigmoid, Tanh), pérdidas (MSE, MAE, cross-entropy).
  • Arquitectura 🧠💻: MLP, embeddings (texto, imagen, audio), pooling, atención, Transformers (teoría solo para texto e imagen), SGD y mini-batch.
  • Entrenamiento 💻: Adam/AdamW, learning rates y convergencia, dropout, early stopping, weight decay, inicialización, batch norm, autoencoders.
  • Fine-tuning 💻: completo y parameter-efficient (LoRA vía peft). ⭐ La técnica que más tareas resuelve.

Alcance y prioridades de estudio

Distingue lo no incluido oficialmente de lo que esta ruta pospone por presupuesto. El alcance oficial lo fija Syllabus IOAI.

  • Límite del entorno 2026: TensorFlow / Keras (no existen en la plataforma).
  • No listado como subtema en el syllabus 2026: Aprendizaje por refuerzo profundo.
  • Alcance teórico explícito 2026: Teoría de Transformers aplicada a audio o video — el syllabus la acota explícitamente a texto e imagen.
  • Prioridad didáctica: medir primero modelos pequeños; entrenar desde cero no está excluido del syllabus y algunas tareas lo exigen.

🎯 En competencia

El presupuesto manda: una GPU de ~16 GB y minutos, no horas (en 2026 cada tarea tenía entre 5 y 12 minutos de wall clock que debían cubrir entrenamiento e inferencia). Eso empuja a modelos chicos, LoRA, mixed precision y early stopping. IOAI Field (2026) llevó el límite al extremo opuesto: entrenar desde cero; el score se divide por dos si la red tiene más de 20.260 parámetros.

⚠️ La trampa típica

Presupuestar el tiempo como si el reloj corriera solo en tu máquina. El notebook se re-ejecuta sobre los datos ocultos, y ese re-run también tiene que caber en el límite. Un fine-tuning de 9 minutos con límite de 10 es una bomba de tiempo.

⚙️ Recetas de este tema

Código listo para consultar, con su implementación verificada. El catálogo completo, ordenado por el momento en que se necesita, está en Catálogo de recetas.

  • Bucle de entrenamiento en PyTorch — El bucle mínimo de entrenamiento: forward, pérdida, zero_grad, backward, step.
  • MLP — Construye un perceptrón multicapa con activaciones y dropout opcional.
  • Contar parámetros — Cuenta los parámetros de un modelo exactamente como lo hace un grader, y verifica si caben en un presupuesto.
  • Congelar capas — Congela un modelo entero, o deja entrenables solo sus últimas capas.
  • Early stopping — Corta el entrenamiento cuando la métrica de validación deja de mejorar durante paciencia épocas.

🏋️ Tareas de la IOAI con este tema

Ordenadas por media observada descendente. La ronda y el tamaño de cohorte importan: este orden no prescribe una progresión de estudio.

TareaEdiciónRondaRendimiento observado
Chicken CountingIOAI 2025Día 1🟡 media ≥25 · media 26.11 · n=284
Double Agent DilemmaIOAI 2026Día 2🟠 media ≥12 · media 20.32 · n=440
IOAI FieldIOAI 2026Día 2🟠 media ≥12 · media 15.52 · n=440
Robot ChasingIOAI 2026Día 1🔴 media <12 · media 11.98 · n=440
Find the OrderIOAI 2026Día 1🔴 media <12 · media 9.72 · n=440
Help BOBAIIOAI 2024Científica on-site⚪ sin datos
BobaiIOAI 2024Científica at-home⚪ sin datos
Lost in TranslationIOAI 2024Científica at-home⚪ sin datos
WeatherIOAI 2025At-home⚪ sin datos
Operation Night WatchIOAI 2026At-home⚪ sin datos
Robot Delivery AcademyIOAI 2026At-home⚪ sin datos

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI