Congelar capas
Tema: Deep Learning · Catálogo de recetas · temario: Syllabus IOAI
📍 Dónde se aprende: módulo 14 de la Ruta de Aprendizaje.
Qué hace
Congela un modelo entero, o deja entrenables solo sus últimas capas.
Cuándo usarla
Fine-tuning parcial: cuando no cabe entrenar el encoder completo en el presupuesto de tiempo o de VRAM. Es el paso previo a LoRA y muchas veces alcanza.
Implementación
Necesita: torch.
import torch
def congelar(modulo):
"""Congela todos los parámetros de un módulo (no reciben gradiente)."""
for p in modulo.parameters():
p.requires_grad = False
return modulo
def descongelar_ultimas(modelo, n_capas):
"""Congela todo y descongela solo las últimas `n_capas` con parámetros.
Es el fine-tuning parcial de los pobres: cuando no cabe entrenar el encoder
entero en el presupuesto de tiempo o de VRAM, se entrena la cabeza y las
últimas capas, que son las que codifican lo específico de la tarea.
"""
for p in modelo.parameters():
p.requires_grad = False
con_params = [m for m in modelo.modules()
if any(True for _ in m.parameters(recurse=False))]
for m in con_params[-n_capas:] if n_capas else []:
for p in m.parameters(recurse=False):
p.requires_grad = True
return modelo⚠️ Notas
Congelar cambia qué se entrena, no cuántos parámetros declara el modelo (ver Contar parámetros).
Y hay un detalle que muerde: si el optimizador se creó antes de congelar, sigue teniendo esos parámetros en su lista. Congela primero, crea el optimizador después — o pásale explícitamente filter(lambda p: p.requires_grad, modelo.parameters()).
🔗 Relacionadas
Verificada
Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en
herramientas/pruebas/redes.py. Si se rompe, el sitio no se actualiza.
Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI