Estandarizar sin fuga

Tema: Metodología y Datos · Catálogo de recetas · temario: Syllabus IOAI

📍 Dónde se aprende: módulo 05 de la Ruta de Aprendizaje.

Qué hace

Centra y escala las features usando media y desviación calculadas solo con train.

Cuándo usarla

Antes de cualquier modelo sensible a la escala: k-NN, SVM, regresión regularizada, redes neuronales. Los árboles y el boosting no lo necesitan.

Implementación

Necesita: numpy.

import numpy as np
 
 
def ajustar_estandarizador(X_train):
    """Calcula media y desviación SOLO con train. Devuelve los parámetros."""
    media = X_train.mean(axis=0)
    desv = X_train.std(axis=0)
    desv[desv == 0] = 1.0          # columna constante: no se escala, no se divide por cero
    return media, desv
 
 
def aplicar_estandarizador(X, parametros):
    """Aplica a cualquier split los parámetros ajustados con train."""
    media, desv = parametros
    return (X - media) / desv

⚠️ Notas

La trampa es de una línea: X_todo = (X_todo - X_todo.mean()) / X_todo.std() antes de partir. Ahí la media de validación se coló en el entrenamiento. Es fuga chica pero real, y crece cuando el dataset es chico — que en la IOAI es la norma (Restroom traía 82 ejemplos).

La columna constante es el otro caso: su desviación es 0. Acá se deja en 1 para no dividir por cero.

🔗 Relacionadas


Verificada

Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en herramientas/pruebas/datos.py. Si se rompe, el sitio no se actualiza.

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI