Umbral óptimo
Tema: Metodología y Datos · Catálogo de recetas · temario: Syllabus IOAI
📍 Dónde se aprende: módulo 04 de la Ruta de Aprendizaje.
Qué hace
Encuentra el corte de probabilidad que maximiza F1, en O(n log n) en vez de probando una grilla.
Cuándo usarla
Siempre que el modelo devuelva probabilidades y la métrica sea F1 o similar. Es la mejora más barata que existe: no reentrena nada y suele valer varios puntos.
Implementación
Necesita: numpy.
import numpy as np
def mejor_umbral(y_true, puntajes):
"""El umbral que maximiza F1, probando solo los cortes que cambian algo.
Un clasificador devuelve una probabilidad; convertirla en 0/1 con el 0.5 de
fábrica casi nunca es lo óptimo, y menos con clases desbalanceadas. Solo
hace falta probar los valores presentes en `puntajes`: entre dos puntajes
consecutivos, las predicciones no cambian.
"""
orden = np.argsort(-puntajes, kind="stable")
s = np.asarray(puntajes)[orden]
y = np.asarray(y_true)[orden].astype(int)
positivos = int(y.sum())
if positivos == 0:
return float(np.max(puntajes) + 1.0), 0.0
vp = np.cumsum(y) # verdaderos positivos al cortar tras i
predichos = np.arange(1, len(y) + 1) # cuántos se predicen positivos
f1 = 2 * vp / (predichos + positivos)
# Un corte solo es alcanzable si no parte un grupo de puntajes empatados:
# `s >= t` se lleva a TODOS los empatados o a ninguno.
alcanzable = np.ones(len(s), dtype=bool)
alcanzable[:-1] = s[:-1] != s[1:]
f1 = np.where(alcanzable, f1, -1.0)
i = int(np.argmax(f1))
return float(s[i]), float(f1[i])⚠️ Notas
El 0.5 de fábrica es óptimo casi nunca. Y el umbral se elige en validación, no en test: si lo ajustas mirando el puntaje del scoreboard A, estás sobreajustando al leaderboard.
Solo hay que probar los valores presentes en los puntajes: entre dos consecutivos las predicciones no cambian.
El detalle que hay que cuidar son los empates. Cortar «después de las primeras k filas» no siempre es alcanzable con un umbral: puntajes >= t se lleva a todos los que empatan en t o a ninguno. Si se ignora eso, la función reporta un F1 que el umbral que devuelve no consigue — y con puntajes redondeados, que es lo normal, los empates abundan.
🔗 Relacionadas
Verificada
Este código se ejecuta en cada publicación, contra una referencia obviamente correcta, en
herramientas/pruebas/datos.py. Si se rompe, el sitio no se actualiza.
Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI