Probabilidad y logaritmos para aprender
Fundamentos — Interpretar incertidumbre y pérdida · Ruta de Aprendizaje
De cien piezas, veinte tienen avería. Si elegimos una de esas cien sin favorecer ninguna, la probabilidad de avería es 20/100=0.2. Es una fracción de casos en este experimento; no significa que cada pieza esté «20% averiada». Un modelo intentará estimar probabilidades usando sus mediciones, con errores y supuestos que habrá que evaluar.
Cambiar el grupo cambia la pregunta
Un detector emite diez alertas: ocho corresponden a averías y dos no. Podemos contar sobre grupos diferentes:
| Pregunta | Cuenta |
|---|---|
| ¿Qué fracción de todas las piezas tiene avería? | 20/100 |
| ¿Qué fracción de las alertas es verdadera? | 8/10 |
| ¿Qué fracción de las averías encontró el detector? | 8/20 |
La probabilidad condicional restringe el universo observado.
P(avería | alerta) se lee «probabilidad de avería dado que hubo alerta»:
miramos solo las diez alertas. No es lo mismo que P(alerta | avería).
El módulo 04 usará estos denominadores para explicar precision y recall.
La frecuencia observada estima una probabilidad en una población más amplia solo bajo condiciones adecuadas de muestreo. Ocho aciertos entre diez casos aportan menos evidencia que ochocientos entre mil, aunque la proporción coincida.
Un promedio ponderado de resultados posibles
Una propuesta tiene probabilidad 0.25 de aportar 8 puntos y 0.75 de aportar 0.
Su valor esperado es 0.25×8+0.75×0=2. No promete ganar exactamente
dos puntos: los resultados posibles siguen siendo ocho o cero. El promedio
sirve para comparar decisiones bajo las probabilidades supuestas.
Para dos eventos independientes, sus probabilidades se multiplican. Dos
monedas justas independientes dan dos caras con probabilidad 0.5×0.5=0.25.
La independencia es una condición, no una regla para cualquier par de eventos.
En general, P(A y B)=P(A)×P(B|A); la segunda probabilidad puede cambiar.
Potencias y logaritmos: ir y volver
Duplicar una cantidad tres veces la multiplica por 2³=8. El logaritmo
responde la pregunta inversa: ¿a qué exponente elevo 2 para obtener 8?
log₂(8)=3. El logaritmo natural, ln o log en las bibliotecas de
esta ruta, usa la base e, aproximadamente 2.71828. exp(t) calcula e elevado
a t; log(exp(t))=t en aritmética exacta.
import math
print(math.log2(8)) # 3.0
print(math.exp(0)) # 1.0
print(math.exp(math.log(4))) # aproximadamente 4.0Para números positivos, log(a×b)=log(a)+log(b). Esa propiedad permite
convertir productos de probabilidades en sumas. El logaritmo real de cero
no está definido; al acercarnos a cero por valores positivos tiende a −∞.
Por qué penalizar con menos logaritmo
Queremos penalizar asignar poca probabilidad a la respuesta que sí ocurrió.
Considera pérdida=−log(p_correcta):
| Probabilidad de la respuesta correcta | Pérdida aproximada |
|---|---|
| 1 | 0 |
| 0.5 | 0.693 |
| 0.25 | 1.386 |
| 0.01 | 4.605 |
Cuanto menor sea esa probabilidad, mayor es la pérdida. Reducirla a la mitad
añade log(2) a la pérdida. En clasificación con una clase correcta por
ejemplo, esta es la entropía cruzada para ese ejemplo; se suele promediar
en un lote. El módulo 10 mostrará cómo calcularla de forma estable desde logits.
probabilidades = [1., 0.5, 0.25, 0.01]
perdidas = [-math.log(p) for p in probabilidades]
print([round(v, 3) for v in perdidas]) # [0.0, 0.693, 1.386, 4.605]De puntuaciones a una distribución: softmax
Supón tres clases con puntuaciones [0, log(2), log(3)]. No son
probabilidades: no tienen por qué estar entre cero y uno ni sumar uno.
Las llamaremos logits. Primero aplicamos exp y obtenemos [1,2,3].
Después dividimos cada valor por su suma, 6: [1/6,2/6,3/6].
Ese procedimiento es softmax.
import numpy as np
logits = np.log(np.array([1., 2., 3.]))
positivos = np.exp(logits)
probs = positivos / positivos.sum()
print(probs) # aproximadamente [0.1667, 0.3333, 0.5]
print(probs.argmax()) # 2: índice de la clase con mayor probabilidad
perdida_correcta_2 = -np.log(probs[2])
print(perdida_correcta_2) # aproximadamente 0.6931Softmax conserva el orden de los logits. Elegir por argmax solo devuelve
una clase; la distribución conserva además diferencias de confianza. Obtener
números positivos que sumen uno no demuestra que estén bien calibrados:
entre muchas predicciones cercanas a 0.8, habría que observar aproximadamente
80% de ejemplos que pertenecen a esa clase para sostener esa interpretación.
En cálculos reales se resta primero el mayor logit antes de aplicar exp. Esto no cambia el resultado matemático: divide numerador y denominador por el mismo factor. Evita exponenciales positivas enormes. Las bibliotecas combinan operaciones para calcular la pérdida sin tomar el logaritmo de una probabilidad que ya se redondeó a cero.
Una variación para probar
Conserva las puntuaciones, pero considera correcta la clase 0. ¿Qué pérdida obtienes? Después suma 1000 a todos los logits: ¿debería cambiar la distribución?
Para contrastar
La pérdida es
−log(1/6)=log(6)≈1.792, mayor que cuando la correcta era 2. Sumar una constante no cambia softmax en aritmética exacta. Para comprobarlo en NumPy, resta el máximo antes de exp; calcularexp(1000)directamente puede desbordar la representación numérica.
← 03 - La competencia y la estrategia · Ruta de Aprendizaje · 04 - Métricas →