{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "# 03 · Ranking, ROC/AUC y umbral — inicio para completar\n\nDistinguir calidad del ranking de una decisión por umbral y elegir ese umbral sin mirar test.\n\n**Ideas que aparecen:** laboratorio 02; proporción y probabilidad (cápsula 5). Puedes consultar las cápsulas\nopcionales de `ruta/Puentes de entrada.md` cuando alguna te haga falta.\n\nDatos **sintéticos educativos**, creados en este repositorio y dedicados a\nCC0-1.0. No representan personas ni un rendimiento oficial IOAI.\nTodo el ejercicio usa CPU y archivos locales; no requiere cuentas ni red.\n\nEl inicio ya corre. Las celdas de experimentación son lugares para cambiar una idea y observar qué ocurre; la solución está en otro archivo si quieres contrastarla.\nPuedes recorrerlo en una o varias sesiones. No hay límite de juez ni\nobligación de completar todos los experimentos para abrir el siguiente cuaderno.\n",
   "id": "03-i-00"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from pathlib import Path\nimport json\nimport numpy as np\nimport pandas as pd\nimport matplotlib.pyplot as plt\n\nplt.rcParams.update({\"figure.figsize\": (10, 4), \"axes.spines.top\": False,\n                     \"axes.spines.right\": False, \"font.size\": 11})\n\nDATOS = Path(\"datos\")\nassert DATOS.is_dir(), \"Abre el notebook desde su carpeta: deben existir datos/ e inicio.ipynb.\"\nSEMILLA = 17\n",
   "id": "03-i-01"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Dos preguntas diferentes\nAquí el modelo ya produjo un `score` entre 0 y 1. Un score mayor\nsignifica más evidencia de clase 1; no suponemos que esté calibrado\ncomo probabilidad. `score >= umbral` convierte ranking en decisión.\nPrecision = TP/(TP+FP), recall = TP/(TP+FN), F1 es su media armónica.\nCuando no hay positivos predichos usamos `zero_division=0`.\n\nLa curva ROC recorre tasa de falsos positivos (FP/(FP+TN)) y recall\nal variar el umbral. ROC-AUC evalúa orden: probabilidad de que un\npositivo elegido al azar tenga score mayor que un negativo, con\nmedio crédito para empates. No cambia al mover el umbral de decisión.\nCon una sola clase, esa comparación no existe: reporta «no definida».\nCon fuerte desbalance conviene además mirar precision y recall:\nuna AUC alta no garantiza que cada alerta sea útil.\n",
   "id": "03-i-02"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, roc_curve, confusion_matrix\nval = pd.read_csv(DATOS / \"validacion.csv\")\nprint(\"Balance:\", val.etiqueta.value_counts().to_dict())\nprint(\"Baseline siempre 0, accuracy:\", accuracy_score(val.etiqueta, np.zeros(len(val))))\numbrales = np.arange(5, 96, 5) / 100  # grilla definida antes de evaluar\n",
   "id": "03-i-03"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Zona de experimentación\nElige un umbral usando F1 de validación. Conserva 0.5 como baseline.\nEn empate elige el umbral más alto para que el procedimiento sea\nreproducible. Implementa AUC mediante comparaciones positivo-negativo\ny contrástala con scikit-learn. No uses etiquetas de transferencia\npara escoger el umbral.\n",
   "id": "03-i-04"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "def elegir_umbral(y, scores, candidatos):\n    # TRABAJO: evaluar la grilla usando solo validación.\n    return 0.5\n\ndef auc_por_pares(y, scores):\n    # TRABAJO: sustituye esta llamada por comparaciones, incluido empate.\n    if len(np.unique(y)) < 2:\n        return None\n    return float(roc_auc_score(y, scores))\n",
   "id": "03-i-05"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comparación en las mismas condiciones\nEl baseline F1 usa umbral 0.5 sobre la misma validación. Exploramos cuánto cambia F1 sin cambiar el ranking. La figura y la tabla de puntos ROC muestran la misma idea desde dos representaciones. Transferencia usa el umbral ya elegido.\n",
   "id": "03-i-06"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "elegido = elegir_umbral(val.etiqueta.to_numpy(), val.score.to_numpy(), umbrales)\npred = val.score.to_numpy() >= elegido\nfpr, tpr, cortes = roc_curve(val.etiqueta, val.score)\nprint(pd.DataFrame({\"falsos_positivos\": fpr, \"recall\": tpr, \"umbral\": cortes}))\nprint(\"Matriz [[TN,FP],[FN,TP]]:\", confusion_matrix(val.etiqueta, pred, labels=[0, 1]))\nresultado = {\n    \"baseline\": float(f1_score(val.etiqueta, val.score >= 0.5, zero_division=0)),\n    \"validacion\": float(f1_score(val.etiqueta, pred, zero_division=0)),\n    \"umbral\": float(elegido), \"auc\": auc_por_pares(val.etiqueta, val.score),\n    \"precision\": float(precision_score(val.etiqueta, pred, zero_division=0)),\n    \"recall\": float(recall_score(val.etiqueta, pred, zero_division=0)),\n}\nassert abs(resultado[\"auc\"] - roc_auc_score(val.etiqueta, val.score)) < 1e-12\nassert auc_por_pares([0, 1], [0.4, 0.4]) == 0.5\nassert auc_por_pares([0, 0], [0.1, 0.9]) is None\n",
   "id": "03-i-07"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "<details><summary>Idea · decisión</summary>Para cada candidato, transforma scores en etiquetas con >= y calcula F1.</details>\n<details><summary>Idea · ranking</summary>Forma una matriz de diferencias: scores_positivos[:, None] - scores_negativos[None, :].</details>\n<details><summary>Idea · empate</summary>Promedia 1 si la diferencia es positiva, 0.5 si es cero y 0 si es negativa.</details>\n",
   "id": "03-i-08"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Transferencia: decide antes de mirar el resultado\nCongela el umbral elegido y mide un conjunto con otra prevalencia. Describe qué cambió en precision/recall y por qué no debes retocar el umbral mirando estas respuestas. Prueba una transformación estrictamente creciente de los scores: el orden y la AUC se conservan, el umbral numérico debe transformarse si quieres las mismas decisiones.\n",
   "id": "03-i-09"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "nuevo = pd.read_csv(DATOS / \"transferencia.csv\")\npred_nuevo = nuevo.score >= elegido\nresultado[\"transferencia\"] = float(f1_score(nuevo.etiqueta, pred_nuevo, zero_division=0))\nresultado[\"baseline_transferencia\"] = float(f1_score(nuevo.etiqueta, nuevo.score >= 0.5, zero_division=0))\nresultado[\"precision_transferencia\"] = float(precision_score(nuevo.etiqueta, pred_nuevo, zero_division=0))\nresultado[\"recall_transferencia\"] = float(recall_score(nuevo.etiqueta, pred_nuevo, zero_division=0))\nassert np.isclose(roc_auc_score(nuevo.etiqueta, nuevo.score), roc_auc_score(nuevo.etiqueta, nuevo.score ** 3))\nassert np.array_equal(nuevo.score >= elegido, nuevo.score ** 3 >= elegido ** 3)\n",
   "id": "03-i-10"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Mirar la idea\nCompara el dibujo con lo que esperabas antes de ejecutar.\n",
   "id": "03-i-11"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "fig, ejes = plt.subplots(1, 2, figsize=(11, 4))\nejes[0].plot(fpr, tpr, marker=\".\", color=\"#287da3\", label=f\"ROC; AUC={resultado['auc']:.3f}\")\nejes[0].plot([0, 1], [0, 1], linestyle=\"--\", color=\"gray\", label=\"referencia sin orden útil\")\ntn, fp, fn, tp = confusion_matrix(val.etiqueta, pred, labels=[0, 1]).ravel()\nejes[0].scatter([fp / (fp + tn)], [tp / (tp + fn)], color=\"#d2604d\", s=70, zorder=3, label=\"umbral elegido\")\nejes[0].set(xlabel=\"tasa de falsos positivos\", ylabel=\"recall\", title=\"Ranking: todos los umbrales\")\nejes[0].legend(fontsize=9)\nf1s = [f1_score(val.etiqueta, val.score >= t, zero_division=0) for t in umbrales]\nejes[1].plot(umbrales, f1s, marker=\"o\", color=\"#287da3\")\nejes[1].axvline(0.5, color=\"gray\", linestyle=\"--\", label=\"baseline 0.5\")\nejes[1].axvline(elegido, color=\"#d2604d\", label=f\"elegido {elegido:.2f}\")\nejes[1].set(xlabel=\"umbral\", ylabel=\"F1\", title=\"Decisión: un umbral concreto\", ylim=(0, 1.05))\nejes[1].legend(fontsize=9)\nfig.tight_layout()\nplt.show()\n",
   "id": "03-i-12"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Para seguir explorando\n¿Puedes mejorar F1 sin cambiar una sola posición del ranking? Mira cómo se mueve el punto de operación al cambiar el umbral. ¿Por qué un ranking muy bueno puede generar muchas falsas alarmas cuando hay pocos positivos?\n",
   "id": "03-i-13"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Comprobaciones del ejemplo\nEstas aserciones detectan errores técnicos en el cuaderno y en su solución de referencia. No son un examen ni una escala de capacidad.\n",
   "id": "03-i-14"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "assert isinstance(resultado, dict)\n",
   "id": "03-i-15"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": "## Resultado reproducible\nEsta celda guarda automáticamente las medidas para comprobar el material. Puedes conservar una copia de tu notebook y tus propias notas; no hay un formulario que rellenar.\n",
   "id": "03-i-16"
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": "resultado.update({\"laboratorio\": '03_metricas', \"version\": 'inicio para completar',\n                  \"datos\": \"sintéticos CC0-1.0\",\n                  \"metrica\": 'F1 binario de clase positiva 1; ROC-AUC como diagnóstico de ranking (mayor es mejor)', \"split\": '60 pares etiqueta-score de validación; 50 de transferencia separados; modelo ya congelado'})\nPath(\"resultado.json\").write_text(json.dumps(resultado, ensure_ascii=False, indent=2, allow_nan=False) + \"\\n\", encoding=\"utf-8\")\nprint(json.dumps(resultado, ensure_ascii=False, indent=2))\n",
   "id": "03-i-17"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
