Ghost of the Machine
IOAI 2026 · Día 2 · Sede: Astana, Kazajistán 🇰🇿
Temas: NLP y Audio, Metodología y Datos, Adversarial y Robustez · Edición: IOAI 2026
💡 Qué pide y por dónde va (spoiler)
Cada pasaje empieza escrito por una persona y en algún punto sigue una máquina: hay que encontrar el índice de carácter exacto del cambio. La métrica decae exponencialmente con la distancia (100 caracteres de error ≈ 0.37), así que premia acercarse, no acertar — es un problema de punto de cambio; se pueden comparar varias formulaciones. El baseline trivial (predecir siempre la misma fracción del largo) obtuvo 28.6/100 en leaderboard A, no en cualquier split.
📋 Ficha
| Métrica | exp(− |
| Límite de ejecución | 10 min |
| Modelos permitidos | bge-base-en-v1.5 (encoder, no generativo) |
| Rendimiento observado | 🔴 media <12 — media 8.7/100 · mediana 0.0 · máx 100.0 · sacaron 0: 54% · pasaron de 50: 7% (n=440) |
| Cohorte | 2026 · Día 2 · Individual |
| Contrato | Fuente oficial revisada |
| Preparación | Material educativo disponible; requiere preparar el entorno |
| Archivos a entregar | solution.ipynb |
| Archivos producidos | answers.jsonl |
| Punto de entrada | dataset/train/data.jsonl y answers.jsonl; test_public/data.jsonl sin respuestas ocultas. |
| Límite de entrega | solution.ipynb ≤ 20 MB |
| Split de las referencias | leaderboard A: baseline 28.6 y Comité 93.41; B y validación local tienen referencias propias. |
| Evaluación | code/grading/evaluate.ipynb (educativo); una línea por id con boundary_char_index entero en [0, len(text)]. |
| Dependencias | Encoder bge-base-en-v1.5 preparado localmente; entorno oficial; 10 min totales. |
| Ejecución del grader verificada aquí | No verificada |
El score del Comité proviene de fine-tuning y detección de cambio por oraciones; no acredita una receta exacta de mínimos de coseno.
Fuentes del contrato: fuente 1
Revisión documental: 2026-09-06.
Puntaje normalizado: Norm = (tuyo − baseline) / (Max − baseline) × 100 · baseline 28.6 · Comité Científico 93.41 (escala nativa de la métrica, 0–100). Son referencias del split declarado en el contrato, no un resultado transferible a cualquier validación. Max no es necesariamente el Comité. Consultar Formato IOAI y estrategia y Protocolo de simulacro antes de normalizar.
🔗 Enlaces
- 📄 Material oficial (enunciado, baseline, grader)
- 📊 Dataset en HuggingFace — trae
public/yprivate/(los splits A y B) - 🏅 Resultados de la edición
▶️ Abrir en Colab
Antes de trabajar, comprueba sus dependencias y descarga de datos; disponer de un enlace a Colab no acredita que el grader haya sido ejecutado en ese entorno.
- Explorar el baseline educativo —
— Adaptación educativa no oficial. No certifica la reproducción del entorno ni del puntaje del concurso. Procedencia.
- Evaluar con el notebook educativo —
— Adaptación educativa no oficial. No certifica la reproducción del entorno ni del puntaje del concurso. Procedencia.