Lección de método

El tramo reservado y el pre-registro

Congelar 2023 en adelante, no mirarlo nunca durante la exploración, y abrir esa puerta UNA sola vez por candidato.

La pregunta: ¿Cómo se sabe si un hallazgo es real o es el ruido de la ventana en la que se buscó?

Qué se encontró

No hay forma de saberlo desde dentro de esa ventana. Da igual lo sofisticado que sea el test: si los mismos datos se han usado para ELEGIR el candidato y para JUZGARLO, el juicio está contaminado. La única defensa que funciona es aburrida: apartar un tramo de datos antes de empezar, no tocarlo, y usarlo una vez al final. El proyecto congeló desde el 1 de enero de 2023 —unos 2,7 años y dos regímenes distintos— con una guardia en el código que lanza una excepción si algún script intenta leer de ahí durante la exploración. Y la regla que lo hace funcionar: la puerta final se abre UNA vez por candidato. Si falla, el candidato muere; no se re-ajusta y se vuelve a pasar.

Pruébalo tú mismo

Por qué la puerta se abre una sola vez. Si se re-ajusta y se vuelve a probar en el tramo reservado, cada intento es otra tirada de dados.

Probabilidad de pasar por azar % = (1 − (1 − α)^intentos) × 100
Probabilidad de pasar sin tener nada

Intentos hasta que es más probable que no que pase por azar:

Con un solo intento la probabilidad es el 5 % prometido. Con catorce ya es más probable que no que un candidato sin ninguna ventaja pase la puerta final. Nadie decide hacer trampa: se decide "probar una variante más", catorce veces.

Números de ejemplo para practicar — no son datos reales.

Cómo se probó, paso a paso

  1. Antes de correr nada se escribe un pre-registro: hipótesis, mecanismo económico por el que DEBERÍA funcionar, datos, test exacto, efecto mínimo detectable calculado, y regla de decisión. Si el efecto mínimo detectable es mayor que el efecto plausible, el experimento no se corre.
  2. Toda la exploración vive en los datos anteriores a 2023. Ahí se puede probar, ajustar, descartar y volver a intentar tantas veces como haga falta.
  3. Cuando un candidato pasa la exploración, se abre el tramo reservado UNA vez, y esa apertura queda registrada en el libro de cuentas con su fecha. Que quede registrada es lo que impide repetirla en silencio.
  4. El resultado de aplicar esto a los 28 candidatos que había matado el criterio anterior: 7 sobreviven la exploración con p entre 0,000 y 0,013, y NINGUNO replica en el tramo reservado.
Qué NO dice esto. Un tramo reservado no es magia y el proyecto documenta sus propias limitaciones. Para los candidatos del re-juicio, el reservado estaba CONTAMINADO —se habían seleccionado usando la historia completa—, lo que sesgaría a favor de pasar; fallarlo es entonces evidencia fuerte, pero pasarlo no lo habría sido. Y para dos de las fuentes nuevas —flujos de ETF, posicionamiento de grandes cuentas— el reservado global es directamente inservible porque los datos empiezan dentro de él; ahí se usó una partición interna, declarada y marcada como tal, que es más débil y se dice que lo es. Por último: un tramo reservado se gasta. Cada vez que se abre, vale un poco menos, y no se regenera.

Seguimiento

Este hallazgo no tiene un número en vivo: se midió sobre datos archivados y publicar un gráfico aquí daría a entender un seguimiento continuo que no existe. Las cifras están arriba, con el script que las produjo.

← Toda la investigación