Potencia: qué puede ver el experimento
El cálculo de treinta segundos que habría evitado semanas de trabajo: antes de correr un test, saber cuál es el efecto más pequeño que podría detectar.
La pregunta: Cuando un test dice "no hay señal", ¿está diciendo eso, o está diciendo "no podría haberla visto"?
Qué se encontró
Es la causa número dos de los ocho modos de fallo que documentó el proyecto, y probablemente la más cara. Familias enteras se juzgaron con entre 5 y 63 operaciones: los patrones clásicos con n entre 5 y 63, Wyckoff con 17, la envolvente de Nadaraya-Watson con 8 a 11, el momento de salida con 5 o 6. Con ese número de observaciones hace falta una ventaja de alrededor del 10 % POR OPERACIÓN para detectarla con fiabilidad, y las ventajas reales en mercados líquidos son del 1 al 3 %. La consecuencia es que la mayoría de los "resultados nulos" de aquellas semanas no son nulos: son NO-RESULTADOS. Nunca se calculó la potencia antes de correr un test, así que no había forma de distinguir "no hay señal" de "el experimento no podía verla".
Pruébalo tú mismo
El cálculo que hay que hacer ANTES. Pon el número de operaciones, la ventaja que esperas y lo que varía una operación típica.
Efecto mínimo detectable con esas operaciones (%):
Prueba n = 17 (los eventos de Wyckoff) con una ventaja del 2 %: el efecto mínimo detectable sale por encima del 7 %, es decir, tres veces mayor que lo que se estaba buscando. Ese experimento no podía dar otro resultado.
Números de ejemplo para practicar — no son datos reales.
Cómo se probó, paso a paso
- La intuición es simple: una ventaja se detecta cuando destaca sobre el ruido. El ruido de una media de n operaciones no es la dispersión de una operación, sino esa dispersión dividida entre la raíz de n — por eso más observaciones ayudan, y por eso ayudan cada vez menos.
- La señal-ruido resultante es t = ventaja × √n ÷ dispersión. Por convención hace falta un t de alrededor de 1,64 para declarar significación a una cola.
- Dando la vuelta a esa fórmula sale el efecto mínimo detectable: MDE = 1,64 × dispersión ÷ √n. Ese número se puede calcular ANTES de tener un solo resultado, y es el que decide si merece la pena correr el experimento.
- La regla que adoptó el proyecto: toda ejecución imprime su MDE, y un resultado nulo sin MDE no se archiva como nulo, se etiqueta como experimento no concluyente. Y en el pre-registro, si el MDE es mayor que el efecto plausible, el experimento directamente NO SE CORRE.
| Operaciones | Ventaja del 1 % | Del 3 % | Del 5 % | Del 8 % | Del 12 % |
|---|---|---|---|---|---|
| 20 | 20 % | 20 % | 30 % | 70 % | 90 % |
| 35 | 10 % | 30 % | 60 % | 90 % | 100 % |
| 60 | 10 % | 20 % | 40 % | 90 % | 100 % |
Probabilidad de detectar una ventaja real de ese tamaño, con el buen test, al número de operaciones sobre el que se juzgó a casi todos los candidatos del proyecto. Léase la columna del 1-3 %, que es donde viven las ventajas reales.