La significancia estadística, explicada para marketers

Qué significa de verdad

Todo resultado de un test tiene algo de suerte. Aunque A y B fueran idénticos, uno saldría un poco por delante. La significancia estadística responde a una pregunta muy concreta: ¿la diferencia que vemos es mayor de lo que normalmente produciría la suerte?

Cuando una herramienta dice "95% significativo", quiere decir que, si en realidad no hubiera diferencia, verías un resultado así de extremo menos del 5% de las veces. Nada más.

Lo que no significa

• No significa que haya un 95% de probabilidad de que B sea mejor. Esa es otra pregunta, y solo un análisis bayesiano la responde directamente. Lo explico en test bayesiano vs frecuentista.
• No te dice cómo de grande es el efecto. Una mejora diminuta puede ser significativa si tienes muchísimo tráfico.
• No significa que el resultado vaya a durar. La temporada, las campañas y la novedad pueden cambiar las cosas después.

Significativo no es lo mismo que importante

Con suficientes visitantes, una mejora del 0,5% puede ser estadísticamente significativa y aun así no compensar el esfuerzo de desarrollarla y mantenerla. Mira siempre el tamaño del efecto junto a la significancia, y tradúcelo a dinero. Mi guía sobre el ROI de los test A/B explica cómo.

Mira el rango, no solo la cifra

Un buen informe muestra un intervalo de confianza: por ejemplo, "mejora del 4%, probablemente entre el 1% y el 7%". Ese rango dice mucho más que un solo porcentaje. Si va de menos 2% a más 10%, sencillamente todavía no lo sabes.

Por qué antes necesitas tráfico suficiente

La significancia solo funciona si alcanzas el tamaño de muestra que planificaste antes de lanzar. Con una muestra demasiado pequeña, los efectos reales no se ven. Comprueba el tuyo con la calculadora de test A/B.

Tres trampas que crean ganadores falsos

1. Mirar y parar antes de tiempo. Si miras cada día y paras la primera vez que pone 95%, tu tasa de error real es mucho mayor del 5%.
2. Demasiadas métricas. Mira 20 métricas y probablemente una parecerá significativa por casualidad. Elige una métrica principal antes de lanzar.
3. Demasiadas variantes o segmentos. Cada comparación extra es otra oportunidad de que la suerte parezca una victoria.

Cómo redacto un resultado

"La variante B aumentó la tasa de añadir al carrito en torno a un 4% (probablemente entre el 1% y el 7%). El test duró cuatro semanas completas y alcanzó el tamaño de muestra previsto. Lo implementamos y esperamos unos X € extra de ingresos al mes."

Una frase sobre el efecto y su rango, otra sobre si el test se hizo bien y otra sobre qué vas a hacer. Cualquiera en la empresa lo entiende, sepa estadística o no.