Test A/B bayesiano vs frecuentista, explicado fácil

La diferencia en una frase

Frecuentista: si en realidad no hubiera diferencia entre A y B, ¿cómo de sorprendente sería este resultado? Obtienes un valor p y un sí o un no a "significativo".

Bayesiano: con lo que hemos visto, ¿qué probabilidad hay de que B sea mejor, y por cuánto? Obtienes algo como "92% de probabilidad de que B supere a A".

Ninguno es más correcto. Según mi experiencia, lo que de verdad estropea los tests es un mal planteamiento, poco tráfico y parar antes de tiempo. Eso rompe los dos métodos por igual.

Cómo funciona el enfoque frecuentista

Decides el tamaño de muestra de antemano (la calculadora lo hace por ti), mantienes el test hasta alcanzarlo y luego miras el valor p. Si está por debajo de tu umbral, normalmente 0,05, lo das por significativo.

Aquí viene lo que casi todo el mundo interpreta mal. El valor p no es la probabilidad de que B sea mejor. Un valor p de 0,03 significa que, si A y B fueran idénticos, verías una diferencia así de grande solo el 3% de las veces. Suena parecido. No lo es.

Lo que me gusta: es muy conocido y las tasas de error están claras si respetas el plan. Lo que no: los resultados cuestan de explicar a alguien de marketing, y las garantías se vienen abajo en cuanto alguien para el test antes de tiempo.

Cómo funciona el enfoque bayesiano

Partes de un prior, una suposición sobre qué efectos son probables (normalmente neutra), y lo vas actualizando con los datos. Al final tienes la probabilidad de que B supere a A, la mejora esperada y la pérdida esperada si eliges B y te equivocas.

Lo que me gusta: el resultado encaja con cómo ya piensa la gente. "Hay un 95% de probabilidad de que esto sea mejor" no necesita explicación en una reunión. La pérdida esperada también es muy útil cuando tomas una decisión de negocio y no estás escribiendo un artículo científico. Lo que no: el prior es una elección que tienes que justificar, y mucha gente cree que con el bayesiano puedes mirar cada día y parar cuando quieras.

Sobre ese mito de mirar cuando quieras

Mirar los resultados está bien con cualquier método. El problema es decidir en cuanto los números pintan bien. Si paras un test bayesiano en cuanto la "probabilidad de superar" pasa del 95%, acabarás con más ganadores falsos de lo que sugiere ese 95%. Así que uses la herramienta que uses, acuerda la duración mínima, el tamaño de muestra y la regla de decisión antes de lanzar. Lo cuento en cuánto debe durar un test A/B.

Entonces, ¿cuál usar?

Sinceramente, el método importa menos que los hábitos: una métrica principal, un tamaño de muestra fijado de antemano, semanas completas y todos los resultados apuntados, también los que pierden.