¿Cuánto tiempo debe durar un test A/B?

Decide la duración antes de empezar

La duración de un test no se descubre mientras está activo. Se calcula al principio, a partir de cinco datos:

• Tu tasa de conversión actual en la página que vas a testear.
• La mejora más pequeña que merece la pena detectar (el efecto mínimo detectable).
• Tu tráfico: cuántos visitantes entran en el test cada día.
• El número de variantes: cada variante extra necesita su parte del tráfico.
• Confianza y potencia: normalmente un 95% y un 80%.

Introduce estos datos en la calculadora de test A/B y obtendrás los visitantes que necesitas por variante y el número de semanas que debe durar.

Un ejemplo

Una ficha de producto convierte el 3% de los visitantes a añadir al carrito. Quieres detectar una mejora relativa del 10% (del 3,0% al 3,3%), con un 95% de confianza y un 80% de potencia. Necesitas unos 53.200 visitantes por variante, es decir, unos 106.400 para un test A/B simple. Con 5.000 visitantes al día son 22 días, que se redondean a 4 semanas completas.

El efecto mínimo detectable es lo que más influye. Misma página, mismos ajustes:

Si reduces a la mitad el efecto que quieres detectar, necesitas aproximadamente cuatro veces más tráfico. Por eso los cambios pequeños en páginas con poco tráfico rara vez dan una respuesta clara.

Mantén siempre semanas completas

La gente no compra igual un lunes por la mañana que un sábado por la noche. Si un test va de martes a viernes, el resultado solo describe a los visitantes entre semana. Mantenlo semanas completas, como mínimo una, para que todos los días de la semana pesen lo mismo en los datos.

No lo pares cuando parezca significativo por primera vez

Mirar los resultados cada día y parar en cuanto ves un "95% significativo" parece eficiente, pero multiplica los falsos positivos. Al principio de un test los resultados oscilan mucho. Si paras en el primer momento favorable, a menudo lanzarás un "ganador" que solo era ruido, y la mejora desaparecerá después.

Fija el tamaño de muestra y la fecha de fin antes de lanzar, y evalúa el test solo cuando los alcance. Mirar durante el test está bien, para detectar errores. Decidir durante el test es el problema.

El enfoque bayesiano no elimina esto. Igualmente necesitas un plan de cuándo vas a decidir y qué resultado es suficiente.

Demasiado largo también es un problema

Los tests muy largos tienen sus propios problemas. La gente borra cookies y se cuenta dos veces, las campañas y la estacionalidad cambian quién visita la web, y el negocio espera semanas una respuesta. Como regla general, si un test necesita más de seis semanas, cambia el plan:

• Prueba un cambio más ambicioso, que pueda mover más la métrica.
• Lleva el test a una página o un paso con más tráfico.
• Mide una métrica más cercana al cambio (por ejemplo, añadir al carrito en lugar de compra), con los ingresos como control.

Checklist rápido

1. Calcula el tamaño de muestra y la duración antes de lanzar.
2. Redondea la duración a semanas completas.
3. Comprueba el primer día que el tracking funciona en todas las variantes.
4. No pares antes de tiempo, ni alargues el test porque está "casi significativo".
5. Documenta el resultado, también cuando es neutro o negativo.