Errores de test A/B que desperdician tu tráfico

1. Testear sin hipótesis

"Probemos un botón verde" no es una hipótesis. "Los visitantes no ven el plazo de entrega, así que mostrarlo junto al precio aumentará los añadidos al carrito" sí lo es. Una hipótesis te dice qué vas a aprender, salga lo que salga.

2. No tener tráfico suficiente

Si el test necesita tres meses para dar una respuesta, no te dará una útil. Comprueba los números antes de desarrollar nada, con la calculadora de test A/B.

3. Parar en cuanto pinta bien

Al principio los resultados oscilan mucho. Decide el tamaño de muestra y la duración antes de lanzar y respétalos. Explico por qué en cuánto debe durar un test A/B.

4. Elegir la métrica ganadora después

Si la métrica principal no se mueve pero el "tiempo en página" subió, la tentación es darlo por ganado. Elige una métrica principal antes de lanzar, y unas pocas métricas de control para asegurarte de que nada se rompe.

5. Saltarse el QA

Una variante que falla en un navegador o no dispara el tracking perderá por las razones equivocadas. Revisa cada variante en los dispositivos principales y comprueba los datos el primer día.

6. Testear cambios que nadie va a notar

Los retoques diminutos necesitan muchísimo tráfico para medirse. La mayoría de webs sacan más de cambios ambiciosos basados en investigación: una oferta más clara, un checkout más sencillo, mejor información de producto.

7. No mantener semanas completas

Los visitantes de entre semana y los del fin de semana se comportan distinto. Mantén siempre semanas enteras, como mínimo una, aunque las cuentas digan menos días.

8. Ahogarse en segmentos

Si divides un resultado en suficientes segmentos, siempre encontrarás uno donde B "ganó". Usa los segmentos para generar ideas nuevas, no para rescatar un test que no ganó.

9. Olvidarse de apuntarlo

Seis meses después nadie recuerda qué se testeó ni por qué. Lleva un registro sencillo: hipótesis, capturas, resultado y decisión. Así es como un equipo aprende de verdad.

10. No implementar nunca los ganadores

Un test ganador que se queda meses en el backlog no genera nada. Planifica el tiempo de desarrollo de las implementaciones como parte del programa, no como algo secundario.

Casi todos se reducen a lo mismo: decidir las reglas antes de que empiece el test. Si quieres ayuda para definirlas, echa un vistazo a mi programa de test A/B.