Cómo elegir el experimento correcto según la etapa de tu producto
Cuándo hacer A/B tests, cuándo innovar, y cómo alinear tus experimentos con la etapa de tu producto.
Desde que trabajo en producto hay algo que veo repetirse en casi todos los equipos: experimentan mucho y piensan poco. Corren diez A/B tests al mes sobre una base de usuarios que no da para uno solo. Nadie calculó cuánto tiempo necesita el test para llegar a significancia. Y todo, absolutamente todo, tiene que ser un A/B test, como si no existiera otra herramienta.
El resultado es un roadmap de experimentación que parece serio pero no aprende nada.
Antes de decidir qué experimento correr hay tres preguntas previas. En qué etapa está tu producto. Cuánto tráfico tienes de verdad. Y cuánto tiempo puedes esperar para validar la hipótesis. Si no puedes responder esas tres, el resto es teatro.
En este ensayo voy a lo primero, que es lo que casi nadie hace: conectar el tipo de experimento con la etapa del producto.
La etapa del producto define qué experimentos tienen sentido
Lo que funciona para un producto que busca tracción es una pérdida de tiempo para uno en escala. Y al revés.
Para verlo, imagina un gráfico de dos ejes. En el horizontal, la madurez del producto: desde los primeros días, antes de encontrar product-market fit, hasta las fases de crecimiento y escala. En el vertical, el tipo de experimento: abajo las optimizaciones chicas (un test de copy, un ajuste de botón), arriba la innovación (features nuevas, productos nuevos).
La curva que une esos dos ejes cuenta toda la historia.
La proporción entre innovar y optimizar cambia según la madurez del producto; nunca es cero de un lado.
Antes del product-market fit: crear valor, no pulirlo
Si todavía no tienes PMF, optimizar es acomodar las sillas de un barco que quizás no flota. En esta etapa casi todas tus apuestas deberían ir a innovación: construir, probar y descartar propuestas de valor hasta dar con algo que los usuarios quieran de verdad.
No tiene sentido perfeccionar el onboarding de un producto que nadie necesita. Acá el trabajo es descubrimiento puro.
Después del PMF: tres fases distintas
Encontraste PMF. Los usuarios validan lo que construiste. Pero llegaste corriendo y el producto tiene costuras por todos lados. La experiencia está lejos de su potencial.
Esta fase pide bastante optimización para arreglar lo evidente, más algo de innovación puntual para fortalecer la propuesta de valor central. Fortalecerla, no expandirla. Todavía no.
En algún momento el uso del producto se vuelve predecible. Ya conoces a tus usuarios y sabes cuáles son tus palancas. Lo grande y obvio ya se optimizó, lo roto ya se arregló.
Acá el juego cambia a precisión: micro-optimizaciones que sumadas exprimen el máximo de la experiencia. Es la etapa menos glamorosa, pero es donde la disciplina experimental más rinde, porque por fin tienes el volumen de usuarios para detectar efectos pequeños en un A/B test.
Ningún producto crece para siempre con las mismas palancas. Para sostener la escala hay que salir a buscar oportunidades nuevas: otros segmentos, otros casos de uso, otros productos. La balanza vuelve a inclinarse hacia la innovación. En cierto modo vuelves al espíritu de los primeros días, solo que ahora con más recursos y más datos.
No es binario, es proporción
Aclaración importante: en ninguna etapa haces solo una cosa. Siempre estás innovando y optimizando a la vez. La decisión estratégica está en la proporción, en cuánto peso le das a cada tipo de apuesta según el momento del producto. Eso es lo que distingue a un equipo maduro de uno que corre tests por inercia.
Experimentar bien no empieza en la herramienta de testing. Empieza en el diagnóstico honesto de dónde estás parado.
No. El A/B test sirve cuando tienes tráfico suficiente y quieres medir efectos incrementales. Con pocos usuarios o hipótesis grandes, las entrevistas, los prototipos, los smoke tests o los lanzamientos controlados suelen funcionar mejor.
Antes del PMF, innova para construir valor. Después, sube progresivamente la dosis de optimización. Y cuando el crecimiento se estanque, vuelve a innovar para abrir oportunidades nuevas.
Tres cosas: la etapa de tu producto, tu tamaño de muestra real y el tiempo que puedes dedicar a validar la hipótesis. Esos tres factores determinan qué tipo de experimento tiene sentido.