La era de la IA exige otra forma de experimentar

Menos micro-optimizaciones, apuestas más grandes en monetización y tests más largos.

La experimentación es de mis partes favoritas del trabajo en producto. Pero apostaría a que el playbook de experimentación que la mayoría de los equipos sigue usando quedó obsoleto. Y quizás no sea tan malo, porque la forma vieja de experimentar tenía límites que todos conocíamos y pocos admitían:

• –Ajustes menores en vez de apuestas grandes.
• –Optimizar superficies visibles en vez de la complejidad de fondo.
• –Ni tocar la monetización ("son seis meses de aprobaciones y desarrollo, con suerte").
• –Medir con antes/después en vez de A/B tests reales o feature flags.
• –Perseguir victorias rápidas, todo medido a dos semanas.

Algo de eso tenía sentido cuando el desarrollo era lento y había tanta superficie que dar a conocer una feature ya era una victoria. Pero incluso entonces, muchos de esos experimentos apenas adelantaban ingresos que iban a llegar igual. Mejorabas un poco la experiencia, creabas algo de urgencia, y algo que habría pasado de todos modos pasaba antes. Por eso tantos experimentos suman al bottom line sin producir jamás un salto real.

Había margen de mejora hace rato. Ahora el terreno cambió por completo. Estos son los cuatro cambios de fondo y las tres cosas que haría distinto.

Los 4 cambios que rompieron el playbook

Los flujos nuevos, sobre todo en productos de IA, son conversacionales y van por prompt. Hay menos superficies que necesiten "awareness". La UI dejó de ser la forma principal de interactuar con muchas features, así que optimizarla hasta el infinito ya no paga.

Piensa en una herramienta de transcripción de reuniones que usas a diario sin abrir casi nunca su interfaz. Se mete a tu reunión, genera la transcripción, y tú conversas con ese contenido por prompts desde otro producto. ¿Qué UI le vas a hacer A/B test ahí?

El impacto de un experimento exitoso dura menos, porque la superficie donde lo corriste cambia rapidísimo. Mejorar un embudo 1% suena absurdo cuando ese embudo se rediseña en dos meses. Peor si medir el cambio te toma dos o tres semanas. La mayoría de los equipos no tiene ni el tiempo ni el tráfico para sacar conclusiones a tiempo. Normalmente le faltan los dos.

Buena parte de los micro-ajustes existía por la personalización: dar más contexto, usar lenguaje más relevante para cada segmento. Siempre fue doloroso. Limitabas la audiencia por defecto, lo que servía para un segmento no escalaba a otro, y todo había que hardcodearlo. Pura deuda de vida útil incierta.

La IA volvió casi todo eso irrelevante. Una conversación es personalizada por naturaleza. La necesidad de testear esos ajustes chicos simplemente desapareció.

Muchos productos consumen tokens de LLM para funcionar, así que el uso dejó de ser gratis. La monetización golpea antes en el embudo y cada acción del usuario cuesta más.

Por eso, no tocar la monetización en tus experimentos pasó de ser prudencia a ser el peor error disponible. Nadie tiene la monetización de IA resuelta. Hasta los laboratorios más grandes siguen cambiando sus modelos de precios cada rato. Tratar esa área como algo estático es regalar la palanca de crecimiento más potente que tienes.

Las 3 cosas que haría distinto

Antes cada optimización pasaba por horas de ingeniería. Hoy un PM puede resolver tareas cada vez más complejas de punta a punta por su cuenta. Algunas las corres como A/B test de verdad. Otras honestamente no valen la pena. Pero hay algo que no haría jamás: quemar al equipo de ingeniería en retoques de interfaz. Ese recurso es demasiado escaso para gastarlo ahí.

Además estos ajustes pueden ser hasta entretenidos para un PM o un marketer, y son miserables para la mayoría de los ingenieros. Si los absorbes tú, liberas a ingeniería para los problemas difíciles. Todos crean más valor.

En algún momento estas transformaciones se van a asentar y volveremos a afinar plataformas estables. Hoy no. Hoy lo grande se mueve rápido y hay que jugar a ese nivel. Y sí, hablo de monetización: es la palanca más grande disponible para desbloquear engagement, cuidar margen y empujar expansión y retención.

Un principio contraintuitivo que vale oro: los mejores experimentos de monetización no buscan subir ingresos. Los experimentos neutrales en ingresos suelen ser los grandes ganadores, porque levantan engagement, y ese engagement se convierte en ingresos uno, dos o tres meses después. Mientras no empujen el negocio a territorio insostenible y suban el engagement, son victoria.

Si tus cambios impactan al sistema completo, tienes que dejarlos correr mucho más tiempo. Esos resultados a dos semanas que tanto gustan en los comités son justo lo peor que puedes hacer ahora.

Un ejemplo de cómo se ve esto en la práctica: pruebas dar 5 contra 10 créditos el primer día del plan gratis. De inmediato se ve horrible. ¿Por qué regalar más? Pero dos meses después, el efecto en engagement y retención alcanza al costo inicial y lo supera. Primeros 30 días, pésimo. Largo plazo, netamente positivo.

Enciende el experimento y dale tiempo. Corre el split una o dos semanas, pero monitorea las cohortes uno o dos meses. No decidas apenas termina la primera fase.

Quizás ni deberías testear eso

Mi opinión más polémica: no tienes que testear todo. En este mundo nuevo hay áreas donde puedes saltarte ese paso.

Ojo, todo debe medirse. Cada cambio anotado, cada clic e interacción trackeados. Eso no se negocia. Pero con inteligencia promedio disponible a un prompt de distancia, partir de cero es absurdo. Pregúntale a la IA, implementa eso como baseline y listo.

Un ejemplo: las features de los planes superiores deberían verse desde el plan inferior, con paywalls a nivel de feature que se expliquen solos. Si tu plan gratis esconde diez features de pago que ni se muestran, eso no es un experimento pendiente. Es prácticamente un bug.

La experimentación no murió, cambió de forma

La UI que retocábamos está desapareciendo. Los cambios corren demasiado rápido para testearlos todos. La personalización es automática. Y el costo de usar el producto se disparó. La forma vieja de experimentar dejó de ser inteligente.

Pero si sueltas las micro-optimizaciones, apuestas más grande y dejas correr los tests más tiempo, tu sistema de experimentación va a importar más que nunca. Y si te llevas una sola cosa de todo esto, que sea esta: ve y experimenta con tu sistema de monetización. Ahí hay espacio para crecer, te lo aseguro.