Experimentar es, ni más ni menos, que un método de investigación que busca demostrar causalidad, un método de validación de hipótesis, parte fundamental del método científico. Antes de crear un framework para desarrollar la cultura de la experimentación, debemos saber que podemos investigar con diferentes objetivos, principalmente 3:
Desde CRO o Growth, habitualmente, experimentamos para encontrar palancas de optimización y maximización del rendimiento de una experiencia digital. Mejorando el rendimiento de la experiencia impulsaremos el crecimiento de un negocio. Nosotros lo llamamos «hacer Growth«.
Previamente a la creación de un framework de experimentación, tenemos que saber cómo incorporar la experimentación.
Podemos distinguir mínimo 3 enfoques desde los que enfrentarse a la experimentación aplicada al diseño, creación, mantenimiento y escalado de un funnel o experiencia digital:
Para escalar una cultura de la experimentación eficiente tienen que convivir los 3 enfoques, aunque cada uno de ellos solo sobrevive si coexiste con, al menos, otro.
Ejemplos:
Lo ideal es que convivan las 3, ahí radica el máximo potencial de la experimentación. Pero dependerá de las necesidades del negocio, de las capacidades del equipo y de la madurez de ambos (equipo y negocio). No creo que haya un camino válido para todo el mundo. Los he visto empezar por una estrategia para alcanzar la excelencia táctica y también los he visto empezar por la instalación de un mindset para elaborar una estrategia.
Una empresa podría empezar con un enfoque muy táctico mientras traza una estrategia robusta e inculca el método científico como marco de trabajo:
Otra empresa podría tener dentro del equipo perfiles muy data-informed y muy cercanos a una filosofía de prueba y error, empezar a experimentar de forma aislada y acabar formando uno o varios equipos con objetivos y estrategias definidos.
A continuación repasamos cuáles son los elementos principales de un framework de experimentación.
En un flujo de experimentación óptimo, ya sea estratégico o puramente táctico, hay 4 variables que hay que mantener en equilibrio en la maquinaria de optimización y crecimiento de un producto digital:
Hay un quinto factor variable que ayudará en los otros 4: automatización, que es intrínseco a todos ellos.
Un experimento es un aprendizaje. Cien experimentos, cien aprendizajes. Con un ratio promedio de test positivos del 20% y una mejora observada de 0,5%, en promedio, en revenue: cada 10 experimentos, accionaremos un potencial incremento del 1%. Cada 100, un 10% de crecimiento.
La velocidad en la experimentación estratégica es un plus.
Cada nueva feature, rediseño o ajuste del equipo de producto supone una toma de decisión con su riesgo asociados. Un test antes de un rollout permite mitigar el riesgo de una potencial pérdida de rendimiento con esa nueva feature. Es lo más «lean» que podemos hacer. Pero eso, ya lo sabes, requiere velocidad y mucha agilidad.
La velocidad en la experimentación táctica, también es un plus.
No hay nada más efectivo para aniquilar a un equipo de analítica, testing… Que un flujo de datos poco confiable.
«Yo no me fiaría mucho de ese dato«, «Los datos de Analytics no corresponden con los del CRM«, «Esta métrica nunca estuvo bien medida…».
Encuentro 3 claves para asegurar un flujo que genere confianza:
Para que exista una cultura hay que convertir la experimentación en un valor intrínseco a la forma de actuar y pensar de todos los equipos de la compañía.
Hay algunas claves para desbloquear este logro:
Una de las grandes ineficiencias de un programa de experimentación es la elaboración de hipótesis poco argumentadas, sin base sólida, sin KPIs bien definidos. Esto dificulta el diseño del test y la interpretación de los resultados porque si no sabemos exactamente qué queremos investigar no sabemos qué ver en los datos.
Crear buenas hipótesis es algo que se puede entrenar y es parte fundamental de una cultura de la experimentación robusta y escalable.
En este gráfico se ve cómo evolucionan habitualmente estos 4 factores a medida que se madura una cultura de experimentación dentro de un equipo o una compañía:
Lo que habilita el crecimiento del resto de variables es la confianza en el dato. Sin esto, la cultura de la experimentación no escala.
Y aquí es donde entra en juego el framework de experimención.
Llega un momento en el que se desbloquean aspectos técnicos, se superan curvas de aprendizaje y la velocidad se incrementa rápidamente. Pasamos de 1 experimento al mes a 5 sin darnos cuenta, los experimentos ya no solo son cosa de un equipo (o solo). ¿Qué ocurrirá inevitablemente? Que a medida que la experimentación se democratiza, el equipo de experimentación no tendrá los recursos necesarios para dar soporte al resto de equipos. Pero una vez superado este bache, podemos estabilizar el crecimiento de la cultura de experimentación.
De forma intrínseca, a medida que ganemos madurez, crecerá la solidez de nuestras hipótesis y, con ella, el ratio de resultados positivos.