Framework para desarrollar una cultura de experimentación

Experimentar es, ni más ni menos, que un método de investigación que busca demostrar causalidad, un método de validación de hipótesis, parte fundamental del método científico. Antes de crear un framework para desarrollar la cultura de la experimentación, debemos saber que podemos investigar con diferentes objetivos, principalmente 3:

1. Encontrar mejores soluciones a una propuesta ineficiente (propio de equipos de CRO o Growth).
2. Explorar propuestas de innovación (propio de equipos de I+D).
3. Mitigar el riesgo de afectar negativamente al rendimiento de la experiencia con nuevas features o diseños (propio de equipos de producto).

Desde CRO o Growth, habitualmente, experimentamos para encontrar palancas de optimización y maximización del rendimiento de una experiencia digital. Mejorando el rendimiento de la experiencia impulsaremos el crecimiento de un negocio. Nosotros lo llamamos “hacer Growth“.

Previamente a la creación de un framework de experimentación, tenemos que saber cómo incorporar la experimentación.

¿Cómo incorporar la experimentación?

Podemos distinguir mínimo 3 enfoques desde los que enfrentarse a la experimentación aplicada al diseño, creación, mantenimiento y escalado de un funnel o experiencia digital:

1. Experimentación como mindset: experimentar está interiorizado por el equipo. Permea de arriba abajo en el organigrama y viceversa.
2. Experimentación táctica: ciertos expertos o equipos dominan la técnica de la experimentación, que no tiene por qué estar estructurada. Se experimenta con objetivos dispares. Es un método de investigación utilizado por equipos diferentes en diferentes fases de los proyectos.
3. Experimentación estratégica: en busca de la maximización u optimización de una métrica de negocio, se crea un roadmap priorizado de experimentos que un equipo se encarga de ejecutar.

Para escalar una cultura de la experimentación eficiente tienen que convivir los 3 enfoques, aunque cada uno de ellos solo sobrevive si coexiste con, al menos, otro.

Ejemplos:

1. Una empresa en la que se quiere escalar la experimentación como método de investigación universal y accesible a todo el mundo (enfoque táctico [2]), debe tener instalado un potente mindset [1].
2. Una empresa que tiene un roadmap de experimentación con un objetivo claro (enfoque estratégico [3]), necesita tener una maquinaria táctica [2] bien engrasada.
3. Para que una estrategia [3] de experimentación sea apoyada dentro de la empresa (y así obtener recursos, visibilidad, relevancia…), ha de apoyarse en un mindset [1] establecido. Necesita, mínimo, un sponsor con capacidad de influir en las decisiones importantes.

Lo ideal es que convivan las 3, ahí radica el máximo potencial de la experimentación. Pero dependerá de las necesidades del negocio, de las capacidades del equipo y de la madurez de ambos (equipo y negocio). No creo que haya un camino válido para todo el mundo. Los he visto empezar por una estrategia para alcanzar la excelencia táctica y también los he visto empezar por la instalación de un mindset para elaborar una estrategia.

Una empresa podría empezar con un enfoque muy táctico mientras traza una estrategia robusta e inculca el método científico como marco de trabajo:

Otra empresa podría tener dentro del equipo perfiles muy data-informed y muy cercanos a una filosofía de prueba y error, empezar a experimentar de forma aislada y acabar formando uno o varios equipos con objetivos y estrategias definidos.

A continuación repasamos cuáles son los elementos principales de un framework de experimentación.

Los 4 factores clave del framework de experimentación

En un flujo de experimentación óptimo, ya sea estratégico o puramente táctico, hay 4 variables que hay que mantener en equilibrio en la maquinaria de optimización y crecimiento de un producto digital:

1. Velocidad de experimentación
2. Confianza en el dato
3. Democratización
4. Solidez de las hipótesis 

Hay un quinto factor variable que ayudará en los otros 4: automatización, que es intrínseco a todos ellos.

Velocidad de experimentación

Un experimento es un aprendizaje. Cien experimentos, cien aprendizajes. Con un ratio promedio de test positivos del 20% y una mejora observada de 0,5%, en promedio, en revenue: cada 10 experimentos, accionaremos un potencial incremento del 1%. Cada 100, un 10% de crecimiento.

La velocidad en la experimentación estratégica es un plus.

Cada nueva feature, rediseño o ajuste del equipo de producto supone una toma de decisión con su riesgo asociados. Un test antes de un rollout permite mitigar el riesgo de una potencial pérdida de rendimiento con esa nueva feature. Es lo más “lean” que podemos hacer. Pero eso, ya lo sabes, requiere velocidad y mucha agilidad.

La velocidad en la experimentación táctica, también es un plus.

Confianza en el dato

No hay nada más efectivo para aniquilar a un equipo de analítica, testing… Que un flujo de datos poco confiable. 

“Yo no me fiaría mucho de ese dato“, “Los datos de Analytics no corresponden con los del CRM“, “Esta métrica nunca estuvo bien medida…”.

Encuentro 3 claves para asegurar un flujo que genere confianza:

1. La analítica de la experimentación no es independiente de la analítica de producto o negocio. Usa los mismos modelos y se apoya en las mismas métricas, medidas de la misma manera.
2. Se pueden triangular los datos. Se recogen, como mínimo en dos plataformas de forma que siempre podamos comparar.
3. Existe en el equipo un conocimiento mínimo sobre estadística inferencial y contraste de hipótesis.

Democratización

Para que exista una cultura hay que convertir la experimentación en un valor intrínseco a la forma de actuar y pensar de todos los equipos de la compañía.

Hay algunas claves para desbloquear este logro:

1. Accesibilidad del dato: cualquiera puede comprobar los datos de los experimentos, sus resultados y sus conclusiones. Además, cualquiera puede entender los datos.
2. Educar, evangelizar, generar y mantener la curiosidad.
3. Cualquier equipo tiene acceso a la experimentación. Puede ejecutar o, al menos, solicitar la ejecución de un test para validar una hipótesis.
4. Dar valor a los beneficios de la experimentación. Una y otra vez.

Solidez de las hipótesis 

Una de las grandes ineficiencias de un programa de experimentación es la elaboración de hipótesis poco argumentadas, sin base sólida, sin KPIs bien definidos. Esto dificulta el diseño del test y la interpretación de los resultados porque si no sabemos exactamente qué queremos investigar no sabemos qué ver en los datos.

Crear buenas hipótesis es algo que se puede entrenar y es parte fundamental de una cultura de la experimentación robusta y escalable.

En este gráfico se ve cómo evolucionan habitualmente estos 4 factores a medida que se madura una cultura de experimentación dentro de un equipo o una compañía:

Lo que habilita el crecimiento del resto de variables es la confianza en el dato. Sin esto, la cultura de la experimentación no escala.

Y aquí es donde entra en juego el framework de experimención.

Llega un momento en el que se desbloquean aspectos técnicos, se superan curvas de aprendizaje y la velocidad se incrementa rápidamente. Pasamos de 1 experimento al mes a 5 sin darnos cuenta, los experimentos ya no solo son cosa de un equipo (o solo). ¿Qué ocurrirá inevitablemente? Que a medida que la experimentación se democratiza, el equipo de experimentación no tendrá los recursos necesarios para dar soporte al resto de equipos. Pero una vez superado este bache, podemos estabilizar el crecimiento de la cultura de experimentación.

De forma intrínseca, a medida que ganemos madurez, crecerá la solidez de nuestras hipótesis y, con ella, el ratio de resultados positivos.