Entendiendo la experimentación y su necesidad

Durante el tercer trimestre de 2021, desde el 1 de julio al 30 de septiembre, nuestro equipo de Growth ha realizado 102 experimentos con un ratio de éxito del 41%. El promedio de otros equipos oscila entre el 21% y el 33%, dependiendo de la madurez del equipo, siendo 33% equipos muy experimentados como los de Spotify.

¿Quiere decir esto que nuestro equipo de Growth que lleva un año trabajando juntos es el mejor equipo? No. Al menos todavía, aún nos queda recorrido. ¿Entonces a qué se debe esta mejora sustancial? No te puedo dar una respuesta científica con datos, pero mi intuición me dice que, en productos como Netflix o Booking, que llevan más de 10.000 experimentos realizados, el producto está en un punto muy avanzado en el que las mejoras evidentes o “low hanging fruits” como se suelen llamar, ya han sido aplicados o recogidos por sus equipos. Sin embargo, algunos de nuestros clientes son especialistas en otras áreas y saben más que nadie sobre su propio negocio; pero por eso acuden a nosotros, porque somos los especialistas en Growth y podemos ayudarlos.

Hablar sobre Growth es hablar sobre experimentación. Growth es experimentar en negocios digitales gracias a un conocimiento profundo en producto, marketing, psicología de usuario y tecnología, pero el punto clave para que la experimentación tenga éxito es la capacidad de trabajar con datos y analizarlos. Y quien no entienda esto desde el primer minuto, o quien no sepa de qué va esto de experimentar pero aún así ostenta un título de “Growth Loquesea”, recomiendo que haga una revisión de sus habilidades y/o título.

Vale, vale, pero… ¿qué es la experimentación?

Experimentar es aplicar los principios del modelo científico para establecer causalidad entre cambios en producto o alrededor de él y los resultados en las métricas escogidas.

El método científico busca entender el por qué de las cosas a través de la cuantificación, medición y demostrabilidad. Por resumirlo mal y rápido: busca entender la verdad. Si hablamos de productos digitales, la verdad es el comportamiento de nuestros usuarios y la demostrabilidad se consigue con la demostración de causalidad en el incremento de las métricas.

El primer paso del método científico es la observación, la cual nos llenará de preguntas y, para encontrar las respuestas, deberemos validar que aquello que creemos que es verdad, acaba siéndolo. Así que lo que creemos que es verdad lo declararemos como una hipótesis. Esa hipótesis será demostrada o refutada a través de un experimento controlado, que, a través de diferentes metodologías que más adelante explicaré y cálculos estadísticos, buscará cuantificar el nivel de veracidad o falsedad.

La necesidad de experimentar

Uno de los principales beneficios que nos aporta el modelo científico es que nos ofrece un acercamiento estructurado para descubrir aprendizajes ignorando nuestros propios sesgos (como el de confirmación, uno de los más peligrosos) y descubrir cuáles son las causas reales de los cambios en las métricas.

Piensa en tu propio negocio, hay equipos trabajando en diferentes KPIs de producto, otros equipos trabajando en incrementar la base de usuarios y a la vez hay factores externos que no podemos controlar que pueden alterar el comportamiento de nuestros usuarios. Esto hace que nos sea muy difícil atribuir el impacto exacto de lo que estamos haciendo sobre una métrica concreta. La experimentación identifica el cambio, lo cuantifica y le asigna una probabilidad de que siga ocurriendo en el futuro.

Piensa ahora sobre las posibilidades que te ofrece este acercamiento científico. No solo nos da las herramientas para entender lo que ha ocurrido, sino que si introducimos la propia inteligencia sobre el negocio y datos cualitativos, es capaz de guiarnos hacia el futuro con las máximas garantías.

Beneficios de la experimentación

1. Optimización de recursos. El primer objetivo y el principal es claro, nos permite minimizar la inversión de tiempo y recursos obteniendo el aprendizaje de lo que un cambio o una decisión de negocio que queremos introducir tendrá en el producto. Podemos adelantarnos al coste de lanzar una nueva release y tener una predicción de lo que ocurrirá en el escenario que hemos validado. Eso nos permite priorizar nuestro backlog con aquello que sabemos que tendrá mayor impacto en el negocio, e incluso cuantificado, y desechar aquellas iniciativas que hemos validado que no tendrán adopción o que incluso empeorarán las métricas de nuestro negocio.
2. Reducción del riesgo. Aunque este tipo de experimentación es más de equipos de producto que de Growth, una buena práctica que suelen realizar es la de lanzar los cambios de la nueva release solo a un grupo de usuarios para entender su comportamiento y detectar todos aquellos bugs y problemas que no hayan sido detectadas en QA, poder tener una salida rápida en caso de que haya algo roto y entender cómo este nueva versión puede afectar a nuestras métricas más importantes. También minimiza el riesgo a la hora de construir nuevas funcionalidades, subproductos o nuevas modelos de crecimiento a través de smoke tests, que son experimentos con la mínima funcionalidad posible capaz de validar las hipótesis que permitan recolectar datos y entender qué beneficio futuro podría aquello que queremos implementar.
3. Predicción de cambios en sistemas complejos. De la misma forma que un experimento nos permite medir las métricas objetivo, también podemos medir lo que ocurre en sus antípodas. Toda métrica de negocio relevante tiene su contrapartida. Por ejemplo, si queremos aumentar la monetización a través de compras in-app, disminuiremos la retención; si queremos aumentar el número de registros disminuyendo su dificultad, disminuirá el nivel de engagement. En otros modelos como un marketplace, aumentar el volumen de la demanda tendrá un efecto sobre la oferta. Los experimentos nos permiten entender estas correlaciones.
4. Valida nuevas vías de investigación. Un equipo de Growth siempre debe centrarse en crecer y, para ello, la optimización de lo actual no es suficiente. En mi opinión, y puedo estar equivocado, esta es una de las mayores diferencias con un equipo de CRO, que se centra en optimizar lo que ya existe; mientras que el equipo de Growth buscará nuevas vías de seguir construyendo valor al usuario y tratar de captarlo a través de un modelo de monetización. La experimentación nos permite extraer los datos y convertirlos en nuevas vías de observación que, a su vez, reiniciará el ciclo de preguntas y respuestas. Esto nos permitirá hacer un research de nuevas oportunidades a explorar.

Metodología de experimentación

Antes de realizar un experimento, necesitaremos escoger una metodología de medición de experimentos. Para ello necesitaremos entender dos conceptos que nos ayudarán a decidir:

• Tamaño de la muestra. Es el número de usuarios que verán el experimento y tiene que ser suficiente para poder validar el incremento (o el MDE) en la métrica escogida en el tiempo en que se realizará el experimento.
• MDE (Minimum Detectable Effect). Es el mínimo efecto detectable que necesitas observar para conseguir el nivel de significancia estadística (95%) y poder estadístico (80%) requerido.

Con estos dos conceptos ya entenderemos si, por ejemplo, podemos usar A/B Testing, si necesitaremos un sistema de feedback y análisis cualitativo o si debemos buscar otras alternativas. Estas son las más conocidas:

• A/B Testing. Te permite asignar usuarios aleatoriamente a diferentes experiencias y determinar las métricas de éxito para comparar entre la experiencia original y la variante para seleccionar la ganadora. Esta metodología es la mejor para CRO, cambios de diseño, UX, modelos de pricing y desarrollo de funcionalidades. Aunque no hay nada rotundo, pues dependerá del MDE y del impacto esperado, se recomienda no usarlo en nada que tenga menos de 100 conversiones en 14 días.
• Multivariate Testing. Similar a A/B Testing pero con múltiples variables cambiando al mismo tiempo. Si en un test A/B divides el tráfico en diferentes versiones de diseño, el objetivo del multivariate test es medir la efectividad de cada combinación de diseño. Para que sea útil necesitas volúmenes de datos muy altos o un tiempo en producción muy largo, ya que si por ejemplo, has escogido 10 ítems a iterar, el número de combinaciones necesitará de su propia muestra mínima para determinar ganadores.
• Funnel Testing. También similar a los anteriores pero con cambios a través de toda la web. Es más útil cuando son componentes a lo largo de las páginas, como elementos de navegación o cambios de flujos que un usuario debe hacer para llegar a su objetivo (el nuestro), a través de nuevas formas de navegar, nuevos diseños o atajos en los propios flujos.
• Split Testing. En esta metodología los propios assets en sí mismos son divididos en grupos y los cambios se realizan entre cada uno de sus grupos para poder diferenciarlos. Se suele usar para optimización SEO, donde un grupo puede contener diferentes meta-etiquetas o cambio de orden para poner a prueba al crawler de Google.
• Snapshot Testing. Me he inventado el nombre (aunque quizá haya algo parecido con su propio nombre), y es algo que todavía estoy estudiando y que, en cuanto saque algo de tiempo, quiero comenzar a validar. La idea es comparar un benchmark de métricas antes y después del experimento eliminando tendencia y estacionalidad. No es tan preciso como el A/B y, por tanto la causalidad no se puede demostrar, pero permitirá realizar experimentos fuera del site y en páginas o productos donde, si hay riesgo 0 o no es posible hacer un split de tráfico (experimentos en redes sociales, contenidos y otros actores fuera del producto), se puedan llevar a cabo sin perder la medición y obtención de conocimiento, aunque este no podamos controlarlo al 100%. En Growth lo perfecto nunca debe ser enemigo de lo bueno.

Como habrás podido ver, el mundo de la experimentación es extenso y, con esto, sólo estoy arañando la superficie. Sólo el concepto del desarrollo de hipótesis de usuario o la definición de experimentos podría tener cada una su propia entrada.

Este artículo nace de que me gustaría compartir los aprendizajes que hemos obtenido después de realizar 102 experimentos durante esos 3 meses y, después de hacer un resumen con bullet points con lo que quería contar, me di cuenta que de ahí casi que podría escribir un libro.