La cultura de la experimentación forma parte del ADN de Product Hackers y es que desarrollar estrategias Growth que den resultados en empresas y startups requiere innovar en el producto digital.
Según datos de nuestro estudio sobre experimentación en los últimos 18 meses nuestro equipo de Growth ha realizado 220 experimentos con un ratio de éxito del 41%.
El promedio de otros equipos oscila entre el 21% y el 33%, dependiendo de la madurez del equipo, siendo 33% equipos tan experimentados como los de Spotify.
¿Quiere decir esto que nuestro equipo de Growth que lleva un año trabajando juntos es el mejor equipo?
No
Al menos todavía, aún nos queda recorrido.
¿Entonces a qué se debe esta mejora sustancial?
No te puedo dar una respuesta científica con datos, pero mi intuición me dice que, en productos como Netflix o Booking, que llevan más de 10.000 experimentos realizados, el producto está en un punto muy avanzado en el que las mejoras evidentes (o «low hanging fruits») ya han sido aplicadas o recogidas por sus equipos.
Nuestros clientes son especialistas en otras áreas y conocen su negocio como nadie por eso acuden a nosotros, porque somos los especialistas en Growth y podemos ayudarlos.
Hablar sobre Growth es hablar sobre experimentación.
Growth es experimentar en negocios digitales gracias a un conocimiento profundo en producto o negocio digital, marketing, psicología de usuario y tecnología. No obstante, el punto clave para que la experimentación tenga éxito es la capacidad de trabajar con datos y analizarlos.
Vale, vale, pero… ¿qué es la experimentación y en qué consiste?
La experimentación en las empresas es lo que nos ayuda a confirmar una serie de hipótesis de negocio y esto es especialmente relevante en un entorno como el digital.
Hasta hace relativamente poco tiempo, la mayoría de empresas se creaban y desarrollaban basándose en un sistema para crear, lanzar y gestionar el ciclo de vida del producto centrados en planes de negocios prácticamente estáticos.
Planes de negocio a 5 años, con previsiones de ventas y estimaciones de escenarios optimistas y pesimistas…Algo que hoy sigue enseñándose en muchas escuelas de negocios.
Te voy a decir un secreto: si quieres digitalizar un negocio y que su crecimiento sea rentable, estable y sostenible, debes olvidarte de lo que hayas aprendido en las escuelas de negocios y debes convertirte en un practicante de la experimentación.
Internet y las startups aseguran que la experimentación les ofrece resultados positivos en el crecimiento de su producto. Sin ir más lejos Luis Díaz del Dedo, CEO de Product Hackers asegura que:
La clave del éxito en growth radica no solo en lanzar ideas al mercado, sino en entender profundamente qué funciona, qué no y por qué, permitiéndonos iterar rápidamente y dirigir nuestros esfuerzos hacia lo que realmente impulsa nuestro crecimiento.
Luis Díaz del Dedo
Métodos como el lean-startup hablan de la importancia de la experimentación porque ofrece resultados positivos o muy positivos sobre la información que se genera para el crecimiento de su producto.
En los entornos digitales las cosas funcionan de manera muy diferente a cómo se han hecho hasta ahora.
Las características de los modelos de negocios que crecen y consiguen resultados es una combinación de metodologías agile y descubrimiento de clientes con los que probar y buscar, de forma iterativa, la manera de desarrollar empresas rentables, estables y sostenibles.
En el primer estudio sobre la cultura de la experimentación se pone de manifiesto que las organizaciones que adoptan esta filosofía no solo aceleran su innovación y crecimiento, sino que también desarrollan una mayor resiliencia frente a cambios imprevistos en el mercado.
Este enfoque permite a las empresas aprender de los fracasos rápidamente, ajustar sus estrategias con datos reales y, en última instancia, descubrir oportunidades de crecimiento que de otra manera podrían haberse pasado por alto.
La experimentación, por lo tanto, no es solo una herramienta para el éxito inmediato, sino un componente esencial para construir una cultura organizacional que abrace la adaptabilidad y la curiosidad como pilares para el futuro.
Ha llegado el momento de experimentar, pero con sentido.
Experimentar aplicando los principios del modelo científico para establecer causalidad entre cambios en producto o alrededor de él y los resultados en las métricas escogidas.
La necesidad de experimentar en la digitalización de las empresas
Piensa que estamos moviéndonos en un mercado complejo y global.
En cualquier ciudad del mundo un consumidor medio puede llegar a tener 10000 millones de referencias de productos distintos a su alcance.
En los años 80 no había más de 100 referencias diferentes.
Hemos pasado de la fabricación en masa a la personalización en masa y para lograr pasar el puente que separa lo que negocio es a lo que puede llegar a ser, es necesario humanizar las empresas y convertirlas en un organismo vivo que detecte oportunidades constantes. Por eso es necesario que las empresas experimenten.
Todas las empresas necesitan la experimentación para crecer y, además, es una manera de fomentar la innovación continua. Eso sí, debe hacerse con rigor y con método.
El método científico es el mejor aliado de la cultura de la experimentación.
El método científico busca entender el por qué de las cosas a través de la cuantificación, medición y demostrabilidad.
Por resumirlo mal y rápido: busca entender la verdad. Si hablamos de negocios totalmente digitalizados o productos digitales, esa verdad a la que me refiero es el comportamiento de nuestros usuarios y la demostrabilidad se consigue con la demostración de causalidad en el incremento de las métricas.
El primer paso del método científico es la observación, la cual nos llenará de preguntas y, para encontrar las respuestas, deberemos validar que aquello que creemos que es verdad, acaba siéndolo. Así que lo que creemos que es verdad lo declararemos como una hipótesis.
Esa hipótesis será demostrada o no a través de un experimento controlado, que, a través de diferentes metodologías y cálculos estadísticos, buscará cuantificar el nivel de veracidad o falsedad.
Uno de los principales beneficios que nos aporta el modelo científico es que nos ofrece un acercamiento estructurado para aprender y descubrir cuáles son las causas reales de los cambios en las métricas.
Piensa en tu propio negocio, hay equipos trabajando en diferentes KPIs de producto, otros equipos trabajando en incrementar la base de usuarios y a la vez hay factores externos que no podemos controlar que pueden alterar el comportamiento de nuestros usuarios. Esto hace que nos sea muy difícil atribuir el impacto exacto de lo que estamos haciendo sobre una métrica concreta.
La experimentación identifica el cambio, lo cuantifica y le asigna una probabilidad de que siga ocurriendo en el futuro.
Piensa ahora sobre las posibilidades que te ofrece este acercamiento científico.
No solo nos da las herramientas para entender lo que ha ocurrido, sino que si introducimos la propia inteligencia sobre el negocio y datos cualitativos, es capaz de guiarnos hacia el futuro con las máximas garantías.
¿Qué nos permite la cultura de la experimentación?
El impacto que tiene este pequeño cambio de mentalidad en la cultura y filosofía empresarial hacia la experimentación para el crecimiento de productos, trae muchos beneficios.
Muchos negocios online tienden a pensar que solo trabajan la experimentación las empresas tecnológicas, sin embargo son muchas las empresas que experimentan.
Empresas y startups están adoptando la cultura de la experimentación porque esta nueva forma de hacer las cosas permite conseguir mayor rendimiento que quienes buscan un aumento de las ventas mediante tácticas de marketing digital (cada vez se queda más corta esta visión).
Antes de continuar quiero aclarar que una startup es una empresa en búsqueda de su modelo de negocio. Son empresas emergentes cuyo modelo de negocio no encaja en ninguno conocido hasta el momento, de ahí que la experimentación cobre especial sentido para este perfil de empresa puesto que les ayuda a definir la manera sistemática que va ayudarle a aumentar las ventas (o sea, que les va a ayudar a definir su modelo de negocio).
Es hora de experimentar y nos sobran los motivos para hacerlo.
Beneficios de la experimentación
- Optimizar recursos. Para mí es el principal objetivo ya que nos permite minimizar la inversión de recursos obteniendo el aprendizaje sobre el impacto que tendrá un cambio o una decisión de negocio.
Podemos anticipar los costes de lanzar nuevas versiones y prever sus efectos en los escenarios ya validados. Esto nos permite enfocar nuestro esfuerzo en lo que realmente impulsará nuestro negocio, basándonos en datos concretos, y dejar de lado lo que sabemos que no resonará con nuestra audiencia o que podría incluso tirar para abajo nuestras métricas.
- Reducir el riesgo. Una táctica estrella es desplegar las novedades de una actualización solo a un grupo selecto de usuarios, aunque este tipo de experimentación suele ser más del ámbito de los equipos de producto que de Growth. Con este lanzamiento selectivo, podemos captar el comportamiento de ese grupo de usuarios, identificar bugs o fallos que se nos escaparon en la QA, actuar rápido si algo se rompe, y analizar cómo esta nueva versión influye en nuestras métricas clave.
También minimiza el riesgo a la hora de construir nuevas funcionalidades, subproductos o nuevas modelos de crecimiento a través de smoke tests, que son experimentos con la mínima funcionalidad posible capaz de validar las hipótesis que permitan recolectar datos y entender qué beneficio futuro podría aquello que queremos implementar.
- Predecir cambios en sistemas complejos. De la misma forma que un experimento nos permite medir las métricas objetivo, también podemos medir lo que ocurre en sus antípodas. Toda métrica de negocio relevante tiene su contrapartida.
Por ejemplo, si queremos aumentar la monetización a través de compras in-app, disminuiremos la retención; si queremos aumentar el número de registros disminuyendo su dificultad, disminuirá el nivel de engagement. En otros modelos como un marketplace, aumentar el volumen de la demanda tendrá un efecto sobre la oferta. Los experimentos nos permiten entender estas correlaciones.
- Validar nuevas vías de investigación. Un equipo de Growth siempre debe centrarse en crecer y, para ello, la optimización de lo actual no es suficiente.
En mi opinión, esta es una de las mayores diferencias con un equipo de CRO, que se centra en optimizar lo que ya existe; mientras que el equipo de Growth buscará nuevas vías de seguir construyendo valor al usuario y tratar de captarlo a través de un modelo de monetización. La experimentación nos permite extraer los datos y convertirlos en nuevas vías de observación que, a su vez, reiniciará el ciclo de preguntas y respuestas. Esto nos permitirá hacer un research de nuevas oportunidades a explorar.
La experimentación sobre los productos digitales no es una opción y desde Product Hackers sabemos que la base del éxito de una empresa con la estrategia Growth es su compromiso con la experimentación.
¿Cómo se realiza la experimentación?
Por fortuna cada vez hay un mayor porcentaje de empresas que experimentan, pero lo relevante es saber si las empresas y startups cuentan con una metodología al adoptar esta cultura.
Por eso quiero hablarte de la metodología de Experimentación Growth que usamos en Product Hackers, porque antes de realizar un experimento, necesitaremos escoger la metodología de medición de experimentos más adecuada. Para ello necesitaremos entender dos conceptos que nos ayudarán a decidir:
- Tamaño de la muestra. Es el número de usuarios que verán el experimento y tiene que ser suficiente para poder validar el incremento (o el MDE) en la métrica escogida en el tiempo en que se realizará el experimento.
- MDE (Minimum Detectable Effect). Es el mínimo efecto detectable que necesitas observar para conseguir el nivel de significancia estadística (95%) y poder estadístico (80%) requerido.
Con estos dos conceptos ya entenderemos si, por ejemplo, podemos usar A/B Testing, sí necesitaremos un sistema de feedback y análisis cualitativo o si debemos buscar otras alternativas. Estas son las más conocidas:
- A/B Testing. Te permite asignar usuarios aleatoriamente a diferentes experiencias y determinar las métricas de éxito para comparar entre la experiencia original y la variante para seleccionar la ganadora.
Esta metodología es la mejor para CRO, cambios de diseño, UX, modelos de pricing y desarrollo de funcionalidades. Aunque no hay nada rotundo, pues dependerá del MDE y del impacto esperado, se recomienda no usarlo en nada que tenga menos de 100 conversiones en 14 días. - Multivariate Testing. Similar a A/B Testing pero con múltiples variables cambiando al mismo tiempo.
Si en un test A/B divides el tráfico en diferentes versiones de diseño, el objetivo del multivariate test es medir la efectividad de cada combinación de diseño. Para que sea útil necesitas volúmenes de datos muy altos o un tiempo en producción muy largo, ya que si por ejemplo, has escogido 10 ítems a iterar, el número de combinaciones necesitará de su propia muestra mínima para determinar ganadores. - Funnel Testing. También similar a los anteriores pero con cambios a través de toda la web. Es más útil cuando son componentes a lo largo de las páginas, como elementos de navegación o cambios de flujos que un usuario debe hacer para llegar a su objetivo (el nuestro), a través de nuevas formas de navegar, nuevos diseños o atajos en los propios flujos.
- Split Testing. En esta metodología los propios assets en sí mismos son divididos en grupos y los cambios se realizan entre cada uno de sus grupos para poder diferenciarlos.
Se suele usar para optimización SEO, donde un grupo puede contener diferentes meta-etiquetas o cambio de orden para poner a prueba al crawler de Google. - Snapshot Testing. Me he inventado el nombre (aunque quizá haya algo parecido con su propio nombre), y es algo que todavía estoy estudiando. La idea es comparar un benchmark de métricas antes y después del experimento eliminando tendencia y estacionalidad.
No es tan preciso como el A/B y, por tanto la causalidad no se puede demostrar, pero permitirá realizar experimentos fuera del site y en páginas o productos donde, si hay riesgo 0 o no es posible hacer un split de tráfico (experimentos en redes sociales, contenidos y otros actores fuera del producto), se puedan llevar a cabo sin perder la medición y obtención de conocimiento, aunque este no podamos controlarlo al 100%. En Growth lo perfecto nunca debe ser enemigo de lo bueno.
Como habrás podido ver, el mundo de la experimentación es extenso y, con esto, sólo estoy arañando la superficie. Sólo el concepto del desarrollo de hipótesis de usuario o la definición de experimentos podría tener cada una su propia entrada.
Conclusión: La cultura de la experimentación es inherente al crecimiento de los negocios y productos digitales
La experimentación es el motor del crecimiento de las empresas y productos digitales porque de otra forma es imposible realizar estrategias efectivas y rentables de crecimiento.
Y voy más allá: la cultura de la experimentación no es solo cosa de Startups en crecimiento o empresas tecnológicas, la idea es conseguir que la cultura empresarial tenga un enfoque mucho más adaptativo y dinámico que pueda alinearse con los vertiginosos cambios del mundo digital.
Cualquier empresa, sin importar su tamaño o industria, puede beneficiarse de adoptar esta mentalidad para descubrir nuevas vías de crecimiento y mejorar su oferta.
En un mundo tan competitivo, el estancamiento equivale a retroceder.
Desde mi posición como Head of Growth en Product Hackers, estoy comprometido a liderar la carga, asegurando que la estasis no tenga cabida en nuestro vocabulario. Juntos, impulsaremos un futuro donde experimentar e innovar es la norma, no la excepción.
