Diriges crecimiento de producto en una empresa digital en Florianópolis. En cada reunión chocan opiniones fuertes sobre qué cambiar en la web y el producto, y la costumbre es que decida quien más cobra —el HiPPO, la opinión del jefe—. Pero casi todas las ideas, incluso las de los expertos, fallan o no mueven nada cuando se prueban; el valor está en experimentar barato y a gran velocidad para que emerjan los pocos ganadores, muchas veces contraintuitivos. Booking.com corre miles de experimentos a la vez; Bing halló un cambio minúsculo en el formato de sus anuncios que valía 100 millones al año y llevaba tiempo ignorado en el backlog.
La situación
El A/B testing y los experimentos de crecimiento sustituyen la opinión por la evidencia: divides el tráfico, pruebas variantes y dejas que los datos —no la jerarquía— decidan. La idea contraintuitiva es que casi todas las ideas fallan o no mueven la aguja, incluso las de los mejores; por eso el valor no está en acertar a la primera, sino en probar mucho, barato y rápido para que emerjan los pocos ganadores. Y esos ganadores suelen ser sorprendentes: Bing descubrió que un pequeño cambio en cómo mostraba los anuncios valía 100 millones al año, algo que nadie priorizó porque "parecía menor". Booking.com hizo de la experimentación continua su motor, confiando en el dato sobre el HiPPO.
Aquí está la trampa, en dos direcciones. Lanzar según la intuición del jefe —o rediseños grandes sin probar— se siente decidido, pero como la mayoría de las apuestas están equivocadas, acumulas fracasos caros y tardíos que un test barato habría descartado antes. Y probarlo todo hasta la extenuación exigiendo certeza en cada detalle produce parálisis por análisis: pocos experimentos, ciclos lentos, y nunca alcanzas la velocidad que hace emerger a los ganadores. Lo defendible es la experimentación de alta velocidad guiada por datos: muchos tests baratos, matar rápido a los perdedores y escalar a los ganadores, con el dato por encima de la opinión.