Scaling up an Experimentation Program: First Reflections from Tackling the Challenge with a Multiplier Setup

Sarah Buetof & Flavio De Souza

1/2/2023

About the talk

Introducing and scaling an experimentation program comes with multi-faceted challenges and organizations apply the most diverse strategies for how to tackle them. At Vista, we have decided to implement a multiplier system as one of the key elements of our experimentation growth strategy, the Ambassador program. In this talk, we will share how we approached and realized our idea, how the program is currently doing, and our reflections on the first 12 months running it. Transparently, we will talk about what went well, what needed optimization, as well as what we are still struggling with.

Sarah Buetof & Flavio De Souza

Sarah
Sarah è Principal Experimentation Consultant di Vista e, in quanto tale, è responsabile della crescita del programma Ambassador a livello aziendale, dell'aggiornamento generale e dei temi legati agli argomenti di aderenza ai metodi, nonché della scalata del programma di sperimentazione insieme ai suoi colleghi dell'Experimentation Hub e al direttore Lukas Vermeer. Psicologa con un forte orientamento alla ricerca e alla statistica, Sarah ha lavorato per circa 10 anni in ambito accademico, principalmente nelle neuroscienze, dove ha studiato le alterazioni patologiche della connettività cerebrale umana con l'ausilio di dati di neuroimaging 4D. Conclusa la sua carriera di ricerca con la tesi di dottorato, ha deciso di cercare nuove sfide. Con una prima piccola mossa è diventata docente a tempo pieno di sperimentazione e metodologia di ricerca, prima di fare il grande salto nel settore dell'industria privata. Sarah è entrata a far parte di una grande azienda di e-commerce come analista di sperimentazione ed è rimasta immediatamente stupita dall'applicazione dei metodi di sperimentazione nel mondo dello sviluppo agile dei prodotti. Ispirata da ciò che aveva imparato in un ambiente già consolidato di sperimentazione e data-driven, era desiderosa di fare il passo successivo e di assumersi la responsabilità di creare un framework per conto proprio e di dare vita alla sperimentazione come Product Manager in FREE NOW. Dopo due anni e mezzo di successo in questo ruolo, Sarah ha deciso di riprendere il suo lavoro in un nuovo assetto e si è unita all'Experimentation Hub di Vista.

Flavio
Flavio ha iniziato a lavorare come praticante sperimentatore nel 2009 e da allora si è specializzato in ottimizzazione delle conversioni, sperimentazione e web analytics. Attualmente, in Vista, Flavio svolge un ruolo essenziale nella gestione del centro di eccellenza di sperimentazione analitica (CoE), nella creazione di prodotti di dati di sperimentazione analitica, nel sostegno al programma Experimentation Ambassador e nell'assistenza agli stakeholder interni come consulente di sperimentazione. È un sostenitore della scalabilità della sperimentazione tramite team di sperimentazione integrati, della possibilità per i team di operare in modo autonomo (tramite strumenti e processi) e aiuta le persone provenienti da background diversi (marketer, analisti, product owner, designer, sviluppatori) a prendere le decisioni giuste.