Forbedrede klikraten med 50%

Kontekst

Bankdata udvikler digitale bankprodukter, som bruges af en stor del af de danske banker. Designkulturen var moden på mange måder — men næsten udelukkende intuition-drevet. Ingen split testing, ingen struktureret måde at validere designbeslutninger med data på. Det satte jeg mig for at ændre.

Problemet

At få ny tooling godkendt hos Bankdata er genuint svært. Security reviews, ledelsesgodkendelse, indkøbscyklusser — friktionen er høj nok til, at teams default til at bygge in-house frem for at adoptere velafprøvede tredjepartsløsninger. Split testing var ingen undtagelse. I stedet for at kæmpe mod godkendelsesprocessen arbejdede jeg inden for den: Jeg championede udviklingen af en in-house A/B testing-løsning, som det lokale team kunne eje og genbruge, med en arkitektur designet til på sigt at udrulle på tværs af den bredere organisation.

Det første test

Det første eksperiment var bevidst simpelt: en flytning af en knap. Simpelt nok til at være et rent test, men meningsfuldt nok til at tælle. Resultatet var en 50% stigning i klik — statistisk signifikant. I den skala Bankdata opererer i, svarer det til en potentiel stigning i leads til en værdi af over 17 mio. DKK årligt for vores partnerbanker. Vi kontrollerer ikke, hvad rådgivere gør med de leads — men vi kontrollerer nu evidensen for, at designbeslutninger flytter den nål.

Den ubehagelige opfølgning

Efter at have bygget kapabiliteten blev jeg en af dens mest højlydte kritikere — ikke selve værktøjet, men instinktet, der skabte det. Vi brugte betydelig tid på at løse problemer, som dedikerede tredjepartsprodukter for længst har løst, tid der kunne være gået til at levere reel værdi til brugerne. Siden da har jeg presset hårdt på for, at organisationen skal bevæge sig hurtigere med tredjepartsadoption og hæve sin tolerance for godkendelses-overhead. Split testing-historien er mit klareste eksempel på hvorfor: Vi fik resultatet, men til en pris, som et værktøj som VWO eller Optimizely ville have absorberet for os.

Det jeg lærte

At bygge kapabiliteten var den nemme del. Det sværere — og mere værdifulde — skift var at genkende, hvornår bygge-instinktet er forkert, og have nok troværdighed fra at have gjort det til at argumentere overbevisende for det.