A/B testing: Fargeendring økte inntektene med 200 millioner dollar

Forskjellen mellom blått og grønt er tydelig, og det er en ganske enkel avgjørelse når du skal avgjøre om et blått eller grønt slips matcher skjorten din. Men hva om å bestemme seg for en eksakt nyanse av blått er forskjellen på om et selskap tjener en ekstra profitt på 200 millioner dollar?

Kan slike små detaljer som en liten variasjon i farge, kantstørrelse eller tekst virkelig snu beregninger? Google sitt Shades of Blue-eksperiment er et bevis på at det kan. Selskapet var i stand til å isolere en bestemt nyanse av blå som appellerte til flest brukere og tiltrakk seg flere klikk. De brukte denne fargen til å oppmuntre brukere til å klikke på annonser, noe som økte inntektene betraktelig.

Men viktigst av alt, eksperimentet fungerer som ugjendrivelig bevis på kraften til data. Dataanalytikere kan lære en ting eller to fra Google sitt Shades of Blue-eksperimentet, og det er det vi utforsker i denne artikkelen.

Eksperimentet med 41 nyanser av blått

I 2009 gjennomførte et team hos Google ledet av Marissa Meyer, som var produktsjef på den tiden, et eksperiment for å finne riktig blåtone for annonsene. Ideen fikk mye kritikk for sin statistiske tilnærming fra designere som mente det var bortkastet tid og ressurser.

Selskapets beslutning om å være enig med ingeniørene og tillate eksperimentet forårsaket mye intern spenning. Doug Bowman, som var sjefsdesigner, forlot selskapet det året. Han nevnte at eksperimentet bidro til avgjørelsen hans. Ifølge ham var det slitsomt å diskutere om en kantlinje skulle være 3, 4 eller 5 piksler bred, og det var "flere spennende designproblemer i denne verden å takle."

I 2014 snakket Dan Cobley, tidligere administrerende direktør i Google UK, om selskapets valg om å sette data over den antatte ekspertuttalelsen til den best betalte personen i designteamet. Han forklarte at før eksperimentet la selskapet opp annonser på Gmail, akkurat som de allerede hadde på søkesiden. De oppdaget at når de la annonser med lignende utforming fra Gmail og søk side ved side, var de blå tekstlenkene faktisk forskjellige nyanser.

Hoveddesigneren kunne ganske enkelt ha valgt en nyanse og brukt den på den andre slik at forskjellen kunne elimineres, selskapet valgte å ta en datastøttet beslutning i stedet. Dette er hva Google gjorde, de tillot 1 % av brukerne å se den blå fargen fra Gmail på Google-søk også, og ytterligere 1 % hadde den blå fargen fra Google-søk som nå vises i Gmail også.

For å være sikker på at de brukte den riktige blåtonen av alle tilgjengelige nyanser, utførte Google 40 eksperimenter til, og brukte alle tenkelige blåtoner. Eksperimentet har blitt kjent som "41 shades of blue-eksperimentet".

Googles dataeksperter analyserte klikkberegningene for hver nyanse som ble testet, og fant ut at en lilla nyanse av blått gir flest klikk. Den hadde slått en grønnere nyanse av blått for å være den mest klikkfremkallende nyansen. Selskapet byttet fargene på tekstlenkene i Gmail og Google-søk til den vinnende fargen og fikk en ekstra inntekt på 200 millioner dollar i året.

‍

A/B Data Science Testing

Googles blåfargeeksperiment er en form for testing kjent som A/B-testing. Det innebærer i utgangspunktet å presentere brukere med to alternativer av samme element eller funksjon og velge den mest effektive i henhold til beregninger. Bedrifter som lurer på hvordan de kan få flere klikk bortsett fra annonserelevans og nettstedstruktur, vil kanskje låne den siden fra Googles bok.

A/B også kjent som delt testing er en mye brukt metode som brukes i brukeropplevelsesforskning. Denne testen brukes for det meste for å bekrefte akseptabiliteten av nye produkter eller funksjoner, spesielt i et brukergrensesnitt, markedsføring og e-handel.

Nesten alle brukeropplevelses spørsmål kan settes gjennom A/B-testing, fra skjermstørrelse, nettsidedesign, et skjema eller tekst. Det viktige er at de to elementene som testes er varianter av samme variabel.

Disse variasjonene, klassifisert som A og B, presenteres for to deler av brukerne. Den første gruppen eller kontrollgruppedelen er rettet til variabel A og den andre eksperimentelle gruppen til variabel B.

A/B-testing er enkel og kan brukes i nesten alle virksomheter eller organisasjoner som vil dra nytte av datastøttede beslutninger. Vi benytter oss også mye av denne tankegangen når det gjelder betalt annonsering.

Typer A/B testing

Nedenfor er noen typer A/B-tester. Hver type brukes best til en spesifikk situasjon. Å vite hva du skal bruke i hvilken situasjon kan bidra til å unngå fallgruver og feil resultater.

Den klassiske A/B-testen

Denne typen A/B-test gir brukere to varianter av nettsiden din på samme URL. Med den klassiske testen kan du sammenligne to varianter av de mange ulike elementene samtidig siden en nettside inneholder et stort antall elementer.

Omdirigeringstesten

Hvis mer enn én ny side blir lansert samtidig på én server, anbefales omdirigeringstesten. Omdirigeringstesten tar brukere til én eller flere forskjellige nettadresser.

Multivariate test (MVT)

Multivariat type A/B-testing fungerer for å sjekke brukerreaksjoner på endringer på en nettside. Med MVT kan en nettside endre tekstfarge, bannerstil eller arrangement og måle beregningene fra hver endring.

Hva kan egentlig A/B-testes?

A/B-tester kan brukes til å evaluere synlige og usynlige endringer. Å legge til nye UI-designelementer eller endringer i designlayout, fargeendringer eller tekst er synlige endringer. Usynlige endringer kan være nye anbefalingsalgoritmer eller sidelastingstid.

Googles eksperiment fra 2009 med fargen blå er et godt eksempel på synlig endring, mens Amazons eksperiment med sidelastetid er et eksempel på usynlig endring. Amazons A/B-test var en økning på 100 millisekunder i sideinnlastingstid, resultatene viste at den reduserte hastigheten reduserte salget med 1 %.

Velge beregninger

Når man setter standarder for beregninger som vil være relevante for A/B-tester, må sensitivitet og robusthet vurderes. Sensitivitet refererer til kapasiteten til de valgte beregningene til å fange opp de berørte endringene, og robusthet betyr at beregninger ikke fullstendig bør ignorere irrelevante effekter.

For å sikre at sensitivitet og robusthet vurderes i metrisk valg, kan filtrering og segmentering brukes mens kontrollen og eksperimentet opprettes. Alder, kjønn, enhetstype og nettleser er noen faktorer som kan brukes til å filtrere og segmentere.

Hvilke trinn er involvert i A/B-testing?

Hypotese

Hypotesen er begynnelsen på hvert eksperiment. Her er nullhypotesen og alternativhypotesen oppgitt.

A/B-testing utfordrer nullhypotesen om at observerte forskjeller mellom de to gruppene er rent tilfeldige og beviser om forskjellen kan assosieres med en bestemt endring.

Eksperiment

På dette stadiet er variant A og B strategisk plassert slik at de er tilgjengelige for to separate brukergrupper. Metoden og kriteriene for innsamling av data bestemmes også her.

Datainnsamling

Når eksperimentet er satt opp, begynner datainnsamlingen. Datainnsamling er ofte den tøffeste delen av jobben.

Konklusjoner

Etter at data er samlet inn, begynner man med å trekke konklusjoner og trekke slutninger basert på dataene som er analysert.

Datadrevet beslutningstaking

Datadrevne beslutninger gir verdi til et selskaps tjenester, det gir bedre retning for digital markedsføring og bidrar til inntektsutvikling. For noen bedrifter kan pålitelige data bety forskjellen mellom fiasko og suksess.

Bedrifter er avhengige av personer med relevant ekspertise for å hjelpe dem med å navigere i big data-verdenen. Man må samle, analysere og omstrukturere store mengder data slik at de kan gi organisasjoner handlingsplaner og evidensbaserte endringer.

Google er kjent for sitt engasjement for datadrevne beslutninger, og hvis teknologigiganten har nådd så langt ved unngå HiPPO-effekten, burde mindre bedrifter lære av dem.