Hoe lang moet een Website Optimizer test duren?

Facebooktwitterlinkedin

wachten-op-de-website-optimizer-testEen vraag die wij vaak horen met betrekking tot website optimizer testen is: hoe lang moet zo’n A/B test of Multivariate test nu draaien voordat ik een significant resultaat heb? Een andere veelgestelde vraag die hier mee te maken heeft,  is of er wel voldoende verkeer is om een test op te zetten. Om een antwoord te kunnen geven op deze vragen gebruiken we vaak een een relatief simpele maar toch belangrijke tool: de testduur calculator.

Dit artikel gaat in op het hoe en waarom van de testduur calculator. Tevens laten we zien hoe de calculator in de website optimizer interface geplaatst kan worden zodat deze tool altijd bij de hand is.

In de opzet van een experiment is het altijd belangrijk om te bepalen wat voor testmethodiek er gebruikt gaat worden. Wilt u aan de slag met de website optimizer dan heeft u de keuze om A/B of Multivariate te gaan testen. De methodiekkeuze zou afhankelijk moeten zijn van de vragen die u graag beantwoord ziet in het experiment. Maar soms is die luxe echter niet aanwezig en aangezien niemand tot ‘sint juttemus’ wil wachten op significante uitkomsten, zijn er een aantal factoren om rekening mee te houden.

Een significant resultaat is afhankelijk van de volgende factoren:

  1. Het aantal testcombinaties
  2. De mate van verkeer op de testpagina
  3. Het percentage verkeer dat langs de testpagina’s wordt geleid
  4. Het huidige conversiepercentage
  5. De verwachte verbetering in de test

Gezien bovenstaande factoren is het zaak van te voren om per experiment een haalbare strategie te kiezen die voldoende learnings oplevert. De testduur calculator kan hierbij helpen. Deze vertelt u namelijk hoeveel dagen er gewacht moet worden voordat er een significant resultaat kan worden verwacht. Op basis daarvan kunt u bepalen wat voor u een haalbare strategie is (op de door geselecteerde testpagina) om uiteindelijk de juiste conclusies te kunnen trekken.

Een voorbeeld
Stel u wilt 3 kleuren buttons, 2 call to actions en 3 variaties van een afbeelding testen op een productpagina om meer conversies te genereren. Met een multivariate test betekent dit 3*2*3 = 18 testcombinaties.  We vullen eerder genoemde vijf factoren in (die van toepassing op de testpagina), in de calculator:

calculator

We zien door middel van de calculator dat bij een verwachte verbetering van 10% (dit blijft koffiedik kijken, maar we adviseren hier een enigszins conservatieve schatting te hanteren) dat er meer dan 200 dagen gewacht moet worden op een significant resultaat. Grote kans dat u hier niet op wilt wachten! Met een andere teststrategie, bijvoorbeeld middels een A/B test of met minder testelementen, kan er vaak wel een haalbare test opgezet worden. Op deze manier kan een mogelijk fiasco voorkomen worden. Een dergelijk fiasco kost namelijk niet alleen kostbare ontwikkeltijd van uw webdevelopers, maar wellicht kost het u ook het draagvlak om intern testing als continu proces op de agenda te krijgen.

De calculator altijd bij de hand
De calculator is op dit moment weggestopt in het Adwords Helpcenter. Met wat aanpassingen is er een link naar de calculator ook in de Website Optimizer interface te krijgen. Op deze manier is de calculator altijd bij de hand als u een experiment opzet in de website optimizer. De link naar de calculator wordt door middel van een rekenmachine icoon toegevoegd in de optimizer werkbalk:

calculator-in-gwo

Middels de volgende drie stappen lichten we toe hoe dit te realiseren is:
1. Installeer GreaseMonkey voor FireFox
2. Installeer het script voor de calculator (met dank aan Eric Vold)
3. Login in de Website Optimizer en de calculator is als rekenmachine icoon toegevoegd in de werkbalk.

Loopt u tegen problemen aan? Neem dan contact op met een conversie optimalisatie specialist van Traffic4u. Als Website Optimizer Authorised Consultant zijn we u graag van dienst.

Een reactie

Het is niet mogelijk om te reageren.