Met “Power” beter inzicht in het succes van je test-campagnes!

Zonder de juiste data kun je de impact van marketingcampagnes niet vaststellen. Maar zelfs met data kan het nog lastig zijn om zeker te weten of een campagne succesvol is geweest. En idealiter wil je dat al weten voordat je een campagne volledig uitrolt, dus op basis van kleinschalige testen. In deze blog nemen we je mee wat ‘Power’ is en hoe je het kunt inzetten om de effectiviteit van je campagnes te testen!

Testen, testen, testen…

Met de juiste voorbereiding zijn dergelijke tests eenvoudig uit te voeren. Je kunt een go/no go-criterium instellen voor de testresultaten, zoals:

“Ik wil dat de test met ten minste 90% zekerheid aantoont dat de campagne een positieve invloed heeft op onze verkoop”

Het resultaat kan ronduit positief of negatief zijn. Dan is de beslissing eenvoudig te nemen. Maar het lastige is dat sommige effecten subtiel kunnen zijn. Die zijn moeilijk met hoge mate van vertrouwen te meten op een kleine testgroep. Dan is de test niet in staat om zo’n effect vast te stellen, ook al zou het een goede beslissing zijn om door te gaan met de campagne.”

Dus wat je eigenlijk echt wilt weten, is het omgekeerde: ervan uitgaande dat campagne echt goed is, hoe groot is dan de kans dat mijn test dit kan bevestigen? Dit is waar “Power” om de hoek komt kijken. “Power” is een krachtig hulpmiddel:

Om ervoor te zorgen dat je goede tests voorbereidt
Om je te helpen goed te begrijpen wat de resultaten van de analyse je vertellen
En om dit af te wegen tegen andere, subtielere overwegingen.

Voordat ik wat meer uitleg over wat ‘Power’ is, zal ik eerst ingaan op de principes van testen. Dan begrijp je beter waarom “Power” een krachtig middel is bij de test van je campagne.

A/B-testen

Stel: je team heeft een fantastische campagne gebouwd om de verkoop van je product binnen een bepaalde doelgroep te stimuleren. Voordat je het landelijk lanceert, wil je eerst testen hoe effectief het is op een kleine groep.

Een veelgebruikte aanpak is om eerst een A/B-test op te zetten om de impact van je campagne te meten. Groep A is de testgroep en doet mee aan je campagne en groep B is de controlegroep en is uitgesloten van je campagne. Beide groepen zijn random steekproeven uit je doelgroep. Na het uitvoeren van de test vergelijk je de verkopen van groep A met die van groep B. Buiten de testcampagne om, moeten daardoor andere invloeden in beide groepen hetzelfde zijn. Je kunt er dus vrijwel zeker van zijn dat een positieve testuitslag voor groep A kan worden toegeschreven aan de testcampagne, en niet aan andere factoren.

Stel nu dat de verkoop iets hoger was in groep A dan in groep B. Is dit dan een ‘positieve testuitslag’, of gewoon toeval? Het goede nieuws is dat je dit kan vaststellen door de statistische significantie van dit resultaat te meten. Je zou bijvoorbeeld op basis van statistische tests kunnen vaststellen dat er maar 10% kans is dat het resultaat dat je ziet gewoon toevallig tot stand is gekomen. Dat wil zeggen dat je er 90% zeker van kunt zijn dat de campagne een positief effect heeft. Prima resultaat dus!

Maar vaak zijn de zaken minder eenvoudig. Wat gebeurt er als de resultaten iets hoger waren in groep A, maar de statistische test laat “slechts” met 70% zekerheid zien dat de campagne een positief effect heeft. Ga je dan door met testen en tijd en kosten investeren door het uitbreiden van de testgroep? Of neem je het risico en ga je gewoon door? Of leg je de campagne stil, ook al was het misschien wel een waardevolle campagne?

data analyseren, coderen, trading, crypto

De kracht van “Power”

Een klein verschil kan moeilijk te bevestigen zijn door middel van testen, vooral als je het met veel zekerheid wilt bevestigen. Je wilt voorkomen dat je in een situatie als hierboven terechtkomt. Dus heb je een test nodig die een goede kans biedt ook kleine verschillen te detecteren. Dan kun je vertrouwen hebben in data gedreven besluitvorming. “Power” is de maat voor precies dat: hoe waarschijnlijk is het dat uw test een echt verschil zal bevestigen, als dat bestaat.

Ervan uitgaande dat er een echt verschil te ontdekken is, zal “Power” grotendeels afhangen van 3 zaken:

Hoe groot is de testgroep? – hoe groter de testgroep, hoe hoger “Power” omdat u meer gegevens hebt om het verschil te bevestigen
Hoe groot is het werkelijke verschil? Hoe groter het verschil, hoe hoger “Power”, omdat het gemakkelijker vast te stellen is
Hoe hoog wil je vertrouwen hebben in je testresultaat? Hoe hoger de betrouwbaarheidsdrempel die u instelt, hoe lager de “Power”, omdat de test dan meer zekerheid wil over de uitkomst.

Als je de 3 bovenstaande waarden kent, kun je met behulp van toegepaste wiskunde de “Power” berekenen. Of je kunt andersom rekenen: als je wilt dat je test minimaal een bepaalde “Power” heeft, hoe groot moet je dan een testgroep opzetten? Dit geeft je dus meer mogelijkheden voor je besluitvorming.

“Power” in de praktijk

Dus hoe gebruik je “Power” nu in de praktijk? De belangrijkste uitdaging die we hebben voor de uitvoering van de test is: we weten van tevoren niet hoe groot het verschil (als dat er al is) is dat we proberen te meten. Dat wil zeggen dat we een van de 3 zaken die we nodig hebben om het Power te berekenen niet kennen.

Gelukkig is hiermee niet alles verloren! Wat je kan doen, is een drempelverschil opgeven! Als de test uitwijst dat het echte verschil ten minste dit verschil is, dan weet je dat er bijvoorbeeld met een zekerheid van 90% dat dit verschil er daadwerkelijk is.

Laat ik dit illustreren met een vereenvoudigd voorbeeld. Paul is directeur marketing bij Golfing Galore. Hij wil een marketingcampagne voeren gericht op het werven van leden voor hun nieuwe state-of-the-art golfclub. Rekening houdend met de verwachte kosten van de campagne en andere factoren, besluit hij -na overleg met zijn data-analyst- een test op te zetten en daarin drempel te hanteren van ten minste 1 procentpunt. Dat wil zeggen dat de testgroep minimaal 1% meer nieuwe leden moet opleveren dan de controlegroep.

De eerste vraag is dan hoe groot de testgroep moet zijn? Het resultaat hiervan moet voldoende zekerheid bieden om een go/no go-beslissing te nemen bij de uitrol van de campagne?

Laten we aannemen dat de echte impact van de campagne inderdaad een 1 procentpunt hogere acquisitieratio is (4% versus 3%).

Paul wil een betrouwbaarheidsniveau van 90% hanteren op zijn test als drempel voor een go/no go-beslissing. Hoe groot denk je dat de testgroep van Paul zou moeten zijn? 1.000? Helaas zou het gebruik van een testgroep van 1.000 slechts een kans van 18% geven dat de test met ten minste 90% zekerheid vaststelt dat de campagne een positief effect heeft gehad op de verkoop.

Door de “Power” van de test af te zetten tegen de grootte van de testgroep (zie figuur 1) kunnen we zien dat er een testgroep van rond de 12.000 nodig is om met 90% zekerheid te kunnen zeggen dat 1% hogere acquisitie toe te schrijven is aan de test. Met andere woorden: er is dan een zekerheid van 90% dat de test op een groep van deze omvang aantoont dat de campagne effectief is.

Dit toont natuurlijk nog steeds niet met absolute zekerheid aan dat de campagne effectief is, of dat deze ten minste een effect van 1 procentpunt heeft. Maar nu kan Paul tenminste een weloverwogen beslissing nemen over hoe groot een testgroep hij wil opzetten, en de implicaties die dit heeft voor de resultaten van de test die hij uiteindelijk zal zien. Dat geeft hem veel meer vertrouwen in zijn besluitvorming.

Het lage vermogen van een testgroep grootte van 1.000 lijkt op het eerste blik misschien nogal verrassend. Maar als je er wat langer over nadenkt, is het wel logisch. Bij een steekproef van 1.000 zijn dat er 500 in de testgroep en 500 in de controlegroep. Dus gemiddeld zou je 3%*500 = 15 nieuwe leden verwachten in de controlegroep en 4%*500 = 20 nieuwe leden in de testgroep. 15 vs 20 lijkt misschien al overtuigend, maar er is maar een beetje fluctuatie voor nodig om 16 in de controlegroep en 19 in de testgroep te krijgen. Zelfs met zo’n kleine variatie worden zaken minder duidelijk. Figuur 2 laat je zien hoe het vermogen varieert voor verschillende combinaties van testgroepsgrootte en daadwerkelijk verschil in conversie.

In het voorbeeld hebben we “Power: toegepast op een marketingcampagne, maar “Power+ is ook te gebruiken in elke situatie waarin u wilt controleren of er een verschil is tussen 2 groepen. Neem bijvoorbeeld het meten van de impact van verschillende ontwerpen van een webpagina op doorklikken. Of de impact van e-mailopeningen op verschillende onderwerpregels. Het kan ook worden toegepast op multi-channel campagnes met de juiste overwegingen, evenals het continu monitoren van de impact van campagnes.

In alle gevallen zijn de principe hetzelfde:

Zorgvuldige voorbereiding van gegevens om ervoor te zorgen dat test- en controlegroepen onbevooroordeeld zijn en gemakkelijk kunnen worden gevolgd
Duidelijk gedefinieerde testcriteria
Het gebruik van “Power” om te begrijpen welke conclusies je wel en niet uit een test kunt trekken. Of, andersom geredeneerd, hoe je je testparameters kunt aanpassen om een redelijke kans te garanderen op een testresultaat waar je vol zekerheid naar kunt handelen.

Welke andere toepassingen kun jij bedenken waar het begrijpen van “Power” handig kan zijn? Of heb je andere technieken die je in dit soort situaties gebruikt?

Laat het me weten, neem even contact op en ik stuur je een reactie!

Meer weten over dit onderwerp?

Rich Haines

Consultant Data Science & Analytics

r.haines@dataconsultinggroup.nl

Kun je wel wat hulp gebruiken? Onze specialisten staan voor je klaar!

Ontdek hoe je grip krijgt op jouw data!

Welke andere toepassingen kun jij bedenken waar het begrijpen van “Power” handig kan zijn? Of heb je andere technieken die je in dit soort situaties gebruikt? Laat het me weten en ik stuur je een reactie!

Ik wil meer informatie

Kies een datum en tijd die jou het beste uitkomt.

Heb je een specifieke vraag?

Neem gerust contact met ons op.

Bel ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur

Mail ons

info@dataconsultinggroup.nl

Doorgaans kan je binnen 24 uur een reactie verwachten

WhatsApp ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur