Kritiek op de Instagram update
Net voor de jaarwisseling was er paniek onder veel Instagram gebruikers: van de een op de andere dag werd het vertrouwde verticaal scrollen vervangen door een horizontale feed. Instagram wilde testen hoe gebruikers zouden reageren als dit ook daadwerkelijk doorgevoerd zou worden in de nieuwe update, dit ging echter niet helemaal zoals gepland, de testgroep was namelijk veel groter dan eigenlijk de bedoeling was: ‘this was supposed to be a very small test but we went broader than we anticipated’, zei Adam Mosseri, Head of Product bij Instagram.
De kracht van A/B-testen
We kunnen deze ‘mislukte’ A/B-test natuurlijk niet echt mislukt noemen, want naast veel publiciteit heeft de test een duidelijke reactie van de klant opgeleverd. Op social media werd bijvoorbeeld pijnlijk duidelijk dat gebruikers geen fan zijn van de nieuwe feed. Al met al kunnen we dus zeggen dat A/B-testen Instagram meer geleerd heeft over haar klanten waardoor ze nu weten wat ze (niet) moeten veranderen om hun gebruikers tevreden te houden met de volgende update. Ook in e-Mail zijn er veel mogelijkheden voor A/B-testen. Zo kun je testen op open-ratio (onderwerp regels, snippets, lay-out), doorklikratio en conversie (afbeeldingen, call-to action).
Hoe stel je een succesvolle A/B test op?
Als je aan een A/B test begint, moet je ten eerste goed weten wat je doel is. De data die je verzamelt tijdens je A/B test moet natuurlijk wel relevant zijn. Ook al is een A/B-test om je klanten beter te leren kennen, je moet wel enige klantenkennis hebben om een richtlijn voor je test op te stellen. In andere woorden, probeer geen random keuzes te testen, maar maak een concreet plan met de User Experience in je achterhoofd.
Wat te doen met de resultaten van een A/B test?
Als de resultaten van je A/B-test binnen zijn, zijn er een aantal punten belangrijk in het aflezen van deze resultaten. Ten eerste is het belangrijk om te kijken met welke percentages de winnende variant gewonnen heeft. Is dit verschil marginaal? Dan kun je niet zo veel met de uitslag, aangezien je moet altijd rekening houden met een marge van bias. Een tip is om een target te stellen waaraan de hoeveelheid verschil in uitslag moet voldoen om een doorslaggevende factor in de test te zijn. Hiermee maak je je A/B-test plan concreter.
Het is ook belangrijk om rekening te houden met het feit dat A/B-testen een proces is. Dit houdt in dat de resultaten van een enkele test niet per se absoluut zijn. Varieer met de tijd, de gekozen dag en de verschillende weken van de maand om te kijken of dit verschil in je resultaat oplevert. Laat je niet ontmoedigen als je A/B-test niet het gewenste resultaat oplevert, maar blijf dus vooral variëren.
Een echte goede A/B-test kan een ware puzzel zijn, maar als de stukjes op hun plaats zijn gevallen, is het resultaat waardevol.
