Zo voorkom je dat een AI-chatbot verkeerde antwoorden geeft

Waarom een AI-chatbot verkeerde antwoorden geeft

Een algemeen taalmodel zoekt feiten niet op zoals een database dat doet. Het voorspelt welke woorden logischerwijs volgen, op basis van patronen in de tekst waarop het is getraind. Daardoor klinkt het vloeiend en gaat het snel. Maar het betekent ook dat het model, zodra een betrouwbare bron ontbreekt, liever een antwoord geeft dat klinkt alsof het klopt dan dat het toegeeft iets niet te weten. In klantenservice zie je dat terug als verzonnen retourtermijnen, kortingscodes die niet bestaan, verkeerde levertijden of stellige verwijzingen naar voorwaarden die je winkel nooit heeft gehad. In de branche heet dat een hallucinatie: een verzonnen antwoord.

Het risico is het grootst bij precies die situaties waar het voor een webshop om draait: details van een specifieke bestelling, zeldzame vragen over je voorwaarden, en alles waarover de bot nooit juiste informatie heeft gekregen. Vraagt een klant “mag ik een uitverkoopartikel na 60 dagen nog retourneren?”, dan kan het model jouw regel onmogelijk kennen. Tenzij die regel op het moment van antwoorden voor zijn neus ligt.

Wat een verkeerd antwoord echt kost

Een verkeerd antwoord is niet alleen pijnlijk. In Moffatt v. Air Canada (2024) verplichtte een tribunaal in British Columbia de luchtvaartmaatschappij om een rouwtariefregeling na te komen die de eigen supportchatbot had verzonnen. Air Canada voerde aan dat de bot een aparte partij was die zelf verantwoordelijk was voor zijn uitspraken; dat argument hield geen stand. Andere bedrijven zagen hun supportbot wijzigingen in de voorwaarden aankondigen die helemaal niet bestonden, met opzeggingen en publieke klachten tot gevolg voordat iemand het doorhad.

Voor een webshop betekent één stellig maar verkeerd antwoord al snel een terugbetaling die je niet wilde doen, een chargeback, een slechte review of een klant die zich misleid voelt. En omdat het antwoord automatisch en direct de deur uit ging, kan het veel klanten bereiken voordat iemand het opmerkt. Ga er dus van uit dat wat je chatbot zegt, geldt als een officiële uitspraak van je bedrijf.

Hoe je verkeerde antwoorden voorkomt

Kloppende antwoorden zijn een kwestie van inrichting, niet van instructie. Je lost verzonnen antwoorden niet op door het model te vragen “beter op te letten”. Je lost ze op door te bepalen welke informatie het model krijgt en wat het daarmee mag doen.

1. Baseer elk antwoord op opgehaalde data. Haal vóór het antwoord de actuele feiten op: de status van de bestelling, het geldende retourbeleid, het productdetail. Het antwoord moet daarop gebouwd zijn, niet op wat het model zich meent te herinneren.
2. Leg grenzen vast aan wat de bot mag beweren. Geef hem een afgebakende kennisbank en de opdracht om alleen uit goedgekeurde bronnen te antwoorden. Valt een vraag daarbuiten, dan is het juiste gedrag: dat zeggen en het gesprek overdragen. Niet improviseren.
3. Scheid lezen van handelen. Antwoorden op “waar is mijn bestelling” is weinig riskant, geld terugstorten niet. Laat onomkeerbare acties alleen toe op basis van bevestigde data en, waar dat past, na goedkeuring van een mens.
4. Zet door bij twijfel. Krijgt het systeem een antwoord niet bevestigd, of gaat het over betalingen, geschillen of uitzonderingen op je voorwaarden, stuur het gesprek dan met alle context naar een medewerker.
5. Toon je bronnen. Laat de bot verwijzen naar de voorwaarde of de bestelling die hij heeft gebruikt. Fouten vallen dan sneller op en klanten vertrouwen het antwoord eerder.

Zo is WeReply opgebouwd: antwoorden komen uit je actuele Shopify-data en je eigen voorwaarden, niet uit het giswerk van een algemeen model. Wat het systeem niet veilig kan beantwoorden, gaat naar je team in plaats van dat het verzonnen wordt. Antwoorden op echte data, duidelijke grenzen aan wat de AI mag doen en een nette overdracht van AI naar mens: dat maakt van automatisering betrouwbare support in plaats van een risico.

Hoe je meet of de antwoorden kloppen

Wat je niet meet, kun je niet sturen. Stel een testset samen van echte klantvragen waarvan je het juiste antwoord kent, inclusief de lastige uitzonderingen en de randen van je voorwaarden. Juist daar duiken verzonnen antwoorden op. Draai die set elke keer dat je de kennisbank aanpast of meer gaat automatiseren, en houd drie getallen bij: hoe vaak de bot goed antwoordt, hoe vaak hij doorzet wanneer dat moet, en hoe vaak hij iets beweert dat niet te bevestigen is. Lees elke week een steekproef van echte gesprekken mee en voeg elk fout antwoord toe aan je kennisbank, zodat dezelfde fout geen tweede keer kan gebeuren. Zo wordt het aantal fouten steeds kleiner en kun je tegelijk veilig meer vragen automatiseren.