Admissions chatbot KPI's: welke cijfers tellen en welke misleiden

Vijf cijfers volstaan, mits elk schriftelijk gedefinieerd is

Een AI-agent voor toelating en studiekeuze beoordeelt u op vijf cijfers: oplossingsgraad, kwaliteit van de overdracht aan een medewerker, gekwalificeerde aanvragen, tijd tot de eerste menselijke reactie en het pad van de kandidaat tot inschrijving. Al het andere helpt bij diagnose, maar hoort geen doelen te sturen.

Er bestaat geen betrouwbare openbare maatstaf voor een goede oplossingsgraad bij een Nederlandse hogeschool of universiteit, dus dit artikel noemt er geen. Het geeft definities, formules en leesvalkuilen. De drempels bepaalt u zelf, op basis van uw eigen gesprekken na enkele weken meten.

Oplossingsgraad: opgelost, niet slechts onweersproken

De oplossingsgraad is het aandeel echte vragen dat een juist en voldoende antwoord kreeg. Begroetingen, interne tests en lege sessies hoort u niet in de noemer te zetten.

Wees op uw hoede voor „deflectie” of „containment”, dat elk gesprek zonder overdracht als opgelost telt. Een kandidaat die na een vaag antwoord geërgerd afhaakt, scoort dan als succes. Lees liever elke week een willekeurige steekproef en deel in: opgelost, deels opgelost, niet opgelost, onjuist.

Meet de juistheid van kritieke gegevens apart: collegegeld, deadlines, toelatingseisen, selectieprocedures, numerus fixus-regels, vooropleidingseisen en de erkenning van de opleiding. Een onjuist antwoord over een deadline is erger dan een overdracht. Het AI Risk Management Framework van NIST noemt meten een kernfunctie van AI-governance; een wekelijkse steekproef is een praktische toepassing.

Overdrachtskwaliteit: soepel boven vaak

Een goede overdracht geeft de adviseur een samenvatting, bespaart de kandidaat het herhalen van de vraag en eindigt in een menselijk antwoord. Verdeel overdrachten naar reden: uitdrukkelijk verzoek om een mens, onderwerp buiten bereik, gevoelige situatie (functiebeperking, studiefinanciering, verblijfsvergunning), falen van de agent.

Een dominante reden wijst op een inhoudelijk gat. Vragen over de waardering van buitenlandse diploma’s zijn een bekend voorbeeld: leg vast wat de instelling openbaar kan zeggen en verwijs de rest naar de juiste afdeling.

De agent vervangt de adviseurs niet; hij houdt hun tijd vrij voor gesprekken waarin hun oordeel telt.

Gekwalificeerde aanvragen in plaats van verzamelde adressen

Het aantal verzamelde e-mailadressen is het meest vleiende en minst informatieve cijfer. Definieer een gekwalificeerde aanvraag aan de hand van vier voorwaarden: geldige contactgegevens, vastgelegde toestemming, een herkenbare opleiding en de intentie om te handelen (aanmelden, open dag bezoeken, afspraak maken).

Bereken de vastlegging over chats met echte intentie en voeg het aandeel contacten toe dat een adviseur daadwerkelijk bereikte. Een onbereikbaar contact kost alleen maar tijd.

De verwerking valt onder de Algemene verordening gegevensbescherming (AVG), met het beginsel van minimale gegevensverwerking. Toezichthouder is de Autoriteit Persoonsgegevens. Verzamel alleen wat de volgende stap vraagt en stem met uw functionaris voor gegevensbescherming af hoe lang vrije tekst in het dashboard blijft.

Tijd tot de eerste menselijke reactie

Meet de tijd tussen verzoek en eerste reactie van een adviseur als mediaan en 90e percentiel. De mediaan beschrijft de gewone ervaring; het 90e percentiel de kandidaat die ’s avonds of in een vakantie schrijft.

Scheid kantooruren van de rest. De belofte van de agent („een adviseur mailt u morgenochtend”) moet nagekomen worden: meet die naleving en niet alleen de snelheid.

Van chat naar inschrijving

De echte toets is wat er met kandidaten gebeurt: oriëntatie, aanmelding, toelating, inschrijving. Volg ze in cohorten naar week van eerste contact en houd de noemer constant.

Wees voorzichtig met toerekening. Een kandidaat die de chatbot gebruikte en zich inschreef, had dat soms ook zonder gedaan. Vergelijk waar mogelijk periodes of pagina’s met en zonder agent en benoem de onzekerheid. De kostenlogica staat in ons artikel over de ROI van studentenwerving.

Cijfers die misleiden

• Aantal gesprekken: volgt het websiteverkeer, niet de geleverde waarde.
• Betrokkenheid en gemiddelde duur: een verwarrend antwoord rekt een gesprek ook op.
• Tevredenheid alleen: weinigen reageren, en niet willekeurig.
• Ruwe leadaantallen: belonen verzamelen, niet werven.
• Deflectie: geen overdracht betekent niet dat het probleem is opgelost.

De Nederlandse context

In Nederland loopt de aanmelding voor bijna alle opleidingen via Studielink, maar de vragen komen eerder en later: bij studiekeuze, bij selectie en bij de voorbereiding op de start. Veel instellingen hebben bovendien open dagen, proefstudeerdagen en matching. Het kwaliteitskader van de NVAO bepaalt welke opleidingen geaccrediteerd zijn, en een chatbot moet dat nauwkeurig weergeven.

Segmenteer daarom naar doelgroep (vwo-leerling, havist, mbo-doorstromer, zij-instromer, internationale student, masterkandidaat), naar hbo of wo, naar opleiding en naar kanaal. Een totaalcijfer verbergt dat een mbo-student die doorstroomt naar het hbo andere vragen en een andere beslistermijn heeft dan een vwo-leerling. Voor het bredere beeld: onze gids over AI-chatbots voor studentenwerving en het artikel over AI-agenten in studentenwerving.

Een eenvoudig ritme

1. Wekelijks: een steekproef lezen en fouten indelen.
2. Maandelijks: overdrachtsredenen en onbeantwoorde vragen bekijken.
3. Per semester: cohorten tot inschrijving vergelijken.
4. Na elke inhoudelijke wijziging: collegegeld, data en eisen opnieuw testen.

Leg de definities vast in een gedeeld document, zodat niet twee teams twee verschillende „oplossingsgraden” berekenen.