ChatGPT
Claude
Perplexity
Gemini
GrokCinq KPI suffisent, à condition d'en fixer la définition
Pour juger un agent IA d'admissions, mesurez cinq choses : le taux de résolution, la qualité du passage à l'humain, la capture de contacts qualifiés, le délai avant le premier contact humain et le devenir des candidats jusqu'à l'inscription. Tout le reste est un indicateur de confort, utile pour diagnostiquer mais dangereux pour décider.
Aucun benchmark public sérieux ne fixe aujourd'hui ce qu'est un « bon » taux de résolution pour une école. Cet article ne vous en donne donc pas. Il donne des définitions, des formules et les pièges de lecture. Les seuils, c'est à vous de les établir sur vos propres conversations, après quelques semaines d'observation.
| KPI | Formule | Piège à éviter |
|---|---|---|
| Taux de résolution | Questions réellement traitées ÷ questions réelles posées | Compter l'abandon comme une réussite |
| Qualité du passage à l'humain | Transferts complets et acceptés ÷ transferts demandés | Mesurer seulement le nombre de transferts |
| Contacts qualifiés | Contacts valides avec consentement et projet ÷ conversations à intention réelle | Compter chaque e-mail saisi comme un candidat |
| Délai de premier contact humain | Médiane et 90e centile entre la demande et la première réponse d'un conseiller | Ne regarder que la moyenne |
| Parcours jusqu'à l'inscription | Candidats par étape (dossier, admission, inscription) selon leur premier contact | Attribuer au chatbot tout ce qui suit |
Le taux de résolution : ce qui a été réglé, pas ce qui n'a pas été contesté
Le taux de résolution est la part des questions réelles auxquelles l'agent a apporté une réponse correcte et suffisante. Le dénominateur compte les conversations contenant une vraie question, pas les « bonjour » ni les tests internes.
Le piège classique est le taux de « déflexion » ou de « confinement » : il considère comme résolue toute conversation qui s'arrête sans transfert. Un candidat qui part agacé après une réponse vague est alors compté comme une victoire.
La méthode honnête est l'échantillonnage. Chaque semaine, relisez un échantillon de conversations tiré au hasard et classez-les : résolue, partiellement résolue, non résolue, erronée. Complétez avec un signal direct (« Cette réponse vous a-t-elle aidé ? »), en sachant que seuls les candidats très satisfaits ou très mécontents répondent.
Séparez enfin l'exactitude du taux de résolution. Une réponse fausse sur un frais de scolarité, une date de concours ou une condition d'accès à une alternance est pire qu'un transfert. Suivez à part le taux d'erreur sur les faits critiques, en comparant les réponses à la source officielle de l'école. Le cadre de gestion des risques de l'IA du NIST range d'ailleurs la mesure parmi les fonctions de base de toute gouvernance d'un système d'IA.
La qualité du passage à l'humain
Un bon transfert ne se mesure pas à sa fréquence mais à sa fluidité. Trois contrôles suffisent : le conseiller reçoit-il le résumé de l'échange, le candidat doit-il répéter sa question, et le transfert aboutit-il à une réponse humaine ?
Suivez le taux de transfert par motif : demande explicite d'un humain, sujet hors périmètre, question sensible (handicap, situation financière, titre de séjour), échec de l'agent. Un motif qui domine révèle une lacune de contenu à combler, pas un chiffre à réduire à tout prix.
Un agent qui transfère peu n'est pas forcément bon. Il peut aussi retenir des candidats qui avaient besoin d'une personne. Le but n'est pas de remplacer les conseillers, mais de leur laisser les échanges où leur jugement compte.
Les contacts qualifiés, pas les adresses collectées
Le nombre d'e-mails recueillis est le chiffre le plus flatteur et le moins informatif. Définissez un contact qualifié par quatre conditions : coordonnées valides, consentement recueilli, programme ou projet identifié, et intention d'agir (candidater, venir à une journée portes ouvertes, demander un rendez-vous).
Le taux de capture se calcule alors sur les conversations à intention réelle, non sur toutes les conversations. Il se lit avec un second indicateur : la part de ces contacts qu'un conseiller a effectivement pu joindre. Un contact injoignable est un coût, pas un résultat.
Côté données personnelles, appliquez la minimisation prévue par le règlement (UE) 2016/679 : ne demandez que ce qui sert à la suite du parcours, et mesurez sans stocker plus de texte libre que nécessaire. Les recommandations de la CNIL sur la mesure d'audience et l'information des personnes s'appliquent aussi au tableau de bord que vous construisez.
Le délai avant le premier contact humain
Mesurez le temps écoulé entre la demande de contact et la première réponse d'un conseiller, en médiane et au 90e centile. La médiane dit l'expérience habituelle ; le 90e centile dit ce que vit le candidat malchanceux, souvent celui qui écrit le soir ou pendant les vacances.
Distinguez les heures ouvrées des heures de fermeture, sinon le chiffre mélange deux réalités. Un agent peut tenir la conversation la nuit, mais la promesse faite au candidat (« un conseiller vous rappelle demain avant midi ») doit être suivie dans les faits. Mesurez le respect de cette promesse plutôt que la rapidité brute.
Du chat à l'inscription : mesurer sans s'attribuer le mérite
Le véritable test d'un agent d'admissions est ce que deviennent les candidats : dossier ouvert, entretien passé, admission, inscription. Suivez-les par cohorte, c'est-à-dire par semaine de premier contact, en conservant le même dénominateur d'une cohorte à l'autre.
Gardez la prudence sur l'attribution. Un candidat qui a utilisé le chatbot et s'est inscrit l'aurait peut-être fait de toute façon. Pour savoir si l'agent change quelque chose, comparez des périodes ou des pages comparables (avec et sans agent), ou au minimum des candidats de même programme, et déclarez l'incertitude. Reliez la méthode à votre calcul de coût d'acquisition et de ROI.
Les KPI qui trompent
Ces indicateurs ne sont pas inutiles, ils sont mal utilisés :
- Nombre de conversations ou de messages : il suit le trafic du site, pas la valeur rendue.
- Taux d'engagement : un agent qui répond mal fait aussi revenir les candidats.
- Durée moyenne de conversation : longue, elle peut signaler l'intérêt ou la confusion.
- Satisfaction seule : très biaisée par le petit nombre de répondants.
- Nombre de « leads » : sans qualification, il récompense la collecte, pas le recrutement.
- Déflexion : elle confond absence de transfert et problème résolu.
Pour la satisfaction, préférez un suivi sur tout le parcours, comme dans notre article sur la mesure de la satisfaction prospect.
Poser la mesure dans le contexte français
Le calendrier de recrutement français impose ses rythmes : questions massives autour de Parcoursup pour les formations post-bac, temps forts des journées portes ouvertes, candidatures en alternance toute l'année. Comparez donc une période à la même période, jamais à la précédente.
Segmentez au moins par type de public (lycéen, étudiant en réorientation, parent, candidat en alternance), par programme et par langue. Une école avec des bachelors visés RNCP et un MBA n'a pas les mêmes questions ni les mêmes délais de décision. Un indicateur global masque ces écarts. Pour le cadre d'ensemble, voyez notre guide du chatbot IA pour le recrutement étudiant et celui des agents IA pour le recrutement.
Un rituel de pilotage simple
- Chaque semaine : relire un échantillon de conversations et classer les erreurs.
- Chaque mois : examiner les motifs de transfert et les questions sans réponse.
- Chaque trimestre : comparer les cohortes jusqu'à l'inscription.
- À chaque changement de contenu : retester les questions critiques (frais, dates, conditions d'accès).
Notez les définitions dans un document partagé. Sans cela, deux équipes calculent deux « taux de résolution » différents et le débat porte sur le chiffre plutôt que sur les candidats.
