ChatGPT
Claude
Perplexity
Gemini
GrokAu Québec, on mesure un agent d'admission sur cinq indicateurs
Pour évaluer un agent IA d'admission dans un cégep, un collège privé ou une université, suivez cinq indicateurs : le taux de résolution, la qualité du transfert à un conseiller, les contacts qualifiés, le délai avant la première réponse humaine et le parcours jusqu'à l'inscription. Le reste sert à diagnostiquer, pas à décider.
Aucune référence publique fiable ne fixe un bon taux de résolution pour un établissement québécois. Cet article n'en invente donc pas. Il donne des définitions et des formules, à appliquer à vos propres conversations.
| Indicateur | Formule | Piège à éviter |
|---|---|---|
| Taux de résolution | Questions réellement réglées ÷ vraies questions posées | Compter l'abandon comme un succès |
| Transfert à un conseiller | Transferts complets et acceptés ÷ transferts demandés | Ne regarder que le nombre de transferts |
| Contacts qualifiés | Contacts valides, avec consentement et projet ÷ conversations à intention réelle | Additionner toutes les adresses courriel |
| Délai de première réponse humaine | Médiane et 90e centile jusqu'à la réponse d'un conseiller | Ne suivre que la moyenne |
| Parcours jusqu'à l'inscription | Candidats par étape selon leur semaine de premier contact | Tout attribuer à l'agent |
Taux de résolution : réglé, pas simplement non contesté
Le taux de résolution est la part des vraies questions qui ont reçu une réponse exacte et suffisante. Retirez du dénominateur les salutations, les essais de l'équipe et les conversations sans question.
Méfiez-vous du taux de « déflexion », qui compte comme réglée toute conversation sans transfert. Chaque semaine, relisez un échantillon tiré au hasard et classez les échanges : réglé, partiel, non réglé, erroné.
Suivez à part le taux d'erreur sur les faits critiques : droits de scolarité, conditions d'admission, dates limites, exigences du DEC ou de la cote de rendement au collégial (cote R) pour les programmes contingentés. Vérifiez chaque réponse contre la source officielle de l'établissement.
Transfert à un conseiller : la qualité avant le nombre
Un bon transfert remet à la personne le résumé de l'échange, évite au candidat de répéter sa question et débouche sur une réponse humaine. Ventilez les transferts par motif : demande d'une personne, sujet hors périmètre, situation sensible (mesures d'adaptation, aide financière aux études, immigration), échec de l'agent.
Un motif qui revient souvent indique une lacune de contenu. Les questions sur la reconnaissance d'études hors Québec en sont un exemple courant : si elles dominent, documentez-les ou dirigez vers le bon service.
L'agent ne remplace pas les conseillers ; il leur laisse les échanges où leur jugement compte.
Contacts qualifiés : quatre conditions
Un contact est qualifié lorsque les coordonnées sont valides, le consentement est recueilli, le programme ou le projet est connu et l'intention d'agir est claire (demande d'admission, portes ouvertes, rendez-vous). Calculez la capture sur les conversations à intention réelle seulement, puis ajoutez la part des contacts effectivement joints.
La Loi 25 encadre la protection des renseignements personnels au Québec. La Commission d'accès à l'information publie ses guides ; consultez-les avant de décider quels renseignements votre tableau de bord conserve et pendant combien de temps. Hors Québec, la loi fédérale suit une autre logique, et le Commissariat à la protection de la vie privée du Canada fournit ses orientations. Collectez le minimum nécessaire et faites valider le dispositif par la personne responsable de la protection des renseignements personnels.
Délai avant la première réponse humaine
Mesurez le temps entre la demande de contact et la première réponse d'un conseiller, en médiane et au 90e centile, en séparant les heures d'ouverture des autres heures. La promesse faite par l'agent (« un conseiller vous écrira demain avant midi ») doit être tenue : mesurez ce respect, plus que la vitesse brute.
Les pointes québécoises (dates limites d'admission au collégial et à l'université, périodes de portes ouvertes) allongent les délais. Comparez toujours une période à la même période de l'année précédente.
De la conversation à l'inscription
L'épreuve finale est le sort des candidats : demande d'admission, offre, acceptation, inscription. Suivez-les par cohorte selon la semaine de premier contact, avec un dénominateur constant.
Prudence sur l'attribution : un candidat qui a clavardé puis s'est inscrit l'aurait parfois fait sans l'agent. Comparez des périodes ou des pages avec et sans agent quand c'est possible, et nommez l'incertitude. Notre article sur le ROI de l'acquisition étudiante détaille la logique de coût.
Les indicateurs qui trompent
- Nombre de clavardages : il suit l'achalandage du site, pas la valeur rendue.
- Engagement et durée moyenne : une réponse confuse allonge aussi l'échange.
- Satisfaction seule : peu de personnes répondent, et pas au hasard.
- Nombre de « leads » : sans qualification, il récompense la collecte, pas le recrutement.
- Déflexion : elle confond absence de transfert et problème réglé.
Ce qui change au Québec
Le parcours québécois comporte des étapes propres : DES, DEC préuniversitaire ou technique, passage du cégep à l'université, cote R. Un candidat qui demande « puis-je entrer en génie ? » ne pose pas la même question qu'un adulte en retour aux études. Segmentez par profil et par programme.
Le français compte aussi : mesurez la résolution séparément en français et en anglais, car une base de contenu plus pauvre dans l'une des deux langues se voit immédiatement dans les échantillons. Pour l'ensemble du sujet, voyez notre guide du chatbot IA pour le recrutement étudiant.
Un rituel de pilotage
- Chaque semaine : relire un échantillon et classer les erreurs.
- Chaque mois : examiner les motifs de transfert et les questions sans réponse.
- Chaque trimestre : comparer les cohortes jusqu'à l'inscription.
- À chaque modification du contenu : retester droits de scolarité, dates et conditions d'admission.
Écrivez les définitions dans un document commun, pour éviter que deux équipes calculent deux taux différents.
Des chiffres aux décisions
Un indicateur n'a de valeur que s'il déclenche une action. Quatre règles simples suffisent pour commencer.
- Résolution faible, erreurs rares : le contenu manque. Dressez la liste des questions non réglées et rédigez les réponses avec le service concerné.
- Erreurs sur des faits critiques : corrigez la source avant de toucher à l'agent. Si la page des droits de scolarité est ambiguë, l'agent le sera aussi.
- Beaucoup de contacts, peu de joints : le problème est le suivi, pas la capture. Vérifiez qui rappelle, quand, et par quel canal.
- Délai trop long en soirée : ajustez la promesse faite au candidat ou la couverture de l'équipe, avant d'ajouter de la technologie.
Documentez chaque décision avec la date et l'indicateur qui l'a motivée. Trois mois plus tard, vous saurez ce qui a vraiment changé le résultat, et ce qui n'a rien changé.
