ChatGPT
Claude
Perplexity
Gemini
GrokCinco indicadores bastan si cada uno tiene una definición escrita
Un agente IA de admisiones se juzga con cinco indicadores: la tasa de resolución, la calidad del traspaso a una persona, los contactos cualificados, el tiempo hasta la primera respuesta humana y el recorrido del candidato hasta la matrícula. El resto sirve para diagnosticar, no para fijar objetivos.
No existe una referencia pública fiable que diga qué tasa de resolución es buena para una universidad o escuela de negocios en España, así que este artículo no la inventa. Ofrece definiciones, fórmulas y trampas de lectura. Los umbrales los fija usted con sus propias conversaciones tras unas semanas de observación.
| Indicador | Fórmula | Trampa que evitar |
|---|---|---|
| Tasa de resolución | Preguntas realmente resueltas ÷ preguntas reales | Contar el abandono como éxito |
| Calidad del traspaso | Traspasos completos y aceptados ÷ traspasos solicitados | Medir solo el número de traspasos |
| Contactos cualificados | Contactos válidos, con consentimiento e interés en un programa ÷ chats con intención real | Contar cada correo como un candidato |
| Tiempo hasta la respuesta humana | Mediana y percentil 90 hasta la primera respuesta del asesor | Mirar solo la media |
| Recorrido hasta la matrícula | Candidatos por etapa, según la semana del primer contacto | Atribuir todo al chatbot |
Tasa de resolución: lo resuelto, no lo que nadie discutió
La tasa de resolución es la proporción de preguntas reales que recibieron una respuesta correcta y suficiente. Quite del denominador los saludos, las pruebas internas y las sesiones vacías.
Desconfíe de la «contención» o «desvío», que considera resuelta toda conversación sin traspaso. Un candidato que se va molesto tras una respuesta vaga cuenta entonces como éxito. Lea cada semana una muestra aleatoria y clasifíquela: resuelta, parcial, no resuelta, errónea.
Mida aparte la exactitud en los datos críticos: importe de la matrícula y de las mensualidades, plazos de preinscripción, requisitos de acceso (EBAU, PAU u otros accesos), notas de corte, becas, reconocimiento oficial del título. Una respuesta falsa sobre un plazo es peor que un traspaso. El marco de gestión de riesgos de IA del NIST sitúa la medición entre las funciones básicas del gobierno de la IA; revisar muestras cada semana es una forma práctica de aplicarlo.
Calidad del traspaso: fluidez antes que frecuencia
Un buen traspaso entrega al asesor un resumen, evita que el candidato repita su pregunta y acaba en una respuesta humana. Clasifique los traspasos por motivo: petición explícita de una persona, tema fuera de alcance, situación sensible (discapacidad, ayudas, extranjería), fallo del agente.
Un motivo dominante revela una laguna de contenido. Las consultas sobre homologación de títulos extranjeros son un ejemplo habitual: documente lo que el centro puede decir públicamente y derive el resto al servicio competente.
El objetivo no es sustituir a los asesores, sino reservar su tiempo para las conversaciones donde su criterio cambia el resultado.
Contactos cualificados, no direcciones recogidas
El número de correos recogidos es la cifra más halagadora y menos informativa. Defina el contacto cualificado con cuatro condiciones: datos válidos, consentimiento registrado, programa o proyecto identificado e intención de actuar (preinscribirse, asistir a una jornada de puertas abiertas, pedir cita).
Calcule la captación sobre los chats con intención real y añada la proporción de contactos que un asesor logró localizar. Un contacto ilocalizable es un coste.
El tratamiento está sujeto al Reglamento (UE) 2016/679 y a la ley orgánica española de protección de datos, cuyo regulador es la Agencia Española de Protección de Datos. Recoja solo lo que el siguiente paso necesita, y consulte a su delegado de protección de datos cuánto tiempo se conserva el texto libre en el panel.
Tiempo hasta la primera respuesta humana
Mida el intervalo entre la solicitud y la primera respuesta de un asesor, como mediana y percentil 90. La mediana describe la experiencia habitual; el percentil 90, la del candidato que escribe de noche o en vacaciones.
Separe el horario laboral del resto. La promesa del agente («un asesor le escribirá mañana por la mañana») debe cumplirse: mida su cumplimiento, no solo la velocidad.
De la conversación a la matrícula
La prueba real es lo que pasa con los candidatos: consulta, preinscripción, admisión, matrícula. Siga las cohortes por semana de primer contacto y mantenga el denominador constante.
Cuidado con la atribución. Un candidato que usó el chatbot y se matriculó a veces lo habría hecho igual. Compare, si es posible, periodos o páginas con y sin agente y declare la incertidumbre. La lógica de costes está en nuestro artículo sobre el ROI de la captación de estudiantes.
Indicadores que engañan
- Número de conversaciones: sigue el tráfico web, no el valor entregado.
- Engagement y duración media: una respuesta confusa también alarga la charla.
- Satisfacción sola: responden pocos, y no al azar.
- Número bruto de «leads»: premia recoger datos, no captar estudiantes.
- Desvío: que no haya traspaso no significa que el problema esté resuelto.
El contexto español
El calendario español impone sus ritmos: preinscripción en el sistema universitario público, pruebas de acceso, resultados de la selectividad y plazos de matrícula. Compare siempre una semana con la misma semana del año anterior.
Segmente al menos por perfil (bachillerato, ciclo formativo de grado superior, mayores de 25, estudiante internacional, posgrado), por titulación y por canal. Una universidad privada con grados y másteres oficiales verificados por la ANECA responde a preguntas muy distintas según el perfil, y una cifra global lo oculta. Para el panorama general, consulte nuestra guía del chatbot IA para la captación de estudiantes y el artículo sobre agentes IA en la captación.
Un ritmo de revisión sencillo
- Cada semana: leer una muestra aleatoria y clasificar errores.
- Cada mes: revisar motivos de traspaso y preguntas sin respuesta.
- Cada trimestre: comparar cohortes hasta la matrícula.
- Tras cada cambio de contenido: volver a probar importes, fechas y requisitos.
Escriba las definiciones en un documento compartido para que dos equipos no calculen dos «tasas de resolución» distintas.
De los números a las decisiones
Un indicador solo vale si desencadena una acción. Bastan cuatro reglas sencillas para empezar.
- Resolución baja, pocos errores: falta contenido. Liste las preguntas sin resolver y redacte las respuestas con el servicio responsable.
- Errores en datos críticos: corrija primero la fuente. Si la página de matrícula es ambigua, el agente también lo será.
- Muchos contactos, pocos localizados: el problema es el seguimiento, no la captación. Compruebe quién llama, cuándo y por qué canal.
- Respuestas lentas por la tarde-noche: ajuste la promesa al candidato o la cobertura del equipo antes de añadir tecnología.
Anote cada decisión con su fecha y el indicador que la motivó. Pasados unos meses sabrá qué cambió realmente el resultado.
Comparar con criterio
Un centro con grados, másteres y programas ejecutivos obtiene tasas de resolución que no son comparables entre sí. Calcule cada indicador por titulación antes de construir una cifra común, y compare solo programas cuyas preguntas se parezcan. Si no, un programa con mucha demanda de información administrativa baja la media sin que el agente tenga la culpa.
