ChatGPT
Claude
Perplexity
Gemini
GrokCinco indicadores, cada uno con definición escrita
Un agente IA de admisiones en una universidad, preparatoria o escuela de negocios mexicana se evalúa con cinco indicadores: tasa de resolución, calidad de la canalización a un asesor, contactos calificados, tiempo hasta la primera respuesta humana y avance del aspirante hasta la inscripción. Lo demás sirve para diagnosticar, no para fijar metas.
No hay una referencia pública confiable sobre cuál es una buena tasa de resolución para una institución mexicana, así que aquí no se inventa ninguna. El artículo ofrece definiciones, fórmulas y errores de lectura; los umbrales se fijan con sus propias conversaciones.
| Indicador | Fórmula | Error que evitar |
|---|---|---|
| Tasa de resolución | Preguntas realmente resueltas ÷ preguntas reales | Contar el abandono como éxito |
| Calidad de la canalización | Canalizaciones completas y aceptadas ÷ canalizaciones solicitadas | Medir solo cuántas se hacen |
| Contactos calificados | Contactos válidos, con consentimiento e interés en un programa ÷ chats con intención real | Contar cada correo como aspirante |
| Tiempo a respuesta humana | Mediana y percentil 90 hasta la primera respuesta del asesor | Ver solo el promedio |
| Avance a la inscripción | Aspirantes por etapa, según la semana del primer contacto | Atribuirlo todo al chatbot |
Tasa de resolución: lo resuelto, no lo no cuestionado
La tasa de resolución es la proporción de preguntas reales que recibieron una respuesta correcta y suficiente. Saque del denominador los saludos, las pruebas internas y las sesiones vacías.
Desconfíe de la «contención», que da por resuelta toda conversación sin canalización. Un aspirante que se va molesto tras una respuesta vaga cuenta entonces como éxito. Cada semana, lea una muestra aleatoria y clasifíquela: resuelta, parcial, no resuelta, errónea.
Mida por separado la exactitud en datos críticos: colegiaturas y cuotas de inscripción, fechas límite, requisitos de ingreso (certificado de bachillerato, examen de admisión como el EXANI-II u otro), becas, reconocimiento de validez oficial (RVOE) del programa. Una respuesta falsa sobre un requisito es peor que una canalización. El marco de gestión de riesgos de IA del NIST coloca la medición entre las funciones centrales del gobierno de la IA, y revisar muestras cada semana es una forma práctica de aplicarlo.
Calidad de la canalización: fluidez antes que frecuencia
Una buena canalización entrega al asesor un resumen, evita que el aspirante repita su pregunta y termina en una respuesta humana. Clasifique por motivo: petición explícita de una persona, tema fuera de alcance, situación sensible (becas, discapacidad, trámites migratorios), falla del agente.
Si un motivo domina, hay una laguna de contenido. Las dudas sobre equivalencia de estudios o revalidación son un caso típico: documente lo que la institución puede afirmar públicamente y oriente el resto al área correspondiente.
El objetivo no es sustituir a los asesores, sino reservar su tiempo para las conversaciones donde su criterio importa.
Contactos calificados, no correos recolectados
El número de correos recolectados es la cifra más halagadora y menos informativa. Defina el contacto calificado con cuatro condiciones: datos válidos, consentimiento registrado, programa identificado e intención de actuar (inscribirse, asistir a una visita al campus, agendar una llamada).
Calcule la captación sobre los chats con intención real y añada la proporción de contactos que un asesor logró localizar. En México, mucha comunicación con aspirantes ocurre por mensajería móvil: mida por canal, porque los tiempos y la localización cambian.
El tratamiento de datos personales por particulares se rige por la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (LFPDPPP), que exige un aviso de privacidad. El texto vigente y la autoridad competente conviene confirmarlos en el Diario Oficial de la Federación o con su asesor jurídico. Recoja solo lo necesario para el siguiente paso y defina cuánto tiempo se conserva el texto libre en su tablero.
Tiempo hasta la primera respuesta humana
Mida el intervalo entre la solicitud y la primera respuesta de un asesor, como mediana y percentil 90, separando horario de oficina del resto. La promesa del agente («un asesor le escribirá mañana por la mañana») debe cumplirse; mida ese cumplimiento y no solo la velocidad.
Los picos llegan con convocatorias de ingreso, periodos de inscripción y el inicio de ciclo. Compare cada semana con la misma del año anterior.
De la conversación a la inscripción
Siga a los aspirantes por cohorte, según la semana del primer contacto: consulta, solicitud, examen o entrevista, admisión, inscripción. Mantenga constante el denominador.
Cuidado con la atribución: un aspirante que usó el chatbot y se inscribió a veces lo habría hecho igual. Compare periodos o páginas con y sin agente cuando sea posible y declare la incertidumbre. La lógica de costos está en nuestro artículo sobre el ROI de la captación de estudiantes.
Indicadores que engañan
- Número de conversaciones: sigue el tráfico del sitio, no el valor entregado.
- Interacción y duración promedio: una respuesta confusa también alarga el chat.
- Satisfacción sola: responden pocos, y no al azar.
- Número bruto de «leads»: premia recolectar datos, no reclutar.
- Contención: sin canalización no significa resuelto.
Contexto mexicano
En México no hay una plataforma nacional única: cada institución define su proceso, y muchas universidades públicas aplican examen de admisión propio. Las privadas compiten por convocatorias, becas y la acreditación de programas por organismos reconocidos por el COPAES. Estos factores cambian las preguntas de los aspirantes, y también su calendario.
Segmente al menos por nivel (preparatoria, licenciatura, posgrado), por perfil (aspirante directo, padre o madre de familia, aspirante extranjero o de otro estado), por programa y por canal. Una cifra global oculta que quien pregunta por una beca decide con otros tiempos que quien pregunta por un posgrado ejecutivo. Para el panorama general, consulte nuestra guía del chatbot IA para la captación de estudiantes y el artículo sobre agentes IA en la captación.
Un ritmo de revisión sencillo
- Cada semana: leer una muestra aleatoria y clasificar errores.
- Cada mes: revisar motivos de canalización y preguntas sin respuesta.
- Cada ciclo: comparar cohortes hasta la inscripción.
- Tras cada cambio de contenido: volver a probar colegiaturas, fechas y requisitos.
De los números a las decisiones
Un indicador solo vale si desencadena una acción. Bastan cuatro reglas sencillas para empezar.
- Resolución baja, pocos errores: falta contenido. Liste las preguntas sin resolver y redacte las respuestas con el área responsable.
- Errores en datos críticos: corrija primero la fuente. Si la página de colegiaturas es ambigua, el agente también lo será.
- Muchos contactos, pocos localizados: el problema es el seguimiento, no la captación. Revise quién llama, cuándo y por qué canal.
- Respuestas lentas por la noche: ajuste la promesa al aspirante o la cobertura del equipo antes de añadir tecnología.
Anote cada decisión con su fecha y el indicador que la motivó. Pasados unos meses sabrá qué cambió realmente el resultado.
Comparar con criterio
Una institución con preparatoria, licenciaturas y posgrados obtiene tasas de resolución que no son comparables entre sí. Calcule cada indicador por nivel y programa antes de construir una cifra común, y compare solo programas cuyas preguntas se parezcan. Si no, un programa con mucha demanda de información administrativa baja el promedio sin que el agente tenga la culpa.
