KPIs de um agente de IA de admissões: o que medir e o que engana

Cinco indicadores bastam, se cada um tiver definição escrita

Um agente de IA de admissões em uma faculdade, centro universitário ou universidade brasileira deve ser avaliado por cinco indicadores: taxa de resolução, qualidade do transbordo para uma pessoa, contatos qualificados, tempo até a primeira resposta humana e trajetória do candidato até a matrícula. O resto serve para diagnosticar, não para definir metas.

Não há referência pública confiável sobre o que é uma boa taxa de resolução para uma instituição brasileira, então este artigo não inventa uma. Ele traz definições, fórmulas e armadilhas de leitura. Os limites você define com as suas próprias conversas, depois de algumas semanas de observação.

Taxa de resolução: o que foi resolvido, não o que ninguém contestou

A taxa de resolução é a proporção de perguntas reais que receberam resposta correta e suficiente. Tire do denominador as saudações, os testes internos e as sessões vazias.

Desconfie da «contenção», que considera resolvida qualquer conversa sem transbordo. Um candidato que sai irritado depois de uma resposta vaga entra, assim, como sucesso. Toda semana, leia uma amostra aleatória e classifique: resolvida, parcial, não resolvida, errada.

Meça separadamente a exatidão nos dados críticos: mensalidades, taxas de inscrição, datas do vestibular ou do processo seletivo, uso da nota do ENEM, bolsas como o Prouni, financiamento como o Fies, reconhecimento do curso pelo MEC. Uma resposta errada sobre uma data é pior do que um transbordo. O framework de gestão de riscos de IA do NIST coloca a medição entre as funções centrais da governança de IA; revisar amostras toda semana é uma forma prática de aplicar isso.

Qualidade do transbordo: fluidez antes de frequência

Um bom transbordo entrega ao consultor um resumo, poupa o candidato de repetir a pergunta e termina em uma resposta humana. Classifique por motivo: pedido explícito de uma pessoa, assunto fora do escopo, situação sensível (bolsa, financiamento, acessibilidade), falha do agente.

Um motivo dominante revela uma lacuna de conteúdo. Dúvidas sobre transferência, aproveitamento de estudos e uso do ENEM são exemplos comuns: documente o que a instituição pode afirmar publicamente e encaminhe o restante ao setor responsável.

O objetivo não é substituir consultores, mas reservar o tempo deles para as conversas em que o julgamento humano faz diferença.

Contatos qualificados, não e-mails coletados

O número de e-mails coletados é o dado mais lisonjeiro e menos informativo. Defina contato qualificado por quatro condições: dados válidos, consentimento registrado, curso identificado e intenção de agir (inscrever-se, visitar o campus, agendar uma conversa).

Calcule a captação sobre as conversas com intenção real e some a proporção de contatos que um consultor de fato conseguiu alcançar. No Brasil, boa parte do contato com candidatos acontece por mensageria móvel: meça por canal, porque os tempos e a localização variam.

O tratamento de dados pessoais segue a Lei Geral de Proteção de Dados (LGPD), e a fiscalização cabe à ANPD. Colete só o necessário para o passo seguinte, informe a finalidade e defina com o seu encarregado (DPO) por quanto tempo o texto livre permanece no painel.

Tempo até a primeira resposta humana

Meça o intervalo entre o pedido e a primeira resposta de um consultor, em mediana e percentil 90. A mediana descreve a experiência habitual; o percentil 90, a de quem escreve à noite ou nas férias.

Separe o horário comercial do restante. A promessa do agente («um consultor entrará em contato amanhã de manhã») precisa ser cumprida: meça esse cumprimento, não só a rapidez.

Os picos acompanham os períodos de inscrição, as divulgações de resultados e o início do semestre. Compare cada semana com a mesma do ano anterior.

Da conversa à matrícula

O teste verdadeiro é o que acontece com os candidatos: interesse, inscrição, aprovação, matrícula. Acompanhe-os por coorte, conforme a semana do primeiro contato, com denominador constante.

Cuidado com a atribuição. Um candidato que usou o chatbot e se matriculou pode ter feito isso de qualquer jeito. Compare, quando possível, períodos ou páginas com e sem agente e declare a incerteza. A lógica de custos está no nosso artigo sobre o ROI da captação de alunos.

Indicadores que enganam

• Número de conversas: acompanha o tráfego do site, não o valor entregue.
• Engajamento e duração média: uma resposta confusa também alonga a conversa.
• Satisfação isolada: poucos respondem, e não por acaso.
• Número bruto de «leads»: premia coletar dados, não captar alunos.
• Contenção: não haver transbordo não significa problema resolvido.

O contexto brasileiro

O ingresso no Brasil passa por várias portas: vestibular próprio, uso da nota do ENEM, o SISU nas instituições públicas, programas como Prouni e Fies, além de processos seletivos de cada instituição privada. Cada uma tem calendário, regras e perguntas diferentes, e o MEC é a referência para o reconhecimento de cursos.

Segmente, portanto, por modalidade (presencial, semipresencial, EAD), por perfil (egresso do ensino médio, transferência, segunda graduação, pós-graduação), por curso e por canal. Um número global esconde que quem pergunta sobre o Prouni decide em um calendário diferente de quem busca um MBA. Para o panorama geral, veja o nosso guia do chatbot de IA para captação de alunos e o artigo sobre agentes de IA na captação.

Um ritmo de revisão simples

1. Toda semana: ler uma amostra aleatória e classificar erros.
2. Todo mês: revisar motivos de transbordo e perguntas sem resposta.
3. Todo semestre: comparar coortes até a matrícula.
4. A cada mudança de conteúdo: testar de novo mensalidades, datas e requisitos.

Escreva as definições em um documento compartilhado, para que duas equipes não calculem duas «taxas de resolução» diferentes.