ChatGPT
Claude
Perplexity
Gemini
GrokCinco indicadores bastam, se cada um tiver definição escrita
Um agente IA de admissões avalia-se com cinco indicadores: taxa de resolução, qualidade da passagem a uma pessoa, contactos qualificados, tempo até à primeira resposta humana e percurso do candidato até à matrícula. O resto serve para diagnosticar, não para fixar metas.
Não existe referência pública fiável sobre o que é uma boa taxa de resolução numa universidade ou num instituto politécnico português, pelo que este artigo não a inventa. Oferece definições, fórmulas e armadilhas de leitura. Os limiares definem-se com as suas próprias conversas, após algumas semanas de observação.
| Indicador | Fórmula | Armadilha a evitar |
|---|---|---|
| Taxa de resolução | Perguntas realmente resolvidas ÷ perguntas reais | Contar o abandono como sucesso |
| Qualidade da passagem | Passagens completas e aceites ÷ passagens pedidas | Medir só o número de passagens |
| Contactos qualificados | Contactos válidos, com consentimento e interesse num curso ÷ conversas com intenção real | Contar cada e-mail como candidato |
| Tempo até resposta humana | Mediana e percentil 90 até à primeira resposta do técnico | Olhar só para a média |
| Percurso até à matrícula | Candidatos por etapa, segundo a semana do primeiro contacto | Atribuir tudo ao chatbot |
Taxa de resolução: o que ficou resolvido, não o que ninguém contestou
A taxa de resolução é a proporção de perguntas reais que receberam uma resposta correta e suficiente. Retire do denominador as saudações, os testes internos e as sessões vazias.
Desconfie da «contenção», que considera resolvida qualquer conversa sem passagem a um humano. Um candidato que sai irritado depois de uma resposta vaga conta então como sucesso. Todas as semanas, leia uma amostra aleatória e classifique: resolvida, parcial, não resolvida, errada.
Meça à parte a exatidão nos dados críticos: propinas, prazos de candidatura, condições de acesso, provas de ingresso, vagas, bolsas, reconhecimento do curso. Uma resposta errada sobre um prazo é pior do que uma passagem. O quadro de gestão de riscos de IA do NIST coloca a medição entre as funções centrais da governação da IA; rever amostras semanalmente é uma forma prática de a aplicar.
Qualidade da passagem: fluidez antes de frequência
Uma boa passagem entrega ao técnico um resumo, poupa o candidato a repetir a pergunta e termina numa resposta humana. Classifique por motivo: pedido explícito de uma pessoa, assunto fora do âmbito, situação sensível (necessidades educativas especiais, ação social, autorização de residência), falha do agente.
Um motivo dominante revela uma lacuna de conteúdo. As dúvidas sobre reconhecimento de graus estrangeiros são um exemplo frequente: documente o que a instituição pode afirmar publicamente e encaminhe o restante para o serviço competente.
O objetivo não é substituir os técnicos, mas reservar o seu tempo para as conversas em que o seu critério conta.
Contactos qualificados, não endereços recolhidos
O número de e-mails recolhidos é o valor mais lisonjeiro e menos informativo. Defina contacto qualificado por quatro condições: dados válidos, consentimento registado, curso identificado e intenção de agir (candidatar-se, ir a um dia aberto, marcar uma conversa).
Calcule a captação sobre as conversas com intenção real e acrescente a proporção de contactos que um técnico conseguiu efetivamente contactar. Um contacto inalcançável é um custo.
O tratamento está sujeito ao Regulamento (UE) 2016/679, e a autoridade de controlo é a Comissão Nacional de Proteção de Dados (CNPD). Recolha apenas o que o passo seguinte exige e valide com o seu encarregado de proteção de dados durante quanto tempo o texto livre fica no painel.
Tempo até à primeira resposta humana
Meça o intervalo entre o pedido e a primeira resposta de um técnico, em mediana e percentil 90. A mediana descreve a experiência habitual; o percentil 90, a de quem escreve à noite ou em período de férias.
Separe o horário de expediente do resto. A promessa do agente («um técnico contactá-lo-á amanhã de manhã») tem de ser cumprida: meça esse cumprimento e não apenas a rapidez.
Da conversa à matrícula
O verdadeiro teste é o que acontece aos candidatos: pedido de informação, candidatura, admissão, matrícula. Acompanhe-os por coorte, segundo a semana do primeiro contacto, mantendo o denominador constante.
Cuidado com a atribuição. Um candidato que usou o chatbot e se matriculou poderia tê-lo feito na mesma. Compare, se possível, períodos ou páginas com e sem agente e declare a incerteza. A lógica de custos está no nosso artigo sobre o ROI do recrutamento de estudantes.
Indicadores que enganam
- Número de conversas: acompanha o tráfego do site, não o valor entregue.
- Envolvimento e duração média: uma resposta confusa também alonga a conversa.
- Satisfação isolada: respondem poucos, e não ao acaso.
- Número bruto de «leads»: premeia recolher dados, não recrutar.
- Contenção: não haver passagem não significa problema resolvido.
O contexto português
O acesso ao ensino superior público faz-se pelo concurso nacional gerido pela DGES, com fases e prazos próprios, a par de concursos especiais, regimes para maiores de 23 anos e cursos técnicos superiores profissionais. As instituições privadas e muitos politécnicos têm ainda processos de candidatura diretos. A avaliação e a acreditação dos cursos cabem à A3ES.
Segmente, por isso, por perfil (estudante do secundário, maior de 23, estudante internacional, candidato a mestrado), por curso e por canal. Um valor global esconde que quem pergunta sobre o concurso nacional decide num calendário diferente de quem se candidata a um mestrado. Para o quadro geral, consulte o nosso guia do chatbot IA para o recrutamento de estudantes e o artigo sobre agentes IA no recrutamento.
Um ritmo de revisão simples
- Todas as semanas: ler uma amostra aleatória e classificar erros.
- Todos os meses: rever motivos de passagem e perguntas sem resposta.
- Todos os semestres: comparar coortes até à matrícula.
- Após cada alteração de conteúdo: voltar a testar propinas, datas e condições de acesso.
Escreva as definições num documento partilhado, para que duas equipas não calculem duas «taxas de resolução» diferentes.
Dos números às decisões
Um indicador só vale se desencadear uma ação. Quatro regras simples bastam para começar.
- Resolução baixa, poucos erros: falta conteúdo. Liste as perguntas por resolver e redija as respostas com o serviço responsável.
- Erros em dados críticos: corrija primeiro a fonte. Se a página das propinas for ambígua, o agente também será.
- Muitos contactos, poucos alcançados: o problema é o seguimento, não a captação. Verifique quem liga, quando e por que canal.
- Respostas lentas ao fim do dia: ajuste a promessa feita ao candidato ou a cobertura da equipa antes de acrescentar tecnologia.
Registe cada decisão com a data e o indicador que a motivou. Passados alguns meses, saberá o que mudou realmente o resultado.
Comparar com critério
Uma instituição com licenciaturas, mestrados e formações executivas obtém taxas de resolução que não são comparáveis entre si. Calcule cada indicador por curso antes de construir um valor comum e compare apenas cursos cujas perguntas se assemelhem.
