Chatbot IA e alucinações: 5 proteções técnicas para a sua escola

Um candidato pergunta ao chatbot da sua escola sobre as propinas da Licenciatura em Gestão. O chatbot responde com confiança: «3.200 € por ano.» O valor real é 3.850 €. O candidato descobre a discrepância no momento da matrícula e desiste. É este o custo real de uma alucinação de IA não controlada.

As alucinações não são um problema marginal. Ocorrem quando um modelo de linguagem gera uma resposta plausível mas factualmente incorrecta — sem que o sistema consiga detectar ou sinalizar o erro. No contexto do recrutamento de estudantes, um único erro sobre propinas, requisitos de admissão ou prazos de candidatura pode destruir a confiança de um candidato em fase de decisão. Este guia apresenta 5 proteções técnicas que qualquer escola do ensino superior pode implementar de imediato.

O que as alucinações custam verdadeiramente à sua escola

Um chatbot que inventa respostas não produz um erro neutro: apresenta informação falsa com a mesma aparente autoridade de uma resposta correcta. Para um candidato que compara várias instituições numa folha de cálculo, uma resposta incorrecta e confiante é mais prejudicial do que «não sei».

A análise de 12.000 conversas Skolbot revela que 72% das questões dos candidatos são respostas FAQ automatizáveis — propinas, condições de admissão, estágios curriculares, residências — mas 7% requerem um assessor humano qualificado para responder correctamente (Fonte: Skolbot, classificação automática, 2025). A zona de risco situa-se precisamente nessa intersecção: perguntas que parecem simples — disponibilidade de unidades curriculares, notas de ingresso — são frequentemente aquelas que o modelo responde com maior confiança e mais erros.

A A3ES e a DGES identificam a precisão dos sistemas de IA orientados para estudantes como um fator chave de qualidade institucional para as escolas portuguesas em 2026. Cinco proteções abordam este problema directamente.

Proteção #1 — RAG: ancorar cada resposta nos seus próprios dados

O RAG (Retrieval Augmented Generation) é o padrão actual para chatbots institucionais. Antes de gerar uma resposta, o modelo consulta uma base documental que você controla — páginas de cursos, tabelas de propinas oficiais, requisitos de admissão, perguntas frequentes sobre candidaturas — e utiliza apenas as passagens recuperadas para formular a sua resposta.

Porque funciona: Sem RAG, o modelo apoia-se nos seus dados de treino, congelados numa data passada e alheios aos seus programas específicos, propinas ou políticas. Com RAG, cada resposta está ancorada num documento que você mesmo publicou. Se a informação não estiver na base indexada, o chatbot não pode inventá-la — em vez disso, activa a Proteção #3 (limiar de confiança).

O que indexar primeiro: páginas de cursos com propinas actuais para 2025-2026, requisitos de admissão por tipo de qualificação e notas de ingresso, calendário académico, FAQ de candidaturas, critérios de bolsas próprias, capacidade das residências. Uma base RAG desactualizada produz «alucinações de dados obsoletos» — o modelo cita uma fonte real que já não está em vigor — tão perigosas quanto as invenções puras.

Para a arquitectura técnica de integração, consulte o nosso guia Como integrar um chatbot IA no site da sua universidade.

Proteção #2 — Citações de fontes: cada resposta deve ser verificável

Um chatbot que cita as suas fontes é um chatbot auditável. Cada resposta apresenta o documento de origem — «Fonte: Página da Licenciatura em Gestão 2025-26» — idealmente com uma ligação directa para a página correspondente. O candidato pode verificar com um clique; a sua equipa de admissões pode auditar cada conversa.

Benefício para o candidato: aprende a consultar as suas páginas oficiais em vez de depender exclusivamente do chatbot. Reduz o risco de que retenha uma informação incorrecta obtida noutro lugar. Benefício operacional: quando uma resposta é incorrecta, a citação permite rastrear imediatamente o documento responsável e actualizá-lo na base RAG.

Limitação conhecida: As citações não garantem uma síntese correcta. Um modelo pode citar uma fonte genuína e parafrasear o seu conteúdo incorrectamente — o «resumo alucinado de um documento real». As citações são uma protecção de rastreabilidade, não uma garantia absoluta de exactidão; por isso devem ser combinadas com as Proteções #3, #4 e #5.

Proteção #3 — Limiar de confiança: ensinar o chatbot a dizer «não tenho a certeza»

Cada modelo de IA gera uma pontuação de confiança interna para cada resposta. Esta protecção define um limiar abaixo do qual o chatbot responde explicitamente: «Não tenho a certeza da resposta a esta questão. Recomendo que contacte directamente os serviços de admissão.»

Calibração recomendada: Um limiar demasiado baixo deixa passar respostas incertas. Um demasiado alto faz com que o chatbot recuse perguntas básicas, frustrando os candidatos. Para chatbots de admissões, um limiar de confiança entre 0,75 e 0,80 na escala interna do modelo é um bom ponto de partida, a afinar na primeira semana de produção com base no volume e no feedback da equipa.

A formulação importa tanto quanto o mecanismo: «Não tenho essa informação — aqui está o contacto directo dos serviços de admissão» é significativamente mais útil do que «Lamento, não posso ajudar com isso.» Adicione sempre uma ligação de contacto directo ou a opção de marcar uma reunião com um assessor.

Leitura relacionada: Chatbot IA vs. agente humano em universidades

Proteção #4 — Escalada inteligente para um assessor humano

A escalada não é uma admissão de falha do chatbot — é uma funcionalidade deliberadamente concebida para proteger a qualidade da informação em casos limite. Quatro categorias de gatilhos justificam a escalada automática:

A escalada com contexto é o factor determinante. O assessor que recebe a conversa deve ver as últimas cinco trocas, a pergunta sem resposta satisfatória e a pontuação de confiança do modelo. Sem esse contexto, o candidato repete a sua questão do início e perde a paciência — exactamente o oposto do que uma boa escalada deve conseguir.

Os dados de conversas Skolbot confirmam que 7% das questões requerem intervenção humana — um valor baixo, mas que concentra a maioria do risco de abandono e dano reputacional (Fonte: Skolbot, 2025). Para construir o seu caderno de encargos de escalada, consulte Caderno de encargos chatbot para ensino superior.

Proteção #5 — Monitorização contínua e ciclo de retroalimentação

As primeiras quatro proteções são técnicas ou arquitectónicas. Esta é operacional: medir, identificar e corrigir respostas problemáticas de forma consistente, semana após semana.

Métricas a acompanhar semanalmente:

• Taxa de escalada (objectivo: <15% das conversas)
• Pontuação de satisfação pós-conversa (objectivo: >85%)
• Volume de perguntas sem resposta satisfatória (revisão semanal)
• Taxa de abandono imediato após resposta do chatbot (na sua plataforma de análise)

Processo de correcção: Cada semana, a equipa de admissões revê as 10–20 conversas com pior avaliação. Para cada resposta incorrecta ou incompleta identificada: actualizar o documento fonte na base RAG e criar um par pergunta-resposta validado para enriquecimento da base. Este ciclo melhora o chatbot continuamente sem necessitar de retraining completo do modelo.

Os chatbots implementados com este processo de monitorização obtêm um ROI mediano de 280% em 12 meses, combinando redução de custos de tratamento de questões repetitivas com melhoria na conversão candidato-matrícula (Fonte: Skolbot, resultados medianos em 18 escolas, 2024-2025). Para treinar o seu chatbot eficazmente, consulte Como treinar um chatbot com os dados da sua escola.

As 5 proteções de relance

Nenhuma proteção é suficiente por si só. Em conjunto, formam um sistema coerente que reduz as alucinações a um nível residual e torna cada erro rastreável, corrigível e documentado. O momento certo para as implementar é antes da próxima fase de candidaturas do Concurso Nacional de Acesso — não após a primeira reclamação de um candidato.

Para uma visão global da sua estratégia de chatbot no recrutamento de estudantes, consulte Chatbot IA para recrutamento de estudantes.

FAQ

O que é uma alucinação de IA no contexto de um chatbot universitário?

Uma alucinação de IA é uma resposta gerada pelo modelo que é factualmente incorrecta mas formulada com aparente confiança. Para um chatbot do ensino superior, isto inclui propinas inventadas, requisitos de admissão incorrectos ou prazos de candidatura fictícios. O modelo não tem consciência do seu próprio erro — é precisamente isso que torna as alucinações perigosas no contexto dos candidatos.

O RAG elimina completamente as alucinações do chatbot?

Não. O RAG reduz drasticamente as alucinações ao ancorar as respostas nos seus documentos oficiais, mas um modelo pode ainda parafrasear incorrectamente o conteúdo de uma fonte. A combinação RAG + citações de fontes + limiar de confiança cobre a grande maioria dos casos. A monitorização semanal das conversas completa o quadro de fiabilidade.

Quantos documentos deve conter uma base de conhecimento RAG?

A exaustividade e a actualidade são mais importantes do que o volume. Priorize documentos de alta procura: tabelas de propinas, requisitos de admissão, calendário académico, FAQ de candidaturas. Cem documentos bem estruturados, actualizados e segmentados em passagens coerentes superam consistentemente milhares de ficheiros desorganizados ou desactualizados.

Como meço se o meu chatbot está a alucinar?

Três indicadores: um aumento incomum na taxa de escalada, uma pontuação de satisfação pós-conversa em queda e revisão manual das conversas com pior avaliação todas as semanas. As plataformas modernas de chatbot incluem um painel de monitorização — torne isto um critério obrigatório no seu processo de selecção de fornecedor.

As alucinações do chatbot criam responsabilidade legal para a instituição?

A questão está sob análise activa no âmbito do AI Act europeu, que se aplica às instituições portuguesas. A CNPD recomenda supervisão humana significativa para sistemas de IA com consequências importantes para os indivíduos. Um chatbot que difunde informação materialmente incorrecta — propinas erradas, requisitos de admissão falsos — pode gerar reclamações junto do Provedor do Estudante e procedimentos de resolução de litígios. Implemente as proteções antes de ter de justificar a sua ausência.