Chatbots de admissão: o que diz a investigação publicada

O que a investigação estabelece

Os estudos publicados mostram que um assistente conversacional por SMS pode ajudar candidatos admitidos a concluir os seus procedimentos antes do início das aulas. Não mostram que um chatbot no site de uma instituição aumente as matrículas. Os ensaios mais sólidos vêm dos Estados Unidos, testam mensagens da instituição a estudantes já admitidos e usam IA não generativa.

Nota de método: não havia ferramenta paga de volume de pesquisa, pelo que o tema foi delimitado com pesquisas públicas. Cada estudo foi rastreado até à fonte. Nenhum número vem da Skolbot nem de clientes.

Georgia State: o único ensaio grande sobre um chatbot de admissão

Page e Gehlbach continuam a ser a referência. Em 2016, a Georgia State lançou o «Pounce», um assistente por SMS criado com um fornecedor para acompanhar os admitidos durante o verão: apoios financeiros, vacinas, certificados, inscrição em disciplinas.

Os admitidos foram distribuídos ao acaso pelo grupo com mensagens ou pelo grupo de controlo. Entre os que tinham confirmado o compromisso, a matrícula atempada subiu 3,3 pontos percentuais. Os autores consideram o efeito comparável ao de intervenções mais pesadas testadas antes, com muito menos esforço da equipa.

Há dois limites. O efeito diz respeito à conclusão de tarefas depois da admissão, não à decisão de candidatar-se nem de escolher uma escola. E o ensaio é de 2016, muito antes dos assistentes generativos atuais; o resultado não se transfere sem mais para um chatbot generativo aberto.

Summer melt: SMS dirigidos funcionam onde falta apoio

Antes dos chatbots, Castleman e Page testaram SMS personalizados com finalistas de baixos rendimentos. Os resultados variaram: positivos em três de quatro distritos, nulos em Boston, onde os jovens já tinham muito apoio escolar e associativo.

Para uma instituição, a lição é que o efeito de uma mensagem automática depende do que o candidato teria recebido de qualquer forma. Onde um orientador responde depressa, o ganho adicional é pequeno.

A segmentação muda o resultado

Nurshatayeva, Page, White e Gehlbach repetiram o desenho da Georgia State noutra universidade (4442 estudantes). O efeito global na aceitação do empréstimo foi de cerca de 4 pontos e de cerca de 8 nos estudantes de primeira geração, com cerca de 3 pontos na inscrição em disciplinas e na matrícula.

Os autores concluem que o contacto proativo rende mais junto de quem tem menos apoio familiar ou escolar. A parte do projeto num community college nem pôde ser bem executada por falta de números de telemóvel. A qualidade dos contactos limita tanto um estudo como uma implementação.

Fora da admissão: chatbots de disciplina mostram um padrão semelhante

Meyer, Page e coautores testaram um chatbot não generativo em disciplinas de licenciatura com ensaios aleatorizados pré-registados. As mensagens melhoraram as notas finais e o uso de apoios académicos. Os efeitos foram semelhantes entre grupos demográficos, exceto nas mulheres de uma disciplina de microeconomia, cujas notas subiram cerca de sete pontos percentuais.

Trata-se de estudantes já inscritos. Mostra o padrão «mensagem curta, tarefa concreta, momento certo», mas não mede nada sobre a captação de candidatos.

O contraexemplo: nem todos os nudges funcionam

Oreopoulos e Petronijevic acompanharam quase 25 000 estudantes em três campi. O coaching online e os SMS melhoraram um pouco o bem-estar e o tempo de estudo, mas nenhuma intervenção alterou significativamente os resultados académicos.

Isto matiza o resto: as mensagens parecem funcionar melhor com uma tarefa administrativa precisa e datada do que com uma mudança difusa de comportamento. Page e colegas chegam a conclusão semelhante na análise das condições em que o nudging funciona.

O que a investigação não diz

Não diz nada sobre um chatbot generativo no site de uma instituição a responder a perguntas de candidatos. Não encontrámos nenhum ensaio aleatorizado publicado, em Portugal ou fora, que meça o efeito em candidaturas ou matrículas.

Também não permite transpor uma percentagem americana para uma instituição portuguesa. Nos Estados Unidos o admitido cumpre sozinho uma cadeia de passos. Em Portugal, o acesso ao ensino superior público passa pelo concurso nacional gerido pela DGES, com fases e calendário próprios; muitos dos obstáculos estudados não existem assim.

Por fim, os estudos descrevem assistentes concebidos e acompanhados por equipas de investigação. Um produto lançado sem esse rigor não tem resultado garantido.

O que significa para uma instituição em Portugal

O quadro legal pesa mais do que os efeitos medidos. O RGPD aplica-se a qualquer mensagem a um candidato, e a CNPD espera transparência, minimização de dados e fundamento jurídico. Com menores, a informação tem de ser compreensível.

O Regulamento europeu de IA classifica como de risco elevado os sistemas que determinam o acesso a instituições de ensino. Um assistente que informa não decide; uma ferramenta que pontua ou ordena candidaturas aproxima-se disso. A decisão de admissão continua humana. A qualidade dos cursos é avaliada pela A3ES.

Quatro consequências práticas:

• Aponte a tarefas com data: documentos em falta, datas de dias abertos, prazos de pagamento, entrevistas. É aí que os ensaios encontram efeitos.
• Dirija a mensagem a quem tem menos apoio em vez de enviar o mesmo a todos.
• Trate dos contactos e do consentimento antes do lançamento.
• Meça com grupo de controlo: uma amostra aleatória não recebe o aviso e comparam-se as matrículas.

Para continuar, leia o nosso guia de agentes de IA para o recrutamento estudantil, a definição de agente de IA de admissões, o artigo sobre yield management e desistências após a admissão e o guia do chatbot de IA para recrutamento estudantil.