Como escolher um agente IA de recrutamento: grelha de avaliação

Como escolher: os mesmos oito critérios para todos os fornecedores e um piloto de 30 dias

O método mais fiável é pontuar cada fornecedor com a mesma grelha, testar as respostas com o conteúdo real da sua instituição e confirmar a escolha com um piloto de 30 dias. As apresentações comerciais parecem-se todas; o que as distingue é o comportamento do agente perante perguntas reais dos candidatos.

Esta grelha destina-se à equipa de admissões, ao marketing e ao encarregado de proteção de dados de uma instituição de ensino superior em Portugal. Não apresenta preços nem resultados esperados, porque cada instituição deve medir os seus. Se ainda está a definir o âmbito, comece pelo guia sobre chatbots IA para o recrutamento estudantil.

Critério 1: respostas assentes no conteúdo da instituição

O agente deve responder apenas com o que a instituição publicou, indicar a origem da informação e reconhecer quando não a tem. É o critério mais importante: um erro sobre prazos, propinas ou condições de acesso penaliza o candidato e, depois, a instituição.

Peça ao fornecedor que o demonstre com o seu site, não com um site de exemplo. Faça três testes:

• Uma pergunta cuja resposta consta do site: cita a fonte e está correta?
• Uma pergunta cuja resposta não consta: admite que não sabe ou inventa?
• Uma pergunta em que duas páginas se contradizem: como reage?

Um agente que nunca diz «não sei» é um sinal de alerta.

Critério 2: qualificação e passagem para uma pessoa

O agente deve fazer as perguntas que um gestor de admissões faria nos primeiros minutos e passar a conversa a uma pessoa, com o contexto completo, quando for adequado. Não decide quem é admitido nem substitui a equipa: organiza a informação e liberta tempo para entrevistas.

Verifique quem define os critérios de qualificação (a instituição, não o fornecedor), em que casos há passagem (pedido do candidato, pergunta fora do conteúdo, bolsas, situações pessoais) e o que recebe o gestor. Peça para ver uma ficha real: curso de interesse, situação académica, dúvidas e passo seguinte.

Critério 3: CRM e calendário de dias abertos

Um agente só é útil se o que recolhe chegar às ferramentas da equipa. Peça ao fornecedor que demonstre, num ambiente de teste, como se cria um registo no CRM que utiliza e como se marca um dia aberto ou uma entrevista num calendário real.

Não aceite uma lista de logótipos como prova. Pergunte que campos são escritos, o que acontece se o CRM não responder, como se evitam duplicados e quem vê os dados. O que não se consegue mostrar ao vivo deve ser tratado como inexistente.

Critério 4: idiomas, horário e canais

O agente deve atender a qualquer hora e nos idiomas dos seus candidatos, com a mesma qualidade. Muitos contactos chegam à noite ou de famílias e estudantes internacionais, incluindo da lusofonia.

Teste as mesmas perguntas em português, inglês e noutras línguas relevantes para o seu público. O site é o ponto de partida; o WhatsApp pode ser um módulo opcional se os candidatos já escrevem por aí. Um canal adicional só vale a pena se partilhar o mesmo conteúdo de referência e a mesma passagem a pessoas.

Critério 5: proteção de dados, alojamento e transparência

Exija por escrito onde ficam os dados, quem lhes acede e que não são usados para treinar modelos com a informação da sua instituição. Estas respostas devem constar do contrato, não apenas da proposta.

Aplica-se o RGPD, com a Lei n.º 58/2019 como lei de execução, sob supervisão da CNPD. O texto do Regulamento Geral sobre a Proteção de Dados é a referência para a base de licitude e a informação ao candidato. O Regulamento europeu de IA exige transparência: quem conversa com um sistema de IA deve sabê-lo. Peça para ver como o agente se identifica e como informa sobre o tratamento de dados antes de os recolher. Havendo candidatos menores, consulte o seu encarregado de proteção de dados.

Critério 6: análise e revisão das conversas

Deve poder ler as conversas, ver as perguntas sem resposta e corrigir o conteúdo de referência. Sem revisão, o agente degrada-se em silêncio quando mudam propinas, datas ou planos de estudo.

Peça para ver o painel real: conversas, perguntas sem resposta, passagens a pessoas e marcações. Pergunte como se exportam os dados e quem os pode consultar na instituição.

Critério 7: piloto e custo total transparente

Um fornecedor sério aceita um piloto delimitado e explica de que se compõe o custo total: licença, arranque, canais adicionais, volume de conversas e suporte. Aqui não há valores; o que deve exigir é um orçamento claro e completo.

Pergunte o que é cobrado à parte, o que acontece se o volume crescer e qual a duração do compromisso. Se só conhecer o preço depois de assinar, está a decidir sem informação.

Critério 8: dependência do fornecedor e portabilidade

Antes de assinar, esclareça como sairia do serviço: que dados pode recuperar, em que formato e em que prazo, e o que acontece às conversas e aos conteúdos configurados. A portabilidade negocia-se no início.

O contrato deve indicar a quem pertencem o conteúdo de referência e as conversas, e prever a eliminação dos dados no fim.

Tabela de pontuação com pesos sugeridos

Pontue cada critério de 0 a 3 após a demonstração e multiplique pelo peso. Os pesos são uma sugestão inicial e devem refletir as prioridades da sua instituição.

Os pesos somam 100. Um fornecedor com zero em proteção de dados ou em respostas assentes no conteúdo deve ser excluído, seja qual for a pontuação total.

Sinais de alerta na demonstração

Desconfie do fornecedor que evita testar com o seu site, não explica onde ficam os dados ou apresenta o agente como algo que decide sozinho. Os mais claros:

• Respostas seguras sobre propinas ou prazos que não constam do seu site.
• Ausência de fontes ou de forma de verificar a origem de uma resposta.
• Integrações «disponíveis» que não podem ser mostradas ao vivo.
• Contrato sem cláusula de exportação e eliminação de dados.
• Pressão para assinar antes de qualquer teste.

Piloto de 30 dias: protocolo e perguntas de teste

Limite o piloto a um ou dois cursos, fixe os critérios antes de começar e reveja as conversas todas as semanas. No final, pontue com a tabela e decida com dados próprios.

1. Semana 1: carregue o conteúdo dos cursos e confirme que está atualizado.
2. Semana 2: lance a bateria de perguntas de teste e registe as falhas.
3. Semana 3: abra o agente a um grupo reduzido e leia as conversas.
4. Semana 4: reveja passagens, marcações e registos no CRM e pontue.

Perguntas de teste, a comparar com o que o seu site publica:

• «Que nota de ingresso preciso para entrar neste curso?» (não deve inventar notas).
• «Posso candidatar-me pelo concurso especial para maiores de 23?» (só o que a instituição publica).
• «Quanto são as propinas e há bolsas?» (apenas valores oficiais).
• «O curso está acreditado pela A3ES?» (apenas o que consta do site).
• «Posso marcar uma visita ao campus no sábado?» (marcação real).
• «Estou a falar com uma pessoa?» (resposta honesta).

Contexto português: acesso, acreditação e o que o agente não deve afirmar

Os candidatos perguntam pelo Concurso Nacional de Acesso, gerido pela DGES, pelas notas de ingresso, pelas propinas e pela validade dos cursos, e comparam politécnicos, universidades públicas e privadas. A acreditação dos cursos compete à A3ES.

O agente deve limitar-se ao que a instituição publica sobre os seus cursos e encaminhar o resto. Para fixar estes limites em contrato, apoie-se no caderno de encargos de um chatbot para o ensino superior.

Onde se encaixa o Skolbot nesta grelha

O Skolbot Chat é um chatbot para o site da instituição que responde a partir do conteúdo da própria escola, qualifica o candidato, marca dias abertos ou entrevistas e envia a ficha para o CRM. Existe um módulo opcional de WhatsApp. Aplique-lhe a mesma grelha que a qualquer fornecedor.

Para comparar abordagens, consulte o comparativo de chatbots IA para o ensino superior e o comparativo de agentes IA de recrutamento.