ChatGPT
Claude
Perplexity
Gemini
GrokFünf Kennzahlen, jede mit schriftlicher Definition
Ein KI-Agent für Studieninteressierte an einer Universität, Fachhochschule oder Privatuniversität in Österreich lässt sich an fünf Kennzahlen beurteilen: Lösungsquote, Qualität der Übergabe, qualifizierte Anfragen, Zeit bis zur ersten menschlichen Antwort und der Weg bis zur Inskription. Alles andere hilft bei der Diagnose, sollte aber keine Ziele setzen.
Es gibt keinen belastbaren öffentlichen Richtwert für eine gute Lösungsquote an einer österreichischen Hochschule; dieser Beitrag nennt daher keinen. Er liefert Definitionen, Formeln und Lesefallen. Schwellenwerte legen Sie nach einigen Wochen Beobachtung selbst fest.
| Kennzahl | Formel | Fallstrick |
|---|---|---|
| Lösungsquote | Tatsächlich beantwortete Fragen ÷ echte Fragen | Abgebrochene Chats als Erfolg zählen |
| Übergabequalität | Vollständige, angenommene Übergaben ÷ angeforderte Übergaben | Nur die Zahl der Übergaben messen |
| Qualifizierte Anfragen | Gültige Kontakte mit Einwilligung und Studienwunsch ÷ Chats mit echter Absicht | Jede E-Mail-Adresse zählen |
| Zeit bis zur Antwort | Median und 90. Perzentil bis zur ersten Antwort der Studienberatung | Nur den Durchschnitt berichten |
| Weg zur Inskription | Bewerbende je Stufe, nach Woche des Erstkontakts | Dem Chatbot alles zuschreiben |
Lösungsquote: gelöst, nicht bloß unwidersprochen
Die Lösungsquote ist der Anteil echter Fragen mit korrekter und ausreichender Antwort. Begrüßungen, interne Tests und leere Sitzungen gehören nicht in den Nenner.
Meiden Sie die „Deflection“-Rate, die jedes Gespräch ohne Übergabe als gelöst zählt. Lesen Sie stattdessen wöchentlich eine Zufallsstichprobe und ordnen Sie ein: gelöst, teilweise gelöst, ungelöst, falsch.
Messen Sie die Richtigkeit bei kritischen Angaben getrennt: Studienbeitrag und Studiengebühren, Bewerbungs- und Inskriptionsfristen, Aufnahmeverfahren, Zugangsvoraussetzungen wie Matura oder Berufsreifeprüfung, Anerkennung des Abschlusses. Eine falsche Auskunft zu einer Frist ist schlimmer als eine Übergabe. Das NIST AI Risk Management Framework zählt das Messen zu den Kernfunktionen der KI-Steuerung; die wöchentliche Gesprächsstichprobe setzt das praktisch um.
Übergabequalität: reibungslos vor häufig
Eine gute Übergabe gibt der Studienberatung eine Zusammenfassung, erspart die Wiederholung der Frage und endet in einer menschlichen Antwort. Gliedern Sie nach Grund: ausdrücklicher Wunsch nach einem Menschen, Thema außerhalb des Umfangs, sensible Situation (Studienbeihilfe, Beihilfen, Aufenthaltstitel, Behinderung), Versagen des Agenten.
Bei internationalen Bewerbenden häufen sich Fragen zur Anerkennung von Abschlüssen und zum Aufenthalt. Dominieren sie, dokumentieren Sie, was die Hochschule öffentlich sagen kann, und verweisen Sie für den Rest an die zuständige Stelle.
Qualifizierte Anfragen
Vier Bedingungen definieren eine qualifizierte Anfrage: gültige Kontaktdaten, dokumentierte Einwilligung, erkennbarer Studiengang und Handlungsabsicht (bewerben, Infotag besuchen, Termin buchen). Berechnen Sie die Erfassung auf Chats mit echter Absicht und ergänzen Sie den Anteil der tatsächlich erreichten Kontakte.
Die Verarbeitung unterliegt der Datenschutz-Grundverordnung und dem österreichischen Datenschutzgesetz; Aufsichtsbehörde ist die Datenschutzbehörde. Erheben Sie nur, was der nächste Schritt braucht, und klären Sie mit Ihrer oder Ihrem Datenschutzbeauftragten, wie lange Freitext im Dashboard bleibt. Für Werbekontakt per E-Mail oder SMS gelten zusätzlich die telekommunikationsrechtlichen Einwilligungsregeln.
Zeit bis zur ersten menschlichen Antwort
Messen Sie die Spanne zwischen Anfrage und erster Antwort der Studienberatung als Median und 90. Perzentil, getrennt nach Bürozeiten und Zeiten außerhalb. Das Versprechen des Agenten („Wir melden uns morgen Vormittag“) muss eingehalten werden: Messen Sie dessen Einhaltung, nicht nur die Geschwindigkeit.
Spitzen entstehen rund um Bewerbungsfristen, Aufnahmeverfahren und den Semesterbeginn. Vergleichen Sie jede Woche mit derselben Woche des Vorjahres.
Von der Anfrage zur Inskription
Verfolgen Sie Interessierte in Kohorten nach Woche des Erstkontakts: Anfrage, Bewerbung, Aufnahme, Inskription. Der Nenner bleibt konstant.
Vorsicht bei der Zuordnung: Wer den Chatbot genutzt hat und sich inskribiert, hätte es manchmal auch ohne ihn getan. Vergleichen Sie, wenn möglich, Zeiträume oder Seiten mit und ohne Agent und benennen Sie die Unsicherheit. Die Kostenlogik beschreibt unser Beitrag zum ROI der Studierendenakquise.
Kennzahlen, die täuschen
- Anzahl der Gespräche: folgt dem Website-Verkehr, nicht dem Nutzen.
- Engagement und Sitzungsdauer: auch Verwirrung verlängert ein Gespräch.
- Zufriedenheit allein: wenige antworten, und nicht zufällig.
- Rohe Lead-Zahlen: belohnen das Sammeln, nicht die Gewinnung.
- Deflection: keine Übergabe heißt nicht gelöst.
Der österreichische Kontext
Österreich kennt keine zentrale Bewerbungsplattform nach deutschem Muster: Die Bewerbung läuft direkt bei der jeweiligen Einrichtung. Fachhochschulen führen eigene Aufnahmeverfahren, Privatuniversitäten setzen eigene Bedingungen, und öffentliche Universitäten haben Zulassungs- und Aufnahmeverfahren in ausgewählten Fächern. Orientierung bieten das Portal studienwahl.at und die Qualitätssicherung durch AQ Austria.
Gliedern Sie daher nach Einrichtungstyp, Zielgruppe (Maturantinnen und Maturanten, Berufstätige, internationale Studierende, Master-Interessierte) und Kanal. Zugangsfragen zur Matura, zur Studienberechtigungsprüfung oder zu Deutschkenntnissen haben unterschiedliche Entscheidungswege. Den Gesamtrahmen finden Sie im Leitfaden zum KI-Chatbot für die Studierendengewinnung und im Beitrag zu KI-Agenten in der Studierendengewinnung.
Ein einfacher Prüfrhythmus
- Wöchentlich: Zufallsstichprobe lesen, Fehler klassifizieren.
- Monatlich: Übergabegründe und unbeantwortete Fragen auswerten.
- Pro Semester: Kohorten bis zur Inskription vergleichen.
- Nach jeder Inhaltsänderung: Beiträge, Fristen, Voraussetzungen erneut testen.
Von Zahlen zu Entscheidungen
Eine Kennzahl lohnt sich nur, wenn sie eine Handlung auslöst. Vier einfache Regeln genügen für den Anfang.
- Niedrige Lösungsquote, wenige Fehler: Es fehlt Inhalt. Listen Sie die ungelösten Fragen auf und erarbeiten Sie die Antworten mit der zuständigen Stelle.
- Fehler bei kritischen Angaben: Korrigieren Sie zuerst die Quelle. Ist die Seite zu den Studienbeiträgen uneindeutig, ist es der Agent auch.
- Viele Kontakte, wenige erreicht: Das Problem liegt in der Nachverfolgung, nicht in der Erfassung. Prüfen Sie, wer wann und auf welchem Weg zurückruft.
- Lange Wartezeiten am Abend: Passen Sie das Versprechen an die Interessierten oder die Besetzung an, bevor Sie Technik ergänzen.
Halten Sie jede Entscheidung mit Datum und auslösender Kennzahl fest. Nach einigen Monaten wissen Sie, was das Ergebnis wirklich verändert hat.
Einrichtungstypen nicht in einen Topf werfen
Eine Fachhochschule mit eigenem Aufnahmeverfahren, eine Privatuniversität mit Studienbeiträgen und eine öffentliche Universität mit offenem Zugang erzeugen sehr verschiedene Fragen. Berechnen Sie jede Kennzahl je Studiengang, bevor Sie eine gemeinsame Zahl bilden, und vergleichen Sie nur Studiengänge mit ähnlichen Fragen. Sonst zieht ein Studiengang mit viel Bedarf an Verwaltungsauskünften den Durchschnitt nach unten, ohne dass der Agent dafür verantwortlich ist.
Berücksichtigen Sie auch die Sprache: Wo Sie Interessierte auf Deutsch und Englisch beraten, messen Sie die Lösungsquote getrennt. Dünnere Inhalte in einer Sprache fallen in der Stichprobe schnell auf.
