ChatGPT
Claude
Perplexity
Gemini
GrokFünf Kennzahlen genügen, wenn jede schriftlich definiert ist
Ein KI-Agent für die Studienberatung und Zulassung lässt sich an fünf Kennzahlen beurteilen: Lösungsquote, Qualität der Übergabe an Menschen, qualifizierte Anfragen, Zeit bis zur ersten menschlichen Antwort und der Weg der Interessenten bis zur Immatrikulation. Alles andere dient der Diagnose, nicht der Steuerung.
Einen belastbaren öffentlichen Richtwert für eine „gute“ Lösungsquote an einer Hochschule gibt es nicht. Dieser Beitrag nennt deshalb keinen. Er liefert Definitionen, Formeln und Lesefallen. Die Schwellenwerte legen Sie anhand Ihrer eigenen Gespräche fest, nachdem Sie einige Wochen beobachtet haben.
| Kennzahl | Formel | Fallstrick |
|---|---|---|
| Lösungsquote | Tatsächlich beantwortete Fragen ÷ echte Fragen | Abgebrochene Chats als Erfolg zählen |
| Übergabequalität | Vollständige, angenommene Übergaben ÷ angeforderte Übergaben | Nur die Zahl der Übergaben messen |
| Qualifizierte Anfragen | Gültige Kontakte mit Einwilligung und Studieninteresse ÷ Chats mit echter Absicht | Jede E-Mail-Adresse als Interessent zählen |
| Zeit bis zur Antwort | Median und 90. Perzentil bis zur ersten Antwort der Beratung | Nur den Durchschnitt berichten |
| Weg zur Immatrikulation | Bewerbende je Stufe, nach Woche des Erstkontakts | Dem Chatbot den gesamten Trichter zuschreiben |
Lösungsquote: gelöst, nicht bloß unwidersprochen
Die Lösungsquote ist der Anteil echter Fragen, die korrekt und ausreichend beantwortet wurden. Begrüßungen, interne Tests und leere Sitzungen gehören nicht in den Nenner.
Besonders irreführend ist die „Deflection“-Rate, die jedes Gespräch ohne Übergabe als gelöst wertet. Wer nach einer vagen Antwort verärgert geht, zählt dann als Erfolg. Lesen Sie stattdessen jede Woche eine Zufallsstichprobe und ordnen Sie die Gespräche ein: gelöst, teilweise gelöst, ungelöst, falsch.
Messen Sie die Richtigkeit bei kritischen Angaben getrennt: Semesterbeitrag und Studiengebühren, Bewerbungsfristen, Zulassungsvoraussetzungen und NC-Grenzen, Auswahlverfahren, Regeln für das duale Studium. Eine falsche Auskunft zu einer Frist ist schlimmer als eine Übergabe. Das NIST AI Risk Management Framework zählt das Messen zu den Kernfunktionen der Steuerung von KI-Systemen; die wöchentliche Gesprächsstichprobe ist eine praktische Umsetzung.
Übergabequalität: reibungslos vor häufig
Eine gute Übergabe liefert der Beratung eine Zusammenfassung, erspart der Person die Wiederholung ihrer Frage und endet in einer menschlichen Antwort. Gliedern Sie die Übergaben nach Grund: ausdrücklicher Wunsch nach einem Menschen, Thema außerhalb des Umfangs, sensible Situation (Nachteilsausgleich, Studienfinanzierung, Aufenthaltsfragen), Versagen des Agenten.
Ein dominierender Grund zeigt eine Inhaltslücke. Bei Anerkennungsfragen zu ausländischen Abschlüssen etwa: dokumentieren Sie, was die Hochschule öffentlich sagen kann, und verweisen Sie für den Rest an die zuständige Stelle.
Der Agent soll die Beratenden nicht ersetzen, sondern ihre Zeit für die Gespräche freihalten, in denen Urteilsvermögen zählt.
Qualifizierte Anfragen statt gesammelter Adressen
Die Zahl der erfassten E-Mail-Adressen ist die schmeichelhafteste und aussageärmste Zahl. Definieren Sie eine qualifizierte Anfrage über vier Bedingungen: gültige Kontaktdaten, dokumentierte Einwilligung, erkennbarer Studiengang oder Studienwunsch und Handlungsabsicht (bewerben, Infotag besuchen, Beratungstermin buchen).
Berechnen Sie die Erfassung auf Chats mit echter Absicht und ergänzen Sie den Anteil der Kontakte, die die Beratung tatsächlich erreicht hat. Ein nicht erreichbarer Kontakt ist ein Kostenfaktor.
Für die Datenverarbeitung gilt die Datenschutz-Grundverordnung mit dem Grundsatz der Datenminimierung. Die Datenschutzaufsicht richtet sich nach dem jeweiligen Bundesland oder, für Bundeseinrichtungen, nach dem BfDI. Erheben Sie nur, was der nächste Schritt braucht, und klären Sie mit Ihrer oder Ihrem Datenschutzbeauftragten, wie lange Freitext aus Gesprächen im Dashboard verbleibt. Für Tracking-Technologien auf der Website sind zusätzlich die Regeln zur Endgerätenutzung zu beachten.
Zeit bis zur ersten menschlichen Antwort
Messen Sie die Spanne zwischen Anfrage und erster Antwort der Beratung als Median und 90. Perzentil. Der Median beschreibt die übliche Erfahrung, das 90. Perzentil die Person, die abends oder in den Semesterferien schreibt.
Trennen Sie Bürozeiten von Zeiten außerhalb, sonst vermischt die Zahl zwei Realitäten. Versprechen wie „Die Studienberatung meldet sich morgen Vormittag“ müssen eingehalten werden; messen Sie die Einhaltung des Versprechens, nicht nur die Geschwindigkeit.
Vom Chat zur Immatrikulation
Der eigentliche Test ist, was aus den Interessierten wird: Anfrage, Bewerbung, Zulassung, Immatrikulation. Verfolgen Sie sie in Kohorten nach Woche des Erstkontakts und halten Sie den Nenner konstant.
Seien Sie bei der Zuordnung vorsichtig. Wer den Chatbot genutzt hat und sich immatrikuliert, hätte es manchmal auch ohne ihn getan. Vergleichen Sie, wenn möglich, Zeiträume oder Seiten mit und ohne Agent und benennen Sie die Unsicherheit. Die Kostenlogik beschreibt unser Beitrag zum ROI der Studierendenakquise.
Kennzahlen, die täuschen
- Anzahl der Gespräche: sie folgt dem Website-Verkehr, nicht dem Nutzen.
- Engagement und Sitzungsdauer: auch eine verwirrende Antwort verlängert das Gespräch.
- Zufriedenheit allein: wenige antworten, und nicht zufällig.
- Rohe Lead-Zahlen: sie belohnen das Sammeln, nicht die Gewinnung.
- Deflection: keine Übergabe heißt nicht, dass das Problem gelöst ist.
Den deutschen Kontext berücksichtigen
An deutschen Hochschulen laufen die Bewerbungen auf mehreren Wegen: direkt bei der Hochschule, über hochschulstart.de bei bundesweit koordinierten Studiengängen oder über uni-assist für internationale Bewerbende. Hinzu kommen duale Studiengänge mit Unternehmen und private Hochschulen mit eigenen Verfahren.
Gliedern Sie deshalb nach Zielgruppe (Abiturientinnen und Abiturienten, Fachhochschulreife, Beruflich Qualifizierte, internationale Studierende, Masterinteressierte), nach Studiengang und nach Kanal. Eine Gesamtzahl verdeckt, dass Fragen zu NC-Studiengängen andere Fristen und Entscheidungswege haben als Fragen zu einem dualen Studium. Den Gesamtrahmen finden Sie in unserem Leitfaden zum KI-Chatbot für die Studierendengewinnung und im Beitrag über KI-Agenten in der Studierendengewinnung.
Ein einfacher Prüfrhythmus
- Wöchentlich: Zufallsstichprobe lesen und Fehler klassifizieren.
- Monatlich: Übergabegründe und unbeantwortete Fragen auswerten.
- Pro Semester: Kohorten bis zur Immatrikulation vergleichen.
- Nach jeder Inhaltsänderung: Beiträge, Fristen und Voraussetzungen erneut testen.
Halten Sie die Definitionen in einem gemeinsamen Dokument fest, damit nicht zwei Teams zwei verschiedene „Lösungsquoten“ berechnen.
