Im zweiten Teil der Blogartikelreihe rund um das Thema Erfolgsfaktor Chatbots widmen wir uns der Fragestellung, wie Sie Ihre Chatbot-Lösung kontinuierlich evaluieren und verbessern können. Dazu präsentieren wir geeignete Qualitätskriterien1, die aus der Zusammenarbeit mit der Uni Hamburg im Forschungs- und Entwicklungsprojekt INSTANT entstanden sind.
Zu dem ersten Teil der Reihe, der sich mit Leitlinien für einen erfolgreichen Einsatz von Chatbots im Unternehmen befasst, gelangen Sie hier.
Ist ein Chatbot erst einmal im Betrieb, egal ob bereits produktiv oder nur zu Testzwecken, stellt sich oftmals die Frage, wo Verbesserungspotentiale stecken und wie diese gefunden und bewertet werden können. Anhand einiger Qualitätskriterien zeigen wir verschiedene Fragestellungen auf, die als Orientierungshilfe dienen. Qualitätskriterien sind wichtig für die kontinuierliche Evaluation und Verbesserung von Chatbots, da sie es ermöglichen, die Leistung und Effektivität des Chatbots zu messen und zu bewerten. Dies hilft dabei, Schwächen zu identifizieren und zu beheben, die Benutzererfahrung zu verbessern und die Zufriedenheit der Nutzer sicherzustellen. Darüber hinaus ermöglicht es, den Chatbot an die sich ändernden Anforderungen und Bedürfnisse der Nutzer anzupassen, um ihnen eine hochwertige, relevante und nützliche Erfahrung zu bieten.
Qualitätskriterien für eine kontinuierliche Evaluation und Verbesserung
Folgende Qualitätskriterien und deren Fragestellungen lassen sich definieren:
- Eingabeform
- Ausgabeform
- Anthropomorphismus
- Dialogkontrolle und Dialogfluss
- Effektivität und Wirksamkeit
- Datenschutz
Eingabeform
Das erste Kriterium befasst sich mit den Eingabemöglichkeiten. Sind die Kommunikationskanäle angemessen und Nutzende mit den Interaktionsmöglichkeiten und Basisfunktionalitäten vertraut? Besteht die Möglichkeit den Dialogfluss durch Kontrollelemente wie Buttons zu steuern? Ist langfristiges Kontextwissen während Interaktionen vorhanden, sodass Informationen nicht wiederholt werden müssen?
Ausgabeform
Im zweiten Qualitätskriterium handelt es sich um Fragestellungen rund um die Ausgabeform, Inhalte und Erscheinung des Chatbots. Werden Antworten in einer passenden Form wiedergegeben und sind diese ansprechend visuell aufbereitet? Ist transparent ersichtlich, welche Fähigkeiten und Limitationen vorherrschen? Ist der Informationsgehalt, der wiedergegeben wird, aktuell und detailliert genug? Werden bei komplexen Fragestellungen und Unsicherheit mehrere Antwortmöglichkeiten gegeben und gegebenenfalls priorisiert?
Sind die Antworten angemessen und entsprechen der gewünschten Qualität? Ist die Verarbeitungs- und Antwortdauer in einem akzeptablen Zeitfenster und besteht eine Ausgewogenheit bezüglich hilfreicher Proaktivität und störenden Unterbrechungen?
Anthropomorphismus
Im dritten Qualitätskriterium ist die Vermenschlichung des Chatbots (Anthropomorphismus) entscheidend. Wird eine menschliche Identität mit Eigenschaften wie Profilbild und Namen akzeptiert? Werden verbale Signale wie emotionale Ausdrücke wie Entschuldigungen und Selbstreferenzen (“Ich”) verwendet? Wird der menschliche Charakter des Chatbots durch Smalltalk unterstützt? Neben verbalen Signalen müssen auch nonverbale Signale untersucht werden. Werden Emoticons oder Verzögerungen und Indikatoren bei der Eingabe (“…”) genutzt, um menschliche Eingabe zu imitieren?
Dialogkontrolle und Dialogfluss
Die Dialogkontrolle und der Dialogfluss werden im vierten Qualitätskriterium behandelt. Werden Fehlerfälle proaktiv minimiert, indem Neuformulierung angefordert werden, falls Anfragen nicht vollständig verstanden werden oder werden alternative Antwortmöglichkeiten angeboten? Wird der Dialog proaktiv durch Gesprächsimpulse und Vorschläge durch den Chatbot geleitet, sodass Fehler zu Beginn reduziert und Intentionen schneller erkannt werden?
Besondere Aufmerksamkeit muss auf der Fehlerbehandlung liegen. Sind Strategien implementiert, um Fehlerfälle zu erkennen und diese zu behandeln? Werden alternative Antworten oder Fehlerfälle transparent wiedergegeben? Gibt es eine proaktive Fallback-Ebene bei wiederholten Fehlerfällen, z.B. ein Hand-Over Szenario, bei dem beispielsweise Kunden im Service-Bereich an Service-Experten weitergeleitet werden, um die Nutzerzufriedenheit zu gewährleisten?
Effektivität und Wirksamkeit
Ein weiteres wichtiges Kriterium ist die allgemeine Effektivität und Wirksamkeit des Chatbots. Wie ist das Verhältnis von Erfolgs- zu Fehlerfällen, um frühzeitig geeignete Gegenmaßnahmen einzuleiten? Wird nutzerspezifisches Verhalten über einen längeren Zeitraum evaluiert, um Rückschlüsse auf die Effektivität schließen zu können? Für die Wirksamkeit sind insbesondere folgende Fragestellungen wichtig: werden Aufgaben und Fragen während der Interaktion in angemessener Zeit gelöst und wie viele Interaktionen sind notwendig, um zu den erwarteten Ergebnissen zu gelangen? Wie viele Hand-Over Szenarien finden statt, in denen der Chatbot nicht zu zufriedenstellenden Ergebnissen führt?
Datenschutz
Zuletzt ist der Datenschutz ein nicht zu vernachlässigendes Kriterium. Ist die Kommunikation so privat und anonym wie möglich und werden Nutzerdaten nur dann verarbeitet und gespeichert, falls dies zwingend notwendig ist und zur Verbesserung des Chatbots beiträgt? Ist der Datenschutz gegenüber den Nutzenden transparent und diesen bewusst, welche personenbezogenen Daten verarbeitet werden?
Fazit
In diesem Blogartikel wurde gezeigt, dass die Verwendung von Qualitätskriterien für die kontinuierliche Evaluation und Verbesserung von Chatbots von entscheidender Bedeutung ist. Durch die Bewertung der Leistung und Effektivität des Chatbots können Schwächen identifiziert und verbessert werden, um eine zufriedenstellende Benutzererfahrung zu gewährleisten. Die stetige Anpassung des Chatbots an sich ändernde Bedürfnisse und Anforderungen der Nutzer trägt ebenfalls dazu bei, dass er relevant und nützlich bleibt.
Sie haben Fragen zum Thema oder benötigen Unterstützung bei der Einführung oder Evaluation ihres Chatbots?
Schreiben Sie gerne Stefan Blum, Principal Data Manager bei iteratec:
Stefan Blum ist Principal Data Manager bei der iteratec GmbH. Sein Arbeitsschwerpunkt liegt in der Leitung von AI & Data-getriebenen Projekten. Er begleitet Kunden von der zielgerichteten Auswahl der geeigneten Projekte bis zur Produktivsetzung der fertigen Lösung. Unabhängig von den zugrundeliegenden mathematischen Modellen ist die Überführung dieser in produktive Anwendungen und deren Skalierung der entscheidende Weg, der aus Ideen den Business Value generiert.
Alexander Moßhammer ist AI & Data Engineer bei der iteratec GmbH. Sein Arbeitsschwerpunkt liegt in Bereich Deep Learning und Natural Language Processing.
Quellen:
[1] Lewandowski, Tom & Poser, Mathis & Kučević, Emir & Heuer, Marvin & Hellmich, Jannis & Raykhlin, Michael & Blum, Stefan & Böhmann, Tilo. (2023). Leveraging the Potential of Conversational Agents: Quality Criteria for the Continuous Evaluation and Improvement.