Vom Prototyp zum KI Support: Wie die DKB generative KI produktiv macht

Wie kam es dazu, dass die DKB die erste Bank in Deutschland wurde, die einen Chatbot für die Kund*innen gestartet hat?

Torsten: Wir waren tatsächlich die erste Bank in Deutschland, die einen GenAI-Chatbot für ihre Kunden*innen veröffentlicht hat. Der Produktivstart erfolgte im April 2024. Wir verfügten bereits über umfassende Erfahrungen mit der zugrunde liegenden Technologie und hatten entsprechende Kompetenz im eigenen Haus aufgebaut. Viele andere Unternehmen mussten sich zunächst orientieren oder arbeiteten mit externen Beratern zusammen. Dadurch hatten wir einen deutlichen Startvorteil.

Dass wir tatsächlich die Ersten waren, lag teils an günstigen Umständen undteils daran, dass die Bank mutig war diesen Schritt zu gehen. Wir hatten nicht nur ein überzeugendes Produkt – die Bank war auch bereit, auf eine noch sehr junge Technologie zu setzen,trotz potenzieller rechtlicher Risiken. Die Einschätzung lautete, dass diese Entwicklung von so großer Bedeutung sei, dass man sie angehen, ausprobieren und ermöglichen müsse.

Von der Vision zum Launch war es sicher ein spannender Weg. Mit Blick auf die weitere Entwicklung würde mich besonders interessieren: Welche Hürden musstet ihr bei der technischen Umsetzung überwinden?

Torsten: Es gab tatsächlich eine ganze Reihe von Hürden. Die Technologie war damals noch sehr neu, und es fehlten sowohl praktische Erfahrungen als auch grundlegende technische Standards. Wir mussten daher viele Komponenten selbst entwickeln, da geeignete Bibliotheken und etablierte Lösungen am Markt noch nicht vorhanden waren. Das erschwerte den Prozess erheblich.

Hinzu kam, dass die Sprachmodelle zu diesem Zeitpunkt noch deutlich weniger leistungsfähig waren. Unser erster Prototyp basierte auf GPT 3.5, da GPT 4 damals noch nicht verfügbar war. In den fachlichen Tests zeigte sich jedoch, dass das Modell zu häufig halluzinierte und Zusammenhänge nicht zuverlässig verstand. Wir testeten ein weiteres damals führendes Modell eines anderen Anbieters, das ebenfalls die Anforderungen nicht erfüllte. Am Ende erwies sich GPT 4 Turbo als leistungsfähig genug - wenn auch nur knapp.

Die größte Hürde bestand darin, die fachliche Qualität auf ein Niveau zu bringen, das im sensiblen Umfeld einer Bank zwingend erforderlich ist. Die Antworten mussten korrekt, hilfreich und verlässlich sein, da es um finanzielle Fragestellungen geht. Dazu trugen mehrere Faktoren bei: die Auswahl des passenden Sprachmodells, die Art und Weise, wie wir Wissen integriert haben, die Qualitätssicherung über umfangreiche Tests sowie die Ausarbeitung geeigneter Prompting-Strategien.

Darüber hinaus gab es weitere Fragen zu klären, zum Beispiel, wie ein solches System angemessen überwacht werden kann oder wie rechtlich sensible Inhalte zu behandeln sind. Dennoch blieb die fachliche Qualität die zentrale und anspruchsvollste Aufgabe.

Du hast gerade ein wichtiges Stichwort genannt, nämlich das Testing. Das wird besonders die IT-Experten interessieren, die unseren Beitrag lesen. Wie wurde denn der Agent trainiert und getestet, bevor er live ging?

Torsten: Vorweg: Das Sprachmodell trainieren wir nicht selbst. Stattdessen nutzen wir Modelle großer Anbieter. Wir arbeiten eng mit OpenAI zusammen und nutzen deren Modelle, die zu den führenden am Markt gehören. Entscheidend ist für uns dabei weniger das Training, sondern vielmehr, der korrekte Einsatz der Technologie.

Genau dabei stellen sich die entscheidenden Fragen: Wie versorgt man das Modell mit Informationen? Wie integriert man das interne Bankwissen? Und wie stellt man die fachliche Korrektheit sicher?

Um genau diese Fragen zu beantworten, spielte das Testen eine zentrale Rolle. Also ließen wir den KI-Support von unseren Fachexperten aus dem Kundenservice anhand zahlreicher Fragestellungen umfassend testen. Ergänzend dazu implementierten wir von Anfang an auch automatische Tests. Dafür entwickelten wir einen Katalog mit mehreren hundert Fragen und Szenarien, mit denen alle möglichen Aspekte abgeprüft werden.

Weiter ging es dann mit der Frage, wie man solche Tests auswertet. Da es sich um generative Antworten handelt, sind diese jedes Mal unterschiedlich. Es gibt also nicht die einzig richtige Antwort; das Modell kann unterschiedlich formulieren. Heute bewertet man solche Ergebnisse, indem man ein weiteres Sprachmodell zur Beurteilung der Antwortqualität verwendet – bekannt als „LLM as a Judge“. Das Sprachmodell dient dabei zur Qualitätsbewertung der generierten Antworten, und das funktioniert erstaunlich gut.

Mittlerweile haben wir schon sieben Mal den technischen Unterbau – das Sprachmodell – ausgetauscht. Und bei jeder neuen Modellgeneration war klar erkennbar, dass die Ergebnisse besser wurden, ganz ohne unser Zutun, einfach weil das zugrunde liegende Sprachmodell leistungsfähiger geworden ist.

Heute unterstützt der KI Support bereits Millionen von Kund*innen und löst täglich unzählige Anliegen. Da liegt die nächste Frage auf der Hand: Welche Arten von Anfragen beantwortet der Agent hauptsächlich?

Der Assistent ist als umfassende Unterstützung für unsere Kund*innen gedacht – für all jene Anliegen, die im Alltag auftreten können. Dazu gehören Fragen wie: Wo finde ich bestimmte Informationen? Wie kann ich mein Kartenlimit erhöhen? Wie beantrage ich einen Kredit? Oder auch: Was bedeutet eine bestimmte Abbuchung?

Er deckt praktisch das gesamte Spektrum an Anfragen ab – von allgemeinen Informationsanfragen bis hin zu komplexeren Servicefällen. Besonders häufig geht es um Fragen zu Überweisungen, Karten oder neu eingeführten Funktionen. Aber auch in sensiblen Situationen, wie dem Verlust einer Karte, fehlgeschlagenen Überweisungen oder einem Betrugsverdacht, unterstützt der KI Support zuverlässig.

Ein Beispiel dafür waren die Echtzeitüberweisungen, die wir im vergangenen Sommer bereitgestellt haben. Dazu gab es viele Rückfragen zur Funktionsweise. Solche Themen pflegen wir frühzeitig in das System ein, damit der KI Support von Beginn an vollständig auskunftsfähig ist, sobald ein neues Produkt oder Feature verfügbar wird.

Gibt es ein besonders überraschendes oder eindrucksvolles Beispiel, bei dem der KI Support geholfen hat?

Torsten: Da gibt es viele verschiedene. Ein aktuelles Beispiel: Ein Kunde hatte sich erkundigt, wie er einen Ratensparplan vorzeitig kündigen kann. Der KI Support hat ganz von selbst ein Kündigungsschreiben formuliert, auf Nachfrage die IBAN des Kunden eingefügt und selbstständig den Link zum Kontaktformular ausgegeben, in das der Kunde das einfügen konnte. Genau das war unser Ziel: Ein KI Support, der das Anliegen nicht nur beantwortet, sondern aktiv mitdenkt und bei der Lösung unterstützt.

Das war auf jeden Fall ein großer Schritt. Wie hat sich denn der Bot seit der Veröffentlichung eigentlich weiterentwickelt, sprich wo stehen wir heute?

Torsten: Ich würde sagen, der KI Support ist heute nahezu nicht wiederzuerkennen. Es ist noch keine zwei Jahre her, dass wir ihn erstmals in Produktion gebracht haben, und wir sind damals mit einem Ansatz gestartet, der für eine Bank eher ungewöhnlich ist: Wir haben gearbeitet wie ein Startup und zunächst ein Minimal Viable Product (MVP) entwickelt.

Die erste Version, die wir im April 2024 veröffentlicht haben, war im Grunde ein „FAQ Plus“ – also ein System, das häufig gestellte Fragen beantworten konnte, bereits personalisiert und mit Zugriff auf zusätzliche Wissensquellen. Richtig leistungsfähig wurde der Bot erst im Sommer desselben Jahres, als wir umfassende Personalisierungsfunktionen ergänzt haben. Dadurch konnte der KI Support erkennen, über welche Produkte ein*e Kund*in verfügt, welche Karten hinterlegt sind, und auf relevante Stammdaten und ähnliche Informationen zugreifen. Seitdem haben wir kontinuierlich weiterentwickelt.

Vor kurzem konnten wir so eine komplett neu entwickelte Version des KI Supports veröffentlichen. Der frühere KI Support basierte auf Retrieval Augmented Generation (RAG) – ein Ansatz, der vor ein bis zwei Jahren für die Entwicklung solcher Systeme üblich war, bei dem das Sprachmodell kontinuierlich mit zusätzlichem Wissen versorgt wird. Inzwischen setzen wir jedoch auf eine modernere Architektur: sogenannte Agentic AI. Dieser Ansatz eröffnet deutlich mehr Möglichkeiten.

Aktuell befindet sich die neue Version wieder in einem MVP-Betrieb. Wir spielen sie zunächst nur an einen sehr kleinen Teil der Nutzer*innen aus, sammeln Erfahrungen und beobachten das Verhalten im Echtbetrieb. Anschließend planen wir ein A/B Testing. Das ist uns vor allem deshalb wichtig, weil wir die Wirksamkeit unserer Annahmen objektiv überprüfen möchten. Auch wenn wir überzeugt sind, dass die neue Version erheblich besser ist, wollen wir das anhand der Zahlen belegen.

Daher betreiben wir über mehrere Wochen einen randomisierten Vergleich zwischen dem alten und dem neuen KI Support – ein klassischer Randomized Controlled Trial. Anschließend analysieren wir, welche Variante unsere Kund*innen besser unterstützt und zu einer höheren Zufriedenheit sowie Lösungsquote führt. Auf dieser Basis entwickeln wir den KI Support gezielt weiter.

Gerade ist ein wichtiger Begriff gefallen, Agentic AI. Was bedeutet das genau? War all das, was ihr davor gemacht habt, nicht mehr relevant?

Torsten: Es wäre zu diesem Zeitpunkt schlicht nicht anders möglich gewesen. Vor zwei Jahren waren die Modelle noch lange nicht leistungsfähig genug, um Agentic KI sinnvoll umzusetzen. Beim klassischen RAG Ansatz verarbeitet das Modell in erster Linie Wissen. Man speist die Wissensbasis ein, die Kundendaten und die Frage – und das Modell generiert eine passende Antwort.

Bei Agentic KI ist das Prinzip ein völlig anderes. Hier sitzt das Modell selbst am Steuer. Es erhält lediglich die Kundenanfrage sowie eine Übersicht der verfügbaren Datenquellen und Funktionen – zum Beispiel: Wie wird die interne Wissensbasis durchsucht? Wie lässt sich der Kontostand abrufen? Ist eine Karte gesperrt? Das Modell plant daraufhin eigenständig, wie es das Anliegen erfüllt, und führt gezielt die notwendigen Schritte aus. Es arbeitet nicht mehr nur mit Wissen, sondern mit Aufgaben – und nutzt aktiv die passenden Funktionen, um Informationen einzuholen oder Prozesse auszuführen. Dadurch können auch komplexere Sachverhalte gelöst werden, die mehrere Schritte oder kombinierte Abfragen erfordern.

Agentic AI ist der wesentliche Faktor, durch den sich generative KI insgesamt enorm weiterentwickelt hat. Das sieht man auch in anderen Bereichen, etwa beim KI gestützten Programmieren. Vor der agentischen Phase war das im Prinzip ein fortgeschrittenes „Tab Complete“, das größere Codeblöcke vorschlug. Heute gibt es Werkzeuge wie Claude Code oder Codex, die ebenfalls agentisch arbeiten und damit eine völlig neue Leistungsstufe erreichen. Genau diesen technologischen Sprung haben wir jetzt auch mit unserem KI Support vollzogen.

Und ist hier alles ganz reibungslos verlaufen oder gab es doch die ein oder andere Herausforderung, von der du berichten möchtest?

Torsten: Auch dieser Teil des Projekts war alles andere als einfach. Neben der kompletten Überarbeitung des Codes gab es aus meiner Sicht zwei besonders anspruchsvolle Aufgaben.

Die erste bestand darin, sicherzustellen, dass der KI Support die verfügbaren Funktionen korrekt versteht und zuverlässig ansteuert. Die Modelle sind heute zwar bereits sehr gut darin, Tool Use umzusetzen, dennoch ist eine fein abgestimmte Justierung per Hand weiterhin notwendig – ebenso wie ein engmaschiges Monitoring.

Die zweite große Aufgabe betraf unser Testsystem. Wie schon erwähnt, verfügen wir über einen umfangreichen Katalog an Testfragen. Mit der Einführung agentischer KI wollten wir jedoch deutlich dynamischere Konversationen ermöglichen. Der KI Support kann nun situationsbezogen nachfragen: Wenn ein*e Kund*in etwa meldet, dass seine Karte gesperrt sei, prüft er zunächst, welche Karten vorhanden sind. Gibt es nur eine, kann er direkt fortfahren. Gibt es mehrere, fragt er gezielt nach: „Meinst du deine Kreditkarte, deine Girokarte oder die Karte aus deinem Gemeinschaftskonto?“ Dadurch kann er deutlich besser mit Mehrdeutigkeiten umgehen.

Diese neuen Möglichkeiten haben unser automatisiertes Testen grundlegend verändert. Bisher funktionierte unser Ansatz so: Es gab eine Testfrage und eine definierte Musterantwort. Wenn die KI jedoch eine Rückfrage stellt – was nun ausdrücklich gewünscht ist – fällt der Vergleich mit einer festen Musterantwort automatisch durch. Das führte zu völlig verzerrten Ergebnissen.

Deshalb haben wir unsere gesamte Evaluation neu aufgebaut. Statt mit einzelnen Testfragen arbeiten wir nun mit umfassenden Testszenarien, in denen wir zusätzlich den Nutzer simulieren. Ein Szenario kann zum Beispiel folgendermaßen beginnen: Ein*e Kund*in hat versucht, am Automaten Geld abzuheben; die Transaktion ist fehlgeschlagen; er kontaktiert den KI Support und schildert sein Problem. Dazu kommen weitere Kontextinformationen, wie Betrag, Zeitpunkt oder Kartentyp.

In diesen Szenarien führt unser Nutzersimulator – ebenfalls eine KI – ein mehrstufiges Gespräch mit dem KI Support. Die gesamte Unterhaltung wird anschließend gespeichert und durch ein weiteres Modell bewertet: Wurde das Anliegen erfolgreich gelöst? Waren die Antworten korrekt? Wurden alle notwendigen Schritte ausgeführt?

Diesen Simulator zu entwickeln, war sehr aufwändig. Er musste realistisch wirken, zuverlässig funktionieren und verwertbare Ergebnisse liefern. Rückblickend war das vermutlich die größte Herausforderung im gesamten Testprozess.

Lass uns zum Abschluss noch einen Blick in die Zukunft werfen. Welche Pläne gibt es, die Agentic AI noch smarter oder noch persönlicher zu machen?

Torsten: Wir haben in diesem Bereich noch sehr viel vor. Durch agentische KI ist das gesamte System deutlich modularer geworden, was uns ganz neue Möglichkeiten eröffnet.

Eine größere Lücke besteht derzeit noch darin, dass der KI Support keine Einsicht in Umsätze auf Konten und Karten hat. Das lag hauptsächlich daran, dass sich solche Informationen im früheren RAG Ansatz nur schwer integrieren ließen. Dafür braucht es die neue agentische Architektur – deshalb ist das eine der nächsten Funktionen, die wir angehen.

Darüber hinaus planen wir, den KI Support nicht nur für klassische Kundenservice Anliegen einzusetzen – also für Themen, bei denen man üblicherweise die Hotline kontaktieren würde –, sondern ihn zu einem persönlichen Finanzassistenten im Alltag weiterentwickeln.

Das bedeutet: Er soll in der Lage sein, sich mit Kund*innen über finanzielle Fragestellungen zu unterhalten. Wenn jemand beispielsweise sagt: „Ich dachte, ich hätte diese Arztrechnung bereits überwiesen, ich finde sie aber nicht“, könnte der KI Support nach Details fragen – etwa nach Datum oder Arzt – und anschließend die relevanten Transaktionen durchsuchen. Er könnte dann mitteilen: „Ich finde keine passende Überweisung“ oder alternativ: „Ich habe eine Transaktion vom 4. Januar gefunden – könnte es diese sein?“

Auch bei Aufgaben wie der Steuererklärung soll der KI Support unterstützen können. Ein Beispiel wäre: „Bitte zeige mir alle Transaktionen des letzten Kalenderjahres, die für die Steuer relevant sein könnten.“

Insgesamt möchten wir den KI Support also von einem reinen Service Tool zu einem echten Begleiter im Finanzalltag weiterentwickeln – für alles, was Kund*innen rund um ihr Banking beschäftigt.

Das klingt für mich nach einem echten Mehrwert für unsere Kund*innen. Die Beispiele zeigen sehr anschaulich, wie der KI Support im Alltag unterstützen kann.

Vielen Dank für den spannenden Einblick, den du uns gegeben hast. Ich habe jedenfalls eine Menge mitgenommen.

Bis zum nächsten Mal.

Torsten: Sehr gerne!