Einen Enterprise-Chatbot bauen, der nicht halluziniert: Lektionen aus 300.000 Gesprächen

Hinweis: Dieser Artikel basiert auf einem echten Unternehmen und Projekt. Einzelne Details wurden angepasst oder anonymisiert, um vertrauliche Informationen zu schützen; alle Zahlen wurden so angepasst, dass sie in einem realistischen Rahmen bleiben, ohne die tatsächlichen Daten widerzuspiegeln. Ausserdem habe ich ein paar Gedanken ergänzt, die mir kamen, nachdem ich das Projekt verlassen hatte.

Bevor ich mein aktuelles Unternehmen gegründet habe, habe ich eine Zeit lang das Team für Conversational AI und Service-Automatisierung bei einem grossen Schweizer Versicherungskonzern geleitet. Das Team baute und betrieb den kundenseitigen Chatbot des Unternehmens — den, der 2025 über 25.000 Gespräche pro Monat abwickelte, tausende Self-Service-Transaktionen verarbeitete und Rückfragen zu Versicherungsansprüchen deutlich reduzierte.

Als das Team die generative KI-Version lancierte, wurde das Unternehmen zu einem der ersten börsenkotierten Versicherer weltweit, die KI auf Basis eines LLM direkt vor die Kundschaft stellten. Die Medien wurden aufmerksam. Die Konkurrenz noch mehr. Und wir haben vieles auf die harte Tour gelernt.

In diesem Guide geht es um diese Lektionen. Nicht um die Technologie — RAG-Architekturen kannst du dir den ganzen Tag lang zusammengoogeln. Es geht um die Entscheidungen, die organisatorischen Herausforderungen und die Dinge, die fast schiefgegangen wären.

Die Reise: vom Entscheidungsbaum zur Intelligenz

Der Chatbot startete 2016 als regelbasierter Entscheidungsbaum. Du kennst den Typ: «Drücke 1 für Schadenfälle, drücke 2 für Fragen zur Police.» Er erkannte vielleicht 50 Stichwörter und leitete die Leute zu vorformulierten Antworten weiter. Von Intelligenz keine Spur.

Ende 2022 war klar, dass der alte Ansatz an seine Grenzen gestossen war. Die Kundschaft erwartete mehr. Sie hatte begonnen, ChatGPT zu nutzen, und plötzlich wirkte der Chatbot jedes Unternehmens im Vergleich dazu antiquiert.

Anfang 2023 baute das Team den Chatbot von Grund auf mit generativer KI neu. Vier Wochen vom Entscheid bis zum Launch. Dieses Tempo war nur möglich, weil das Unternehmen jahrelang am Fundament gearbeitet hatte — Conversation Design, Richtlinien für die Markenstimme, ein interdisziplinäres Team, das tatsächlich funktionierte. Ohne diese jahrelange Vorarbeit wäre ein vierwöchiger GenAI-Launch leichtsinnig gewesen.

Nach dem Relaunch nahm alles Fahrt auf. Voice-Integration im Callcenter. KI-gestützte E-Mail-Antworten, die die Bearbeitungszeit halbierten. Automatisierte Schadenmeldungen und Deckungsprüfungen. Was als Chatbot begann, wurde zu einem Ökosystem — Dutzende aktive KI-Use-Cases über den gesamten Kundenkommunikations-Stack hinweg.

Fünf Entscheidungen, die den Unterschied machten

Im Rückblick haben fünf architektonische Entscheidungen alles Weitere geprägt. Triffst du sie richtig, ist der Rest Umsetzung. Triffst du sie falsch, kann kein noch so gutes Engineering den Schaden mehr beheben.

1. Wie verhinderst du, dass der Bot sich Dinge ausdenkt?

Das ist die Frage, die jede Führungskraft zuerst stellt, und das zu Recht. Ein Versicherungs-Chatbot, der sich Policendetails ausdenkt, ist schlimmer als gar kein Chatbot.

Unsere Antwort war RAG — Retrieval-Augmented Generation. Auf Deutsch: Der Chatbot antwortet nicht aus seinem allgemeinen Wissen. Er ruft zuerst spezifische, geprüfte Dokumente ab und generiert die Antwort dann ausschliesslich auf Basis dieser Dokumente.

Die Wissensbasis speiste sich aus zwei Quellen: automatisiertem, täglichem Scraping der Unternehmenswebsite (damit die Produktinformationen aktuell blieben) und handkuratierten Inhalten, die wir «Custom Content» nannten — sorgfältig verfasste Dokumente, optimiert für die Verarbeitung durch das KI-Modell.

Jede Antwort enthielt eine Quellenangabe: «Basierend auf [Quelldokument].» Fand der Chatbot keine relevante Quelle, sagte er das, statt zu raten.

Das klingt einfach. War es nicht. Die Qualität von RAG hängt vollständig von der Qualität dessen ab, was du abrufst. Schlechte Dokumente produzieren schlechte Antworten, selbst bei perfektem Retrieval. Wir haben Monate damit verbracht, Versicherungspolicen und Produktdokumentation maschinenlesbar umzuschreiben — klare Sprache, klare Struktur, keine in Juristendeutsch verpackte Mehrdeutigkeit. Diese Dokumentenbereinigung erwies sich als sehr wertvoller Nebeneffekt des Projekts.

2. Wie gehst du mit Datenschutz um?

In einer regulierten Branche ist das kein Feature — das ist eine Voraussetzung. Und das verlangsamt alles. Aber es gibt keine Alternative.

Die wichtigsten Elemente unseres Ansatzes:

• Kein Training mit Gesprächsdaten. Kundengespräche wurden nie zum Training oder Fine-Tuning von Modellen verwendet.
• In der EU gehostete Modelle. Die gesamte KI-Modell-Inferenz lief auf Servern innerhalb der EU.
• Data Masking. Personenbezogene Daten wurden maskiert, bevor sie das Sprachmodell erreichten.
• Separates Deployment. Unsere Instanz lief auf dedizierter Infrastruktur, nicht geteilt mit anderen Kunden des Anbieters.
• Zugriffskontrollierte Logs. Gesprächsprotokolle existierten (notwendig für Qualitätsmonitoring), aber mit strikten Zugriffskontrollen.

Jede dieser Anforderungen erhöhte Kosten und Komplexität. Jede war nicht verhandelbar.

3. Bauen oder kaufen?

Wir haben uns für «bauen und dabei auf bestehende Frameworks setzen» entschieden — eine Chatbot-Plattform als Fundament aufbauen und darauf umfangreiche eigene Logik ergänzen.

Beide Wege kosten dich etwas.

Bauen verschafft dir einen First-Mover-Vorteil, tiefes organisatorisches Wissen und Flexibilität. Es braucht aber auch Ressourcen, birgt Risiko, wenn du auf die falsche Technologie setzt, und bindet einige deiner besten Engineers.

Kaufen bringt dich schneller und mit tieferen Anfangskosten an den Markt. Aber dasselbe kann jeder andere auch kaufen. Und du baust deutlich weniger interne Kompetenz auf.

Wir haben uns für den «Bauen»-Weg entschieden, weil wir den First-Mover-Vorteil wollten, solange es noch keine fertigen Produkte gab, und weil wir Anpassungen brauchten, die zukünftige Standardprodukte wahrscheinlich auch nicht liefern könnten. Wir haben alles selbst gebaut: die Chatbot-Plattform, die die Gesprächsinfrastruktur abwickelte, die Wissensbasis, die Integrationsschicht und die Verhaltensregeln.

Die richtige Antwort hängt vom Reifegrad deiner Organisation ab. Wenn du noch nie etwas mit KI gebaut hast, ist es klug, zuerst zu kaufen und zu lernen. Wenn du bereits ein technisches Team hast, das sich in diesem Bereich auskennt, verschafft dir Bauen einen dauerhaften Vorteil.

4. Wie klingt der Bot nach deiner Marke?

Hier trifft Kunst auf Engineering. Ein Chatbot, der roboterhaft klingt, zerstört Vertrauen. Ein Chatbot, der zu menschlich klingt, erzeugt ein unangenehmes Uncanny-Valley-Gefühl. Die richtige Stimme zu finden ist schwieriger, als die meisten Unternehmen erwarten.

Wir haben viel in Prompt Engineering für die Persönlichkeit investiert. Der Chatbot hatte einen Namen, eine definierte Persönlichkeit und detaillierte Richtlinien zu:

• Siezen oder Duzen (in der Deutschschweiz eine echte kulturelle Frage)
• Empathie-Level — wie viel emotionale Anerkennung, bevor es zur Antwort kommt
• Humor — wann er angebracht ist und wann absolut nicht
• Produktspezifische Sprache — passend zur Terminologie, die Kundinnen und Kunden auf der Website sehen

Die Markenstimme richtig hinzubekommen ist kein einmaliger Aufwand. Es ist laufendes Feintuning auf Basis echter Gespräche, Kundenfeedback und sich wandelnder Erwartungen.

5. Wann übergibt der Bot an einen Menschen?

Die Eskalationsfrage. Machst du sie falsch, frustrierst du entweder Kundinnen und Kunden, die einen Menschen brauchen (der Bot lässt nicht los), oder verschwendest du die Zeit menschlicher Mitarbeitender mit Fragen, die der Bot hätte beantworten können (der Bot eskaliert zu vorschnell).

Wir haben die Erkennung für drei Auslöser gebaut:

• Frustration. Sentiment-Analyse schlug an, wenn eine Kundin oder ein Kunde verärgert wurde. Wiederholtes Umformulieren derselben Frage, negative Sprache, explizite Beschwerden.
• Komplexität. Wenn die Frage die Wissensgrenzen des Bots überschritt oder mehrere zusammenhängende Themen betraf.
• Regulatorische Grenzen. Bestimmte Themen — Rechtsberatung, konkrete Entscheide zu Schadenfällen, alles mit persönlichen Zusagen — brauchten zwingend einen Menschen.

Kam es zur Eskalation, machte der Bot klar, wie die Kundschaft an menschliche Unterstützung kam. Kein «Bitte schildern Sie Ihr Anliegen noch einmal.»

Der Eisberg

Das sage ich jedem, der ein kundenseitiges KI-System baut:

Worüber die Leute reden, liegt an der Oberfläche — der sichtbare Teil des Eisbergs. Technologiereife. Halluzinationsprävention. Prompt Engineering. RAG-Architektur. Datenqualität. Das sind reale Herausforderungen, und sie bekommen die gesamte Aufmerksamkeit auf Konferenzen und in Vendor-Pitches.

Was tatsächlich über Erfolg oder Misserfolg entscheidet, liegt unter der Wasserlinie. Und das ist schwerer zu erkennen:

• Einen Business Case für etwas Exploratives bauen. Wenn dein Unternehmen nicht investieren kann, ohne ein garantiertes ROI-Excel zu sehen, sterben die meisten KI-Projekte schon in der Planungsphase. Hast du die organisatorische Toleranz für Experimente, die sich nicht sofort auszahlen?

• Bereichsübergreifende Zusammenarbeit. Unser Chatbot war im Kundenmanagement angesiedelt. Das Callcenter im Betrieb. Die Verkaufsberatung im Sales. Entwicklung, Daten und KI in der IT. All diese Gruppen zur Zusammenarbeit zu bringen war schwieriger, als die KI selbst zu bauen.

• Organisatorische Geduld. Enden Projekte beim Rollout, oder bekommen sie die kontinuierliche Investition, die es braucht, um über Monate und Jahre zu iterieren, sich zu verbessern und ihren Wert zu beweisen?

• Change Management, das sich nicht wie Change Management anfühlt. Menschen wehren sich dagegen, wenn man ihnen sagt, sie sollen neue Tools nutzen. Sie wehren sich nicht gegen Dinge, die ihnen das Leben leichter machen. Mehr dazu weiter unten.

Die Technologie macht vielleicht 30 % der Herausforderung aus. Die restlichen 70 % sind die organisatorische und kulturelle Arbeit.

«Bots and Beer»

Im ersten Jahr nach dem Start von ChatGPT hatten wahrscheinlich weniger als 10 % der Mitarbeitenden KI-Tools tatsächlich ernsthaft ausprobiert. Zehn Prozent. Bei einem Unternehmen, das öffentlich mit seinem KI-Chatbot warb.

Das Team reagierte nicht, indem es ein verpflichtendes Schulungsprogramm durchdrückte. Stattdessen organisierte es informelle Treffen, die wir «Bots and Beer» nannten — lockere Feierabend-Runden mit Live-Demos, Ausprobieren zum Anfassen und echtem Bier. Keine Slides über «die Zukunft der KI». Einfach Kolleginnen und Kollegen, die anderen Kolleginnen und Kollegen zeigten, was sie gebaut hatten, was funktionierte und was auf herrliche Weise scheiterte.

Es war Change Management, das sich nicht wie Change Management anfühlte. Und es funktionierte weit besser, als es jedes formale Programm getan hätte. Gewinn ein paar Fürsprecher in der ganzen Organisation, und der Rest folgt von selbst.

Das deckt sich genau mit dem, was ich das Pull-statt-Push-Prinzip nenne. Verordne KI-Adoption nicht von oben. Roll keine Tools von oben herab aus. Mach sie nützlich, mach sie sichtbar, mach sie unterhaltsam — und lass die Leute freiwillig darauf zukommen.

Die Datenmine, die niemand abbaut

Was die meisten Unternehmen beim Bau von Chatbots komplett übersehen: Die Gespräche selbst sind ein strategisches Asset.

Hast du detaillierte Transkripte von jedem Telefonat, das dein Kundenservice-Team führt? Detailliert genug, um Stimmungsverschiebungen während des Gesprächs zu analysieren? Erfasst du systematisch jedes erwähnte Thema? Erkennst du Sales-Chancen in Service-Interaktionen zuverlässig?

Wahrscheinlich nicht. Menschliche Gespräche sind teuer zu protokollieren, zu analysieren und in grossem Massstab auszuwerten.

Aber ein Chatbot erfasst alles. Jedes Gespräch und jedes Thema. Er erfasst Stimmungsverschiebungen und Fragen, die Lücken in deinem Produkt, deiner Dokumentation oder deinem Prozess offenlegen. In grossem Massstab.

In dieser Mine gibt es mindestens drei Goldadern:

Sentiment-Analyse. Frustration, Verwirrung und Zufriedenheit über tausende Interaktionen hinweg erfassen. Nicht einzelne Gespräche — Muster. Welche Produktlinien erzeugen die meiste Verwirrung? Welche Prozesse erzeugen die meiste Frustration? Wo ist die Kundschaft durchgehend zufrieden?

Topic Mining. Wonach fragt die Kundschaft tatsächlich, im Vergleich dazu, was das Unternehmen glaubt, dass gefragt wird? Die Lücke ist immer überraschend. Saisonale Muster zeigen sich. Neue Anliegen tauchen auf, bevor sie formale Feedback-Kanäle erreichen.

Sales-Signale. Eine Kundin, die in einem Service-Chat nach einer Lebensversicherung fragt, ist ein warmer Lead. Das zu erkennen braucht aber aufmerksame, präsente Mitarbeitende — oder KI, die es automatisch markiert und an das richtige Team weiterleitet. Leads aus Chat-Interaktionen sind warm und kühlen schnell ab; Geschwindigkeit zählt.

Richtig stark wird es beim bereichsübergreifenden Potenzial. Eine über den Chatbot gemeldete Adressänderung kann auf einen kürzlichen Umzug hindeuten — was eine neue zu versichernde Liegenschaft bedeuten könnte. Eine negative Stimmung in einem Schadenfall-Gespräch sollte die nächste Beratungsinteraktion markieren. Ein Anstieg bei Produktfragen ist ein Echtzeit-Nachfragesignal fürs Marketing.

So genutzt, wird der Chatbot zum Sinnesorgan für das ganze Unternehmen. Die meisten Organisationen haben das Nervensystem noch nicht verkabelt, um diese Daten zu nutzen.

Ehrliche Lektionen

Ich habe Transparenz versprochen, also hier die Dinge, die ich meinem früheren Ich sagen würde.

Die Lernkurve ist steiler, als du denkst

Die meisten Mitarbeitenden — selbst bei einem Unternehmen, das sich öffentlich zu KI bekennt — stehen noch am Anfang ihrer Lernreise. Du kannst keine Stufen überspringen. Menschen brauchen Zeit, Übung und psychologische Sicherheit (die Erlaubnis, zu experimentieren und zu scheitern), bevor sie sich wirklich auf KI-Tools einlassen.

Der grösste Hebel? Interdisziplinäre Teams. Nicht «das KI-Team baut es und wirft es über die Mauer ins Business». Ein Team, in dem Business-Leute, Designerinnen und Designer sowie Engineers gemeinsam am selben Problem arbeiten. Nicht verhandelbar.

KI-Projekte sind Transformationsprojekte, die als Tech-Projekte getarnt sind

Die wertvollsten Nebeneffekte unserer Chatbot-Initiative hatten nichts mit dem Chatbot selbst zu tun:

• Der Aufbau der Wissensbasis zwang uns, jahrelang unklare Produktdokumentation aufzuräumen
• Die Automatisierung der Schadenmeldung zwang uns, den zugrunde liegenden Prozess zu vereinfachen
• Der Einsatz im Callcenter zwang uns, zuerst unsere Daten in Ordnung zu bringen

Jedes KI-Projekt ist auch ein Prozessverbesserungsprojekt und ein Datenqualitätsprojekt. Wenn du darauf nicht vorbereitet bist, bist du nicht auf KI vorbereitet.

Du brauchst Rückendeckung von oben und Energie von unten

Weder Top-down noch Bottom-up funktioniert allein. Executive Sponsorship verschafft dir Budget und politischen Schutz. Begeisterung an der Basis verschafft dir Adoption und ehrliches Feedback. Du brauchst beides.

Fang mit dem kleinsten wertvollen Ding an. Ein FAQ-Bot. Dann Self-Service-Funktionen ergänzen. Dann Schadenmeldungen. Dann Voice. Dann E-Mail. Jeder Schritt baut Kompetenz, Glaubwürdigkeit und organisatorische Stärke auf. Das Unternehmen kam von einem FAQ-Bot zu über 80 aktiven KI-Use-Cases in rund drei Jahren — aber Schritt für Schritt.

Das Gespräch mit dem Verwaltungsrat

Irgendwann muss jemand einem risikoscheuen Verwaltungsrat oder Führungsteam vorschlagen: «Lasst uns experimentelle KI vor die Kundschaft stellen.» Bei uns hat Folgendes funktioniert: Es nicht als Technologie-Experiment zu framen, sondern als Entscheidung zur Customer Experience. Die Frage war nicht «Sollen wir KI einsetzen?». Sie war: «Wollen wir die einmalige Chance verpassen, unserer Kundschaft ein besseres Erlebnis zu bieten, als sie es sonst überall bekommt?»

Und eine Erkenntnis, die mir geblieben ist: Nur gut geführte Unternehmen können KI gut nutzen. Wenn deine Prozesse chaotisch sind, deine Daten ein Durcheinander sind und deine Teams nicht zusammenarbeiten, verstärkt KI diese Probleme, statt sie zu lösen.

Wohin die Reise geht

Der Chatbot war der Anfang, nicht das Ende. Die nächste Grenze ist Voice — Telefonate mit KI abwickeln, die Akzente versteht und mit Unterbrechungen umgehen kann. Dabei muss sie auch mit den besonderen Herausforderungen gesprochener Sprache klarkommen, etwa einen polnischen Namen oder eine Schweizer IBAN zu diktieren. Das Unternehmen verarbeitete über sein Servicecenter bereits hunderttausende Anrufe pro Jahr und leitete zunehmend mehr davon an eine KI-gestützte Triage.

Darüber hinaus: eine einheitliche Intelligenzschicht über alle Kanäle hinweg. Chat, Telefon, E-Mail, App, persönliche Beratung — alles fliesst in ein gemeinsames Verständnis jeder Kundin und jedes Kunden. Der Chatbot, der Voicebot, das E-Mail-System, das Dashboard der Beratungsperson — alles verbunden. Jeder Touchpoint lernt von jedem anderen Touchpoint.

Das ist eine Vision, kein Produkt. Aber die Unternehmen, die das als Erste herausfinden, werden einen unfairen Vorteil haben. Und alles beginnt mit diesem ersten, einfachen Chatbot, der Kundenfragen beantwortet, ohne sich Dinge auszudenken.

Was du am Montag tun kannst

Wenn du darüber nachdenkst, ein kundenseitiges KI-System zu bauen, fang nicht bei der Technologie an. Fang mit diesen Fragen an:

1. Was ist das kleinste wertvolle Ding? Nicht «bau eine KI-Kundenserviceplattform». Eher etwas wie «beantworte die 20 häufigsten Fragen automatisch». Fang dort an.

2. Hast du das Wissen? RAG ist nur so gut wie das, was du abrufst. Ist deine Produktdokumentation klar, strukturiert und maschinenlesbar? Wenn nicht, ist das dein eigentlicher erster Schritt.

3. Wer ist dein interdisziplinäres Team? Du brauchst Business-Leute, die die Kundschaft verstehen, Designerinnen und Designer, die das Gespräch verstehen, und Engineers, die die Technologie verstehen. Alle arbeiten zusammen, nicht nacheinander.

4. Wie viel Iteration verträgst du? Die erste Version wird mittelmässig sein. Die fünfte Version wird gut sein. Die zwanzigste Version wird beeindruckend sein. Wenn deine Organisation Projekte nach Version eins abschiesst, ist das noch nichts für dich.

Du brauchst kein dreijähriges Transformationsprogramm. Du brauchst ein fokussiertes Team, einen klaren Use Case und die Geduld, zu iterieren. Die Technologie ist bereit. Die Frage ist, ob deine Organisation es auch ist.