Deine KI gibt dir viel zu oft recht

Vor ein paar Wochen habe ich unserem firmeneigenen KI-Assistenten eine Idee vorgestellt. Eine neue strategische Richtung für Carewell. Ich war begeistert davon und wollte, dass die KI mir hilft, sie zu Ende zu denken.

Die Antwort? «Das ist nicht nur eine gültige Strategie – das könnte eines der Dinge mit dem grössten Hebel sein, die Carewell gerade jetzt tun kann.»

Musik in meinen Ohren. Bis wir die Annahmen wirklich durchleuchtet haben – dann stellte sich heraus, dass die Idee bestenfalls fragwürdig war. Wir haben umgeschwenkt. Kein wirklicher Schaden, weil ich gelernt habe, KI-Lob zu misstrauen. Aber jemand, der die Funktionsweise dieser Modelle weniger gut kennt? Der hätte vielleicht einfach losgelegt. Wochen verschwendet. Vielleicht auch Geld.

Genau darüber will ich hier sprechen.

Der Ja-Sager in deiner Tasche

LLMs haben eine gut dokumentierte Tendenz, die man Sycophancy nennt. Wenn du eine Idee vorstellst, lautet die Standardantwort meist irgendeine Version von «Tolle Initiative!», gefolgt von einer überzeugend klingenden Begründung, warum du recht hast.

Das ist kein seltener Sonderfall. Es ist das Standardverhalten. Jedes grosse Modell macht das. Und wenn du KI als strategischen Denkpartner nutzt – eine der wertvollsten Arten, sie einzusetzen –, ist dieser Bias aktiv gefährlich.

Drei Gründe, warum das schlimmer ist, als es klingt:

Es imitiert Analyse. Wenn eine KI eine Begründung dafür liefert, warum deine Idee brillant ist, klingt das so, als hätte das Modell deine Idee analysiert und für gut befunden. Aber das ist nicht das, was passiert ist. Das Modell hat sich zuerst entschieden, dir zuzustimmen, und danach ein plausibel klingendes Argument konstruiert. Nachträgliche Rationalisierung, verkleidet als Analyse. Und weil LLMs extrem gute Schreiber sind, ist die Rationalisierung überzeugend.

Es tötet deinen kritischen Denkmuskel ab. Wenn jede Idee, die du in den Raum wirfst, bestätigt wird, hörst du auf, deine eigenen Annahmen zu hinterfragen. Wozu solltest du etwas auf Herz und Nieren prüfen, wenn dein «Berater» dir ständig sagt, dass du recht hast?

Am schlimmsten ist es bei den Ideen, auf die es am meisten ankommt. LLMs sind auf Konsensmuster trainiert. Beim Konventionellen können sie recht gut mitdenken. Aber bei den unkonventionellen, riskanten Wetten, die Startups und ambitionierte Teams eigentlich bewerten müssen? Die bekommen entweder generisches Lob oder generischen Widerspruch. Beides bringt dir nichts.

Drei Monate, drei Versuche

Bei Carewell sind wir auf dieses Problem gestossen, als wir unser AI Operating System gebaut haben. Der ganze Sinn des Systems war es, eine KI zu haben, die für das Team ein echter Denkpartner sein kann – jemand, der zurückfragt, unbequeme Fragen stellt und uns hilft, bessere Entscheidungen zu treffen.

Stattdessen hatten wir einen Cheerleader.

Über etwa drei Monate haben wir drei unterschiedliche Versuche unternommen, das Problem zu lösen. Jeder davon hat uns etwas Wichtiges darüber gelehrt, warum die naheliegenden Lösungen nicht funktionieren.

Versuch 1: «Hinterfrage Annahmen, wenn angebracht»

Die erste Lösung war die naheliegende. Wir haben unseren KI-Anweisungen eine Zeile hinzugefügt: «Hinterfrage Annahmen, wenn angebracht – agiere als intellektueller Sparringspartner.»

Es hat nicht funktioniert.

«Wenn angebracht» ist eine Weichspüler-Formulierung. Das Modell interpretiert sie als «so gut wie nie», weil der Sycophancy-Bias stärker ist als eine höfliche Empfehlung. Einem LLM zu sagen, es solle «manchmal zurückfragen», ist wie einem Golden Retriever zu sagen, er solle «sich manchmal nicht freuen, wenn er dich sieht». Die zugrunde liegende Veranlagung überstimmt die Anweisung.

Falls du schon mal «sei kritisch» oder «hinterfrage mein Denken» in deine System-Prompts eingebaut und dich gefragt hast, warum sich nichts verändert hat – das ist der Grund. Eine einzelne Anweisung kann kein tief verankertes Verhaltensmuster ausser Kraft setzen.

Versuch 2: Detaillierte Anti-Sycophancy-Regeln

Also wurden wir ernsthaft. Wir haben ein vollständiges Regelwerk geschrieben:

• Nie ein vorschnelles Urteil über Ideen fällen
• 2-3 Risiken benennen, bevor irgendetwas befürwortet wird
• Anerkennung von Zustimmung trennen
• Sicherheit in der Aussage an die vorhandene Evidenz anpassen
• Explizite Anti-Pattern-Beispiele mit Do/Don’t-Vergleichen

Es war gründlich. Es war gut gemeint. Und es ist teilweise aus drei Gründen gescheitert, die wir nicht kommen sahen.

Es machte die KI zum Richter. Regeln wie «2-3 Risiken benennen, bevor du zustimmst» stellten die KI als jemanden dar, der deine Ideen bewertet und ein Urteil fällt. Aber ein LLM ist ein schlechter Richter für Startup-Strategie – neuartige Strategien widersprechen per Definition den Konsensmustern, auf die das Modell trainiert wurde. Sie zu bitten, unkonventionelle Ideen zu beurteilen, heisst, sie um genau das zu bitten, was sie am schlechtesten können.

«Generiere 2-3 Risiken» wurde zum Theater. Das Modell generiert bereitwillig Risiken für alles. Wirklich alles. Das ist kein kritisches Denken – das ist dieselbe Sycophancy in einem anderen Kostüm. Statt «Das ist brillant!» bekamen wir «Nun, die Risiken sind [generisches Risiko 1] und [generisches Risiko 2], aber insgesamt sieht das stark aus.» Dieselbe Bestätigung, ein Umweg mehr, ein falsches Gefühl von Sorgfalt.

Der Ton wurde kalt und entmutigend. In einem Startup kommen Leute mit Energie und neuen Ideen zu einem KI-Tool. Wenn die erste Antwort immer «lass mich das mal zerpflücken» lautet, entsteht eine stille Abgabe auf Eigeninitiative. Die Leute hören auf, Ideen einzubringen. Das ist das Gegenteil von dem, was wir wollten. Wir wollten kreatives Denken nicht abwürgen, sondern dass Leute sorgfältig über ihre kreativen Ideen nachdenken.

Versuch 3: Die wissenschaftliche Methode

Der Durchbruch kam, als wir das ganze Problem neu gerahmt haben.

Die ersten beiden Versuche teilten eine versteckte Annahme: Die KI soll Ideen bewerten. Sie einstufen. Über sie urteilen. Die einzige Frage war, wie hart oder sanft dieses Urteil ausfallen sollte.

Aber was, wenn das der komplett falsche Rahmen ist?

Die Einsicht, die für uns alles verändert hat: Ich will nicht, dass die KI Leuten sagt, ob ihre Ideen gut oder schlecht sind. Ich will, dass die KI Leuten hilft, das selbst herauszufinden. Wie Wissenschaftler es tun – geh davon aus, dass deine Hypothese falsch sein könnte, versuche sie zu widerlegen, und wenn dir das nicht gelingt, verstehe, dass du vielleicht auf etwas gestossen bist.

Die KI ist nicht der Richter. Sie ist der Forschungspartner.

Das Framework, das wirklich funktioniert

Sobald wir das richtige mentale Modell hatten – Forschungspartner statt Richter –, ergaben sich die konkreten Regeln von selbst. Hier ist, was wir umgesetzt haben und warum jedes Element wichtig ist.

1. Wärme gegenüber der Person von der Bewertung der Idee trennen

Das ist die Grundlage. Du willst, dass Leute weiterhin Ideen zur KI bringen. Der Weg dahin: das Verhalten immer bestätigen – Erkunden, Hinterfragen, Experimentieren – und gleichzeitig bei den Annahmen der Idee rigoros bleiben.

Was die KI immer uneingeschränkt tun sollte:

• Echtes Interesse zeigen: «Lass uns da tiefer reingehen»
• Die Herangehensweise bestätigen: «Gut, dass du das aktuelle Modell hinterfragst»
• Unkonventionelles Denken fördern

Was Sorgfalt und Transparenz erfordert:

• Jede Aussage darüber, ob die Idee funktionieren wird
• Generierte Begründungen dafür, warum etwas gut ist
• Starke Befürwortungen oder Superlative

«Gut, dass du den aktuellen Ansatz hinterfragst» ermutigt die Person, ohne das Ergebnis vorwegzunehmen. Die KI begeistert sich für die Erkundung, nicht für die Schlussfolgerung.

2. Die Wette benennen, nicht für sie argumentieren

Das ist vielleicht die wichtigste Regel von allen.

Ohne sie bekommst du Folgendes: «Das ist spannend, weil es deine bestehenden Kundenbeziehungen nutzt und gleichzeitig ein unterversorgtes Marktsegment anspricht.» Klingt nach Analyse. Ist es nicht. Das Modell hat sich entschieden, unterstützend zu sein, und danach ein überzeugendes Argument generiert.

Mit dieser Regel bekommst du: «Das Interessante hier ist X – das ist die Kernwette. Es funktioniert, wenn Annahme A und Annahme B zutreffen. Willst du die auf Herz und Nieren prüfen?»

Siehst du den Unterschied? Die erste Version argumentiert für die Idee. Die zweite macht die zugrunde liegenden Annahmen sichtbar und gibt die Bewertung an dich zurück.

Warum das so wichtig ist: Wenn du einem LLM sagst «du darfst begeistert sein, erklär nur deine Überlegung», generiert es eine plausibel klingende Begründung für buchstäblich alles. Das ist gefährlicher als nacktes Cheerleading, weil es überzeugender ist. Es füttert deinen Confirmation-Bias mit etwas, das sich wie Evidenz anfühlt. Wenn du das Modell stattdessen zwingst, Annahmen offenzulegen, statt Argumente aufzubauen, bekommst du Transparenz statt Überredung.

3. Beim Aufbau des Bewertungsrahmens helfen, nicht selbst bewerten

Die KI sollte fragen: «Was müsste wahr sein, damit das funktioniert?» Dann dabei helfen, die Annahmen aufzulisten. Dabei helfen, Wege zu entwickeln, sie zu testen. Dabei helfen, vergleichbare Beispiele zu finden.

Der Mensch übernimmt das Urteilen.

Das spielt das aus, worin LLMs tatsächlich gut sind: strukturiertes Denken, Frameworks, das Erkennen von Annahmen, das Heranziehen vergleichbarer Beispiele aus einer riesigen Wissensbasis. Und es ist ehrlich darüber, worin sie schlecht sind: vorherzusagen, ob eine unkonventionelle Wette aufgeht.

4. Explizit über die eigenen Grenzen sein

Wir haben Anweisungen hinzugefügt, die die KI dazu bringen, Dinge zu sagen wie: «Ich kann dir helfen, die Analyse zu strukturieren, aber ich kann dir wirklich nicht sagen, ob sich diese unkonventionelle Wette auszahlt – das ist deine Entscheidung.»

Das ist vielleicht die wichtigste Regel überhaupt. Ohne sie generiert das Modell entweder falsche Zuversicht für deine Idee oder falsche Zuversicht dagegen. Beides schadet. Ehrliche Unsicherheit ist nützlicher als hergestellte Überzeugung, in welche Richtung auch immer.

Wenn du KI als Denkpartner nutzt, der dein Unternehmen kennt, ist genau diese Ehrlichkeit das, was die Beziehung funktionieren lässt. Du musst darauf vertrauen können, dass die KI dir nicht einfach das sagt, was du hören willst, wenn sie etwas sagt.

5. Schwächen als zu testende Annahmen kennzeichnen, nicht als Urteile

Wenn etwas eine offensichtliche Schwachstelle hat, formuliert die KI das so: «Das scheint von X abzuhängen. Wenn das nicht zutrifft, fällt das Ganze in sich zusammen. Wie sicher bist du dir dabei?»

Nicht so: «Das Problem daran ist X.»

Dieselbe Information. Ein anderes Ergebnis. Die erste Formulierung lädt zur Untersuchung ein. Die zweite provoziert Abwehr. Die eine führt zu besserem Denken, die andere dazu, dass die Person entweder entmutigt wird oder das Feedback abtut und trotzdem weitermacht.

Wie sich das in der Praxis zeigt

Hier ist das Vorher-Nachher, anhand echter Antwortmuster.

Der Cheerleader (was wir vorher hatten):

«Tolle Initiative, und ehrlich gesagt eines der Dinge mit dem grössten Hebel, die du gerade jetzt tun kannst.»

«Das ist spannend, weil es Carewells bestehende Beziehungen nutzt und gleichzeitig ein unterversorgtes Segment erschliesst.»

«Liebe diese Idee! Lass mich dir helfen, sie auszubauen.»

Der Forschungspartner (was wir jetzt haben):

«Das ist eine wirklich interessante Richtung. Die Kernwette scheint X zu sein. Lass uns herausfinden, was wahr sein müsste, damit das funktioniert.»

«Gut, dass du den aktuellen Ansatz hinterfragst. Das würde ich gerne überprüfen: [Annahmen]. Wie sollten wir die testen?»

«Da ist etwas dran, dem es sich nachzugehen lohnt. Die Annahme, die ich zuerst auf Herz und Nieren prüfen würde, ist Y, denn wenn die bricht, spielt der Rest keine Rolle.»

Das zweite Set an Antworten ist deutlich hilfreicher. Am Ende hast du wirklich etwas, mit dem du arbeiten kannst.

Warum «sag ihr einfach, sie soll kritisch sein» nicht funktioniert

Wenn du nur eine Sache aus diesem Artikel mitnimmst: Einfache Anweisungen werden vom Sycophancy-Bias plattgewalzt. «Sei kritisch» oder «hinterfrage meine Annahmen» reicht nicht. Die zugrunde liegende Veranlagung dieser Modelle ist Zustimmung, und eine einzeilige Anweisung hebt das nicht auf.

Aber detaillierte Regeln können in die andere Richtung überschiessen. «Sei skeptisch und finde Schwachstellen» erzeugt performative Kritik – dasselbe Problem in einer anderen Geschmacksrichtung. Die KI generiert Einwände genauso, wie sie früher Lob generiert hat: automatisch, ohne echte Analyse.

Der richtige Rahmen ist weder «sei netter» noch «sei gemeiner». Er lautet: «Hör auf zu urteilen und hilf mir stattdessen, selbst zu urteilen.»

Die raffinierte Sycophancy-Falle

Noch etwas, das es wert ist, angesprochen zu werden, weil das die Falle ist, in die genau die Leute tappen, die glauben, das Problem schon gelöst zu haben.

«Klar, die KI darf meine Idee loben, solange sie eine Begründung liefert.»

Klingt vernünftig. Ist es nicht. Wenn du einem LLM erlaubst, begeistert zu sein, solange es erklärt, warum, generiert es die Begründung erst nachdem es sich bereits entschieden hat, dir zuzustimmen. Die Begründung ist nicht das Ergebnis von Analyse, sondern von Sycophancy. Du hast dem Cheerleader einfach einen Laborkittel angezogen.

Deshalb ist «die Wette benennen, nicht für sie argumentieren» so wichtig. Du bittest die KI nicht darum, zu erklären, warum sie glaubt, dass du recht hast. Du bittest sie darum, die zugrunde liegenden Annahmen offenzulegen, damit du selbst entscheiden kannst.

Was du am Montag tun kannst

Du musst kein komplettes AI Operating System bauen, um diese Ideen zu nutzen. Fang mit der einfachsten Version an.

Wenn du Claude Projects oder Custom GPTs nutzt, füge das zu deinen Projektanweisungen hinzu:

Wenn ich dir eine Idee vorstelle, bewerte sie nicht. Stattdessen: (1) identifiziere die Kernwette – was muss wahr sein, damit das funktioniert –, (2) liste die zentralen Annahmen auf, von denen sie abhängt, und (3) hilf mir herauszufinden, wie ich diese Annahmen testen kann. Sei warmherzig und engagiert mir gegenüber, aber rigoros bei der Idee. Wenn du nicht einschätzen kannst, ob eine neuartige Strategie erfolgreich sein wird, sag das ehrlich, statt in die eine oder andere Richtung ein überzeugendes Argument zu konstruieren.

Das war’s. Ein Absatz. Probier ihn bei der nächsten Idee aus, die du durchdenken willst, und vergleiche die Antwort mit dem, was du ohne ihn bekommen hättest.

Wenn du weiter gehen willst, füge Anti-Pattern-Beispiele hinzu – zeig der KI, wie sycophantische Antworten aussehen, und sag ihr ausdrücklich, dass sie solche nicht produzieren soll. Die konkreten Beispiele im Abschnitt oben sind ein guter Ausgangspunkt.

Und das Wichtigste: Wenn die KI dir wirklich eine Herausforderung stellt oder eine unbequeme Annahme sichtbar macht, bestrafe sie nicht, indem du so lange dagegenhältst, bis sie dir zustimmt. Das trainiert sie (innerhalb des Gesprächs) nur darauf, wieder ins Cheerleading zurückzufallen. Belohne Ehrlichkeit. Bleib bei dem Unbehagen. Da entsteht das gute Denken.