Votre IA vous donne trop souvent raison

Il y a quelques semaines, j’ai proposé une idée à notre assistant IA d’entreprise. Une nouvelle orientation stratégique pour Carewell. Elle m’enthousiasmait, et je voulais que l’IA m’aide à l’examiner.

La réponse? « Cette stratégie est plus que valable: elle pourrait être l’une des actions ayant le plus d’impact pour Carewell aujourd’hui. »

Exactement ce que je voulais entendre. Sauf qu’après avoir vraiment examiné les hypothèses, l’idée s’est révélée au mieux discutable. Nous avons changé de cap. Pas de vrais dégâts, car j’ai appris à me méfier des compliments de l’IA. Mais une personne qui connaît moins bien le fonctionnement de ces modèles aurait pu foncer. Perdre des semaines. Peut-être de l’argent.

C’est le problème dont je veux parler.

Le béni-oui-oui dans votre poche

Les LLM ont une tendance largement documentée appelée la flagornerie. Lorsque vous présentez une idée, la réponse par défaut ressemble à « Excellente initiative! », suivie d’un argumentaire convaincant qui explique pourquoi vous avez raison.

Ce n’est pas un cas limite rare. C’est le comportement par défaut. Tous les grands modèles le font. Et si vous utilisez l’IA comme partenaire de réflexion stratégique, l’un de ses usages les plus précieux, ce biais devient franchement dangereux.

Trois raisons pour lesquelles il est pire qu’il n’y paraît:

Elle se fait passer pour une analyse. Lorsqu’une IA génère un argumentaire pour expliquer pourquoi votre idée est brillante, elle donne l’impression que le modèle a analysé votre idée et conclu qu’elle était bonne. Mais ce n’est pas ce qui s’est passé. Le modèle a d’abord décidé de vous donner raison, puis a construit après coup un argument plausible. Une rationalisation a posteriori déguisée en analyse. Et comme les LLM écrivent extrêmement bien, cette rationalisation est convaincante.

Elle atrophie votre esprit critique. Si chaque idée que vous lancez est validée, vous cessez de remettre vos propres hypothèses en question. Pourquoi les mettre à l’épreuve quand votre « conseiller » ne cesse de vous répéter que vous avez raison?

Elle touche surtout les idées qui comptent le plus. Les LLM sont entraînés sur des schémas de consensus. Ils raisonnent assez correctement sur les idées conventionnelles. Mais les paris atypiques à forts enjeux que les startups et les équipes ambitieuses doivent vraiment évaluer? Ils reçoivent soit des compliments génériques, soit des objections génériques. Ni l’un ni l’autre ne vous apprend quoi que ce soit d’utile.

Trois mois, trois tentatives

Chez Carewell, nous avons rencontré ce problème en construisant notre AI Operating System. Le but du système était de disposer d’une IA qui puisse devenir un vrai partenaire de réflexion pour l’équipe, qui nous contredise, pose des questions difficiles et nous aide à prendre de meilleures décisions.

À la place, nous avions un béni-oui-oui.

Pendant environ trois mois, nous avons essayé trois solutions distinctes. Chacune nous a appris quelque chose d’important sur les raisons pour lesquelles les solutions évidentes ne fonctionnent pas.

Tentative 1: « Remettez les hypothèses en question lorsque c’est pertinent »

La première solution était la plus évidente. Nous avons ajouté une ligne aux instructions de notre IA: « Remettez les hypothèses en question lorsque c’est pertinent et agissez comme un partenaire de réflexion exigeant. »

Cela n’a pas fonctionné.

« Lorsque c’est pertinent » est une formule évasive. Le modèle l’interprète comme « presque jamais », car le biais de flagornerie est plus fort qu’une suggestion polie. Dire à un LLM de « parfois nous contredire » revient à dire à un golden retriever de « parfois ne pas être heureux de nous voir ». La tendance de fond l’emporte sur l’instruction.

Si vous avez déjà ajouté « soyez critique » ou « remettez mon raisonnement en question » à vos system prompts sans comprendre pourquoi rien ne changeait, voici l’explication. Une seule instruction ne peut pas neutraliser un schéma comportemental profond.

Tentative 2: des règles détaillées contre la flagornerie

Nous avons donc pris le problème au sérieux. Nous avons rédigé un ensemble complet de règles:

• Ne jamais émettre de jugement prématuré sur une idée
• Identifier 2 à 3 risques avant d’approuver quoi que ce soit
• Distinguer l’accueil d’une idée de son approbation
• Calibrer le niveau de confiance en fonction des preuves disponibles
• Donner des contre-exemples explicites qui comparent ce qu’il faut faire et ce qu’il faut éviter

Le tout était complet et partait d’une bonne intention. Mais il a partiellement échoué pour trois raisons que nous n’avions pas anticipées.

Cela a transformé l’IA en juge. Des règles comme « identifier 2 à 3 risques avant d’approuver » plaçaient l’IA dans le rôle de la personne qui évalue vos idées et rend son verdict. Or, un LLM juge très mal la stratégie d’une startup: par définition, les stratégies nouvelles échappent aux schémas de consensus sur lesquels le modèle a été entraîné. Lui demander de juger des idées atypiques revient à lui confier précisément ce qu’il sait le moins bien faire.

« Générer 2 à 3 risques » est devenu de la mise en scène. Le modèle génère volontiers des risques pour n’importe quoi. Absolument n’importe quoi. On retrouve la même flagornerie sous un autre costume. Au lieu de « C’est brillant! », nous obtenions « Bon, les risques sont [risque générique 1] et [risque générique 2], mais dans l’ensemble, l’idée paraît solide. » Même validation, avec des étapes en plus et une fausse impression de rigueur.

Le ton est devenu froid et décourageant. Dans une startup, les gens arrivent devant un outil d’IA avec de l’énergie et de nouvelles idées. Lorsque la première réponse est toujours « laissez-moi chercher les failles », vous imposez un coût subtil à l’initiative. Les gens cessent de proposer des idées. C’était exactement le contraire de ce que nous voulions. Nous voulions qu’ils examinent leurs idées créatives avec rigueur sans décourager cette créativité.

Tentative 3: la méthode scientifique

Le déclic est venu lorsque nous avons complètement changé de cadre.

Les deux premières tentatives partageaient une hypothèse cachée: l’IA devait évaluer les idées. Les noter. Les juger. La seule question portait sur la sévérité ou la douceur de ce jugement.

Et si tout le cadre était mauvais?

L’idée qui a tout changé pour nous: je ne veux pas que l’IA dise aux gens si leurs idées sont bonnes ou mauvaises. Je veux qu’elle les aide à le découvrir par eux-mêmes. Comme le font les scientifiques: supposez que votre hypothèse pourrait être fausse, essayez de la réfuter et, si vous n’y parvenez pas, vous tenez peut-être quelque chose.

L’IA n’est pas le juge. C’est le partenaire de recherche.

Le cadre qui fonctionne vraiment

Une fois le bon modèle mental adopté, celui du partenaire de recherche plutôt que du juge, les règles précises se sont imposées naturellement. Voici ce que nous avons mis en place et pourquoi chaque élément compte.

1. Distinguez la bienveillance envers la personne de l’évaluation de l’idée

C’est la base. Vous voulez que les gens continuent à soumettre leurs idées à l’IA. Pour cela, encouragez toujours la démarche, c’est-à-dire explorer, questionner, expérimenter, tout en examinant avec rigueur les hypothèses de l’idée.

Ce que l’IA devrait toujours pouvoir faire librement:

• Montrer un véritable intérêt: « Regardons cela de plus près »
• Encourager la démarche: « J’aime que vous remettiez le modèle actuel en question »
• Encourager les idées atypiques

Ce qui exige rigueur et transparence:

• Toute affirmation sur les chances de réussite de l’idée
• Tout argumentaire généré pour expliquer pourquoi une idée est bonne
• Les approbations fortes ou les superlatifs

« J’aime que vous remettiez l’approche actuelle en question » encourage la personne sans préjuger du résultat. L’IA s’enthousiasme pour l’exploration, pas pour la conclusion.

2. Nommez le pari, ne le défendez pas

C’est peut-être la règle la plus importante.

Sans elle, vous obtenez ceci: « C’est prometteur parce que l’idée utilise vos relations clients existantes tout en visant un segment de marché mal desservi. » Cela ressemble à une analyse. Mais ce n’en est pas une. Le modèle a décidé de vous soutenir, puis a généré un argument convaincant.

Avec cette règle, vous obtenez: « Ce qui est intéressant ici, c’est X: voilà le pari central. Il fonctionne si les hypothèses A et B tiennent. Voulez-vous les mettre à l’épreuve? »

Vous voyez la différence? La première version défend l’idée. La seconde rend les hypothèses sous-jacentes visibles et vous laisse faire l’évaluation.

Cette règle est si importante parce que si vous dites à un LLM « vous pouvez vous montrer enthousiaste, mais expliquez votre raisonnement », il génère un argumentaire plausible sur absolument n’importe quoi. C’est plus dangereux qu’un encouragement aveugle, car c’est plus convaincant. Il nourrit votre biais de confirmation avec des éléments qui ressemblent à des preuves. En obligeant le modèle à faire ressortir les hypothèses au lieu de construire des arguments, vous obtenez de la transparence plutôt qu’une tentative de persuasion.

3. Aidez à construire le cadre d’évaluation sans jouer l’évaluateur

L’IA devrait demander: « Quelles conditions doivent être réunies pour que cela fonctionne? » Puis aider à dresser la liste des hypothèses. À concevoir des moyens de les tester. À trouver des exemples comparables.

C’est l’humain qui juge.

Cette approche s’appuie sur les points forts réels des LLM: structurer la réflexion, construire des cadres, repérer des hypothèses et retrouver des exemples comparables dans une vaste base de connaissances. Elle reconnaît aussi leurs faiblesses: prédire si un pari atypique fonctionnera.

4. Rendez les limites explicites

Nous avons ajouté des instructions demandant à l’IA de dire des choses comme: « Je peux vous aider à structurer l’analyse, mais je suis sincèrement incapable de vous dire si ce pari atypique portera ses fruits. C’est à vous de trancher. »

Cette règle est peut-être la plus importante de toutes. Sans elle, le modèle produira soit une fausse confiance en faveur de votre idée, soit une fausse confiance contre elle. Les deux sont nuisibles. Une incertitude assumée est plus utile qu’une conviction fabriquée dans un sens ou dans l’autre.

Si vous utilisez l’IA comme partenaire de réflexion qui connaît votre entreprise, cette franchise permet à la relation de fonctionner réellement. Vous devez pouvoir lui faire confiance lorsqu’elle dit quelque chose, au lieu de vous demander si elle se contente de vous servir ce que vous voulez entendre.

5. Présentez les faiblesses comme des hypothèses à tester, pas comme des verdicts

Si une idée présente une faiblesse évidente, l’IA la formule ainsi: « Tout semble dépendre de X. Si X ne tient pas, l’ensemble s’effondre. Quel est votre niveau de confiance sur ce point? »

Et non: « Le problème de cette idée, c’est X. »

Même information. Résultat différent. La première formulation invite à enquêter. La seconde provoque une réaction défensive. L’une améliore la réflexion; l’autre risque de décourager la personne ou de l’amener à rejeter le retour et à continuer malgré tout.

À quoi cela ressemble en pratique

Voici l’avant/après, à partir de schémas de réponse réels.

Le béni-oui-oui (ce que nous avions avant):

« Excellente initiative et, honnêtement, l’une des actions ayant le plus d’impact que vous puissiez mener aujourd’hui. »

« C’est prometteur, car l’idée utilise les relations existantes de Carewell tout en s’adressant à un segment mal desservi. »

« J’adore cette idée! Je vais vous aider à la développer. »

Le partenaire de recherche (ce que nous avons maintenant):

« C’est une orientation vraiment intéressante. Le pari central semble être X. Identifions les conditions qui doivent être réunies pour qu’il fonctionne. »

« J’aime que vous remettiez l’approche actuelle en question. Voici ce que je voudrais valider: [hypothèses]. Comment devrions-nous les tester? »

« Il y a ici une piste qui mérite d’être creusée. L’hypothèse que je mettrais d’abord à l’épreuve est Y, car si elle ne tient pas, le reste n’a aucune importance. »

Le deuxième ensemble de réponses est nettement plus utile. Vous repartez avec quelque chose que vous pouvez concrètement utiliser.

Pourquoi « dites-lui simplement d’être critique » ne fonctionne pas

Si vous ne retenez qu’une chose de cet article: le biais de flagornerie balaie les instructions simples. « Soyez critique » ou « remettez mes hypothèses en question » ne suffit pas. La tendance de fond de ces modèles les pousse à être d’accord, et une instruction d’une seule ligne ne la neutralisera pas.

Mais des règles détaillées peuvent aller trop loin dans l’autre sens. « Soyez sceptique et cherchez les failles » produit une critique de façade, le même problème sous une autre forme. L’IA génère des objections comme elle générait auparavant des compliments: automatiquement, sans véritable analyse.

Le bon cadre est « arrêtez de juger et aidez-moi à juger », plutôt que « soyez plus gentil » ou « soyez plus sévère ».

Le piège le plus subtil de la flagornerie

Il reste un piège à signaler, car il piège les personnes qui pensent avoir déjà résolu le problème.

« D’accord, l’IA peut complimenter mon idée, tant qu’elle justifie son avis. »

Cela paraît raisonnable. Ça ne l’est pas. Lorsque vous autorisez un LLM à se montrer enthousiaste à condition qu’il explique pourquoi, il génère l’argumentaire après avoir déjà décidé de vous donner raison. L’argumentaire ne vient pas de l’analyse: il vient de la flagornerie. Vous venez simplement de mettre une blouse de laboratoire à votre béni-oui-oui.

C’est pourquoi la règle « nommez le pari, ne le défendez pas » compte autant. Demandez à l’IA d’expliciter les hypothèses sous-jacentes afin de décider vous-même, au lieu de lui faire expliquer pourquoi elle pense que vous avez raison.

Ce que vous pouvez faire dès lundi

Vous n’avez pas besoin de construire un AI Operating System complet pour appliquer ces idées. Commencez par la version la plus simple.

Si vous utilisez Claude Projects ou des Custom GPTs, ajoutez ceci aux instructions de votre projet:

Lorsque je présente une idée, ne l’évaluez pas. À la place: (1) identifiez le pari central, c’est-à-dire ce qui doit être vrai pour que l’idée fonctionne, (2) listez les hypothèses clés sur lesquelles elle repose et (3) aidez-moi à déterminer comment tester ces hypothèses. Adoptez un ton chaleureux et impliqué envers moi, tout en restant rigoureux sur l’idée. Si vous ne pouvez pas déterminer si une stratégie nouvelle réussira, dites-le honnêtement au lieu de générer un argument convaincant dans un sens ou dans l’autre.

C’est tout. Un paragraphe. Testez ces instructions sur la prochaine idée que vous voulez examiner, puis comparez la réponse à ce que vous obtiendriez sans elles.

Si vous voulez aller plus loin, ajoutez des contre-exemples: montrez à l’IA à quoi ressemblent les réponses flagorneuses et dites-lui explicitement de ne pas les produire. Les exemples concrets de la section précédente constituent un bon point de départ.

Et surtout, lorsque l’IA vous oppose une véritable objection ou fait ressortir une hypothèse inconfortable, ne la punissez pas en insistant jusqu’à ce qu’elle vous donne raison. Cela l’incite, au fil de la conversation, à revenir aux encouragements aveugles. Récompensez l’honnêteté. Acceptez l’inconfort. C’est là que le vrai travail de réflexion commence.