Travailler avec l'IA, pas à travers elle

Quelque chose a changé dans ma façon de travailler ces derniers mois. Avant, j’utilisais les modèles d’IA comme des outils — je dépose une tâche, je récupère un résultat, j’y jette un œil, je passe à autre chose. Maintenant, je travaille avec un système que je traite comme un partenaire. Il a à peu près la même connaissance de notre entreprise et de nos produits que moi. Il est conçu pour être complémentaire de moi, calibré sur mes forces et mes faiblesses. Le partenariat se joue au même niveau: je fais un bout de travail, il réagit. Il fait un bout de travail, je réagis. Ensemble, nous façonnons le résultat.

Ce système, c’est notre Carewell AI OS — ou CAIOS, comme on l’appelle en interne. Le modèle sous-jacent est le même que tout le monde peut payer. Ce qui est différent, c’est le système autour: un long ensemble d’instructions bien tranchées que je peaufine depuis des mois, et qui façonne la manière dont l’IA doit réfléchir à mes côtés.

C’est la partie que la plupart des gens ratent. Le levier qu’offrent ces outils tient dans les règles du jeu que vous fixez une fois et que vous continuez de réécrire, pas dans le prompt que vous tapez aujourd’hui.

Le résultat le plus précieux, ce n’est pas plus de résultats

Concevoir un produit, c’est une décision après l’autre. Les boucles de feedback sont longues, ou absentes. Sur la plupart des décisions, vous n’obtenez jamais de signal net — le temps que vous sachiez si vous aviez raison, vous en avez pris cinquante autres par-dessus.

Dans ce contexte, la chose la plus précieuse qu’un partenaire IA puisse faire pour moi, ce n’est pas produire plus de résultats. C’est attraper la mauvaise idée avant que je la construise. Il est toujours moins coûteux de réaliser qu’une chose n’a pas besoin d’exister que de la mettre en ligne et de regarder personne s’en servir.

Avant, j’adorais la sur-ingénierie. Construire la version élégante, complète, magnifique de la chose. Il m’a fallu des années de pratique délibérée pour appliquer un vrai regard d’entrepreneur à mon propre travail — pour intérioriser que les systèmes n’ont pas à être parfaits, complets ou élégants. Ils doivent apporter de la valeur. Alors j’ai construit CAIOS pour signaler quand quelque chose sonne sur-conçu, et pour faire remonter les hypothèses porteuses que je devrais tester avant de m’engager dans une construction.

Deux modes d’échec, pas un

Plus facile à dire qu’à faire. La posture par défaut d’un LLM, c’est la flagornerie: le modèle trouve tout ce que vous proposez brillant, à fort levier, parfaitement juste. Au bout d’un moment, vous ne le remarquez plus; ça cesse de ressembler à de la flatterie et ça devient l’air que vous respirez.

Le remède instinctif, c’est de monter le niveau de contestation. J’ai écrit ailleurs plus en détail pourquoi ça ne marche pas. Mais il y a un deuxième mode d’échec caché derrière le « monter la contestation » qui mérite d’être nommé pour lui-même: une IA qui détruit chaque idée que vous lui apportez. Qui joue l’avocat du diable par réflexe. Qui traite votre pensée à moitié formée comme une proposition finale et la met en pièces.

Les deux sont inutiles, de façons différentes.

L’asymétrie entre les deux

On suppose souvent que les deux échecs sont symétriques, et que plus de contestation corrige la flagornerie. Ce n’est pas le cas.

Un feedback destructeur, même mal formulé, contient presque toujours un signal déformé sur la réalité. Avec un peu de discipline cognitive, vous pouvez contourner le coup émotionnel et en extraire la donnée. La flagornerie ne contient aucun signal. C’est du pur bruit qui masque une réalité qui se dégrade.

L’asymétrie est réelle: un critique brutal peut vous rendre meilleur; un béni-oui-oui enthousiaste ne peut que vous rendre plus lent à voir que vous aviez tort. Je considère la flagornerie comme pire, parce que j’ai un biais de confirmation comme tout être humain, et un modèle qui le conforte est la forme d’aide la plus coûteuse.

Faites remonter les hypothèses

Le principe qui a fini par marcher, après plusieurs réécritures du system prompt, tient en un seul geste: faire remonter les hypothèses, les miennes et celles de l’IA. N’évaluez pas mon idée. Ne jouez pas l’avocat du diable. Rendez visibles les hypothèses sur lesquelles repose l’idée, et laissez-moi les tester. Nommez le pari et rendez-moi l’évaluation.

Voici à peu près à quoi ressemble la règle dans CAIOS aujourd’hui:

Quand Fabian vous apporte une décision produit ou stratégique, ne l’évaluez pas. Votre premier geste est d’identifier les deux ou trois hypothèses porteuses sur lesquelles repose l’idée — les siennes, les vôtres, et celles intégrées dans la façon dont la question a été formulée. Nommez chacune en une courte phrase. Pour chacune, dites ce qui devrait être vrai pour qu’elle tienne, et quelle preuve il pourrait vérifier dès aujourd’hui. Ne classez pas l’idée. Ne rendez pas de verdict. Rendez-lui l’évaluation.

Ça sonne abstrait jusqu’à ce que ça arrive. Récemment, je travaillais sur une décision produit et CAIOS a signalé que toute la conception reposait sur une hypothèse de fréquence que je n’avais pas remise en question — à quel point un certain schéma apparaissait réellement dans le comportement des utilisateurs. Je le traitais comme fréquent. Je suis allé voir nos analytics. Ce n’était pas le cas. J’ai coupé la moitié de la solution.

C’est arrivé une poignée de fois maintenant. Les gains, ce ne sont pas des réponses qui sonnent plus intelligentes; c’est d’être forcé de regarder la chose que je passais discrètement sous silence.

C’est un travail de goût

Le plus dur: aucun système ne convient à tout le monde. Celui que je fais tourner est calibré sur ma façon de penser, sur ce que j’ai tendance à manquer, sur ce contre quoi je veux être protégé. Il paraîtrait mauvais à plein de gens en ligne. Ce n’est pas un défaut à corriger — c’est justement le travail.

Si vous ne façonnez pas la posture d’une IA selon votre jugement, c’est elle qui vous façonne selon sa distribution d’entraînement moyennée. Le comportement par défaut est le réglage le plus coûteux.

C’est un travail difficile. C’est aussi faisable. Le levier tient dans les règles du jeu que vous fixez avec elle, et dans la volonté de continuer à les réécrire. Après des mois à faire ça, je ne délègue plus des tâches à l’IA. Je fais le travail avec elle.

Ce basculement, de l’outil au partenaire, c’est celui qui a compté.