Mesurer le ROI d’un outil IA à 90 jours : la méthode des compteurs

La question revient à chaque audit : « comment saurons-nous que ça a marché ? » Elle est rarement posée au bon moment. Quand elle arrive après la livraison, il est trop tard : personne ne sait plus ce que valait la situation d’avant.

Le compteur se choisit avant, pas après

Un indicateur choisi après coup est toujours flatteur, parce qu’on choisit celui qui a bougé. Nous relevons donc la mesure le premier jour de l’audit, avant d’avoir écrit une ligne de code, et nous la figeons par écrit dans le plan d’action.

Le bon compteur a trois propriétés. Il existe déjà chez vous, donc personne ne le soupçonne d’avoir été fabriqué pour l’occasion. Il se relève sans nous, sur vos propres systèmes. Et il tient en une phrase que votre direction comprend sans explication.

• Le nombre d’arrêts non planifiés sur une ligne donnée, sur trente jours glissants
• Le temps moyen pour retrouver une information technique, chronométré sur dix recherches réelles
• Le taux de ressaisie entre deux systèmes, compté sur une semaine type

Pourquoi la démonstration ne prouve rien

Une démonstration se prépare. On choisit les données d’entrée, on écarte les cas tordus, on répète. Elle démontre qu’un modèle peut produire un bon résultat dans des conditions favorables, ce dont personne ne doute.

Ce qui reste inconnu après une démonstration réussie : le comportement sur les cas rares, la charge réelle, la réaction des équipes le lundi matin, et surtout la tenue dans le temps. C’est précisément ce que la mesure à 90 jours attrape.

Une démonstration brillante en janvier, abandonnée en avril. C’est le scénario le plus fréquent, et il ne se voit sur aucun indicateur choisi après coup.

Trente jours, puis quatre-vingt-dix

Le relevé à 30 jours sert à détecter l’abandon précoce : l’outil est-il ouvert, par qui, combien de fois. Celui à 90 jours sert à mesurer l’effet réel, quand la nouveauté est retombée et que les habitudes ont eu le temps de se reformer.

Si l’indicateur n’a pas bougé à 90 jours, deux issues sont prévues au contrat : nous reprenons le développement à notre charge dans la limite convenue, ou nous arrêtons et vous gardez le code, le dépôt et la documentation.

Ce que cette méthode coûte

Elle coûte une demi-journée d’audit supplémentaire, celle passée à identifier le compteur et à le relever proprement. Elle coûte aussi quelques projets : certains cas d’usage ne survivent pas à l’exercice, parce qu’on découvre en cherchant l’indicateur qu’il n’y a rien à mesurer.

C’est le but. Un cas d’usage dont on ne sait pas dire ce qu’il améliorerait, ni de combien, ne mérite pas une mise en œuvre.