Les ironies de l’automatisation
Plus la machine est fiable, moins l’humain sait la remplacerEn 1983, la psychologue Lisanne Bainbridge décrit un paradoxe : on automatise parce que l’humain se trompe, puis on lui confie la seule tâche qui reste, la plus difficile : reprendre la main quand la machine échoue. Or ce qu’on ne pratique plus, on le perd. Chez Kumo, le logiciel d’entrepôt prépare les commandes. Choisis la part automatisée et le nombre d’exercices manuels par mois, puis regarde si l’équipe sauve le Black Friday, en novembre, quand le logiciel tombe en panne.
Le vol Air France 447
Le 1er juin 2009, l’Airbus Rio-Paris traverse une zone orageuse au-dessus de l’Atlantique. Les sondes de vitesse givrent, le pilote automatique se déconnecte et rend la main à l’équipage, de nuit, en haute altitude. Les pilotes, peu entraînés au pilotage manuel dans ces conditions, ne reconnaissent pas le décrochage. L’avion tombe dans l’océan : 228 morts. Le rapport final du Bureau d’enquêtes et d’analyses, en juillet 2012, recommande notamment de renforcer l’entraînement au pilotage manuel.
À retenir : une automatisation très fiable rend chaque panne plus dangereuse. On garde la compétence vivante par l’exercice, et on prévoit le moment où la machine rend la main.
Sources : BEA, rapport final sur l’accident du vol AF 447, juillet 2012 ; Lisanne Bainbridge, « Ironies of Automation », Automatica, 1983.
Au bureau aussi. Le jour où l’outil de facturation tombe, qui sait encore établir une facture conforme à la main ? Documente la procédure manuelle et fais-la tourner deux fois par an.
La vigilance s’use. Surveiller une machine qui ne se trompe presque jamais est une tâche que l’humain fait mal. Plutôt que « surveiller », donne-lui des contrôles actifs et réguliers.
La check-list
L’automatisation la plus simple, et souvent la plus rentableAvant d’automatiser un processus, on peut le fiabiliser. Un processus de dix étapes où chaque étape est oubliée une fois sur cinquante rate une fois sur six. Une check-list courte, lue au bon moment, divise les oublis sans aucun logiciel. Kumo fait chaque mois 200 clôtures de commandes professionnelles (clubs, entreprises) : devis, bon de commande, facture, numéro de TVA, relance… Règle le processus et vois ce que la liste change.
Cinq gestes contre les infections, dans 103 réanimations
Le médecin Peter Pronovost, à l’hôpital Johns Hopkins, rédige une liste de cinq gestes à respecter en posant un cathéter central : se laver les mains, désinfecter la peau, s’habiller stérilement… Rien de nouveau, mais des oublis fréquents. Avec le programme Keystone, 103 unités de réanimation du Michigan l’adoptent, et autorisent les infirmières à arrêter le geste si une étape manque. Le taux médian d’infections tombe à zéro en trois mois, et le taux moyen baisse jusqu’à 66 % après 18 mois.
À retenir : la liste ne remplace pas l’expertise, elle protège des oublis de l’expert. Et elle ne marche que si quelqu’un a le droit de dire « stop ».
Sources : Peter Pronovost et coll., New England Journal of Medicine, décembre 2006 ; Atul Gawande, The Checklist Manifesto, 2009.
Courte, au bon moment. Cinq à neuf points, lus à une pause naturelle (avant d’envoyer, avant de valider). Une liste de quarante lignes n’est lue par personne.
D’abord la liste, ensuite le logiciel. Un processus qu’on sait faire tourner avec une check-list est un processus qu’on peut automatiser. Automatiser un processus flou, c’est automatiser le désordre.
Réduire le frottement
Chaque étape inutile perd des gens et des joursUn processus interne a des clients, eux aussi : les salariés. Chaque étape en plus (une saisie, un justificatif, une validation) fait abandonner ou retarder une partie d’entre eux. Dans une PME de services, les notes de frais arrivent en retard, la clôture du mois glisse, et l’assistante administrative relance à la main. Retire des points de frottement et regarde la part de notes rendues à temps.
La déclaration de revenus que l’on n’a plus à faire
Après le prélèvement à la source en 2019, l’administration fiscale française va plus loin au printemps 2020 : la déclaration automatique. Pour les foyers dont la situation est simple et les revenus déjà connus, il n’y a plus rien à envoyer. Si les informations préremplies sont exactes, ne rien faire vaut déclaration. L’étape la plus redoutée de l’année disparaît pour des millions de foyers, sans perte de recettes.
À retenir : la meilleure automatisation supprime une étape au lieu de l’accélérer. On demande d’abord : cette saisie, cette validation, ce justificatif servent-ils encore ?
Source : Direction générale des Finances publiques, campagne de déclaration des revenus 2020 (revenus 2019).
La facture électronique arrive. En France, la réception des factures électroniques devient obligatoire pour toutes les entreprises à partir de septembre 2026, l’émission s’étale jusqu’en 2027 selon la taille. C’est l’occasion de supprimer des saisies, pas d’en ajouter.
Mesurer avant de couper. Chronomètre le circuit une semaine : les délais se cachent souvent dans les attentes entre deux étapes, pas dans les étapes elles-mêmes.
Quand automatiser vaut le coup
Temps gagné, fréquence et durée de vie, contre construction et maintenanceUne automatisation coûte deux fois : pour la construire, puis pour l’entretenir (les outils changent, les règles aussi). Elle rapporte le temps gagné à chaque exécution, tant que le processus existe. Une tâche courte mais quotidienne peut valoir plus qu’une tâche longue mais annuelle. Kumo hésite à automatiser le rapprochement des paiements et des commandes. Règle les paramètres, et cherche aussi une tâche qui ne vaut pas la peine.
Knight Capital perd 440 millions de dollars en 45 minutes
Le 1er août 2012, la société de courtage Knight Capital déploie un nouveau logiciel d’ordres automatiques. Sur un de ses huit serveurs, l’ancien code n’a pas été retiré et se réveille. En 45 minutes, le système envoie des millions d’ordres non voulus sur le marché américain. La perte atteint environ 440 millions de dollars, la société doit être sauvée puis rachetée. L’autorité des marchés américaine sanctionne en 2013 l’absence de contrôles de déploiement.
À retenir : le calcul de rentabilité doit compter le coût d’une erreur automatisée. Une machine se trompe moins souvent, mais à grande vitesse et en série : prévois un arrêt d’urgence et un déploiement progressif.
Source : U.S. Securities and Exchange Commission, décision relative à Knight Capital Americas, octobre 2013.
Le tableau de xkcd. En 2013, le dessinateur Randall Munroe publie « Is It Worth the Time? » : combien de temps passer à optimiser une tâche selon sa fréquence et le temps gagné, sur cinq ans. Un bon réflexe avant de lancer un chantier.
La maintenance est le coût oublié. Compte au moins 10 à 20 % du coût de construction par an pour suivre les changements d’outils, de formats et de règles.
Agents IA : l’humain dans la boucle
Une IA qui a raison 95 % du temps se trompe 50 fois sur 1 000Un agent IA peut lire une facture, la coder, la déposer et relancer le client. Il va vite et se trompe rarement, mais pas jamais, et ses erreurs sont plausibles. Toute la question est la supervision : tout relire coûte presque autant que faire à la main, ne rien relire laisse passer les erreurs. La bonne réponse est souvent d’envoyer à un humain les cas où l’agent est le moins sûr de lui. Une PME traite 1 000 factures fournisseurs par mois : règle ton agent.
Air Canada responsable de ce qu’a dit son chatbot
Après le décès de sa grand-mère, un client demande au chatbot d’Air Canada s’il peut obtenir un tarif réduit pour deuil après coup. L’agent conversationnel répond que oui, dans les 90 jours. C’est faux : la politique de la compagnie l’interdit. Devant le tribunal civil de Colombie-Britannique, Air Canada soutient que le chatbot est une entité distincte, responsable de ses propres propos. Le tribunal rejette l’argument en février 2024 et condamne la compagnie à rembourser la différence.
À retenir : l’entreprise répond de ce que dit et fait son agent IA. Sur les sujets à enjeu (prix, droits, argent), soit l’agent cite une source validée, soit un humain valide.
Source : Civil Resolution Tribunal de Colombie-Britannique, Moffatt c. Air Canada, 2024 BCCRT 149, 14 février 2024.
Klarna, l’aller-retour. Début 2024, Klarna annonce que son assistant IA fait le travail de 700 agents du service client. En 2025, son dirigeant reconnaît que la qualité en a souffert et que l’entreprise remet des humains joignables. Le coût unitaire ne dit pas tout.
Journal et arrêt d’urgence. Tout agent qui agit (payer, envoyer, supprimer) doit tracer chaque action, avoir des plafonds (montant, volume par jour) et un bouton pour tout arrêter. Le règlement européen sur l’IA impose en outre une supervision humaine pour les usages à haut risque.
Faut-il automatiser cette tâche ?
Atelier Ton inventaire, trié par valeur et par risqueÀ toi. Liste les tâches répétitives de ton équipe : fréquence, durée, taux d’erreur actuel, complexité, gravité d’une erreur, et l’outil envisagé (règle simple, automate type RPA, agent IA). L’outil calcule le temps gagné, la rentabilité sur ton horizon, le niveau de supervision humaine à garder, place chaque tâche sur une matrice valeur × risque et propose un plan en trois vagues. Tout est sauvegardé dans ton navigateur.
Ta synthèse
Remplis l’outil ou charge un exemple pour voir le plan.
Garder la main
Ce qu’on n’exerce plus, on le perd. Prévoir le jour où la machine rend la main.
Fiabiliser d’abord
Une check-list courte, puis on supprime les étapes inutiles, puis on automatise.
Compter juste
Fréquence × temps gagné × durée de vie, contre construction, maintenance et coût d’une erreur.
L’humain dans la boucle
Envoyer à un humain les cas incertains et à enjeu ; tracer, plafonner, pouvoir tout arrêter.
Pour aller plus loin
- Lisanne Bainbridge, « Ironies of Automation », Automatica, vol. 19, no 6, 1983.
- Bureau d’enquêtes et d’analyses (BEA), rapport final sur l’accident survenu le 1er juin 2009 à l’Airbus A330-203 vol AF 447, juillet 2012.
- Peter Pronovost et coll., « An Intervention to Decrease Catheter-Related Bloodstream Infections in the ICU », New England Journal of Medicine, 2006.
- Atul Gawande, The Checklist Manifesto, Metropolitan Books, 2009.
- U.S. Securities and Exchange Commission, In the Matter of Knight Capital Americas LLC, octobre 2013.
- Randall Munroe, « Is It Worth the Time? », xkcd no 1205, 2013.
- Civil Resolution Tribunal (Colombie-Britannique), Moffatt v. Air Canada, 2024 BCCRT 149.
- Règlement (UE) 2024/1689 sur l’intelligence artificielle, article 14 (contrôle humain).