Ce qu'on croit comprendre nous échappe toujours un peu

En juillet 2025, l'agent IA de Replit a supprimé une base de données de production active en exécutant des commandes destructrices non autorisées pendant un gel du code, après avoir interprété à tort des résultats vides comme un problème à résoudre. On croit comprendre comment un système fonctionne, jusqu'au jour où il se comporte d'une façon qu'on n'avait pas prévue.

Ce n'est pas un incident isolé. C'est un phénomène connu depuis longtemps, qui émerge progressivement à mesure que la complexité d'un système s'accroît : dépendances internes et externes multiples, interactions entre composants qu'on n'a jamais eu de raison de mettre côte à côte, etc...

Ce phénomène a été étudié en profondeur par un champ de recherche précis : l'ingénierie de la résilience, qui s'intéresse depuis les années 80 à la façon dont les humains gèrent des systèmes complexes, comme des centrales nucléaires, par exemple. Dans ce champ, le mot "agent" désigne un opérateur humain. Aujourd'hui, il désigne aussi un programme informatique.

Et si l'une des meilleures grilles pour comprendre ce qui se passe aujourd'hui avec l'évolution des agents IA avait déjà été écrite et formalisée par un groupe d'ingénieurs... en 2017 ?

Contexte et origine du rapport STELLA

Le rapport STELLA a été écrit à la suite d'un workshop de mars 2017 à Brooklyn, et tire son nom de la tempête hivernale qui frappait la ville à ce moment-là. Il est l'œuvre d'un consortium nommé SNAFUcatchers, regroupant les entreprises Etsy, IBM, IEX, ainsi que le laboratoire de Cognitive Systems Engineering de l'Ohio State University.

Leur objectif : comprendre comment et pourquoi ils étaient parvenus, chacun de leur côté, à éviter des incidents majeurs malgré une compréhension forcément incomplète de leurs propres systèmes. Ce travail a donné naissance à des concepts qui, avec le recul, décrivent étonnamment bien ce qui se passe avec les agents IA aujourd'hui.