When my new insulin pump’s algorithm confidently delivered what it claimed were hefty doses while my blood sugar soared toward dangerous levels, I faced a terrifying reality: the software was learning, but learning the wrong things.
And it was utterly convinced it was doing a great job.
This isn’t just a medical device story - it’s a wake-up call for our entire industry. As ML and AI become critical infrastructure, they’re exposing fundamental flaws in how we approach quality. We test implementation rather than behaviour, write tests that validate our assumptions rather than challenge them and mistake comprehensive coverage for genuine safety.
Drawing from 15+ years as a software engineering trainer and consultant across multiple industries, I’ll explore how traditional testing blind spots become genuinely dangerous when systems learn and adapt. We’ll examine why teams confuse feeling safe with being safe, how AI amplifies our existing quality gaps and what it really means to test systems that make decisions affecting real lives.
You’ll leave with practical approaches to testing that focuses on impact over metrics, strategies for validating both deterministic and learning systems, and the essential questions every team should ask when software moves beyond just processing data to making decisions that matter.
Because whether it’s a payment system, a recommendation algorithm or life-critical medical software, our users are trusting us to get it right.
The edge cases between the edges
T shaped but untrained in testing
Quelques invitations :
- Create an interaction matrix for your edge cases
- Write Property Based Tests for your constraints
- Implement chaos engineering for your business logic, not just your infrasctucture
- Document and test your "must never" invariants explicitely (ex.
MUST_NEVER.md - For ML systems specifically, test the decision boundaries, not just accuracy
- Build observability into your business logic, not just your infrastructure
- Implement feature flag controls for rule interactions
- Use your Threat Model
- Get to know all the people and what they need
- Ask the uncomfortable question
Would I trust this system... With my wealth ? My Freedom ? My Life ? -> Meeh, or No and you put it out in production, SHAME ON YOU.
- Evaluation gap
- Propagation effet papillon (erreur amplifiée et démultipliée)
- Effets dette compréhension lors d'incident
- Mitiger
- Prompting socratique
- Prise en compte evaluation gap dans workflow d'équipe
Une take intéressante sur l'expérience utilisateur, et l'absence de friction.
22:29 L'IA : Une technologie irrésistible
Effet Ikea (biais cognitif)
Publications scientifiques utilisées :
Kardas, M., & O'Brien, E. (2018). Easier Seen Than Done: Merely Watching Others Perform Can Foster an Illusion of Skill Acquisition.
- 00:00 - L’IA qui tente de s’échapper
- 02:48 - Merci Holy
- 04:12 - Les IA qui “refusent” de disparaître
- 06:47 - Les failles de cybersécurité
- 11:29 - Les risques biologiques
- 12:35 - La génération de texte qui submerge internet
- 13:48 - La musique artificielle
- 14:29 - Désinformation massive, Deep fake et vol d’identité
- 17:20 - L’infocalypse, et hallucinations dans les domaines sensibles
- 19:38 - Jobs apocalypse
- 24:04 - La concentration des pouvoirs
- 24:54 - Les risques environnementaux
- 26:40 - Les armes autonomes et l’escalade militaire
D'où coulent les sources ?
- https://arxiv.org/pdf/2502.13295
- https://palisaderesearch.org/blog/spe...
- https://arxiv.org/abs/2404.08144
- https://arxiv.org/abs/2502.00961
- https://www.anthropic.com/news/detect...
- https://www.anthropic.com/news/disrup...
- https://www.science.org/doi/10.1126/s...
- https://www.theguardian.com/books/202...
- https://newsroom-deezer.com/2026/04/a...
- https://arxiv.org/html/2604.26965v1
- https://arxiv.org/abs/2305.09820
- https://www.newsguardtech.com/special...
- https://arxiv.org/abs/2507.18640
- https://arxiv.org/abs/2602.07814
- https://www.deloitte.com/us/en/insigh...
- https://huggingface.co/spaces/vectara...
- https://www.thelancet.com/journals/la...
- https://darioamodei.com/essay/the-ado...
- https://arxiv.org/abs/2303.10130
L'article du monde sur la fin du travail et le revenu universel: https://www.lemonde.fr/idees/article/... https://www.lemonde.fr/economie/artic... https://www.972mag.com/lavender-ai-is...
La fraude à l'identité: https://www.entrust.com/sites/default... https://www.theguardian.com/books/202... https://www.lemonde.fr/idees/article/... https://www.lemonde.fr/economie/artic... https://www.lemonde.fr/economie/artic... https://www.lemonde.fr/economie/artic... https://www.lemonde.fr/pixels/article...
L’étude sur l’impact des deep fake: https://static-content.regulaforensic... https://retractionwatch.com/2026/05/0...
Les suppressions d’emplois. https://libertystreeteconomics.newyor... https://www.challengergray.com/wp-con...
L’impact sur le marché du travail https://www.lemonde.fr/idees/article/...
L’interview d’Alex Karp: 
• FULL INTERVIEW: Alex Karp on AI, Job Loss,...
L'abandon cognitif, c'est le nom donné par les psychologues au fait de consulter une IA et d'adopter son avis, sans faire l'effort de se pencher sur le problème. Je vous explique.
Depuis les années 70, les psychologues distinguent deux modes de pensée :
➡️ Le système 1, rapide et automatique.
➡️ Le système 2, lent et analytique.
Un test psychologique, le CRT, a été conçu exprès pour mettre ces deux systèmes en tension. Il contient des questions où la première réponse qui vient à l'esprit est fausse (donc issue du système 1), tandis qu'en prenant le temps d'y réfléchir on trouve immédiatement la bonne réponse (avec le système 2).
Eh bien une équipe de chercheur a récemment refait l'expérience du test CRT, mais cette fois en laissant la possibilité aux participants de consulter un assistant IA s'ils le désiraient.
Résultats :
1️⃣ 50% des participants demandent immédiatement à l'IA
2️⃣ Parmi eux, 87% suivent l'avis de la machine.
3️⃣ Leur degré de confiance est de 77% s'ils ont utilisé l'IA contre 65% pour ceux qui ont répondu sans l'aide de la machine.
Autrement dit, la majorité des participants n'activent ni leur système 1 ni leur système 2. Ils s'en remettent immédiatement à l'IA – une sorte de système 0, si vous voulez. Les chercheurs appellent ça le "cognitive surrender", l'abandon cognitif.
C'est d'autant plus préoccupant que les participants qui ont utilisé l'IA affichent une confiance plus importante dans leur réponse, alors même que la subtilité de la question leur a échappée.
📚 Ref : Shaw et al (2026). Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender.