When my new insulin pump’s algorithm confidently delivered what it claimed were hefty doses while my blood sugar soared toward dangerous levels, I faced a terrifying reality: the software was learning, but learning the wrong things.
And it was utterly convinced it was doing a great job.
This isn’t just a medical device story - it’s a wake-up call for our entire industry. As ML and AI become critical infrastructure, they’re exposing fundamental flaws in how we approach quality. We test implementation rather than behaviour, write tests that validate our assumptions rather than challenge them and mistake comprehensive coverage for genuine safety.
Drawing from 15+ years as a software engineering trainer and consultant across multiple industries, I’ll explore how traditional testing blind spots become genuinely dangerous when systems learn and adapt. We’ll examine why teams confuse feeling safe with being safe, how AI amplifies our existing quality gaps and what it really means to test systems that make decisions affecting real lives.
You’ll leave with practical approaches to testing that focuses on impact over metrics, strategies for validating both deterministic and learning systems, and the essential questions every team should ask when software moves beyond just processing data to making decisions that matter.
Because whether it’s a payment system, a recommendation algorithm or life-critical medical software, our users are trusting us to get it right.
The edge cases between the edges
T shaped but untrained in testing
Quelques invitations :
- Create an interaction matrix for your edge cases
- Write Property Based Tests for your constraints
- Implement chaos engineering for your business logic, not just your infrasctucture
- Document and test your "must never" invariants explicitely (ex.
MUST_NEVER.md - For ML systems specifically, test the decision boundaries, not just accuracy
- Build observability into your business logic, not just your infrastructure
- Implement feature flag controls for rule interactions
- Use your Threat Model
- Get to know all the people and what they need
- Ask the uncomfortable question
Would I trust this system... With my wealth ? My Freedom ? My Life ? -> Meeh, or No and you put it out in production, SHAME ON YOU.
- Objectif : Identifier les enjeux éthiques et environnementaux de l'IA
- Durée : 1 heure (adaptable)
- Public cible : élèves, étudiants, enseignants et formateurs
- Âge : à partir de 13 ans
Ce guide a été conçu dans le cadre du programme Alt Impact, co-porté par l’ADEME, le CNRS et Inria. Ce projet a pour ambition de former et de sensibiliser un large public aux enjeux de l’impact environnemental du numérique. Plusieurs cibles ont été définies pour accompagner la transition : le grand public, les organisations professionnelles publiques et privées, ainsi que les acteurs de l’enseignement supérieur et la recherche.Ce guide propose un inventaire de ressources pédagogiques disponibles au format « clé en main » ou adaptables selon vos besoins, afin de vous former ou de former différents publics à la sobriété numérique.
Ce document constitue le référentiel du numérique responsable pour l’éducation. Il s’inscrit
dans le corpus des référentiels de la doctrine technique du numérique pour l’éducation, et
dans la stratégie du numérique pour l’éducation qui rappelle l’ambition du ministère pour le
développement de la citoyenneté à l’ère du numérique tout autant que l’engagement nécessaire de chaque fournisseur de services numériques pour tendre vers un objectif commun de
développement durable.
Il recense les exigences et recommandations en matière d’écoresponsabilité, d’accessibilité
numérique, d’éthique et d’usage de l’IA pour l’ensemble des fournisseurs de services numériques pour l’éducation.
Il s’appuie sur des documents de référence généraux comme le RGESN ou le RGAA, le rapport de la commission « Écrans et enfants : à la recherche du temps perdu » et contextualise
les exigences au périmètre des services numériques pour l’éducation. Le ministère, ses fournisseurs de services ainsi que l’ensemble des partenaires et acteurs des services numériques
ont participé à l’élaboration de ce référentiel.
Dans le cadre de ce référentiel, il est entendu que le « numérique responsable » est un processus d’amélioration continue qui vise à réduire l’empreinte environnementale et sociale du
numérique1
. Sur le plan environnemental, il revendique une utilisation plus sobre et moins
énergivore de l’outil numérique en faisant évoluer les pratiques, les usages et les projets de
déploiement des équipements et services vers plus de sobriété, sans tomber dans l’austérité.
Sur le plan social, le numérique responsable vise à garantir l'inclusion numérique, l'accès équitable aux technologies et la protection des droits de l'homme. Cela inclut la lutte contre la
fracture numérique et la promotion de l'éthique numérique.
Sur le plan économique, le numérique responsable encourage des modèles d'affaires durables, la transparence financière et la création d'emplois éthiques. Il s'agit de promouvoir
une économie numérique qui contribue positivement au bien-être économique global.
Be sure to use AI when making
your next, I don’t know, meal plan,
for example. Definitely do not call
your friend who loves to cook and ask her
for her favorite recipes or tips or ways
to save time making meals,
because you will end
up talking for longer than you had hoped,
hearing, perhaps, about her father’s cancer
diagnosis or how lonely she’s been or even
what she’s planted in her spring
garden and then lost with the early frost.
...
Je construis des logiciels métiers sur-mesure pour les PME.
Ça tient à quoi tient la satisfaction du client vis-à-vis de sa consultante externe ?
C’est ma capacité en tant qu’apporteuse de solutions à comprendre comment travaille mon client, quels sont ses besoins, son environnement, pour lui apporter la solution sur mesure adaptée à son métier.
Au cours de mes missions d’ingénierie logiciel, savoir expliquer un concept technique dans le contexte du métier de mon client et me «mettre à sa place» est une des clés de cette réussite.
Cette capacité à comprendre le métier, à établir une communication fluide est tellement primordiale qu’elle a influencé ma théorie sur les conditions de succès d’un projet informatique. Vous avez envie de travailler avec moi ?
La DINSIC publie les 10 principes d’une démarche en ligne exemplaire
Peut-on battre les modèles de Google ou Meta avec seulement 4 GPU et une disquette Zip ? C’est le pari fou de notre invité.e qui nous explique comment le "Data Design" est en train de ringardiser le scraping massif du web. 🥖 L'IA qui tient sur une disquette : La fin du gigantisme ? Dans cet épisode, on plonge dans le coeur de l'IA souveraine : pourquoi la qualité des données (tokens) prime sur la quantité, et comment les Small Language Models (SLM) vont permettre de décentraliser l'intelligence. 🚀 Ce que vous allez apprendre :
- Baguettotron : Le modèle de 320M de paramètres qui raisonne mieux que des géants.
- Data Design vs Scraping : Pourquoi "nettoyer" la donnée ne suffit plus, il faut la concevoir.
- Le secret des données synthétiques : Comment éviter le "Model Collapse" (l'appauvrissement de l'IA).
- Souveraineté : L'enjeu des bibliothèques nationales et de l'Open Data face au pillage des "Shadow Libraries".
⏳ Timestamps pour naviguer : 00:00 — Jeu d'indices : qui est la pionnière de la tech française ? 04:38 — L'arnaque du "poids ouvert" : qu'est-ce qu'une IA vraiment Open Source ? 14:41 — Data Design : pourquoi Pleias mise sur la provenance plutôt que le scraping 24:11 — Baguettotron : l'IA performante qui tient sur une disquette Zip 36:01 — Small Language Models (SLM) : battre les géants avec seulement 4 GPU 52:00 — L'avenir décentralisé : IA locale, souveraineté et modèles de raisonnement SPOILER ALERT : pour en savoir plus sur notre invitée Anastasia Stasenko , CEO Pleias : https://www.linkedin.c... 🔗 Liens et ressources : Pleias : https://pleias.fr/ Modèles & Datasets : Retrouvez "Common Corpus" sur Hugging Face.