Un modèle de langage (LLM) peut résumer un dossier, coder une réponse libre ou attribuer un score à un entretien. Quand il se trompe, il écrit avec la même assurance que lorsqu'il a raison. Une équipe des Hôpitaux universitaires de Genève et de l'Université de Genève propose une méthode pour repérer ces erreurs et mesurer leur gravité avant la mise en service : 
FMECA for LLM clinical summaries. Elle porte sur des résumés cliniques, mais sa logique vaut pour tout projet où la sortie d'un modèle devient une donnée.
Une erreur bien écrite ne se voit pas
Le dossier mentionne une allergie sévère à la pénicilline. Le résumé indique « pas d'allergie médicamenteuse connue ». Le texte est fluide et cohérent, rien n'invite à vérifier. Un score global de qualité ou le mot « hallucination » ne disent ni où se trouve l'erreur ni ce qu'elle peut coûter.
Une méthode éprouvée, adaptée aux LLM
L'AMDEC, l'analyse des modes de défaillance, de leurs effets et de leur criticité, sert depuis longtemps pour les dispositifs médicaux et la production pharmaceutique. On décrit ce qui peut échouer, puis on classe chaque défaillance. Lydie Bednarczyk, Jamil Zaghir, Julien Ehrsam, Christian Lovis et leurs collègues l'ont appliquée aux résumés de lettres de sortie produits par un modèle ouvert, hébergé localement. Un panel de huit experts a listé 78 défaillances possibles, puis n'a gardé que celles qu'un relecteur peut constater dans le texte.
14 erreurs observables, en six familles
Respect de la consigne5
- Structure générale incorrecte
- Information dans la mauvaise section
- Information hors contexte ajoutée
- Niveau de détail inadapté
- Vocabulaire inadapté au contexte
Lisibilité4
- Formulation ambiguë ou contradictoire
- Réponse dans la mauvaise langue
- Mots répétés
- Information médicale répétée
Éthique1
- Vocabulaire stigmatisant ou discriminatoire
Fidélité à la source2
- Fait incorrect par rapport à la source
- Information absente de la source, inventée ou interprétée
Exhaustivité1
- Omission d'une information de la source
Technique1
- Aucun résumé produit
Deux choix rendent la grille utilisable. Le modèle et la consigne restent figés pendant l'évaluation, car une erreur de structure ou de niveau de détail n'existe que par rapport à la consigne. Et la grille décrit ce qui se voit dans le texte, sans spéculer sur les causes techniques.
Deux notes : la gravité et la détectabilité
Chaque erreur repérée reçoit deux notes de 1 à 5. La première mesure la gravité de ses effets si elle passe. La seconde mesure la probabilité qu'un professionnel la remarque en lisant. Cette seconde note est l'apport le plus utile pour l'IA : une date impossible saute aux yeux, une allergie omise dans un résumé cohérent passe.
Deux notes pour chaque erreur
La gravité mesure l'effet si l'erreur passe. La détectabilité mesure la chance qu'un professionnel la voie en lisant.
Repérer est difficile, noter est fiable
Trois relecteurs ont annoté 36 résumés en deux tours. Après clarification des définitions, leur accord sur la présence d'une erreur a progressé, sans devenir élevé. Une fois l'erreur trouvée, en revanche, ils lui donnent des notes proches.
Repérer est difficile, noter est fiable
Accord entre relecteurs, de 0 (hasard) à 1 (accord parfait).
| Repérer une erreur, 1er tour | 0,15 |
|---|---|
| Repérer une erreur, 2e tour | 0,33 – 0,45 |
| Noter une erreur trouvée, Gravité | 0,72 |
| Noter une erreur trouvée, Détectabilité | 0,73 |
Les auteurs restent prudents : quatre patients, un seul hôpital, une seule langue, et des relecteurs qui avaient contribué à la grille. L'étude ne mesure pas la fréquence des erreurs et ne qualifie pas le modèle testé. Elle fournit une méthode, à valider sur de plus grands volumes.
Classer d'abord par gravité
La formule classique multiplie la fréquence, la gravité et la détectabilité. Elle peut faire passer une erreur rare mais grave derrière des défauts fréquents et bénins. Les auteurs proposent de partir de la gravité, puis de relever la priorité quand l'erreur est fréquente ou difficile à voir. Ils présentent ces seuils comme provisoires, à adapter au contexte.
La gravité d'abord
La gravité fixe la priorité. Une erreur fréquente ou difficile à voir monte d'un cran.
- Gravité 5Dans tous les cas
- Gravité 4Très haute si fréquente ou difficile à voir, sinon haute
- Gravité 3Haute si fréquente ou difficile à voir, sinon modérée
- Gravité 2Modérée si très fréquente et très difficile à voir, sinon basse
- Gravité 1Dans tous les cas
- Très hautecorriger avant la mise en service
- Hautecorriger avant la mise en service
- Modéréecorrection recommandée
- Bassesurveillance
Fréquente : au moins une sortie sur dix. Difficile à voir : il faut une lecture attentive ou un retour à la source.
Au-delà des résumés cliniques
La même logique s'applique dès qu'un modèle transforme un texte libre en donnée : codage de réponses ouvertes, analyse de retours de patients, scores attribués à des entretiens de recherche. Dans un retour de patient, une phrase sur une erreur de médicament classée dans « accueil » est une omission grave et difficile à voir. Une ironie lue comme un compliment fausse une moyenne sans alerter personne. Les familles d'erreurs changent avec la tâche ; les deux questions restent : quel effet si l'erreur passe, et qui la verrait ?
En pratique, pour un projet qui note les sorties d'un LLM
- Figer la version. Un modèle daté, une consigne versionnée, et les paramètres enregistrés avec chaque résultat. Tout changement relance l'évaluation.
- Définir les erreurs avant de mesurer. Une liste propre à la tâche, observable dans le texte, avec un exemple par type.
- Exiger la preuve. Chaque valeur garde l'extrait de la source qui la justifie. Une valeur sans extrait se signale d'elle-même.
- Préférer le vide à la déduction. Quand la source ne dit rien, le champ reste vide.
- Faire annoter un jeu de référence. Deux ou trois relecteurs du métier, et une mesure de leur accord avant de juger le modèle. Un second modèle peut ensuite faire un premier tri, s'il est validé contre ces relecteurs.
- Classer par gravité. Une erreur grave bloque la mise en service, même rare.
- Rejouer sans écraser. Un nouveau modèle produit une nouvelle série de résultats, comparée à la précédente avec la même grille.
- Rendre l'erreur visible. L'interface affiche la source à côté du résultat ; la détectabilité dépend aussi de l'écran.
- Mesurer en service. Chaque correction humaine indique le type d'erreur, et la fréquence réelle se construit avec l'usage.
Notre approche
Nous développons des applications où l'IA produit des données utilisées par des équipes cliniques et de recherche. Pour le cadre général d'un tel projet, voyez ce que le promoteur d'une étude clinique doit préparer. Si votre projet doit évaluer les sorties d'un modèle, écrivez-nous : nous commençons par la grille d'erreurs et le jeu de référence.
Sources et références
3 sourcesBednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summaries · webstore.iec.ch · doi.org
- Bednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summariesA methodological pilot study. BMC Medical Informatics and Decision Making, 2026, article sous presse. HUG et Université de Genève ; 36 résumés de lettres de sortie en français, 4 patients, 3 relecteurs.doi.org
- webstore.iec.chIEC 60812:2018, Failure modes and effects analysis (FMEA and FMECA), édition 3.0, 10 août 2018. Norme internationale de l'AMDEC ; fiche officielle consultée le 14 novembre 2026.webstore.iec.ch
- doi.orgAsgari E. et al., A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine, 8:274, 13 mai 2025. Cadre le plus proche cité par l'équipe des HUG ; les taux mesurés dépendent de la tâche, du modèle et de la consigne.doi.org
Swiss Made Software