Ein Sprachmodell (LLM) kann ein Dossier zusammenfassen, eine Freitextantwort codieren oder ein Interview bewerten. Wenn es sich irrt, schreibt es mit derselben Sicherheit wie dann, wenn es richtig liegt. Ein Team der Genfer Universitätsspitäler und der Universität Genf schlägt eine Methode vor, um solche Fehler zu erkennen und ihre Schwere vor der Inbetriebnahme zu messen: 
FMECA for LLM clinical summaries. Sie betrifft klinische Zusammenfassungen, doch ihre Logik gilt für jedes Projekt, in dem die Ausgabe eines Modells zu Daten wird.
Ein gut geschriebener Fehler fällt nicht auf
Das Dossier nennt eine schwere Penicillinallergie. Die Zusammenfassung schreibt «keine bekannten Medikamentenallergien». Der Text ist flüssig und stimmig, nichts lädt zur Prüfung ein. Ein globaler Qualitätswert oder das Wort «Halluzination» sagen weder, wo der Fehler liegt, noch, was er kosten kann.
Eine bewährte Methode, angepasst an LLM
Die FMECA, die Fehlermöglichkeits-, Einfluss- und Kritikalitätsanalyse, wird seit Langem für Medizinprodukte und die pharmazeutische Herstellung eingesetzt. Man beschreibt, was versagen kann, und ordnet dann jeden Fehler ein. Lydie Bednarczyk, Jamil Zaghir, Julien Ehrsam, Christian Lovis und ihr Team haben sie auf Zusammenfassungen von Austrittsberichten angewendet, die ein offenes, lokal betriebenes Modell erzeugte. Ein Panel aus acht Fachleuten listete 78 mögliche Fehler auf und behielt nur jene, die eine prüfende Person im Text feststellen kann.
14 beobachtbare Fehler in sechs Familien
Einhaltung der Vorgabe5
- Falsche Gesamtstruktur
- Information im falschen Abschnitt
- Kontextfremde Information hinzugefügt
- Unpassender Detaillierungsgrad
- Unpassendes Vokabular
Lesbarkeit4
- Mehrdeutige oder widersprüchliche Formulierung
- Antwort in der falschen Sprache
- Wiederholte Wörter
- Wiederholte medizinische Information
Ethik1
- Stigmatisierendes oder diskriminierendes Vokabular
Treue zur Quelle2
- Fakt, der der Quelle widerspricht
- Information, die in der Quelle fehlt: erfunden oder interpretiert
Vollständigkeit1
- Auslassung einer Information aus der Quelle
Technik1
- Keine Zusammenfassung erzeugt
Zwei Entscheidungen machen das Raster brauchbar. Modell und Vorgabe bleiben während der Bewertung unverändert, denn ein Struktur- oder Detailfehler existiert nur im Verhältnis zur Vorgabe. Und das Raster beschreibt, was im Text sichtbar ist, ohne über technische Ursachen zu spekulieren.
Zwei Bewertungen: Schweregrad und Entdeckbarkeit
Jeder gefundene Fehler erhält zwei Bewertungen von 1 bis 5. Die erste misst, wie schwer seine Folgen wären, wenn er durchgeht. Die zweite misst die Wahrscheinlichkeit, dass eine Fachperson ihn beim Lesen bemerkt. Diese zweite Bewertung ist für die KI der nützlichste Beitrag: Ein unmögliches Datum fällt sofort auf, eine in einer stimmigen Zusammenfassung ausgelassene Allergie nicht.
Zwei Bewertungen für jeden Fehler
Der Schweregrad misst die Folgen, wenn der Fehler durchgeht. Die Entdeckbarkeit misst die Chance, dass eine Fachperson ihn beim Lesen bemerkt.
Erkennen ist schwierig, Bewerten ist verlässlich
Drei Prüfende haben 36 Zusammenfassungen in zwei Runden annotiert. Nach der Klärung der Definitionen stieg ihre Übereinstimmung darüber, ob ein Fehler vorliegt, ohne hoch zu werden. Ist ein Fehler einmal gefunden, bewerten sie ihn dagegen sehr ähnlich.
Erkennen ist schwierig, Bewerten ist verlässlich
Übereinstimmung zwischen Prüfenden, von 0 (Zufall) bis 1 (volle Übereinstimmung).
| Einen Fehler erkennen, 1. Runde | 0.15 |
|---|---|
| Einen Fehler erkennen, 2. Runde | 0.33 – 0.45 |
| Einen gefundenen Fehler bewerten, Schweregrad | 0.72 |
| Einen gefundenen Fehler bewerten, Entdeckbarkeit | 0.73 |
Die Autorinnen und Autoren bleiben vorsichtig: vier Patientinnen und Patienten, ein Spital, eine Sprache, und Prüfende, die am Raster mitgearbeitet hatten. Die Studie misst nicht, wie häufig Fehler auftreten, und beurteilt das getestete Modell nicht. Sie liefert eine Methode, die an grösseren Mengen zu validieren ist.
Zuerst nach Schweregrad ordnen
Die klassische Formel multipliziert Häufigkeit, Schweregrad und Entdeckbarkeit. Damit kann ein seltener, aber schwerer Fehler hinter häufige, harmlose Mängel rutschen. Die Autorinnen und Autoren schlagen vor, vom Schweregrad auszugehen und die Priorität zu erhöhen, wenn ein Fehler häufig oder schwer erkennbar ist. Sie bezeichnen diese Schwellen als vorläufig und an den Kontext anzupassen.
Zuerst der Schweregrad
Der Schweregrad bestimmt die Priorität. Ein häufiger oder schwer erkennbarer Fehler steigt eine Stufe.
- Schweregrad 5In jedem Fall
- Schweregrad 4Sehr hoch, wenn häufig oder schwer erkennbar, sonst hoch
- Schweregrad 3Hoch, wenn häufig oder schwer erkennbar, sonst mittel
- Schweregrad 2Mittel, wenn sehr häufig und sehr schwer erkennbar, sonst niedrig
- Schweregrad 1In jedem Fall
- Sehr hochvor der Inbetriebnahme beheben
- Hochvor der Inbetriebnahme beheben
- MittelBehebung empfohlen
- Niedrigbeobachten
Häufig: mindestens jede zehnte Ausgabe. Schwer erkennbar: Es braucht aufmerksames Lesen oder einen Abgleich mit der Quelle.
Über klinische Zusammenfassungen hinaus
Dieselbe Logik gilt überall, wo ein Modell Freitext in Daten verwandelt: beim Codieren offener Antworten, bei der Analyse von Patientenrückmeldungen, bei der Bewertung von Forschungsinterviews. In einer Patientenrückmeldung ist ein Satz über einen Medikationsfehler, der unter «Empfang» eingeordnet wird, eine schwere und schwer erkennbare Auslassung. Ironie, die als Kompliment gelesen wird, verzerrt einen Durchschnitt, ohne dass es jemand bemerkt. Die Fehlerfamilien ändern sich mit der Aufgabe; die zwei Fragen bleiben: Was geschieht, wenn der Fehler durchgeht, und wer würde ihn sehen?
In der Praxis, für ein Projekt, das LLM-Ausgaben bewertet
- Die Version einfrieren. Ein datiertes Modell, eine versionierte Vorgabe und die Parameter bei jedem Ergebnis gespeichert. Jede Änderung startet die Bewertung neu.
- Fehler definieren, bevor gemessen wird. Eine aufgabenspezifische Liste, im Text beobachtbar, mit einem Beispiel pro Typ.
- Belege verlangen. Jeder Wert behält den Auszug aus der Quelle, der ihn begründet. Ein Wert ohne Auszug fällt von selbst auf.
- Lieber leer als geraten. Wenn die Quelle nichts sagt, bleibt das Feld leer.
- Ein Referenzset annotieren lassen. Zwei oder drei Fachleute aus dem Bereich und eine Messung ihrer Übereinstimmung, bevor das Modell beurteilt wird. Ein zweites Modell kann danach eine erste Sichtung übernehmen, sofern es an diesen Prüfenden validiert ist.
- Nach Schweregrad ordnen. Ein schwerer Fehler blockiert die Inbetriebnahme, auch wenn er selten ist.
- Neu durchlaufen, ohne zu überschreiben. Ein neues Modell erzeugt eine neue Ergebnisreihe, die mit demselben Raster mit der vorherigen verglichen wird.
- Fehler sichtbar machen. Die Oberfläche zeigt die Quelle neben dem Ergebnis; die Entdeckbarkeit hängt auch vom Bildschirm ab.
- Im Betrieb messen. Jede menschliche Korrektur hält den Fehlertyp fest, und die tatsächliche Häufigkeit entsteht mit der Nutzung.
Unser Ansatz
Wir entwickeln Anwendungen, in denen KI Daten erzeugt, die klinische und Forschungsteams nutzen. Für den allgemeinen Rahmen eines solchen Projekts lesen Sie, was der Sponsor einer klinischen Studie vorbereiten sollte. Wenn Ihr Projekt die Ausgaben eines Modells bewerten muss, schreiben Sie uns: Wir beginnen mit dem Fehlerraster und dem Referenzset.
Quellen und Referenzen
3 QuellenBednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summaries · webstore.iec.ch · doi.org
- Bednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summariesA methodological pilot study. BMC Medical Informatics and Decision Making, 2026, Article in Press. Genfer Universitätsspitäler und Universität Genf; 36 Zusammenfassungen französischer Austrittsberichte, 4 Patientinnen und Patienten, 3 Prüfende.doi.org
- webstore.iec.chIEC 60812:2018, Failure modes and effects analysis (FMEA and FMECA), Ausgabe 3.0, 10. August 2018. Internationale Norm zur FMECA; offizieller Eintrag, abgerufen am 14. November 2026.webstore.iec.ch
- doi.orgAsgari E. et al., A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine, 8:274, 13. Mai 2025. Nächstliegender Ansatz, den das Genfer Team zitiert; die gemessenen Raten hängen von Aufgabe, Modell und Vorgabe ab.doi.org
Swiss Made Software