Un modello linguistico (LLM) può riassumere una cartella, codificare una risposta libera o attribuire un punteggio a un'intervista. Quando sbaglia, scrive con la stessa sicurezza di quando ha ragione. Un team degli Ospedali universitari di Ginevra e dell'Università di Ginevra propone un metodo per individuare questi errori e misurarne la gravità prima della messa in servizio: 
FMECA for LLM clinical summaries. Riguarda i riassunti clinici, ma la sua logica vale per ogni progetto in cui l'output di un modello diventa un dato.
Un errore ben scritto non si vede
La cartella menziona una grave allergia alla penicillina. Il riassunto indica «nessuna allergia ai farmaci nota». Il testo è scorrevole e coerente, nulla invita a verificare. Un punteggio globale di qualità o la parola «allucinazione» non dicono né dove si trova l'errore né quanto può costare.
Un metodo collaudato, adattato agli LLM
La FMECA, l'analisi dei modi di guasto, dei loro effetti e della loro criticità, si usa da tempo per i dispositivi medici e la produzione farmaceutica. Si descrive ciò che può fallire, poi si classifica ogni guasto. Lydie Bednarczyk, Jamil Zaghir, Julien Ehrsam, Christian Lovis e i loro colleghi l'hanno applicata ai riassunti di lettere di dimissione prodotti da un modello aperto ospitato in sede. Un panel di otto esperti ha elencato 78 guasti possibili, poi ha tenuto solo quelli che un revisore può constatare nel testo.
14 errori osservabili, in sei famiglie
Rispetto della consegna5
- Struttura generale errata
- Informazione nella sezione sbagliata
- Informazione fuori contesto aggiunta
- Livello di dettaglio inadeguato
- Lessico inadatto al contesto
Leggibilità4
- Formulazione ambigua o contraddittoria
- Risposta nella lingua sbagliata
- Parole ripetute
- Informazione medica ripetuta
Etica1
- Lessico stigmatizzante o discriminatorio
Fedeltà alla fonte2
- Fatto in contrasto con la fonte
- Informazione assente dalla fonte, inventata o interpretata
Completezza1
- Omissione di un'informazione della fonte
Tecnica1
- Nessun riassunto prodotto
Due scelte rendono la griglia utilizzabile. Il modello e la consegna restano fissi durante la valutazione, perché un errore di struttura o di livello di dettaglio esiste solo rispetto alla consegna. E la griglia descrive ciò che si vede nel testo, senza speculare sulle cause tecniche.
Due punteggi: gravità e rilevabilità
Ogni errore individuato riceve due punteggi da 1 a 5. Il primo misura la gravità dei suoi effetti se passa. Il secondo misura la probabilità che un professionista lo noti leggendo. Questo secondo punteggio è il contributo più utile per l'IA: una data impossibile salta all'occhio, un'allergia omessa in un riassunto coerente passa.
Due punteggi per ogni errore
La gravità misura l'effetto se l'errore passa. La rilevabilità misura la probabilità che un professionista lo noti leggendo.
Individuare è difficile, valutare è affidabile
Tre revisori hanno annotato 36 riassunti in due turni. Dopo aver chiarito le definizioni, il loro accordo sulla presenza di un errore è migliorato, senza diventare elevato. Una volta trovato l'errore, invece, gli attribuiscono punteggi vicini.
Individuare è difficile, valutare è affidabile
Accordo tra revisori, da 0 (caso) a 1 (accordo perfetto).
| Individuare un errore, 1° turno | 0.15 |
|---|---|
| Individuare un errore, 2° turno | 0.33 – 0.45 |
| Valutare un errore individuato, Gravità | 0.72 |
| Valutare un errore individuato, Rilevabilità | 0.73 |
Gli autori restano prudenti: quattro pazienti, un solo ospedale, una sola lingua e revisori che avevano contribuito alla griglia. Lo studio non misura la frequenza degli errori e non giudica il modello testato. Fornisce un metodo, da validare su volumi più ampi.
Classificare prima per gravità
La formula classica moltiplica frequenza, gravità e rilevabilità. Può far passare un errore raro ma grave dietro difetti frequenti e lievi. Gli autori propongono di partire dalla gravità, poi di alzare la priorità quando l'errore è frequente o difficile da vedere. Presentano queste soglie come provvisorie, da adattare al contesto.
Prima la gravità
La gravità fissa la priorità. Un errore frequente o difficile da vedere sale di un livello.
- Gravità 5In ogni caso
- Gravità 4Molto alta se frequente o difficile da vedere, altrimenti alta
- Gravità 3Alta se frequente o difficile da vedere, altrimenti moderata
- Gravità 2Moderata se molto frequente e molto difficile da vedere, altrimenti bassa
- Gravità 1In ogni caso
- Molto altacorreggere prima della messa in servizio
- Altacorreggere prima della messa in servizio
- Moderatacorrezione raccomandata
- Bassamonitoraggio
Frequente: almeno un output su dieci. Difficile da vedere: serve una lettura attenta o un confronto con la fonte.
Oltre i riassunti clinici
La stessa logica si applica ogni volta che un modello trasforma un testo libero in un dato: codifica di risposte aperte, analisi dei riscontri dei pazienti, punteggi attribuiti a interviste di ricerca. In un riscontro di un paziente, una frase su un errore di farmaco classificata sotto «accoglienza» è un'omissione grave e difficile da vedere. Un'ironia letta come un complimento falsa una media senza allertare nessuno. Le famiglie di errori cambiano con il compito; le due domande restano: quale effetto se l'errore passa, e chi lo vedrebbe?
In pratica, per un progetto che valuta gli output di un LLM
- Congelare la versione. Un modello datato, una consegna versionata e i parametri registrati con ogni risultato. Ogni modifica fa ripartire la valutazione.
- Definire gli errori prima di misurare. Un elenco specifico del compito, osservabile nel testo, con un esempio per tipo.
- Esigere la prova. Ogni valore conserva l'estratto della fonte che lo giustifica. Un valore senza estratto si segnala da sé.
- Preferire il vuoto alla deduzione. Quando la fonte non dice nulla, il campo resta vuoto.
- Far annotare un insieme di riferimento. Due o tre revisori del settore e una misura del loro accordo prima di giudicare il modello. Un secondo modello può poi fare un primo filtro, se validato rispetto a questi revisori.
- Classificare per gravità. Un errore grave blocca la messa in servizio, anche se raro.
- Rieseguire senza sovrascrivere. Un nuovo modello produce una nuova serie di risultati, confrontata con la precedente con la stessa griglia.
- Rendere visibile l'errore. L'interfaccia mostra la fonte accanto al risultato; la rilevabilità dipende anche dallo schermo.
- Misurare in servizio. Ogni correzione umana indica il tipo di errore, e la frequenza reale si costruisce con l'uso.
Il nostro approccio
Sviluppiamo applicazioni in cui l'IA produce dati utilizzati da team clinici e di ricerca. Per il quadro generale di un progetto simile, leggete cosa deve prevedere il promotore di uno studio clinico. Se il vostro progetto deve valutare gli output di un modello, scriveteci: iniziamo dalla griglia degli errori e dall'insieme di riferimento.
Fonti e riferimenti
3 fontiBednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summaries · webstore.iec.ch · doi.org
- Bednarczyk L., Zaghir J., Ehrsam J. et al., Lovis C., Development and refinement of a FMECA framework for identifying patient safety risks in LLM-generated clinical summariesA methodological pilot study. BMC Medical Informatics and Decision Making, 2026, articolo in corso di stampa. Ospedali universitari di Ginevra e Università di Ginevra; 36 riassunti di lettere di dimissione in francese, 4 pazienti, 3 revisori.doi.org
- webstore.iec.chIEC 60812:2018, Failure modes and effects analysis (FMEA and FMECA), edizione 3.0, 10 agosto 2018. Norma internazionale sulla FMECA; scheda ufficiale consultata il 14 novembre 2026.webstore.iec.ch
- doi.orgAsgari E. et al., A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine, 8:274, 13 maggio 2025. Quadro più vicino citato dal team ginevrino; i tassi misurati dipendono dal compito, dal modello e dalla consegna.doi.org
Swiss Made Software