Studie zeigt: KI kann Fehldiagnosen nicht verhindern
Zu diesem Ergebnis kam ein Forschungsteam unter Leitung des Inselspitals. Es brauche andere Lösungsansätze, um die Diagnosequalität zu verbessern.
Rund jede zehnte Diagnose ist falsch. Das teilt die Insel Gruppe in einer Medienmitteilung mit.
Ein Forschungsteam unter der Leitung des Inselspitals, Universitätsspital Bern und der Universität Bern hat in einer umfangreichen Studie untersucht, ob ein KI-basiertes Diagnosesystem die Qualität der Diagnosestellung verbessern könnte.
Das Ergebnis überrascht: Trotz hoher Erwartungen zeigt das getestete System keinen messbaren Vorteil gegenüber den herkömmlichen diagnostischen Prozessen.
Wie gut sind Diagnosesysteme auf Basis von künstlicher Intelligenz?
Bis zu 15 Prozent aller Patienten, die eine medizinische Behandlung in Anspruch nehmen, erhalten eine Fehldiagnose. Fehldiagnosen gehören somit zu den häufigsten und kostspieligsten medizinischen Problemen weltweit.
Besonders herausfordernd ist die Diagnosestellung in Notaufnahmen, wo oft unter grossem Zeitdruck eine Vielzahl von Patienten mit unterschiedlichen Beschwerden behandelt werden.
Um Fehldiagnosen zu reduzieren, kommen zunehmend computergestützte diagnostische Entscheidungshilfesysteme (auf Englisch «Computerized Diagnostic Decision Support Systems», kurz: CDDSS) zum Einsatz.
Diese Systeme sollen durch die Analyse von Symptomen und Befunden die diagnostische Genauigkeit erhöhen und das medizinische Fachpersonal bei der Diagnosestellung unterstützen. Ob Diagnosesysteme, die auf künstlicher Intelligenz (KI) basieren, die Diagnosen tatsächlich verbessern, ist jedoch umstritten. Belastbare Studiendaten aus der klinischen Anwendung sind bislang rar.
Weltweit erste Studie zu KI-basiertem Diagnosesystem in der Akutmedizin
Ein Forschungsteam unter der Leitung der Universitätsklinik für Notfallmedizin des Inselspitals hat nun in der weltweit ersten Studie zu CDDSS die Effektivität der KI-basierten Diagnoseunterstützung in der Akutmedizin untersucht.
Die Studie, deren Ergebnisse soeben in «The Lancet Digital Health» erschienen sind, schloss insgesamt 1204 Patienten ein, die zwischen Juni 2022 und Juni 2023 mit unspezifischen Beschwerden (wie Ohnmacht, Bauchschmerzen oder Fieber unbekannter Ursache) in vier Schweizer Notaufnahmen behandelt wurden.
Die teilnehmenden Notaufnahmen wurden abwechselnd in zwei Arbeitsphasen unterteilt: Während der Interventionsphasen setzten die Ärzte das KI-basierte System «Isabel Pro» ein, das sie bei der Diagnosestellung unterstützte. In den Kontrollphasen wurden Diagnosen ohne technische Hilfsmittel gestellt.
Die Qualität der Diagnose wurde daran gemessen, ob Patienten innerhalb von 14 Tagen nach ihrer Behandlung ungeplante medizinische Nachsorge benötigten, Diagnosen im Nachhinein geändert wurden, eine unerwartete Intensivaufnahme erforderlich war oder ob es zu Todesfällen kam.
Kein messbarer Vorteil durch KI-basierte Diagnoseunterstützung
Die Ergebnisse überraschen: Sowohl in der Phase mit als auch in der Phase ohne KI-basierte Diagnoseunterstützung trat bei 18 Prozent der Patienten ein diagnostisches Qualitätsrisiko auf.
Auch bezüglich schwerwiegender unerwünschter Ereignisse und dem Ressourcenverbrauch, gemessen in Schweizer Franken, gab es keine Unterschiede zwischen den Gruppen. Die Studie konnte trotz optimierter Technologie und umfangreicher Schulung des medizinischen Personals keinen relevanten Vorteil der CDDSS-Nutzung nachweisen.
«KI-basierte Diagnoseunterstützung hat in der Notfallmedizin keinen für die Patienten messbaren Effekt. Unabhängig davon, ob man nach medizinischen, ökonomischen oder prozeduralen Unterschieden schaut», fasst Prof. Dr. med. Wolf Hautz, Leitender Arzt der Universitätsklinik für Notfallmedizin und Erstautor der Studie, die Ergebnisse zusammen.
Neue Impulse für die Forschung
Die Studienresultate verdeutlichen, dass computergestützte Diagnosesysteme, zumindest in ihrem aktuellen Entwicklungsstand, keinen erheblichen Einfluss auf die diagnostische Qualität in der Notfallmedizin haben.
«Aktuell verfügbare KI wird das Problem der Fehldiagnosen nicht lösen. Wir müssen andere Lösungsansätze verfolgen, um die Diagnosequalität zu verbessern, und insbesondere die Forschung zu diesem Thema, die aktuell in den Kinderschuhen steckt, erheblich intensivieren», ergänzt Prof. Hautz.
Hierzu fördert der Schweizerische Nationalfonds (SNF) an der Universitätsklinik für Notfallmedizin am Inselspital den Aufbau einer Arbeitsgruppe zum Thema «Kollaborative Entscheidungsfindung». Die aktuelle Studie wurde durch das Nationale Forschungsprogramm «Digitale Transformation» (NFP 77) des SNF mitfinanziert.
