Digitale Transformation KI-basierte LLMs sicher und nutzenorientiert in der Patientenversorgung einsetzen

Auch wenn die prinzipiellen Limitationen (Halluzinationen, Auslassungen) kommerziell verfügbarer Large Language Modelle (LLMs) wie ChatGPT oder Claude in der Regel bekannt sind, nutzen Ärztinnen und Ärzte sie heute schon regelmäßig unter der Hand zur Beantwortung diagnostischer und therapeutischer Fragestellungen. Studien zufolge wenden inzwischen rund zwei Drittel der US-amerikanischen Ärzte generative künstliche Intelligenz (KI) an, und etwa jeder fünfte Arzt nutzt regelmäßig LLMs für eine zweite Einschätzung. Die Dunkelziffer und auch der Einsatz von LLMs als Primärquelle dürften deutlich höher sein. Um den Einsatz in der Klinik nutzenorientiert zu bahnen, müssen die Chancen und Risiken realistisch beurteilt werden.

LLMs in der Medizin

LLMs basieren auf Maschinellem Lernen mit Neuronalen Netzen, die während des Trainings enorme Mengen an Textdaten analysieren. Ziel dieses Trainings ist es, statistische Muster in Sprache zu erkennen. Technisch gesehen lernt das Modell nicht medizinisches Wissen im klassischen Sinne, sondern Wahrscheinlichkeitsverteilungen von Wortfolgen auf der Basis von verfügbaren Informationsquellen, insbesondere auf Basis der im Internet öffentlich verfügbare Quellen. Das Modell berechnet, welches Wort oder Wortfragment (auch als „Token“ bezeichnet) mit der höchsten Wahrscheinlichkeit im gegebenen Kontext als nächstes folgen sollte. Hieraus ergeben sich dann die Sätze und Texte. Die Systeme können dabei unterschiedlich streng eingestellt werden: je unkritischer das System, desto eher produziert es Inhalte, die nur mit mittlerer Wahrscheinlichkeit statistisch zutreffend sind (Einstellung der „Temperatur“).

LLMs sind leistungsfähig ...

Dieses Prinzip macht LLMs sehr leistungsfähig im Umgang mit Sprache und komplexen Zusammenhängen. Gleichzeitig bedeutet es jedoch, dass ihr „Wissen“ nicht auf einer strukturierten evidenzbasierten Wissensbasis beruht. Vielmehr spiegeln ihre Antworten die statistische Struktur der Trainingsdaten wider: Inhalte, die im Internet häufiger vorkommen, werden von diesen Systemen eher als „richtig“ interpretiert – für das Modell zählt statistische Häufigkeit, nicht wissenschaftliche Validität.

..., aber nicht nach dem Prinzip evidenzbasierter Medizin

Dieses Grundprinzip der LLMs entspricht somit nicht den Prinzipien der evidenzbasierten Medizin, bei der schon eine gut aufgesetzte Studie mit neuen Erkenntnissen, eine Vielzahl von alten Studien infrage stellen kann. Ein LLM erkennt also nicht automatisch die Hierarchie oder Aktualität von Evidenz, d. h. ein LLM kann bislang die fachliche Bewertung und Gewichtung der Evidenz wie sie etwa in systematischen Reviews von Fachexperten vorgenommen wird, nicht ersetzen. Wenn veraltete Studien und Lehrbuchinformationen im Trainingsdatensatz häufiger vorkommen als neue Erkenntnisse, wird das Modell veraltete Empfehlungen reproduzieren.

Fehlermechanismen von LLMs

Die klinische Sicherheit von LLMs wird wesentlich durch zwei Arten von Fehlern bestimmt: Halluzinationen und Auslassungen.

Halluzinationen bezeichnen Situationen, in denen ein Modell auf den ersten Blick logisch und konsistent formulierte, aber faktisch falsche Aussagen generiert (ähnlich der Konfabulation dementer Patienten). Diese entstehen aus der stochastischen Grundmethode des Systems. Auch wenn die Trainingsdaten widersprüchliche oder unvollständige Information enthalten, erzeugt das Modell dennoch eine Antwort, die sprachlich plausibel erscheint. In der Medizin kann dies z. B. zu erfundenen Studien, falschen Dosierungen oder zu veralteten und nicht evidenzbasierten Behandlungsempfehlungen führen. Der Anwender bzw. Prompt kann dieses Verhalten versuchen zu mitigieren, indem das System möglichst streng eingestellt wird, also eine niedrige Temperatur bzw. hohe Präzision vorgegeben wird und z. B. stets der Verweis auf passende wörtliche Quellen gefordert wird – aber selbst die gebotenen Quellen sind nicht selten halluziniert.

Da es einen Trade-off zwischen Präzision und Vollständigkeit gibt, produziert ein zu streng (bzw. „kalt“) eingestelltes System aber verstärkt Auslassungen. Hier können in einer Antwort des LLMs zum Beispiel wichtige diagnostische Kriterien oder therapeutische Maßnahmen fehlen. Fehler durch Auslassungen sind besonders schwer zu beherrschen.

RAG als Architektur für klinisch nutzbare Systeme

Eine Methode zur Lösung dieser Probleme ist das Konzept der Retrieval-Augmented-Generation Systeme (RAG). Bei einem klassischen LLM basiert die Antwort ausschließlich auf dem während des Trainings gelernten (Internet-)Inhalten. Bei einem RAG-System wird das Modell dagegen mit einer definierten Wissensquelle verbunden: Um eine Antwort zu generieren, nutzt das System eine generische LLM-Engine, bezieht das verarbeitete Fachwissen aber ausschließlich aus dieser Datenbank. Für die besten medizinischen RAG-LLMs wird dabei eine durch menschliche Fachexperten kuratierte und somit evidenzbasierte Wissensdatenbank genutzt und sämtliche Antworten werden hiermit abgeglichen. Durch diese Architektur wird das Modell nicht mehr ausschließlich durch statistische Muster gesteuert, sondern basiert auf aktuelle und validierte medizinische Informationen. Dadurch reduziert sich die Rate an Halluzinationen deutlich, wodurch wiederum die Strenge („Temperatur“) des Systems reduziert werden kann. In Kombination mit einem durch die Wissensdatenbank möglichen Abgleich auf Vollständigkeit kommt es somit optimalerweise wiederum zu weniger relevanten Auslassungen und einer deutlich verbesserten klinischen Sicherheit der Aussagen.

Einsatzpotenzial von LLMs in der klinischen Praxis

Trotz der beschriebenen Herausforderungen bieten LLM-basierte Systeme ein erhebliches Potenzial, um Qualität und Effizienz der medizinischen Praxis zu verbessern. Weit verbreitet sind sog. Ambient-Listening-Systeme, die z. B. anamnestische Gespräche mit Patienten automatisch transkribieren, um daraus strukturierte Dokumentationen zu erstellen. Ein weiterer bereits breit genutzter Einsatzbereich ist das sprachbasierte Angebot von aktuellen, evidenzbasierten Informationen am Point-of-Care, um so Ärztinnen und Ärzte bei den Entscheidungen zu unterstützen. Ein weiterer Anwendungsbereich ist die Verknüpfung die LLM-basierte Verknüpfung von kuratierten, evidenzbasierten Wissensdatenbanken mit klinischen Behandlungsdaten.