Generative KI in Medizinprodukten: Chancen nutzen, Risiken im Griff behalten

1. Fehlverhalten und Halluzinationen

LLMs arbeiten nicht deterministisch. Das bedeutet, dass identische Eingaben zu unterschiedlichen Ausgaben führen können und dass Inhalte entstehen, die sprachlich überzeugend wirken, jedoch inhaltlich falsch sind. Genau dieses Verhalten ist im medizinischen Kontext hochkritisch, weil falsche Antworten diagnostische oder therapeutische Entscheidungen beeinflussen können. Gleichzeitig widerspricht es regulatorischen Kernanforderungen an Vorhersagbarkeit, Beherrschbarkeit und Leistungsfähigkeit, wie sie etwa die MDR/IVDR, die ISO 14971 oder der künftige EU AI Act verlangen.

 

2. LLMs als OTS- oder SOUP-Komponente

Viele Hersteller greifen auf externe, cloudbasierte LLMs zurück, deren Funktionsweise, Trainingsdaten und Update‑Zyklen sie kaum beeinflussen können. Dadurch entstehen Abhängigkeiten, die regulatorisch nur schwer in traditionelle Software-Lifecycle‑Modelle einzuordnen sind. Ein unvermitteltes Modell‑Update kann das Verhalten des Gesamtsystems verändern, ohne dass der Hersteller Einfluss darauf hat oder die Änderungen vollständig nachvollziehen kann. Damit wird ein LLM zur komplexesten Form von SOUP, mit erheblichen Auswirkungen auf Change‑Kontrolle, Risikomanagement und letztlich auf die Konformität des Produkts.

 

3. Datenschutz und Informationssicherheit

GenAI‑Systeme verarbeiten oft sensible und kontextspezifische Eingaben. Unklare Datenflüsse, die Speicherung von Prompts oder die Nutzung dieser Daten zu Trainingszwecken können unmittelbar mit der DSGVO kollidieren. Hinzu kommen regulatorische Anforderungen aus der MDR und Normen wie der IEC 81001‑5‑1, die ein systematisches Informationssicherheitsmanagement im Zusammenhang mit Software in der Medizintechnik verlangen. Hersteller müssen genau verstehen und dokumentieren, wo Daten verarbeitet werden, wer Zugriff hat und wie Daten gegen Missbrauch geschützt werden.

 

4. Herausforderungen bei Verifizierung und Validierung

Klassische Software lässt sich durch klar definierte Anforderungen, reproduzierbare Tests und eindeutige Akzeptanzkriterien validieren. Bei GenAI ist dies nur eingeschränkt möglich. LLMs verändern sich im Lauf der Zeit, reagieren auf Eingaben unterschiedlich und lassen sich ohne zusätzliche architektonische Maßnahmen nicht vollständig deterministisch prüfen. Gleichzeitig entstehen im Betrieb neue Herausforderungen wie Modell‑Drift oder unerwartete Nutzungsmuster, die ein erweitertes Monitoring und eine kontinuierliche Leistungsbeobachtung notwendig machen.

 

Wie sich diese Risiken kontrollieren lassen

 Systemabgrenzung und Intended Purpose

Die wichtigste Maßnahme besteht darin, den Intended Purpose eindeutig zu definieren und das System klar abzugrenzen. Entscheidend ist die Frage, ob die GenAI‑Funktion medizinisch relevant ist oder lediglich unterstützend wirkt. Diese Abgrenzung entscheidet über Klassifizierung, regulatorische Pflichten und die Anforderungen an Risikomanagement und Validierung.

 

Technische Leitplanken und Architekturmaßnahmen

Der sichere Einsatz von GenAI erfordert eine Architektur, die das Verhalten der KI begrenzt und kontrollierbar macht. Dazu gehören etwa der Einsatz fester Wissensbasen, die Einbettung in Retrieval‑Augmented‑Generation‑Konzepte, regelbasierte Outputfilter oder Mechanismen zur Bewertung der Antwortqualität. Solche Maßnahmen verändern das System von einer offenen KI‑Blackbox hin zu einem strukturierten, nachvollziehbaren und validierbaren Funktionsmodul.

 

Human Oversight als zentrales Prinzip

GenAI sollte im medizinischen Kontext niemals autonom agieren. Stattdessen müssen die erzeugten Vorschläge durch qualifizierte Anwender geprüft und bestätigt werden. Dieser Grundsatz adressiert nicht nur sicherheitsrelevante Fragen, sondern erfüllt auch zentrale Anforderungen des EU AI Acts. Durch umfassendes Logging einzelner Interaktionen wird zudem die regulatorische Nachvollziehbarkeit gewährleistet.

 

Strukturiertes SOUP- und Lieferantenmanagement

Hersteller benötigen transparente Vereinbarungen und Strategien, um Änderungen an externen Modellen kontrollieren zu können. Dazu zählen klar definierte Update‑ und Rollback‑Mechanismen, abgestimmte SLAs und ein Monitoring, das Modelländerungen frühzeitig erkennt. Da ein direkter Einfluss auf den Anbieter oft nicht möglich ist, gewinnt das reaktive Change‑Management im Rahmen des Post‑Market‑Monitorings an Bedeutung.

Erweiterte Teststrategien und Marktbeobachtung

Für GenAI sind klassische Softwaretests nicht ausreichend. Ergänzend müssen Robustheit, Bias‑Risiken und das Verhalten in Grenz- oder Fehlersituationen bewertet werden. Ein kontinuierliches Performance‑Monitoring über den Produktlebenszyklus hinweg sorgt dafür, dass das System innerhalb seiner definierten Grenzen bleibt und seine beabsichtigte Leistung stabil erbringt.

 

Ein AI Management System (AIMS)

Weil GenAI Auswirkungen auf Prozesse, Rollen, Organisation und Compliance hat, sollte die Einführung von KI immer auf Systemebene gedacht werden. Ein AIMS schafft dafür die Grundlage. In Kombination mit dem QMS (ISO 13485) und einem ISMS (ISO 27001) entsteht eine integrierte Governance‑Struktur, die KI‑Risiken, Sicherheitsanforderungen und regulatorische Vorgaben konsistent zusammenführt.

 

Vorbereitung auf Störfälle und Desaster‑Recovery

Da KI‑basierte Systeme neue Arten von Fehlfunktionen erzeugen können, ist ein schlüssiges Notfallkonzept unverzichtbar. Hersteller müssen in der Lage sein, schnell zu einer sicheren Konfiguration zurückzukehren oder im Extremfall das Produkt vorübergehend vom Markt zu nehmen. Eine erweiterte Rückruf- und Rollback‑Fähigkeit ist daher ein wesentlicher Bestandteil des Gesamtsystems.

 

Was für Hersteller letztlich zählt

GenAI kann die Medizintechnik maßgeblich weiterentwickeln, aber nur, wenn der Einsatz nicht als „Feature“, sondern als strategisches und regulatorisch sensibles Funktionsmodul verstanden wird. Hersteller, die Risiken, Architektur, Regulierung und Organisation ganzheitlich betrachten, schaffen die Grundlage für sichere, leistungsfähige und langfristig tragfähige KI‑gestützte Lösungen. Spätestens beim Einsatz von GenAI sollte eine verbindliche KI‑Politik im Unternehmen festgelegt sein, die Nutzungsszenarien, Grenzen, Rollen, Validierungskonzepte, Kennzeichnung und Schulungsanforderungen klar beschreibt.

 

Wie SEQLY Sie auf diesem Weg unterstützt

SEQLY MedTech begleitet Hersteller dabei, GenAI‑Use‑Cases sicher und regulatorisch korrekt zu gestalten, Systemgrenzen zu definieren, AI‑Risikomanagement aufzubauen und die Anforderungen aus MDR, IVDR, AI Act und relevanten Normen zusammenzuführen. M&M Software ergänzt dies mit tiefem Engineering‑Know‑how für KI‑Architekturen, Human‑Oversight‑Mechanismen, IEC‑62304‑konforme Prozesse und integrierte Cybersecurity. Dadurch entsteht eine durchgängige Verbindung aus Strategie, Regulatorik und robuster technischer Umsetzung.