KI und der Artificial Intelligence Act: Innovationstreiber vor neuer Regulierung – Was nun?

Auch bei anderen Prozessen wie der Diagnostik oder Behandlung wird immer häufiger auf KI-Methoden gesetzt. Christopher Boss, Leiter der MedtecLIVE with T4M und Executive Director Exhibitions der NürnbergMesse GmbH erklärt: „Auch im Messeforum wird das Thema im kommenden Frühjahr fokussiert und vertieft.“ Nicht ohne Grund: Mithilfe von KI können Fehler reduziert und der Einsatz von Medizintechnik optimiert werden. Wie bei jeder Innovation gibt es jedoch auch hier nicht nur Vorteile, weshalb der Einsatz von KI künftig EU-weit einheitlich reguliert und harmonisiert werden soll.

Durch den ‚Artificial Intelligence Act‘ (AIA) der EU-Kommission sollen Regulierungen zum Einsatz von Künstlicher Intelligenz eingeführt werden. Ein klarer Rechtsrahmen soll Orientierung und Einordnung bei etwaigen Fehlverhalten der KI ermöglichen. Jedoch können Regulierungen, insbesondere Überregulierungen, die durch den AIA befürchtet werden, auch dafür sorgen, dass es Neuentwicklungen schwerer haben an den Markt zu gelangen und die Entwicklung von Innovationen gebremst werden. Denn betrachtet man KI in der Medizintechnik, gibt es bereits eine Regulierung: Die EU-Medizinprodukte-Verordnung (Medical Device Regulation, MDR). Ein klarer Rechtsrahmen soll Orientierung und Einordnung bei etwaigen Fehlverhalten der KI ermöglichen. „Der AIA ist eine horizontale Regulierung, also branchenunabhängig und gilt für Computerspiele genauso wie für Medizintechnik. Gemeinsam mit der MDR würde also eine doppelte Regulierung bestehen“, erklärt Natalie Gladkov, Referentin für Digitale Medizinprodukte beim Bundesverband Medizintechnologie (BVMed).

Welche Auswirkungen hat der AIA denn jetzt genau auf Entwicklungen, bei denen Künstliche Intelligenz eingesetzt wird, und welche Folgen würden durch die neue Regulierung für die Zertifizierung entstehen? Um diese Frage beantworten zu können muss eine grundsätzliche Frage geklärt werden: Was ist KI, was macht sie und wie funktioniert das?

 

Künstliche Intelligenz: Wer bist du eigentlich?

Der Begriff lässt in einigen Köpfen Szenarien entstehen, wie man sie aus Hollywood-Filmen kennt: Eine Künstliche Intelligenz, vom Menschen erschaffen, entwickelt ein Eigenleben und übernimmt die Weltherrschaft. So aber funktioniert das glücklicherweise in der Realität nicht, erklärt Abtin Rad, Global Director für Funktionale Sicherheit, Software und Digitalisierung bei TÜV SÜD: „KI ist die Fähigkeit von Algorithmen, welche menschliche Fähigkeiten imitieren. Dabei gibt es verschiedene Modelle wie maschinelles Lernen zum Beispiel, bei dem ein geschriebener Algorithmus aus Trainingsdaten lernt.“ In der Umsetzung sei das noch komplizierter und komplexer, aber prinzipiell würden künstliche neuronale Netze geschaffen, die ähnlich wie ein menschliches Gehirn funktionierten und mit Daten trainiert werden können, um Entscheidungen zu treffen, beschreibt Rad. Das ist die Methode, die in der Medizintechnik am häufigsten eingesetzt wird. 

Auch Mindpeak setzt diese Methode ein. Die von den Hamburgern entwickelte KI arbeitet mit Deep Learning in der Bildverarbeitung und unterstützt damit die Pathologie in der Krebsdiagnostik. „Der Pathologe sucht bislang wie vor 100 Jahren unter dem Mikroskop auf Gewebe zwischen mehreren Millionen Zellen nach Tumorzellen und sucht dabei pro Fall meist nur einige hundert Zellen. Das ist wie die Suche nach der Nadel im Heuhaufen und kostet viel Zeit. Unsere Diagnosetools, die auf künstlicher Intelligenz basieren, analysieren auf sehr großen digitalisierten Bildern des Gewebes in einem Bruchteil der Zeit mehrere tausend Zellen und helfen so dem Pathologen bei seiner komplexen Aufgabe. Unsere KI arbeitet rund 10-mal schneller und ermöglicht so dem Pathologen, in der gleichen Zeit viel mehr Fälle zu bearbeiten und sich auf sehr schwierige Fälle konzentrieren zu können”, erzählt Felix Faber, Gründer und Geschäftsführer von Mindpeak. 

Es kommen aber auch andere KI-Methoden in der Medizinbranche zum Einsatz: Ada Health nutzt zum Beispiel Bayes’sche Netze - eine probabilistische Methode - die auf einer medizinischen Wissensbasis aufsetzen. „Die Technologie funktioniert im Prinzip wie ein Gespräch mit dem Arzt. Basierend auf dem eingegeben Leitsymptom stellt Ada adaptive Fragen, die sich an die Eingaben anpassen und persönliche Risikofaktoren berücksichtigen. Der abschließende Report zeigt die wahrscheinlichsten Ursachen für die Symptome auf und gibt Hinweise zu den weiteren Schritten“, erläutert Jonathan Muck, Senior Communications & Public Affairs Manager bei Ada Health. Wenn Nutzer ihren Report mit Ärzten teilen, kann die KI auch Hinweise für die ärztliche Diagnosefindung geben. Besonders wertvoll kann das im Bereich seltene Erkrankungen sein, von denen es ca. 6.000 verschiedene gibt.

Eingesetzt wird KI also bereits in einigen Bereichen der Medizintechnik wie Radiologie, Pathologie oder Bilderkennung. Der Grundsatz von KI ist, „dass Systeme und Algorithmen immer weiter lernen. Je mehr Daten sie erfasst haben, desto besser funktioniert der Algorithmus“, so Dr. Jörg Traub, Projektmanager Technologie und Leiter Gesundheit bei der Bayern Innovativ GmbH in Nürnberg und Geschäftsführer des Forum MedTech Pharma e.V., ideeller Träger der MedtecLIVE with T4M. Aber Szenarien wie sie in Filmen dargestellt werden, bei denen sich eine KI selbstständig macht, wird es so nicht geben. Die KI entwickelt sich dabei in einem gewissen Grad selbst weiter, indem sie von Spezialistinnen und Spezialisten mit ausgewählten Daten “angelernt” wird. “Füttert” man den Algorithmus mit genügend guten und aussagekräftigen Daten, ist er am Ende in der Lage, Bilder zu erkennen und zu analysieren, die er vorher noch nicht gesehen hat. Faber fügt hinzu, dass für die Zulassung der KI-Diagnosetools von Mindpeak, wie z.B. BreastIHC, auch eine Studie angefertigt werden muss, um die Wirksamkeit der Methode bestätigen zu können. Die Herausforderung für die Etablierung beispielsweise von KI-Diagnoselösungen im gesamten Gesundheitsbereich sieht Faber in den bestehenden Regulierungsvorschriften. „Grundsätzlich muss man festhalten, dass die MDR in erster Linie Devices, Geräte - also feste Gegenstände umfasst - und daher für SaMD überarbeitet werden muss.“ Deshalb muss bei der Zulassung laut MDR ein System ausgelernt haben und bei Veränderung des Algorithmus durch Datengewinn und Verbesserung der Anwendung neu zugelassen werden. Aber wie funktioniert die Zulassung, welche Kriterien werden hier besonders fokussiert?

 

Wie ist das mit der Zulassung und Zertifizierung?

Medizinprodukte aller Art müssen in Deutschland eine Konformitätsbewertung durchlaufen und werden dort auf verschiedene Aspekte geprüft, um festzustellen, ob das Produkt hält, was es verspricht, den Menschen hilft und nicht schadet. Das ist die Grundvoraussetzung damit die Patienten und Patientinnen keinem Risiko ausgesetzt werden. Auch KI muss diesen Prozess durchlaufen, wenn sie für die Medizin eingesetzt wird. „Künstliche Intelligenz wird in der Regel als Software as a Medical Device (SaMD) und somit als Medizinprodukt klassifiziert. Hersteller müssen sich eine benannte Zertifizierungsstelle suchen, die dann je nach Risikoklasse das Produkt prüft und die CE-Zertifizierung vergibt“, beschreibt Muck den Zulassungsvorgang. Faber fügt hinzu, dass dafür auch eine Studie gefordert werden muss, um die Wirksamkeit der Methode bestätigen zu können: „Grundsätzlich muss man aber festhalten, dass die MDR in erster Linie Devices, Geräte also feste Gegenstände umfasst und daher für SaMD überarbeitet werden muss.“ 

Die MDR und die IVDR (EU-Verordnung für In-vitro-Diagnostika) geben vor, welche Kriterien betrachtet werden müssen, gehen dabei zwar auf Software ein jedoch nicht auf die besonderen Eigenschaften der KI. Deshalb stützen sich die Zertifizierungsstellen für die KI assistierte SaMD (Software as a Medical Device) zusätzlich auf den aktuellen Stand der Technik, um die KI nach bestem Wissen und Gewissen zertifizieren zu können. „Zu berücksichtigende Aspekte bei der Zulassung sind zum Beispiel die Risikobewertung, die Erklärbarkeit von KI und ihrer Entscheidungen. Außerdem werfen wir einen Blick auf die Verifizierung und Validierung, wie etwa welche Daten für das Training und Validierung/Verifizierung genutzt wurden, welche Personen diese durchgeführt haben sowie die Übertragbarkeit auf die Zielpopulation“, zählt Rad auf. Welche Kriterien genau geprüft werden, ist dabei abhängig von dem Zweck und Modellen der KI, erklärt er. Die Erstzertifizierung selbst dauert dabei trotz hoher Komplexität nicht länger als bei einem normalen Medizinprodukt und nimmt zwischen sechs und zwölf Monaten in Anspruch.

Gibt es Veränderungen, zum Beispiel Weiterentwicklungen, weil die KI sich verbessert hat, so kommt auf das Produkt unter gewissen Umständen eine erneute Zertifizierung zu, die wiederum Zeit in Anspruch nimmt. Je nach Ausprägung der Überarbeitung könne die Dauer dafür variieren, sollte jedoch kürzer sein als die Erstzertifizierung, erläutert Rad.

 

Der Artificial Intelligence Act – Fluch oder Segen?

Jedes Land hat seine eigenen Regulierungen – noch. Denn der AIA soll eine europaweite Verordnung werden, die branchenübergreifend den Einsatz und die Zulassung von Künstlicher Intelligenz regulieren und damit auch Einheitlichkeit schaffen soll. Bisher gibt es lediglich einen ersten Entwurf, der bereits von vielen Verbänden mit Annotationen und Verbesserungsvorschlägen versehen wurde. Der AIA ist eine horizontale Verordnung und gilt damit nicht nur für die Medizintechnik, die in Deutschland bereits einige Regulierungen hat. Wie soll das also genau funktionieren? „Ein ausgiebiger Austausch aller Beteiligten ist essenziell. Die MedtecLIVE with T4M bietet dafür einen Rahmen“, erläutert Boss.

Der Artificial Intelligence Act sei die Antwort auf das, was gerade in der Welt passiere, beschreibt Natalie Gladkov die angedachte Verordnung: „Einige Länder sind in Sachen KI schon weiter, teilweise ethisch fragwürdig.“ Der AIA stellt daher einen Rahmen für Sicherheit sowie regulatorische Dinge, wie beispielsweise die Haftung. Dort, wo die MDR ihre Grenzen hat, kann die neue Regulierung auch hier eingreifen. In einigen Punkten überschneiden sich die Vorgaben aber auch: „Wie genau das umgesetzt wird, ist noch unklar“, führt Gladkov aus. Nur das zu regulieren, was auch reguliert werden sollte, wäre dabei angebrachter. Ansonsten könne der AIA dazu führen, dass die Verordnung in großer Bürokratie ende und Innovationen dadurch überhaupt nicht oder nur sehr langsamen auf den Markt kämen. „Man könnte den Unternehmen vieles erleichtern, wenn man den Fokus auf das Sinnvolle legen  und die Schreibtischarbeit auf das unmittelbar notwendige beschränken würde”, so Faber.

Der AIA stellt einen Rahmen für Sicherheit sowie regulatorische Fragen wie beispielsweise die Haftung dar und trägt damit auch eine wichtige Rolle. Auch hierzulande kann er dort einen Rahmen vorgeben, wo die MDR ihre Grenzen hat. In einigen Punkten überschneiden sich die Vorgaben aber auch: „So, wie der jetzige Entwurf es vorsieht, würde es zu einer doppelten Regulierung kommen, ob das so umgesetzt wird, das ist jedoch noch unklar“, führt Gladkov aus. Bereits jetzt werden von den Zertifizierungsstellen die Aspekte geprüft, die in der MDR, der IVDR und zu gewissen Teilen auch dem AIA (Artificial Intelligence Act) enthalten sind. Darüber hinausführende Kriterien, die bisher noch keine Rolle gespielt haben, im AIA aber berücksichtigt werden, können bei Einführung der Regulierung schrittweise hinzugefügt werden. „Zusätzliche Anforderungen sind zum Beispiel Vigilanz bei Menschenrechtsverletzungen oder die zweckbestimmte Nutzung“, erläutert Rad.

Generell gibt es zwei Sichtweisen bezüglich der potenziellen Verordnung: „Auf der einen Seite ist es eine Chance, sich als Unternehmen einen Vorsprung aufzubauen, auf der anderen Seite ist auch Vorsicht bezüglich einer Überregulierung gefragt, vor allem im Bereich der Medizin und Medizintechnik“, zeigt Traub auf. Gerade, weil KI wie keine andere Innovation zuvor, die Möglichkeiten habe, die Medizinbrache von Grund auf zu revolutionieren, bringt Rad an. Dass so ein dynamischer und machtvoller Bereich wie KI reguliert werden muss, wird immer deutlicher. Einige Unternehmen sehen dafür die MDR als ausreichend an, „andere, und da gehört der BVMed auch dazu, sehen im AIA auch Potenziale“, erläutert Gladkov. Regeln seien insbesondere im Gesundheitsbereich sehr wichtig, stellt Faber fest: „Ich helfe daher auch sehr gerne als Din-Botschafter in diesem Bereich bei der Entwicklung von Din-Specs - der Vorstufe von Normen - mit, um pragmatische Lösungen für Unternehmen zu entwickeln.”  Vernünftige und pragmatische Regelungen verschaffen außerdem Vertrauen. „Regulierung und Innovation muss kein Gegensatz sein. Regulierung kann Menschen Berührungsängste nehmen und so den Einsatz neuer Technologien fördern“, zeigt Muck auf. Dem stimmt auch Rad zu, denn die Regulierung schaffe ein Framework und verkleinere dadurch Ängste, stärke Vertrauen.

Regulierung, Verordnung, Prüfung – das hört sich nach viel Arbeit an. Hemmt der AIA als Zusatz zu den bereits bestehenden MDR und IVDR durch Mehraufwand die Entwicklung von Innovationen?

 

AIA – Wäre die Verordnung ein Überregulator und Innovationsblocker?

Geht es um Sicherheit für den Menschen ist eine präzise Abwägung unabdingbar. Denn klar ist, mehr Regulierung führt zu größeren Kosten. „Das ist für Start-ups immer erstmal eine Herausforderung, denn geeignetes Personal ist am Markt aktuell schwer zu finden“, sieht Muck als Problem für die Entwicklung neuer Technologien unter zusätzlicher Regulierung. Auch Faber stimmt dem zu, denn große Unternehmen würden den höheren Kostenaufwand verkraften können, die kleineren seien davon aber stärker betroffen. „Sicherheit ist wichtig, aber man muss auch Freiheiten und Möglichkeiten lassen, niemandem im Markt benachteiligen“, erklärt Gladkov. Dennoch, als Innovationshemmer wird der AIA nicht wahrgenommen: „Es ist sicherlich mit mehr Zeit und größeren Kosten verbunden, aber wir arbeiten hier mit Menschenleben und da ist der Mehraufwand sicherlich gerechtfertigt“, führt Rad aus und ergänzt, dass der AIA an weltweite Regulierungen anschließe und daher seine Richtigkeit habe.

 

Wie also sieht die optimale Regulierung aus?

MDR, IVDR, AIA – das alles unter einen Hut zu bekommen wäre aufwändig und anstrengend für Unternehmen aber auch für die wartenden Menschen, die mithilfe von KI ein besseres Leben führen könnten. Ein Lösungsvorschlag: Die Harmonisierung mit den regionalen Verordnungen, erläutert Traub: „Optimal wäre, wenn die angedachte Regulierung in den bestehenden Prozess integriert, und nicht als zusätzliche Hürde dastehen würde.“

Faber führt als Beispiel für einen guten Ansatz die FDA (Food and Drug Administration), die US-Arzneimittelbehörde, auf: „Sie erlaubt Verbesserungen und Veränderungen am Produkt auch nach deren Zertifizierung mit vertretbarem Aufwand“. Dem stimmt Muck zu: „Durch Algorithm-Change-Pläne, quasi den Leitplanken, wird festgelegt, in welchem Rahmen sich das Produkt verändern darf. In den USA gibt es einen interessanten Testlauf für einen neuen Regulierungsansatz. Im sogenannten Pre-Cert-Verfahren wird nicht nur das Produkt in vereinfachter Form, sondern auch das Unternehmen vorabzertifiziert, was eine gute Voraussetzung für eine solche Entwicklung darstellt.“ Ein innovativer Ansatz, der trotz Kontrolle und Regeln auch Freiraum lässt. „Clevere Regulierung gewährleistet Sicherheit und ist gleichzeitig Kickstarter und Wegbereiter für Innovation“, ergänzt Muck. 

Letztendlich dürfen die Patienten und Patientinnen nicht aus den Augen verloren werden, auch nicht, was es diesen Menschen kostet, wenn eine neue Technologie eben nicht eingeführt wird. „Regulierung kann immer dann gut werden, wenn es einen engen Austausch mit dem Markt gibt. Deshalb wird die MedtecLIVE with T4M eine Plattform sein, bei der dieses und andere Themen vertieft werden können“, ergänzt Boss. Sicherlich wird es noch einige Änderungen im Entwurf des AIA geben, aber die Verordnung wird auch auf der MedtecLIVE with T4M im Mai 2022 bei Ausstellern, Besuchern und Diskussionen noch ein großes Thema sein.

 

---

Über MedtecLIVE with T4M

Die Messe MedtecLIVE with T4M ist das führende europäische Frühjahrs-Event der Medizintechnik und findet jährlich abwechselnd in Stuttgart und Nürnberg statt. Die Veranstaltung deckt die gesamte Wertschöpfungskette ab und verbindet dabei die wichtigsten Medizintechnikregionen in Deutschland. Hier treffen Entscheider der Inverkehrbringer und OEMs auf die wichtigsten Zulieferer der Medizintechnik.