Spätestens mit dem AI Act wird klar: Europa reguliert künstliche Intelligenz. Und auf den ersten Blick klingt das auch wirklich vernünftig. Wenn Algorithmen nämlich zukünftig Diagnosen unterstützen, Therapien priorisieren oder klinische Entscheidungen beeinflussen, dann braucht es auch klare Regeln. Niemand möchte schließlich eine Medizin, in der intransparente (Maschinen-)Systeme unkontrolliert über (uns) Menschen entscheiden. Genau aus diesem Gedanken heraus entstand der EU AI Act. Dieses ist weltweit das erste umfassende Gesetz zur Regulierung künstlicher Intelligenz.
Doch während die öffentliche Diskussion häufig moralisch geführt wird (nach dem Motto „Schutz der Patienten“, „ethische KI“, „Transparenz“) wächst innerhalb der Community eine andere Sorge. Viele KI-interessierte europäische Ärzte, Forschungs- und MedTech-Communities haben eine andere Sorge. Eine Sorge, die deutlich weniger Aufmerksamkeit bekommt, aber langfristig möglicherweise viel entscheidender sein wird (1).
Was passiert, wenn Europa zwar KI reguliert, aber keine eigene medizinische Software-Infrastruktur zur Entwicklung einer KI mehr besitzt?
Diese Frage wirkt zunächst sehr abstrakt. Tatsächlich berührt sie jedoch einen fundamentalen Paradigmenwechsel, der gerade im Gesundheitswesen beginnt. Denn künstliche Intelligenz ist längst nicht mehr nur ein Werkzeug zur Automatisierung von Prozessen. Moderne Sprachmodelle lernen heutzutage medizinische Sprache, diagnostische Muster, Therapiepfade und klinische Entscheidungslogik. Sie beginnen, medizinisches Wissen strukturell quasi wie ein Schwamm „zu absorbieren“. Und genau dadurch verändert sich auch die Rolle unserer Ärzteschaft selbst.
Bislang galt medizinisches Wissen als etwas, das innerhalb von Fachgesellschaften entstand und weitergegeben wurde. Beispielsweise durch Studium und Ausbildung, durch Erfahrung, konsolidierte Leitlinien und damit wissenschaftliche Evidenz. Mit großen KI-Systemen verschiebt sich nun diese Architektur der Wissensvermittlung. Wissen wird zunehmend maschinenlesbar, zentralisiert und in externen Plattformen gespeichert. Die entscheidende Frage lautet deswegen nicht nur, wie sicher die KI ist. Sondern vielmehr, wem das medizinische Wissen in Zukunft gehören wird.
Der EU AI Act versucht zunächst einmal ein reales Problem zu lösen. Geklärt ist, dass medizinische KI ein Medizinprodukt ist. Und damit unterscheidet die Europäische Union KI-Systeme nach Risikoklassen. Systeme mit geringem Risiko unterliegen wenigen Anforderungen, Hochrisiko-Systeme dagegen strengen regulatorischen Vorgaben. Soweit, so klar. Medizinische KI fällt fast immer in diese Hochrisikokategorie. Auch das ist verständlich, denn sobald ein System Diagnosen unterstützt, Therapieentscheidungen beeinflusst oder klinische Priorisierungen vornimmt, greifen bekannte regulatorische Anforderungen. Dazu gehört z.B. ein Risikomanagement, Qualitätskontrollen, bestimmte Dokumentationspflichten, auch menschliche Kontrolle und Nachvollziehbarkeit. Dafür gibt es bekanntermaßen bereits die europäische Medizinprodukteverordnung (MDR), die ebenfalls umfangreiche Anforderungen an medizinische Software stellt. Medizinische Medizinprodukte müssen sicher sein, vom Dermatoskop bis hin zur KI. Niemand möchte eine fehlerhafte oder eine unkontrollierte KI in der Patientenversorgung. Und tatsächlich besitzen große Sprachmodelle reale Risiken. KI kann halluzinieren und falsche Zusammenhänge erzeugen. Mancher Nutzer hat erlebt, dass statistische Verzerrungen reproduziert wurden oder gefährlich überzeugend formulierte Fehler ausgespuckt wurden. Im Gesundheitswesen ist das kein harmloses technisches Problem, sondern damit potenziell patientengefährdend. (2)
Und trotzdem entsteht genau an diesem Punkt ein zunehmender Zielkonflikt. Denn Regulierung erzeugt nicht nur Sicherheit. Regulierung erzeugt auch Komplexität und Markteintrittsbarrieren. Und genau diese Barrieren treffen nicht alle Akteure auf dem KI-Markt gleichermaßen.
Große amerikanische Plattformunternehmen verfügen sicherlich über Milliardenkapital, globale Cloud-Infrastrukturen, eigene regulatorische Spezialisten und Rechtsabteilungen. Für diese Player ist Compliance teuer, aber machbar. Kleine europäische MedTech-Startups wie universitäre Open-Source-Projekte oder kliniknahe Entwicklergemeinschaften besitzen diese Ressourcen oft allerdings nicht. Für sie sind solche Markteintrittsbarrieren eher Hürde als Regelung. Je komplexer regulatorische Anforderungen werden, desto größer wird deshalb der strukturelle Vorteil derjenigen, die bereits groß sind.
Das bedeutet: Eine Regulierung, die eigentlich Macht begrenzen soll, kann paradoxerweise bestehende Machtkonzentrationen verstärken.
Genau diese Sorge beschäftigt inzwischen viele europäische KI- und Gesundheitsinitiativen. Sie argumentieren, dass Europa Gefahr läuft, seine eigene medizinische Innovationsfähigkeit zu schwächen, während amerikanische Plattformen ihre technologische Dominanz weiter ausbauen. Der Rückzug von OpenEvidence aus Europa wurde deshalb in vielen Kreisen als Warnsignal verstanden. (3)
OpenEvidence ist eine KI-gestützte Plattform für medizinische Evidenz und klinische Informationssuche. Während es in den USA noch verfügbar ist, wurde in Europa hingegen der Zugang wegen regulatorischer Unsicherheit eingestellt. Dahinter steht die komplizierte Frage, die dem aufmerksamen Leser nun verständlich ist: Ist ein solches System lediglich eine Suchmaschine oder bereits ein klinisches Entscheidungsunterstützungssystem?
Und damit stellen sich bei OpenEvidence Fragen wie „Muss jede Modelländerung neu zertifiziert werden?“ Und wer haftet eigentlich bei fehlerhaften Empfehlungen? Wie validiert man kontinuierlich lernende generative Modelle und wie dokumentiert man das Ganze?
Diese Fragen sind nicht trivial. Sie zeigen ein tiefgreifendes Problem. Europa besitzt bislang kein stabiles regulatorisches Modell für generative medizinische KI. Die Unsicherheit selbst wird dadurch zum Innovationshemmnis. Ganz nach dem Motto: US innovates, EU regulates.
Und genau hier beginnt auch eine politische Dimension in dieser fast schon KI-ethischen Debatte. Regulierung soll nicht gleichbedeutend mit Kontrolle sein. Doch Kontrolle über Technologie entsteht nicht allein durch Gesetze. Kontrolle entsteht erst durch z.B. Datenzugang und technologische Eigenständigkeit. Wenn Europa keine eigenen sogenannten medizinischen Foundation Models entwickelt und keine offenen klinischen KI-Ökosysteme (beispielsweise in universitärer Nähe) fördert, dann entsteht keine digitale Souveränität. Dann entsteht eine regulatorische Verwaltung fremder Systeme.
Das ist ein fundamentaler Unterschied.
Europa könnte dann zwar definieren, unter welchen Bedingungen amerikanische Plattformen im Gesundheitswesen operieren dürfen. Die eigentliche technologische Wertschöpfung würde damit jedoch außerhalb Europas stattfinden. Und damit würden medizinische Entscheidungsarchitekturen (analog von Patientenpfaden) von externen Plattformen geprägt. Dazu dient dieser Vergleich: