Der Rat der 27 EU-Mitgliedstaaten hat am 21. Mai 2024 den AI Act verabschiedet und damit einen einheitlichen Rechtsrahmen für den Einsatz Künstlicher Intelligenz in der Europäischen Union geschaffen. Mit dem AI Act (in Deutschland auch: KI-Verordnung) liegt weltweit erstmals ein umfassendes Regelwerk für den Umgang mit KI vor. Ab Februar bzw. ab August 2025 sind erste Bestimmungen auch für Krankenhäuser in Kraft getreten.
Warum ist der AI-Act zu beachten?
Der EU AI Act ist die erste globale Verordnung zur Regulierung von Künstlicher Intelligenz, die am 1. August 2024 in Kraft trat und seitdem schrittweise gilt. Ziel ist es, Menschen und Grundrechte zu schützen, gleichzeitig Innovation und Vertrauen in KI-Systeme zu fördern. Der EU AI Act besteht insgesamt aus rund 140 Seiten. Nicht nur Unternehmen, die KI-Systeme in der EU in Verkehr bringen, sondern auch Unternehmen, die KI nutzen, müssen die Vorschriften schrittweise umsetzen. Seit 2. Februar 2025 gelten Verbote besonders riskanter Praktiken sowie Anforderungen an KI-Kompetenz der Mitarbeiter. Seit 2. August 2025 gelten die Transparenz- und Dokumentationspflichten für General-Purpose-AI-Modelle (GPAI), wie z.B. ChatGPT. Für hochriskante Anwendungen (z.B. in Medizinprodukten, wie CT, MRT etc.) läuft eine verlängerte Übergangszeit bis 2. August 2027.[1]
Mehr als 60 Prozent aller Beschäftigten in Deutschland verwendet heute schon KI am Arbeitsplatz.[2] In vielen Kliniken werden ChatGPT, Perplexity, Microsoft Copilot, Google Gemini u.v.m. „inoffiziell“ eingesetzt, um z.B. schnell ein EKG von der KI bewerten zu lassen. Dieser unbefugte Einsatz der KI („Schatten-KI“) führt jedoch nicht nur dazu, dass die Anwender der KI-Lösungen in die Haftung genommen werden können, aber auch die Kliniken selbst.
Der AI Act ist ein risikobasierter Ordnungsrahmen, der nicht jede KI pauschal gleichbehandelt, sondern Pflichten nach Gefahrpotenzial gestaffelt. Unabhängig von den umfangreichen Regelungen der KI-Verordnung müssen genauso umfangreiche Regelungen der DSGVO bei Einsatz der KI zu beachten.
Welche Rollen nach KI-VO können Krankenhäuser einnehmen?
Der AI Act sieht diverse „Rollen“ vor. Die Rollen dienen insbesondere der Bestimmung der Pflichten. Kliniken können nach der KI-Verordnung in der Regel zwei unterschiedliche Rollen einnehmen:
1. Klinik als Betreiber einer KI-Lösung
Gemäß Art. 3 Nr. 4 KI-VO ist ein Betreiber:
„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet.“
Auf eine Klinik, die den Mitarbeitenden eine KI-Lösung zur Anwendung bereitstellt, kommen die Pflichten eines Betreibers nach Art. 3 Nr. 4 KI-VO zu.
2. Klinik als Anbieter einer KI-Lösung
Gemäß Art. 3 Nr. 3 KI-VO ist ein Anbieter:
„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich.“
Anbieter einer KI-Lösung sind damit in der Regel die Hersteller von KI-Lösungen.
In diese Rolle kann aber auch ein Krankenhaus „reinrutschen“, wenn es eine KI-Lösung, wie ChatGPT durch „Fine-Tuning“ (etwas als Custom-GPT), den Einsatz von Retrieval-Augmented Generation (RAG) etc. wesentlich verändert (Erwägungsgrund 100; Art. 53). In solchen Fällen haftet der ursprüngliche Anbieter nicht mehr und das Krankenhaus – als der neue Anbieter – ist für die Erfüllung aller Anforderungen der KI-Verordnung verantwortlich.
Wie wird die KI klassifiziert?
Der AI Act legt besondere Anforderungen für unterschiedliche Arten von KI fest, abhängig von ihrem Risikopotenzial: je höher das Risiko, desto strenger die Anforderungen.
Verbotene Praktiken
Gemäß Art. 5 werden sog. „Verbotene Praktiken“ definiert, weil diese ein unannehmbares Risiko für die Sicherheit, die Grundrechte oder die Werte der EU darstellen. Hierzu gehören z.B. KI-Systeme zur Bewertung oder Klassifizierung natürlicher Personen oder Personengruppen über einen bestimmten Zeitraum hinweg auf der Grundlage ihres Sozialverhaltens oder sog. „Social Scoring“, manipulative Techniken, System die Schwächen besonders schutzwürdiger Personen ausnutzen etc.
Die Hochrisiko-KI-Systeme
Die Regelugen des Art. 6 führen umfangreiche Regeln zur Klassifizierung von Hochrisiko-KI-Systemen auf. Ob ein KI-System als hochriskant gilt, hängt davon ab, ob es unter eine der Produktregulierung nach Anhang I erfüllt oder in eines der acht Bereiche unter Anhang II gelistet ist. Die Bewertung, ob ein Medizinprodukt als Hochrisiko-KI-System eingestuft werden muss, ist komplex. In den meisten Fällen sind die Medizinprodukte der Klasse 1 keine Hochrisiko-KI-Systeme, Medizinprodukte der anderen Klassen sind meistens als Hochrisiko-KI-Systeme zu klassifizieren. Diese Klassifizierung gilt auch für „Baugruppen“ eines Medizinprodukten, also z.B. die KI-Bildanalyse eine Computertomografen [3].
KI-Systeme mit besonderem Risiko
Zu dieser Gruppe gehören nach Art. 50 u.a. KI-Systeme, deren Aufgabe eine Interaktion mit Menschen ist (Robots) oder synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen.
KI-Systeme mit geringem Risiko
Hierzu gehören alle anderen KI-Systeme (Artt. 4, 95).
KI mit allgemeinem Verwendungszweck: mit und ohne systemisches Risiko
Der AI-Act definiert ebenfalls sog. KI mit allgemeinem Verwendungszweck (General Purpose Artificial Intelligence (GPAI)). Der Unterschied zwischen GPAI ohne und mit systemischem Risiko besteht hauptsächlich in der Höhe des Wirkungsgrades, die sie für den Markt und die Gesellschaft darstellen. Daraus ergeben sich strengere regulatorischen Anforderungen und Schutzmaßnahmen z.B. für OpenAI (ChatGPT), Microsoft und anderen Anbietern von KI-Lösungen.
Im Teil 2 erfahren Sie welche Pflichten haben die Krankenhäuser ab sofort und welche kommen auf sie zu und wie die Regelungen der DSGVO bei der Verwendung von KI einbezogen werden müssen.
Adam Pawelek
Quellen:
[1] https://artificialintelligenceact.eu/
[2] https://www.zew.de/presse/pressearchiv/beschaeftigte-nutzen-ki-auch-ohne-betriebliche-einfuehrung
[3] https://www.johner-institut.de/blog/regulatory-affairs/ai-act-eu-ki-verordnung/
Du muss angemeldet sein, um einen Kommentar zu veröffentlichen.