KI im Krankenhaus: Umsetzung der KI-Verordnung in der Praxis – Teil 2

Der Rat der 27 EU-Mitgliedstaaten hat am 21. Mai 2024 den AI Act verabschiedet und damit einen einheitlichen Rechtsrahmen für den Einsatz Künstlicher Intelligenz in der Europäischen Union geschaffen.

Mit dem AI Act (in Deutschland auch: KI-Verordnung) liegt weltweit erstmals ein umfassendes Regelwerk für den Umgang mit KI vor. Ab Februar bzw. ab August 2025 sind erste Bestimmungen auch für Krankenhäuser in Kraft getreten. Im ersten Teil wurde erläutert, warum der AI-Act auch von Kliniken zu beachten ist, welche Rollen nach der KI-Verordnung Krankenhäuser einnehmen und wie die KI klassifiziert wird.  Im nachfolgenden zweiten Teil erfahren Sie welche Pflichten auf die Krankenhäuser zukommen und welche Verbindung zu den Regelungen der DSGVO besteht.

Welche Pflichten haben Krankenhäuser ab sofort?

Die KI-Verordnung sieht eine stufenweise Verpflichtung der Anbieter und der Betreiber vor.

Seit 2. August 2025 haben Betreiber und Anbieter von KI-Lösungen bereits diverse Pflichten, die davon abhängig sind, welche Rolle das Krankenhaus bei einer konkreten KI-Lösung einnimmt und ob es sich um ein Hochrisiko-KI-System, ein KI-System mit besonderem Risiko oder ein System mit geringem Risiko handelt (siehe hierzu Teil 1).

Vermittlung von Kenntnissen

Krankenhäuser als  Betreiber einer oder mehrerer KI-Lösungen haben generell die Pflicht zur Ergreifung von geeigneten Maßnahmen, um dafür zu sorgen, dass die eigenen Mitarbeiterinnen, die KI-Lösungen verwenden, über ein „ausreichendes Maß an KI-Kompetenz verfügen“ (Art. 4.). Hierzu regelt der Art. 4 der KI-VO:

Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach bestem Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Aus- und Weiterbildung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, berücksichtigt werden.

Hieraus können drei Bereiche definiert werden [1]:

1. Technisches Know-how über die Funktionsweise von KI-Algorithmen, Maschinellem Lernen, generativen Modellen etc.
2. Regulatorisches Wissen über die gesetzlichen Vorgaben der KI-Verordnung sowie ethischen Prinzipien im Umgang mit KI.
3. Anwendungsspezifische Kenntnisse, um die KI sicher und effektiv im eigenen Tätigkeitsbereich einzusetzen.

Diese Kompetenz kann z.B. durch entsprechende zielgruppen-spezifische Schulungen als e-Learnings erworben werden.

 

Verwendung von Verbotenen KI-Systemen

Insoweit ein nach dem AI-Act verbotenes KI-System bereits im Einsatz sein sollte, so darf dieses verbotene KI-System ab dem 02.02.2025 nicht mehr betrieben werden.

Transparenzpflichten bei KI-Systemen zur direkten Interaktion mit Menschen

Insoweit ein Krankenhaus ein KI-System zur direkten Interaktion mit Menschen einsetzt, z.B. als KI-Chat-Roboter oder eine KI im Patientenportal, so sind nach Art. 50 besondere Transparenzpflichten zu beachten (siehe hierzu hier).

Welche Pflichten kommen auf die Krankenhäuser zu?

Besondere Pflichten beim Einsatz von Hochrisiko-KI

In Krankenhäusern werden bereits heute Hochrisiko-KI-Systeme eingesetzt, z.B. KI Unterstützung beim CT, MRT, Endoskopie, KI zur Diagnose, Patientenüberwachung, Therapieplanung oder anderen klinischen Prozessen.
Beim Einsatz von sog. Hochrisiko-KI-Systemen (insbesondere auch im medizinischen Kontext) gelten für die Betreiber ab dem 2. August 2027 umfangreiche Pflichten nach Art. 26. So muss z.B. eine angemessene menschliche Aufsicht über das System gewährleistet sein, das KI-System muss in geeigneter Weise überwacht werden inklusive Protokollierung in bestimmten Fällen, Prüfung, ob die EU-Konformitätserklärung vom Anbieter erstellt wurde, Prüfung ob das KI-System in der EU-Datenbank registriert wurde u.v.m. [3]

Besondere Pflichten beim Einsatz von KI mit allgemeinem Verwendungszweck

Der AI-Act definiert sog.  KI mit allgemeinem Verwendungszweck (General Purpose Artificial Intelligence (GPAI)). Hierzu gehören typische KI-Lösungen, wie ChatGPT (Open AI), Microsoft Copilot, Perplexity, Google Gemini etc.
Der AI-Act beschreibt umfangreiche Pflichten für die Anbieter von GPAI-Modellen.
Diese Pflichten hat aber auch ein Krankenhaus ab dem 2. August 2026 zu beachten, wenn im Krankenhaus eine KI-Lösung „adaptiert“ wird (Art. 53). Dies gilt insbesondere dann, wenn ein GPAI  adaptiert wird und dann Bestandteil eines (haus-)eigenen KI-Systems wird (Erwägungsgrund 100).

DSGVO und KI-Verordnung

Die Nutzung von KI-Systemen im Gesundheitswesen – insbesondere in Krankenhäusern – unterliegt nicht nur den spezifischen Anforderungen der EU-KI-Verordnung, sondern stellt auch erhöhte Anforderungen an den Datenschutz gemäß der Datenschutz-Grundverordnung (DSGVO). Gerade im klinischen Umfeld, wo besonders sensible Gesundheitsdaten verarbeitet werden, entstehen komplexe rechtliche und ethische Herausforderungen.

Gesundheitsdaten zählen bekannterweise zu den besonders schützenswerten Kategorien personenbezogener Daten und unterliegen in aller Regel dem Schutzbereich des Art. 9 DSGVO. Eine rechtmäßige Verarbeitung solcher Daten kann unter anderem auf die sogenannte Gesundheitsausnahme nach Art. 9 Abs. 2 lit. h DSGVO gestützt werden – vorausgesetzt, die Verarbeitung erfolgt durch Fachpersonal unter Wahrung der ärztlichen Schweigepflicht und unter angemessenen technischen sowie organisatorischen Schutzvorkehrungen.

Zentrale DSGVO-Regelungen beim Einsatz von KI-Systemen

Beim Einsatz von KI-Lösungen in Krankenhäusern müssen unter anderem folgende Vorschriften der DSGVO beachtet werden:

Art. 5 – Grundsätze der Verarbeitung (Zweckbindung, Datenminimierung, Speicherbegrenzung etc.)

Art. 6 – Rechtmäßigkeit der Verarbeitung

Art. 13, 14 i. V. m. Art. 12 – Informationspflichten gegenüber den betroffenen Personen

Art. 15–23 – Rechte der betroffenen Personen (Auskunft, Berichtigung, Löschung, Einschränkung, Widerspruch, Datenübertragbarkeit)

Art. 22 – Einschränkungen bei ausschließlich automatisierten Entscheidungen mit rechtlicher Wirkung

Art. 25 – Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen („Privacy by Design & Default“)

Art. 26 & 28 – Abgrenzung zwischen gemeinsamer Verantwortlichkeit und Auftragsverarbeitung

Art. 35 – Verpflichtung zur Durchführung einer Datenschutz-Folgenabschätzung (DSFA)

Kapitel V – Besondere Anforderungen beim Datentransfer in Drittländer (z. B. USA)

Einsatz von SaaS-basierten KI-Lösungen: kaum datenschutzkonform möglich

Die Nutzung von Software-as-a-Service-KI-Lösungen (SaaS), wie etwa ChatGPT, Microsoft Copilot, Google Gemini oder Perplexity, in Verbindung mit personenbezogenen Daten, stellt aktuell ein erhebliches datenschutzrechtliches Risiko dar. Besonders kritisch ist dabei die Frage, ob eine wirksame und freiwillige Einwilligung nach DSGVO überhaupt eingeholt werden kann.

Bereits Erwägungsgrund 42 der DSGVO stellt klar, dass die Beweislast für die Gültigkeit der Einwilligung beim Verantwortlichen liegt. In der Praxis ist es in medizinischen Kontexten kaum möglich, die Freiwilligkeit und Informiertheit der Einwilligung sicherzustellen, insbesondere bei systemisch operierenden, cloudbasierten KI-Diensten mit Drittlandbezug. Hinzu kommt, dass viele dieser Dienste weder eine präzise Zweckbindung noch Transparenz über die Datenverarbeitung gewährleisten.

Adam Pawelek
HC-Change Consulting