[Seite 1]
Einsatz von Künstlicher Intelligenz beim Landesamt für Finanzen
Anforderungen für den Aufbau und den Betrieb einer KI aus Sicht des Datenschutzes (siehe hierzu auch die entsprechende Orientierungshilfe der DSK, Stand Mai 2024)
- Konzeption des Einsatzes und Auswahl von KI‐Anwendungen
1.1 Legitimer Verarbeitungszweck
Vor dem Einsatz einer KI‐Anwendung ist verbindlich festzulegen, welche Einsatzfelder für die KI‐ Anwendung vorgesehen sind und welchem Zweck diese konkret dient. Im Hinblick auf die Verarbeitung personenbezogener Daten ist diese Zweckfestlegung elementar für den datenschutzkonformen Betrieb, da nur aufgrund konkreter vorab festgelegter Zwecke überprüft werden kann, ob die Verarbeitung personenbezogener Daten zur Zweckerreichung erforderlich ist. Für das LfF ist hier zu beachten, dass sich der Einsatzbereich nur auf die Erfüllung der gesetzlich vorgesehenen Aufgaben erstrecken darf.
1.2 Personenbezogene Daten
Soweit sich bei der Festlegung der Verarbeitungszwecke ergibt, dass für diese keinerlei personenbezogene Daten verarbeitet werden müssen, weder als Eingabedaten oder Ausgabedaten einer KI‐Anwendung, noch im Anmelde‐ und Verarbeitungsprozess der KI‐ Anwendung, unterliegen diese nicht dem Datenschutzrecht. Allerdings ist hierbei zu beachten, dass ein Personenbezug sich durch viele Merkmale, nicht nur durch Namen und Adressdaten ergeben kann. Die Prüfung, ob personenbezogene Daten in einem Einsatzfeld vorkommen oder nicht, ist daher gründlich und über den Lebenszyklus der Daten hinweg durchzuführen.
1.3 Datenschutzkonformes Training von KI‐Anwendungen
Für den Aufbau einer KI spielt es auch eine Rolle, ob und inwiefern diese datenschutzkonform trainiert werden kann. • Sollen für das Training personenbezogene Daten verwendet werden? • Wenn nein, ist das Training möglich. • Wenn ja, muss es hierzu eine Rechtsgrundlage für die Nutzung zum Zweck des KI-Aufbaus geben. • Inwiefern weist die KI‐Anwendung zum Zeitpunkt des Einsatzes selbst Personenbezug auf?
1.4 Rechtsgrundlage für die Datenverarbeitung (bei Nutzung der KI)?
Für jeden Verarbeitungsschritt, bei dem mit Hilfe einer KI‐Anwendung personenbezogene Daten verarbeitet werden, ist eine datenschutzrechtliche Rechtsgrundlage erforderlich. Für das LfF ergibt sich hieraus, dass der Einsatz einer KI, je nach betroffenem Fachgebiet, eine Rechtsgrundlage innerhalb der Zuständigkeitsverordnungen oder im Bezüge, Reisekosten- oder Beihilferecht haben muss.
[Seite 2]
1.5 Keine automatisierte Letztentscheidung
Entscheidungen mit Rechtswirkung dürfen gemäß Art. 22 Abs. 1 DS‐GVO grundsätzlich nur von Menschen getroffen werden. Ausnahmen sind nur in bestimmten Fällen zugelassen, etwa bei einer Einwilligung der betroffenen Person oder wenn eine gesetzliche Grundlage dies ausnahmsweise erlaubt. Erarbeitet eine KI‐ Anwendung Vorschläge, die für eine betroffene Person Rechtswirkung entfalten, muss das Verfahren so gestaltet werden, dass dem entscheidenden Menschen ein tatsächlicher Entscheidungsspielraum zukommt und nicht maßgeblich aufgrund des KI‐ Vorschlags entschieden wird. Unzureichende Personalressourcen, Zeitdruck und fehlende Transparenz über den Entscheidungsweg der KI‐gestützten Vorarbeit dürfen nicht dazu führen, dass Ergebnisse ungeprüft übernommen werden. Eine lediglich formelle Beteiligung eines Menschen im Entscheidungsprozess ist nicht ausreichend. Der von der KI verwendete Entscheidungsprozess muss zudem regelmäßig auf Richtigkeit geprüft werden. Hierzu muss ein entsprechendes Regelwerk entwickelt werden. In Abhängigkeit von der Tragweite der Entscheidung ist es zudem notwendig, den maschinellen Entscheidungsprozess auch nach außen gegenüber den betroffenen Personen transparent zu machen.
1.6 Geschlossenes oder offenes System
Bei KI‐Anwendungen kann zwischen geschlossenen und offenen Systemen unterschieden werden. Bei geschlossenen Systemen erfolgt die Datenverarbeitung in einer eingegrenzten und technisch abgeschlossenen Umgebung. Außerdem hat nur ein bestimmter eng begrenzter Anwender: innenkreis Zugriff auf die KI‐Anwendung. Die Kontrolle über die Ein‐ und Ausgabedaten liegt bei geschlossenen Systemen bei den Anwendenden. Es ist systemseitig nicht vorgesehen, dass die bei der Anwendung eingegebenen oder entstehenden Daten vom Anbieter des Systems zum weiteren Training verwendet werden. Anders verhält es sich mit offenen Systemen. Solche KI‐Anwendungen werden vom Anbietenden zum Beispiel als Cloud‐Lösung betrieben und sind über das Internet für einen unbestimmten Anwender: innenkreis zugänglich. Die Eingabedaten verlassen damit den geschützten Bereich der Anwender: in und können, je nach Konzeption der KI‐Anwendung, von dieser auch für die Beantwortung von Anfragen anderer Anwender: innen verwendet werden. In diesem Fall besteht das Risiko, dass personenbezogene Daten zu anderen Zwecken weiterverarbeitet werden oder auch unbefugten Dritten zugänglich sind und ihnen gegenüber offengelegt werden. Offene Systeme können überdies Zugang zu weiteren Datenquellen wie dem offenen Internet haben und hierdurch Personenbezug von Daten herstellen oder die Informationen zu einer Person erweitern. Beim LfF sollten daher ausschließlich technisch geschlossene Systeme zum Einsatz kommen.
1.7 Informationspflichten
Entsprechend der Vorgaben in Art. 12 ff DS-GVO haben Verantwortliche und Auftragsdatenverarbeiter die betroffenen Personen über Art und Umfang der Verarbeitung personenbezogener Daten zu informieren. Bezogen auf den Einsatz einer KI ist hier darzustellen, welche Daten sowohl für Trainingszwecke, als auch im produktiven Betrieb verwendet werden sollen.
[Seite 3]
1.8 Wahlmöglichkeit hinsichtlich KI‐Training
Soweit personenbezogene Daten für das Training verwendet werden, muss sichergestellt sein, dass diesbezüglich ausreichend informiert und die Möglichkeit eröffnet wird, die Nutzung der Daten für das Training auszuschließen. Sollte ein Ausschluss der Nutzung zu Trainingszwecken nicht möglich oder praktikabel sein, ist für diesen Zweck eine (gesonderte) Rechtsgrundlage erforderlich. Aus Gründen der Vereinfachung wird daher empfohlen, auf den Einsatz von personenbezogenen Daten zu verzichten.
1.9 Wahlmöglichkeit hinsichtlich Eingabe‐Historie
Viele durch Texteingaben (Prompts) gesteuerte Dienste bieten an, die Eingaben zu speichern, um z. B. den Dialog zu einem Thema zu einem späteren Zeitpunkt wieder aufnehmen zu können oder an einer weiteren Optimierung des Prompts zu arbeiten. Hierdurch wird eine Historie der Eingaben einer Person angelegt. Insbesondere bei der gemeinsamen Nutzung durch mehrere Personen muss dies transparent kommuniziert werden und die Möglichkeit für die Nutzer: innen bestehen, selbst darüber zu entscheiden, ob die eigene Eingabe‐Historie gespeichert wird.
1.10 Berichtigung, Löschung und weitere Betroffenenrechte
Verantwortliche müssen gewährleisten, dass betroffene Personen ihre Rechte auf Berichtigung gemäß Art. 16 DS‐GVO und Löschung gemäß Art. 17 DS‐GVO ausüben können. Für beide Rechte müssen organisatorische und technische Verfahren konzipiert werden, damit diese auch wirksam ausgeübt werden können. Dafür sind die Vorgaben der datenschutzkonformen Technikgestaltung umzusetzen. Beim Einsatz von KI‐Anwendungen kann es aus unterschiedlichen Gründen dazu kommen, dass unrichtige personenbezogene Daten verarbeitet werden. Viele Anbieter: innen von KI‐Anwendungen (insbesondere LLM‐Chatbots) weisen sogar ausdrücklich darauf hin, dass Anwendende sich nicht auf die Richtigkeit der Ergebnisse verlassen können, sondern diese überprüfen müssen. Hinsichtlich personenbezogener Daten besteht bei Unrichtigkeit jedoch ein Recht der betroffenen Personen auf Berichtigung. Diese Berichtigung muss in einer KI‐Anwendung umsetzbar sein, zum Beispiel durch Korrektur von Daten oder durch ein Nachtraining. Machen betroffene Personen von ihrem Recht auf Löschung gemäß Art. 17 Abs. 1 DS‐ GVO Gebrauch, ist zu beachten, dass einige KI‐Anwendungen gegebenenfalls durch die Verknüpfung unterschiedlicher Daten einen Personenbezug herstellen können. Es ist daher besonders wichtig, dass bei der Löschung personenbezogener Daten darauf geachtet wird, dass eine Wiederherstellung des Personenbezugs dauerhaft unmöglich ist.
1.11 Datenschutzbeauftragte und Personalvertretung einbinden
Projekte zur Einführung von KI beim LfF sind dem DSB / ISB des LfF vorab zu melden und von diesem zu begleiten. Die Personalvertretung ist in das Verfahren ebenso einzubeziehen.
[Seite 4]
- Implementierung von KI‐Anwendungen
2.1 Verantwortlichkeit festlegen und verbindlich regeln
Das LfF erfüllt seine Aufgaben regelmäßig als Auftragsdatenverarbeiter. Dies gilt sowohl für die in den Zuständigkeitsverordnungen geregelten Aufgaben, als auch im Bereich der Bereitstellung und Pflege von landesweit eingesetzten IT-Anwendungen. Soweit das LfF in seiner Eigenschaft als Auftragsdatenverarbeiter eine KI für eigene Zwecke betreibt oder anderen Dienststellen eine KI zur Verfügung stellt, ist die Verarbeitung personenbezogener Daten grds. in einem ADV-Vertrag zu regeln. Das LfF muss den Datenverantwortlichen die notwendigen Informationen für die Erfüllung der Betroffenenrechte zur Verfügung stellen.
2.2 Interne Regelungen treffen
Ohne klare Regelungen, ob und wie KI‐Anwendungen im Arbeitsalltag eingesetzt werden dürfen, besteht das Risiko, dass Beschäftigte KI‐Anwendungen eigenmächtig und unkontrolliert nutzen. Dies kann zu Datenschutzverstößen führen oder auch zu anderen Schäden. Daher sollten Dienstanweisungen erteilt und darin dokumentiert werden, ob, unter welchen Voraussetzungen und zu welchen konkreten Zwecken welche KI‐Anwendungen eingesetzt werden dürfen.
2.3. Verzeichnis nach Art. 30 DS-GVO
Der Einsatz von KI ist entweder als eigenständige Verarbeitungstätigkeit oder als Bestandteil einer anderen, bereits bestehenden, Verarbeitung denkbar. Das Referat LfF 24a stellt im Zusammenhang mit der Einführung einer KI hierzu einen Erhebungsbogen zur Verfügung.
2.4 Datenschutz‐Folgenabschätzung
Vor der Verarbeitung personenbezogener Daten ist eine generelle Bewertung (Vorabprüfung) des Risikos hinsichtlich der Art, des Umfangs, des Zwecks und der Umstände der Verarbeitung vorzunehmen. Wird dabei festgestellt, dass die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat, ist eine Datenschutz‐ Folgenabschätzung (DSFA) nach Art. 35 DS‐GVO erforderlich. Soweit die KI als Bestandteil einer Verarbeitung eingesetzt wird, muss für diese insgesamt eine DSFA geprüft bzw. durchgeführt werden. Insbesondere, sofern die KI auch für Zwecke einer automatisierten Entscheidungsfindung i.S. des Art. 22 DS-GVO genutzt werden soll, wird regelmäßig von einem hohen Risiko auszugehen sein.
2.5 Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen
Gemäß Art. 25 DS‐GVO müssen Verantwortliche für Systeme, in denen personenbezogene Daten verarbeitet werden, technische und organisatorische Maßnahmen treffen, um die Datenschutzgrundsätze umzusetzen. In Betracht kommt eine datenschutzkonforme Gestaltung im
[Seite 5]
Sinne von „data protection by design“ und „data protection by default“, die den Besonderheiten von KI‐Systemen Rechnung trägt. Diese Vorgaben sind bereits bei der Konzeption des KI‐Systems zu beachten. Dies kann je nach KI‐Anwendung verschiedene Aspekte betreffen. Zum Beispiel sollten Benutzer, mit welchen die Eingabe für das KI‐Training und zur Eingabe‐Historie vorgenommen wird, so eingestellt werden, dass keine personenbezogenen Daten des Anwenders zu Trainingszwecken verarbeitet und keine Eingabe‐Historien über die Sitzung hinaus gespeichert werden.
2.6 Datensicherheit KI‐Anwendungen müssen als informationstechnische Systeme neben den datenschutzrechtlich erforderlichen technischen und organisatorischen Maßnahmen (insbesondere nach Artikel 25 und 32 DS‐GVO) grundsätzlich auch diejenigen Anforderungen erfüllen, die generell für IT‐Systeme gelten. Siehe hierzu im Einzelnen die Anforderungen aus dem Bereich der Informationssicherheit.
2.7 Bedienstete sensibilisieren Beschäftigte sollten durch Schulungen, Leitfäden und Gespräche dahingehend sensibilisiert werden, ob und wie sie KI‐Anwendungen nutzen sollen und dürfen.
2.8 Weitere Entwicklungen verfolgen Sowohl im rechtlichen als auch im technischen Bereich müssen die Verantwortlichen und Auftragsverarbeiter die aktuellen Entwicklungen verfolgen, die Auswirkungen auf die Verarbeitung personenbezogener Daten und die notwendige Beherrschung des Risikos für die Rechte und Freiheiten natürlicher Personen haben. Dazu gehört die Prüfung, inwieweit zusätzliche Anforderungen aus der europäischen KI‐Verordnung erfüllt werden müssen. Auch in Bezug auf technische Entwicklungen, die sich auf das Risiko auswirken können, wie fortschreitende technische Lösungen und Updates sollte regelmäßig überprüft werden, ob die internen Vorgaben angepasst werden müssen. Hierzu sollte eine Routine im Rahmen des betrieblichen bzw. behördlichen Datenschutzmanagements (Art. 24 DS‐GVO) etabliert werden.
- Betrieb von KI‐Anwendungen
3.1 Vorsicht bei Eingabe und Ausgabe personenbezogener Daten
Handelt es sich bei den Eingabedaten um personenbezogene Daten, sind betroffene Personen über die Verwendung ihrer Daten transparent zu informieren. Für die Verarbeitung personenbezogener Daten in KI‐Anwendungen und die evtl. erfolgende Übermittlung dieser Daten an Anbieter von KI‐Anwendungen muss außerdem jeweils eine Rechtsgrundlage erfüllt werden.
3.2 Besondere Vorsicht bei besonderen Kategorien personenbezogener Daten
Besondere Kategorien personenbezogener Daten sieht der Unionsgesetzgeber als besonders schutzwürdig an. Dazu gehören etwa personenbezogene Daten aus denen religiöse oder weltanschauliche Überzeugungen, eine Gewerkschaftszugehörigkeit oder die Präferenz für eine bestimmte politische Partei hervorgehen sowie Gesundheitsdaten, genetische oder biometrische Daten. Die Verarbeitung solcher Daten ist gemäß Art. 9 Abs. 1 DS‐GVO grundsätzlich verboten
[Seite 6]
und nur ausnahmsweise unter den Voraussetzungen des Art. 9 Abs. 2 bis 4 DS‐GVO erlaubt. Diesbezüglich ist also sowohl hinsichtlich der Eingabe als auch hinsichtlich der Verarbeitung und der Ausgabe besonders geschützter Daten zu prüfen, ob eine der Ausnahmen des Art. 9 Abs. 2 DS‐GVO erfüllt ist. Aufgrund des hohen Schutzbedarfs dieser Daten sollte, soweit möglich, auf den Einsatz einer KI im Kontext zur Verarbeitung dieser Daten abgesehen werden.
3.3 Ergebnisse auf Richtigkeit prüfen
Die Ergebnisse von KI‐Anwendungen mit Personenbezug müssen kritisch hinterfragt und die Ergebnisse der KI regelmäßig überprüft werden. Hierzu ist eine repräsentative Menge an Vorgängen auszuwählen und inhaltlich zu bewerten. Die konkrete Vorgehensweise bei der Auditierung ist mit dem DSB des LfF abzustimmen.Das Ergebnis der regelmäßigen Prüfung ist diesem zuzuleiten.
3.4 Ergebnisse und Verfahren auf Diskriminierung prüfen
Auch unabhängig von ihrer sachlichen Richtigkeit oder ihrem eigenen Personenbezug können Ergebnisse von KI‐Anwendungen zu unzulässigen Verarbeitungen personen bezogener Daten führen, z. B. wenn sie diskriminierend wirken. Eine darauf aufbauende Datenverarbeitung kann unzulässig sein, wenn sie beispielsweise bezweckt, gegen das Allgemeine Gleichbehandlungsgesetz (AGG) zu verstoßen und deshalb die Rechtsgrundlage des Art. 6 Abs. 1 lit. f DS‐GVO nicht erfüllt. Die Verantwortlichen müssen daher prüfen, ob Ergebnisse einer KI‐ Anwendung für die weitere Verwendung im gesetzlichen Rahmen tragbar sind. Auch wenn Diskriminierungen in einzelnen Ergebnissen nicht erkennbar sind, können diese diskriminierend wirken.