Baustein-Info
| Baustein-Info | Unnamed: 1 |
|---|---|
| GS_CheckDatei_ID | -entfällt- |
| Verfahren Kurzbezeichnung | Künstliche Intelligenz |
| Dateiname | 2025_Kriteriekatalog_KI-Modelle_Bundesverwaltung.xlsx |
| Baustein | ISMS.1 Sicherheitsmanagement |
| Zielobjekt | Gesamter Informationsverbund |
| Bezeichnung | Betrieb einer KI |
| Standort | unbekannt |
| Erfasst am | 2025-05-26 00:00:00 |
| Erfasst durch | M.-M. Heinz |
| Befragte Person 1 | |
| Befragte Person 2 | |
| Befragte Person 3 |
Globale KI-Governance
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Globale KI-Governance | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Die Einrichtung MUSS einer/einem Mitarbeitenden die Rolle der/des KI-Zuständigen zuweisen. | |||||||||
| Die/der KI-Zuständige hat folgende Aufgaben: | |||||||||
| Sie/er MUSS eine Übersicht aller in der Einrichtung vorhandenen Anwendungen, die auf KI_x0002_Modellen basieren, (sofern sie in den Geltungsbereich dieses Kriterienkatalogs fallen) erstellen. In die Übersicht MÜSSEN alle zum Zeitpunkt der Erstellung der Übersicht vorhandenen Anwendungen aufgenommen werden. Anwendungen, die neu eingeführt werden, MÜSSEN ab dem Moment der Nutzung im Normalbetrieb aufgeführt werden. | |||||||||
| Diese Übersicht MUSS die/den jeweilige/n Verantwortliche/n für eine Anwendung enthalten. | |||||||||
| Aus der Übersicht MUSS ersichtlich sein, welche KI-Modelle in welcher Anwendung verwendet werden und für welche Anwendungsfälle die jeweiligen Anwendungen genutzt werden dürfen. (Die Festlegung der erlaubten Anwendungsfälle erfolgt nach dem in „Anwendungsfallbezogene Planungsphase“ und „Beschaffungsphase“ beschriebenen Vorgehen) Es SOLLTE aus der Übersicht ersichtlich sein, welche internen Anpassungen an dem extern bereitgestellten KI-Modell vorgenommen wurden und auf welche internen Informationen es zugreifen kann. | |||||||||
| Die Übersicht MUSS es dem Betreiber ermöglichen, bei Bekanntwerden von Schwachstellen oder sonstigen Risiken ein KI-Modell betreffend, schnell die Betroffenheit feststellen zu können. | |||||||||
| Die Übersicht KANN als Grundlage zur Information der internen Endnutzenden über in der Einrichtung vorhandene Anwendungen, die auf KI-Modellen basieren, genutzt werden. | |||||||||
| Sie/er MUSS Nutzungsbedingungen, die insbesondere Informationen dazu enthalten, welche Daten in eine Anwendung eingegeben werden dürfen, für die in der Übersicht genannten Anwendungen erstellen (lassen) und diese in geeigneter Weise den Endnutzenden zur Verfügung stellen. | |||||||||
| Sie/er SOLLTE einen Prozess zum Schwachstellenmanagement definieren, der regelmäßig und anlassbezogen die Anwendungen auf Schwachstellen prüft und Gegenmaßnahmen entwickelt und umsetzt. Bei der Feststellung und Beurteilung von Schwachstellen und Bedrohungen KÖNNEN aktuelle Veröffentlichungen des BSI unterstützen. | |||||||||
| Sie/er MUSS eine regelmäßige (mindestens jährliche) und anlassbezogene Überprüfung der erlaubten Anwendungsfälle der jeweiligen Anwendungen sowie der Nutzungsbedingungen durchführen und dabei insbesondere neuartige Bedrohungen (und wesentliche Änderungen bei existierenden Bedrohungen) berücksichtigen. Diese Überprüfung KANN Bestandteil des Prozesses zum Schwachstellenmanagement sein | |||||||||
| Sie/er MUSS sicherstellen, dass alle internen Endnutzenden von Anwendungen, die auf KI-Modellen basieren, eine Schulung/Sensibilisierung zur Erlangung von „KI-Kompetenz“ nachweisen können. Dazu KÖNNEN interne Schulungen angeboten werden. | |||||||||
| Sie/er MUSS sicherstellen, dass alle internen Endnutzenden sich mindestens der folgenden Regelungen bewusst sind. Dies KANN über Nutzungsbedingungen und/oder Schulungen realisiert werden. | |||||||||
| Endnutzende SOLLTEN sich mit den Funktionalitäten der Anwendung vertraut machen. | |||||||||
| Endnutzende MÜSSEN darauf achten, dass sensible Daten (z. B. persönliche Daten oder Interna) nur mit der Anwendung verarbeitet werden, wenn dies notwendig und explizit erlaubt ist. | |||||||||
| Die Eingaben Endnutzender in die Anwendung MÜSSEN den erlaubten Zwecken dienen und SOLLTEN präzise und sprachlich korrekt formuliert werden | |||||||||
| Endnutzende MÜSSEN risikobewusst mit den Ausgaben der Anwendung umgehen. Dies KANN durch die Prüfung und Nachbearbeitung der Ausgaben erfolgen. Weitere Maßnahmen KÖNNEN anwendungsfallbezogen notwendig sein, z. B. in der Ausgabe enthaltene Weblinks nicht anklicken oder der Anwendung keine weiteren Rechte einräumen. | |||||||||
| Wenn es der Anwendungsfall erfordert, SOLLTEN Ausgaben bzw. daraus gewonnene Informationen als KI-generiert gekennzeichnet werden | |||||||||
| Sie/er MUSS eine Kontaktmöglichkeit für Endnutzende zur Unterstützung bei Fragen und zur Meldung von Problemen bereitstellen | |||||||||
| Bei Entscheidungen den Datenschutz betreffend MUSS sie/er den behördlichen Datenschutz einbeziehen. Bei Entscheidungen den Geheimschutz betreffend MUSS sie/er den Geheimschutzbeauftragten einbeziehen. | |||||||||
| Bei der Integration von extern bereitgestellten KI-Modellen, die Cloud-basiert zur Verfügung gestellt werden, MÜSSEN alle Kriterien, die im Mindeststandard Cloud-Nutzung unter „Planungsphase“ genannt werden, entsprechend beachtet werden. |
Planungsphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Anwendungsfallbezogene Planungsphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Der Anwendungsfall MUSS klar definiert werden. | |||||||||
| Es MÜSSEN Auswahlkriterien für die Modellauswahl den spezifischen Anwendungsfall betreffend festgelegt werden. Für Kriterien, die sich aus KI-Risiken ergeben, MUSS das folgende Vorgehen genutzt werden: | |||||||||
| In einem ersten Schritt MÜSSEN KI-Risiken identifiziert werden, die für den Anwendungsfall relevant sind. Werden für den Anwendungsfall keine KI-Risiken als relevant identifiziert, MUSS dies begründet werden | |||||||||
| Anhaltpunkte hierfür KÖNNEN der AIC4 oder die AICM liefern. | |||||||||
| Außerdem KÖNNEN die in Anhang 1 dargestellten KI-Risiken als Basis für eine Risikoidentifikation genutzt werden | |||||||||
| Aus jedem KI-Risiko, das als relevant identifiziert wird, SOLLTE mindestens ein Kriterium für die Auswahl des KI-Modells abgeleitet werden. | |||||||||
| Die Einrichtung MUSS definieren, welche Kriterien sie als Grundlage für die Bewertung der Vertrauenswürdigkeit eines Anbieters von dem und einer Quelle aus der ein KI-Modell bezogen wird heranzieht. | |||||||||
| Es MUSS festgelegt werden, welche der oben definierten Kriterien als optional und welche als obligatorisch angesehen werden. |
Beschaffungsphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Beschaffungsphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Ein KI-Modell, das für die Integration in Frage kommt, MUSS anhand der in der „Anwendungsfallbezogenen Planungsphase“ beschriebenen Kriterien beurteilt werden. | |||||||||
| Für identifizierte KI-Risiken KANN ein AIC4 oder AICM Testat als Nachweis für eine ausreichende Sicherheit in Standardfällen verwendet werden, das Testat MUSS ausgewertet werden und es MUSS beurteilt werden, ob dies anwendungsfallbezogen ausreichend ist. | |||||||||
| Als Grundlage für die Beurteilung SOLLTEN Informationen des Anbieters (z. B. Nutzungsbedingungen, Model-Cards, Informationen zu durchgeführten Benchmark-Tests) gesichtet werden. Zusätzlich KÖNNEN Informationen Dritter zur Beurteilung genutzt werden. | |||||||||
| Ebenso KÖNNEN eigene Tests z. B. anhand von Benchmarks oder in Form eines Red Teamings durchgeführt werden | |||||||||
| Die Auswahl eines KI-Modells MUSS anhand der festgelegten Kriterien begründet werden. | |||||||||
| Der Anbieter des KI-Modells SOLLTE zusichern, dass von einer nutzenden Person bereitgestellte Informationen (sowohl „Profilinformationen“ als auch Eingaben) nicht für Zwecke außerhalb der Nutzung des Modells durch diese Person verwendet werden, insbesondere nicht zur Weiterentwicklung von öffentlich zur Verfügung gestellten KI-Modellen | |||||||||
| Der Bezug des KI-Modells MUSS aus vertrauenswürdigen Quellen erfolgen, falls vorhanden SOLLTEN Signaturen geprüft werden. Es SOLLTEN sichere Formate genutzt werden. | |||||||||
| Bei Verwendung eines cloud-basierten KI-Modells KANN ein AIC4 oder AICM Testat, welches geprüft wurde, als Nachweis der Vertrauenswürdigkeit der Quelle genutzt werden | |||||||||
| Bei der Integration von KI-Modellen, die Cloud-basiert zur Verfügung gestellt werden, MÜSSEN alle Kriterien, die im Mindeststandard Cloud-Nutzung unter „Beschaffungsphase“ genannt werden, entsprechend beachtet werden. | |||||||||
| Wenn ein KI-Modell lokal betrieben wird, MÜSSEN klassische IT-Sicherheitsmaßnahmen, Grundschutz Bausteinen, gefordert werden bzw. ergriffen werden |
Anpassungsphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Anpassungsphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Bezüglich des Bezugs aller weiteren Komponenten (z.B. Bibliotheken, Werkzeuge, externe Datenbanken) MÜSSEN klassische IT-Sicherheitsmaßnahmen, z. B. wie sie in den Grundschutz Bausteinen gefordert werden, ergriffen werden. | |||||||||
| Wenn System-Prompts verwendet werden, SOLLTEN sie an zentraler Stelle (z. B. als Anhang der vom KI-Zuständigen geführten Übersicht) verwaltet werden und Änderungen nachverfolgbar sein, damit nachvollziehbar ist, welche KI-Risiken mittels System-Prompts mitigiert werden sollen | |||||||||
| In System-Prompts DÜRFEN KEINE sensiblen Daten integriert werden. | |||||||||
| Es MUSS bei den Personen, die die Anpassungen durchführen, ein Bewusstsein für die Möglichkeit der Umgehung von System-Prompts (sog. Prompt Injections) vorliegen, damit beurteilt werden kann, ob die Verwendung von System-Prompts für die beabsichtigte Funktionserweiterung, die durch die Anpassung erreicht werden soll, geeignet bzw. ausreichend ist. | |||||||||
| System-Prompts SOLLTEN NICHT zur Umsetzung eines Rechte-/Rollensystems genutzt werden |
Integrationsphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Integrationsphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Die Anwendung, die auf dem KI-Modell basiert, MUSS vollständig in das ISMS der Einrichtung integriert werden | |||||||||
| Es SOLLTE ein Threat Modelling nach folgendem Vorgehen durchgeführt werden. Dies dient der Identifikation von Aspekten, die die Integration betreffen und die Sicherheit der Anwendung beeinträchtigen können. | |||||||||
| Der Weg einer Information, die in die Anwendung eingegeben werden soll, wird in seiner Gesamtheit nachvollzogen | |||||||||
| Es wird identifiziert, welche Urheber von Informationen es gibt (z.B. Endnutzende, Antragstellende, Autoren von Webseiten, Komponenten der Anwendung | |||||||||
| Es werden Stellen identifiziert, an denen Manipulationen an den Informationen vorgenommen werden können | |||||||||
| Es wird nachvollzogen, welche Aktionen eine Information innerhalb der Anwendung auslösen soll und welche Aktionen sie fälschlicherweise auslösen könnte. Dabei werden auch „Kettenreaktionen“ betrachtet, wenn beispielsweise eine Komponente der Anwendung Aktionen einer anderen Komponente auslösen kann. | |||||||||
| Ebenso werden Aktionen betrachtet, die außerhalb der Anwendung ausgelöst werden können (z. B. die Ausführung von Code, das Abfließen von Informationen) | |||||||||
| Es wird nachvollzogen, ob Aktionen ausgelöst werden können, die eine Reaktion des Endnutzende provozieren können (z. B. die Ausgabe eines Links, den der Endnutzende anklickt). | |||||||||
| Basierend auf dem zuvor durchgeführten Threat Modelling SOLLTEN Maßnahmen zur Absicherung der Integration ergriffen werden. Hierbei KANN es sich z. B. um folgende Maßnahmen handeln: | |||||||||
| Authentisierung und Autorisierung aller Komponenten der Anwendung | |||||||||
| Umsetzung eines eindeutigen Rechte- und Rollenkonzepts | |||||||||
| Anwendung des Least Privilege Principle | |||||||||
| Maßnahmen zur Validierung und ggf. Änderung oder Ablehnung von Input und Output, auch zwischen Komponenten | |||||||||
| Durchführung von Aktionen in Sandbox-Umgebungen | |||||||||
| Einschränkung der Rechte der Anwendung bestimmte Aktionen durchzuführen | |||||||||
| Maßnahmen des Monitoring, des Logging und der automatisierten Reaktion auf Sicherheitsvorfälle | |||||||||
| Nach Abschluss der Integration MÜSSEN Tests durchgeführt werden. Diese überprüfen die Anwendung anwendungsfallbezogen hinsichtlich der in der „Anwendungsfallbezogenen Planungsphase“ und der im Threat Modelling der „Integrationsphase“ als relevant identifizierten (KI-)Risiken | |||||||||
| Die Ergebnisse der Tests MÜSSEN dokumentiert werden. Aus der Dokumentation MUSS für interne Zwecke zu einem späteren Zeitpunkt ersichtlich sein, ob bei Auftreten neuartige Bedrohungen oder relevante Änderungen bestehender Bedrohungen erneut getestet werden muss oder ob die bereits durchgeführten Tests ausreichend sind | |||||||||
| Bei nicht zufriedenstellenden Testergebnissen MÜSSEN einzelne der vorherigen Phasen (Beschaffungs-, Anpassungs-, Integrationsphase) - je nach Optionen für eine Risikomitigation - wiederholt werden. |
Einsatzphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Einsatzphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Bei der Integration von KI-Modellen, die Cloud-basiert zur Verfügung gestellt werden, MÜSSEN alle Kriterien, die im Mindeststandard Cloud-Nutzung unter „Einsatzphase“ genannt werden, entsprechend beachtet werden. | |||||||||
| Die Einrichtung MUSS für Endnutzende ersichtlich machen, dass eine Anwendung KI-Komponenten verwendet. | |||||||||
| Die Einrichtung MUSS Maßnahmen zur Verhinderung missbräuchlicher Nutzung der Anwendung umsetzen. Dazu können entweder organisatorische (z. B. Regelung in den Nutzungsbedingungen) oder technische Maßnahmen umgesetzt werden | |||||||||
| Die Einrichtung SOLLTE (insbesondere bei externer Nutzung) den Zugriff auf die Anwendung auf das notwendige Minimum beschränken. | |||||||||
| Die Einrichtung SOLLTE wichtige Regelungen der Nutzungsbedingungen (z. B. wofür und in welcher Form Ausgaben verwendet werden dürfen) an auffälliger Position in der Anwendung darstellen, um Endnutzende an die Regelungen zu erinnern. | |||||||||
| Die Einrichtung SOLLTE anwendungsspezifische Schulungen anbieten. |
Beendigungsphase
| Unnamed: 0 | Unnamed: 1 | Unnamed: 2 | Unnamed: 3 | Unnamed: 4 | Unnamed: 5 | Unnamed: 6 | Unnamed: 7 | Unnamed: 8 | Unnamed: 9 |
|---|---|---|---|---|---|---|---|---|---|
| Beendigungsphase | Entbehrlich | Ja | Teilweise | Nein | Umsetzung bis | Verantwortlich | Bemerkungen / Begründung für Nicht-Umsetzung | Kostenschätzung | |
| Maßnahmen | |||||||||
| Bei der Integration von KI-Modellen, die Cloud-basiert zur Verfügung gestellt werden, MÜSSEN alle Kriterien, die im Mindeststandard Cloud-Nutzung unter „Beendigungsphase“ genannt werden, entsprechend beachtet werden. | |||||||||
| Wenn eine Anwendung nicht mehr für den bisherigen Anwendungsfall genutzt wird, MUSS sichergestellt werden, dass den Anwendungsfall betreffende sensible Daten aus der Anwendung entfernt werden, bevor sie für einen anderen Anwendungsfall verwendet wird. |