03_Leistungsbeschreibung_Chat-Bot.pdf

[Seite 1]

Leistungsbeschreibung

KI-gestützter Chatbot für Bürgeranfragen

Stand 2. Oktober 2026

[Seite 2]

Leistungsbeschreibun g

KI-gestützter Chatbot für Bürgeranfragen

Revisionsblatt

Rev. Rev.-Stand Revidierte Kat.1 Erläuterung der Revision Datum Seite/Kapitel

00 02.10.2026 Ersterstellung

1 Kategorie R = redaktionelle Korrektur Kategorie V = verdeutlichende Verbesserung Kategorie S = substantielle Änderung mindestens bei der Kategorie S müssen Erläuterungen angegeben werden 2

[Seite 3]

Inhaltsverzeichnis

1 Zielsetzung 5

2 Gegenstand der Leistung 5

3 Annahmen zur Nutzung und Leistung 5

4 Risikobewertung 6

5 Funktionale Anforderungen 7 5.1 Chatbot 7 5.2 Wissensmanagement 7 5.3 Antworterstellung 8 5.4 Reporting und Analyse 8 5.5 Kontrollierte Leistungssteuerung 9

6 Nicht-funktionale Anforderungen 10 6.1 Performance 10 6.2 Verfügbarkeit 10 6.3 Barrierefreiheit 11

7 Informationssicherheit und Datenschutz 11 7.1 Informationssicherheit 11 7.2 Datenschutz 12 7.3 BSI-Anforderungen 14

8 KI-Governance und EU AI Act 15 8.1 KI-Modelle 15 8.2 KI-Sicherheit 15 8.3 EU AI Act 16

9 Technische Architektur 16 9.1 Architektur 16 9.2 Webintegration 17 9.3 Digitale Souveränität und Open Source 17 9.4 Hosting, Verarbeitungsorte, Datenzugriffe und Datenübermittlungen 18 9.5 Kosten- und Betriebssteuerung 19

10 Implementierung 19 10.1 Workshops 19 10.2 Pilotierung 19

[Seite 4]

10.3 Erfolgskriterien 20 10.4 Schulungen 22 10.5 Go-Live 22

11 Betrieb und Support 23

12 Nachweisführung 23

13 Abnahme 23

Tabellenverzeichnis Tabelle 1: Servicelevel 10 Tabelle 2: Erfolgskriterien 20 Tabelle 3: Reaktions- und Wiederherstellungszeiten 23 Tabelle 4: Anforderungen, die mit dem Angebot zu erfüllen sind 25 Tabelle 5: Anforderungen, die bis zum Go-Live zu erfüllen sind 29 Tabelle 6: Anforderungen, die im laufenden Betrieb zu erfüllen sind 37 Tabelle 7: Begriffe 42

Anhangverzeichnis

Anhang A: Anforderungs- und Nachweis-Matrizen Anhang B: Redaktionelle Standards Anhang C: Begriffe

Anlagenverzeichnis Anlage 1: Mindestanforderungen „Technische und organisatorische Maßnahmen (TOMs)“

Anzahl der Blätter dieses Dokumentes (ohne Deck- und Revisionsblatt) 41

[Seite 5]

1 Zielsetzung

Die Bundesgesellschaft für Endlagerung mbH (BGE) beabsichtigt, eine KI-gestützte Chatbot-Lö- sung für die digitale Bürgerkommunikation zu beschaffen. Sie soll Bürgeranfragen jederzeit auto- matisiert und nachvollziehbar auf Grundlage freigegebener Wissensquellen beantworten und so die Mitarbeitenden bei wiederkehrenden Standardanfragen entlasten. Die Chatbot-Lösung soll fachlich korrekte und verständliche Antworten bereitstellen und dabei die verwendeten Quellen ausweisen.

2 Gegenstand der Leistung

Gegenstand der Ausschreibung ist die Bereitstellung einer KI-gestützten Chatbot-Lösung. Sie muss Anfragen in natürlicher Sprache verarbeiten und Antworten auf Grundlage von durch die BGE freigegebenen Informationsquellen generieren.

Der Leistungsumfang umfasst die Bereitstellung, Einführung und den Betrieb einer Chatbot-Lö- sung einschließlich der hierfür erforderlichen Softwarekomponenten, Administrationsfunktionen, Wissensmanagement-Funktionen, Sicherheitsmechanismen sowie der vertraglich vereinbarten Betriebs- und Supportleistungen.

Basis ist im Idealfall eine bereits verfügbare, konfigurierbare Standardlösung. Sie umfasst die Konfiguration vorhandener Standardfunktionen, die Einrichtung der vereinbarten Wissensquellen und die Einbindung einer vorhandenen Standard-Chat-Komponente in die BGE-Website.

3 Annahmen zur Nutzung und Leistung

Der Angebotskalkulation und Dimensionierung sind folgende Annahmen zugrunde zu legen:

Im Regelbetrieb nutzen bis zu drei Administratorinnen und fünf Redakteurinnen die Lösung zur Pflege, Qualitätssicherung und Freigabe der Wissensbasis.

Auszugehen ist von durchschnittlich 20.000 Besucher*innen der BGE-Webseiten pro Kalender- monat, von denen nur ein Teil den Chatbot nutzt. In Spitzenzeiten, voraussichtlich ein- bis

[Seite 6]

zweimal jährlich für etwa fünf Tage nach wesentlichen neuen Informationen zum Standortaus- wahlverfahren, sind bis zu 150.000 Besucher*innen täglich möglich.

Zur Dimensionierung der Lösung werden im Standardbetrieb folgende Nutzungsszenarien unter- schieden:

 Normale Nutzung: Eine Interaktionsquote von 15 % der Webseiten-Nutzerinnen pro Ka- lendermonat (ca. 3.000 Konversationen / ca. 28 Mio. Tokens)  Starke Nutzung: Eine Interaktionsquote von 30 % der Webseiten-Nutzerinnen pro Kalen- dermonat sowie eine größere Anzahl von Anfragen innerhalb einer Interaktion (ca. 6.000 Konversationen / ca. 190 Mio. Tokens)

Die Lösung muss technisch skalierbar sein. Die verbrauchten Tokens in der Betriebsphase nach dem Go-Live werden auf Nachweis vergütet. Für die Pilotierungsphase ist der Tokenverbrauch in die Teilpauschalen einzurechnen.

Bei selbst betriebenen Modellen sind mindestens Rechenressourcen, Auslastung, Verbrauchsein- heiten und zurechenbare Betriebskosten bzw. geeignete Kostenindikatoren darzustellen. Die Kos- tenberechnung wird final im Zuge des Verhandlungsverfahrens festgelegt.

4 Risikobewertung

Der Auftragnehmer hat sicherzustellen, dass Antworten ausschließlich auf einer abgesicherten Wissensbasis beruhen, Quellen transparent ausgewiesen werden und fachfremde oder sensible Fragestellungen abgegrenzt werden.

Änderungen an der Wissensdatenbank sind durch geeignete Freigabeprozesse abzusichern.

Darüber hinaus sind Anforderungen an Exit- und Portabilität, die Überwachung von Nutzungskos- ten, transparente Hinweise zum KI-Einsatz gegenüber Nutzenden sowie ein angemessenes Schwachstellenmanagement für eingesetzte Komponenten umzusetzen.

Bei Einhaltung dieser Vorgaben werden die identifizierten Risiken als unkritisch bzw. akzeptabel bewertet.

[Seite 7]

5 Funktionale Anforderungen

5.1 Chatbot

Die Lösung muss deutschsprachige natürlichsprachliche Anfragen sowie den fachlichen Dialog- kontext über mehrere Eingaben hinweg verarbeiten. Die Lösung muss unterschiedliche Versions- stände, Veröffentlichungszeitpunkte und zeitliche Gültigkeiten freigegebener Informationsquel- len erkennen und nach den vorgegebenen Priorisierungs- und Freigaberegeln berücksichtigen.

Die Antworten müssen verständlich, fachlich korrekt und durch freigegebene Wissensquellen ge- deckt sein.

Die verwendeten Quellen sind für jede fachliche Antwort nachvollziehbar auszuweisen. Bei unzu- reichender Beleggrundlage muss die Lösung darauf hinweisen und unbelegte fachliche Aussagen unterdrücken.

Für nicht automatisiert beantwortbare Anfragen müssen Kontaktverweise konfigurierbar sein. Bei Anzeichen für suizidales Verhalten oder vergleichbare akute Gefährdungen muss ein Hinweis auf geeignete Hilfeangebote erscheinen.

5.2 Wissensmanagement

Der Auftragnehmer stellt eine Wissensmanagement-Komponente als Antwortbasis bereit.

Für Inhalte, die nicht unmittelbar von der BGE-Website übernommen werden, ist ein rollenbasier- tes Prüf-, Freigabe- und Veröffentlichungsverfahren bereitzustellen. Änderungen sind mindestens mit Zeitpunkt, Quelle, Version und Freigabestatus manipulationsgeschützt zu protokollieren.

Die Lösung muss in der Lage sein, Informationen aus unterschiedlichen Dokument- und Datenfor- maten zu verarbeiten und für die Beantwortung von Nutzeranfragen nutzbar zu machen. Hierzu gehören insbesondere Webseiteninhalte, PDF-Dokumente, Microsoft-Office-Dokumente (z. B. Word-, PowerPoint-Dateien; die Lösung soll zusätzlich Excel-Dateien verarbeiten können), struk- turierte FAQ-Inhalte sowie weitere von der BGE bereitgestellte Dokumente und Informations- quellen. Die Wissensbasis wird während der Betriebszeit um weitere freigegebene Informations- quellen erweitert. Quellen und deren Versionsstände müssen eindeutig identifizierbar sein.

[Seite 8]

Als mögliche Quellen sind vorzusehen:

 Webseiten1 (Crawling)  Dokumente (via direkten Upload)

5.3 Antworterstellung

Antworten müssen allgemein verständlich, sachlich und adressatengerecht sein. Die Lösung soll einfache und bürgernahe Sprache unterstützen, ohne fachliche Inhalte zu verfälschen.

Die Kommunikation muss diskriminierungsfrei, respektvoll und wertschätzend erfolgen. Die Lö- sung muss diskriminierende, beleidigende oder sonstige unangemessene Inhalte erkennen und vermeiden. Unbeantwortbare Anliegen sind an geeignete Kontakt- oder Informationsangebote zu verweisen.

Bei politischen, gesellschaftlichen oder kontroversen Fragen muss die Lösung neutral bleiben und darf ausschließlich sachliche Informationen aus den freigegebenen Wissensquellen bereitstellen. Unterschiedliche Positionen sind gegebenenfalls neutral darzustellen.

Redaktionelle Standards für die Antworterstellung finden sich in Anhang B.

5.4 Reporting und Analyse

Ziel ist es, die Qualität der Antworten laufend zu verbessern, Wissenslücken zu identifizieren und die Weiterentwicklung der Lösung datenbasiert zu unterstützen.

Die Lösung muss ein webbasiertes Dashboard zur Auswertung der Nutzung bereitstellen:

 Das Dashboard ist für berechtigte Nutzerinnen und Nutzer der BGE zugänglich  Die dargestellten Kennzahlen müssen ausgewertet werden können  Auswertungen müssen exportierbar sein (mindestens ein dokumentiertes, maschinenles- bares Standardformat, PDF für Berichte)

Die Lösung muss gemeinsam abzustimmende Kennzahlen bereitstellen, zum Beispiel:

1 Das Crawling ist auf von der BGE ausdrücklich freigegebene Domains, Teilbereiche und URLs beschränkt. Ein freies Crawling des World Wide Web ist nicht vorgesehen.

[Seite 9]

 Anzahl der Nutzeranfragen  Anzahl der Konversationen  Häufigkeit einzelner Themengebiete oder Top-Fragen  Nutzung nach Zeitraum  Anzahl erfolgreicher und erfolgloser Antworten  Nutzerfeedback  Tokenverbrauch  Tokenkosten inkl. Hochrechnung zu erwartenden Kosten am Ende des Monats

Nicht oder unzureichend beantwortete Anfragen, wiederkehrende Fragen, auffällige Antworten und Nutzerfeedback müssen erfasst, ausgewertet und für Qualitätssicherung und Wissenspflege exportiert werden können.

5.5 Kontrollierte Leistungssteuerung

Zur Gewährleistung der Betriebsstabilität und Vermeidung unkontrollierter Systemabbrüche im- plementiert das System bei kritischer Auslastung oder Erschöpfung des vereinbarten Token-Bud- gets ein mehrstufiges Schutz- und Ausfallkonzept:

Session-Steuerung:

Laufende Konversationen: Bereits initiierte, aktive Nutzersitzungen werden priorisiert behandelt und im Rahmen verfügbarer Restkontingente bis zum regulären Dialogende weitergeführt.

Neue Konversationen: Bei Erreichen der Kapazitäts- bzw. Token-Grenze werden keine neuen Chat-Sitzungen mehr geöffnet. Eingehende Neu-Anfragen werden kontrolliert abgewiesen.

Nutzer, die eine neue Sitzung starten möchten, erhalten anstelle eines Verbindungsabbruchs eine vordefinierte, konfigurierbare Systemmeldung im Chatfenster (z. B. „Unser System verzeichnet aktuell ein sehr hohes Anfrageaufkommen / das monatliche Kontingent ist temporär erschöpft. Bitte versuchen Sie es zu einem späteren Zeitpunkt erneut oder kontaktieren Sie uns unter [Kon- taktadresse].“).

[Seite 10]

Tokenkosten-Monitoring:

Das System überwacht die Token-Nutzung sowie Systemlast kontinuierlich. Bei Erreichen defi- nierter Schwellenwerte (z. B. bei 80 % und 100 % des definierten Kontingents) sowie beim Auslö- sen des Schutzmodus versendet das System automatisch eine Benachrichtigung per E-Mail an die BGE, um ein frühzeitiges Nachsteuern (z. B. Kontingentaufstockung) zu ermöglichen.

6 Nicht-funktionale Anforderungen

6.1 Performance

Die Lösung muss gleichzeitige Anfragen auch bei erhöhtem Aufkommen ohne wesentliche Beein- trächtigung der Antwortqualität verarbeiten. Die durchschnittliche Antwortzeit für Standardanfra- gen muss unter 5 Sekunden liegen. Es sind die aus Kapitel 3 beschriebenen Nutzerprofile zu be- rücksichtigen.

6.2 Verfügbarkeit

Tabelle 1: Servicelevel

[Seite 11]

6.3 Barrierefreiheit

Die Chatbot-Lösung einschließlich Oberfläche, Dialogelementen, Systemmeldungen und dynami- schen Inhalten muss BITV 2.0 und WCAG 2.2 AA erfüllen. Dies umfasst insbesondere Tastaturbe- dienbarkeit, nachvollziehbare Fokusführung, ausreichende Kontraste, skalierbare Darstellung, konsistente Bedienung und die Nutzung mit assistiven Technologien. Dynamische Änderungen müssen für assistive Technologien erkennbar sein.

Die Barrierefreiheit ist auch bei Änderungen und Erweiterungen während der gesamten Vertrags- laufzeit sicherzustellen.

7 Informationssicherheit und Datenschutz

7.1 Informationssicherheit

Aufgrund gesetzlicher und behördlicher Vorgaben ist die BGE an die Einhaltung der Vorgaben des BSI IT-Grundschutz zur Wahrung der Informationssicherheit gebunden. Zur Erfüllung der Leis- tung muss der Auftragnehmer Informationen der BGE verarbeiten. Aus diesem Grund verpflichtet sich der Auftragnehmer, technische und organisatorische Maßnahmen zu ergreifen, um diese In- formationen entsprechend dem Stand der Technik und allgemein anerkannter Regeln zu schüt- zen. Die technischen und organisatorischen Maßnahmen haben einen Umfang einzunehmen, der im Verhältnis zur Informationsverarbeitung als angemessen anzusehen ist.

Als Beispiele solcher technischen und organisatorischen Maßnahmen sind u. a. zu nennen:

 Zutritts- und Zugriffsbeschränkungen auf den notwendigen Benutzerkreis, Berechtigungs- konzept  Schutz vor Datenverlust und Offenlegung (z. B. Datensicherungen, Verschlüsselung, Anti- Viren-Software)

[Seite 12]

 Interne Regelungen (z. B. zur Nutzung des Internets, E-Mail-Postfachs und zum Verhalten im mobilen Arbeiten)  Sensibilisierungsmaßnahmen

Die BGE behält sich vor, vom Auftragnehmer eine Auflistung der getroffenen technischen und or- ganisatorischen Maßnahmen gemäß Vorlage der BGE, vollständig und wahrheitsgetreu ausgefüllt, zu verlangen.

Der Auftragnehmer verpflichtet sich nach Zuschlag ein IT-Sicherheitskonzept vorzuweisen, das den gesamten für die Verarbeitung der BGE-Informationen und Daten verwendeten Geltungsbe- reich umfasst. Dieser Geltungsbereich betrifft alle BGE-externen Systeme, Räume und Personen, die im Rahmen des Vorhabens Informationen und Daten der BGE verarbeiten. Ausgenommen von dieser Regelung sind Anlagen, Systeme und Komponenten (Produkte), die an die BGE geliefert und abgenommen wurden und von der BGE in eigener Verantwortung betrieben werden.

Dieses IT-Sicherheitskonzept muss nach anerkannten BSI-Standards angefertigt und regelmäßig aktualisiert sowie vorgelegt werden.

Das IT-Sicherheitskonzept muss der Auftragnehmer unverzüglich nach Beginn der vertraglich ver- einbarten Leistungserbringung vorlegen (1. Arbeitspaket). Die Freigabe des IT-Sicherheitskon- zeptes muss durch die BGE vor dem Produktivbetrieb des Systems schriftlich erfolgt sein.

Die BGE behält sich das Recht vor, Überarbeitungen des IT-Sicherheitskonzepts durch den Auf- tragnehmer zu verlangen, falls Sicherheitsrisiken unbehandelt bleiben, die auf Prozesse, Systeme oder Menschen der BGE übergehen.

Die BGE behält sich das Recht vor, den Auftragnehmer im Rahmen von Assessments oder Audits auf die Erfüllung der eingereichten TOMs und des IT-Sicherheitskonzepts zu überprüfen.

7.2 Datenschutz

Personenbezogene Daten dürfen ausschließlich zu den von der BGE vorgegebenen Zwecken ver- arbeitet werden. Die Verarbeitung ist auf das hierfür erforderliche Maß zu beschränken und nach den Grundsätzen von Datenschutz durch Technikgestaltung und datenschutzfreundliche Vorein- stellungen auszugestalten.

[Seite 13]

Die Lösung soll grundsätzlich ohne Identifizierung der Nutzenden nutzbar sein. Sofern Nutzende personenbezogene Daten, insbesondere besondere Kategorien personenbezogener Daten im Sinne des Art. 9 DSGVO, in Anfragen eingeben, sind geeignete technische und organisatorische Maßnahmen vorzusehen, um deren Verarbeitung auf das für die Bereitstellung der jeweiligen Funktion erforderliche Maß zu begrenzen.

Für Chatverläufe, Feedbackdaten, Fehlerprotokolle und Nutzungsdaten müssen konfigurierbare Löschfristen vorgesehen werden. Die Löschung muss automatisiert und nachvollziehbar nach- weisbar erfolgen.

Nutzeranfragen, Chatverläufe, Wissensbestände, Systemanweisungen, Metadaten sowie sonstige im Rahmen des Betriebs verarbeitete Daten dürfen nicht für das Training oder die Verbesserung allgemein verfügbarer KI-Modelle oder für sonstige eigene Zwecke des Auftragnehmers oder Drit- ter verwendet werden. Telemetrie-, Analyse-, Diagnose-, Monitoring- und vergleichbare Betriebs- daten dürfen, soweit sie personenbezogene Daten enthalten, ausschließlich in dem für Betrieb, Sicherheit, Fehleranalyse, Missbrauchserkennung und Abrechnung erforderlichen Umfang verar- beitet werden. Die Nutzung personenbezogener Daten zu Werbe-, Marketing-, Profiling-, Produkt- entwicklungs- oder sonstigen nicht von der BGE vorgegebenen Zwecken ist ausgeschlossen. So- weit personenbezogene Daten für statistische Auswertungen, Qualitätsverbesserungen oder ver- gleichbare Zwecke außerhalb der operativen Verarbeitung genutzt werden, sind diese soweit möglich zu anonymisieren; sofern eine Anonymisierung nicht möglich ist, sind sie mindestens zu pseudonymisieren.

Bei der Verarbeitung von personenbezogenen Daten wird der Auftragnehmer den datenschutz- rechtlichen Rahmen, der sich vor allem aus der EU-Datenschutz-Grundverordnung (DSGVO) und dem Bundesdatenschutzgesetz (BDSG) ergibt, beachten. Dazu gehört bei Notwendigkeit und auf Verlangen der BGE der Abschluss von den gesetzlichen Vorgaben genügenden datenschutzrecht- lichen Vereinbarungen.

Der Auftragnehmer ist verpflichtet, alle im Rahmen des Vertragsverhältnisses erlangten vertrauli- chen personenbezogenen Daten, Geschäftsgeheimnisse sowie weitere Informationen vertraulich zu behandeln, insbesondere nicht an Dritte weiterzugeben oder anders als zu vertraglichen Zwe- cken bzw. zur Erfüllung gesetzlicher Pflichten weiterzugeben. Der Auftragnehmer sorgt dafür, dass alle Personen, die von ihm mit der Bearbeitung oder Erfüllung des Vertrages betraut sind, die gesetzlichen Bestimmungen über den Datenschutz beachten. Die nach Datenschutzrecht

[Seite 14]

erforderliche Verpflichtung auf die Vertraulichkeit ist spätestens vor der erstmaligen Aufnahme der Tätigkeit vorzunehmen.

7.3 BSI-Anforderungen

Die Lösung muss über ein dokumentiertes Logging-Konzept verfügen. Sicherheitsereignisse, re- levante System- und Konfigurationsänderungen, Administrationsvorgänge, fehlgeschlagene Zu- griffe und technische Fehler sind zweckangemessen, auswertbar und gegen unberechtigten Zu- griff, Veränderung und Löschung geschützt zu protokollieren. Umfang, Berechtigungen, Aufbe- wahrung, Löschung und Auswertung sind unter Beachtung von Zweckbindung und Datenminimie- rung zu dokumentieren.

Der Auftragnehmer legt ein Backup- und Wiederherstellungskonzept für betriebsnotwendige Daten, Konfigurationen, Wissensbestände und die Chatverläufe der letzten 24 Stunden vor. Si- cherungsintervalle, Aufbewahrungsfristen, Wiederanlauf- und Wiederherstellungszeiten sowie Wiederherstellungsverfahren sind zu dokumentieren.

Während der Vertragslaufzeit ist ein dokumentiertes, risikoorientiertes Schwachstellen- und Patchmanagement sicherzustellen. Bekannte Schwachstellen, Bewertungen und Gegenmaßnah- men sind der BGE auf Anforderung mitzuteilen.

Darüber hinaus ist die Sicherheitsarchitektur der Lösung nachvollziehbar zu beschreiben. Hierzu gehört insbesondere die Darstellung der Systemkomponenten, Kommunikationswege, Schnitt- stellen, Authentifizierungs- und Berechtigungsmechanismen sowie Maßnahmen zum Schutz vor unbefugtem Zugriff, Manipulation, Datenabfluss und missbräuchlicher Nutzung. Die Architektur muss dem Grundsatz der Minimalberechtigung („Least Privilege“) folgen und eine sichere Tren- nung von Benutzer-, Administrations- und Systemfunktionen gewährleisten.

Der Auftragnehmer hat im IT-Sicherheitskonzept darzustellen, welche technischen und organi- satorischen Maßnahmen zum Schutz der Anwendung vor den für den vorgesehenen Einsatz rele- vanten Bedrohungen umgesetzt werden. Hierzu gehören insbesondere unbefugte Informations- abflüsse, Manipulationsversuche, missbräuchliche Eingaben, Denial-of-Service-Angriffe sowie Angriffe auf die Wissensbasis, Informationsquellen, Schnittstellen und eingesetzten KI-Kompo- nenten. Die ergänzenden Anforderungen an das risikobasierte Schutzkonzept gegen KI-spezifi- sche Bedrohungen ergeben sich aus Kapitel 8.2.

[Seite 15]

8 KI-Governance und EU AI Act

8.1 KI-Modelle

Der Auftragnehmer führt für alle eingesetzten Basis-, Spezial-, Embedding-, Ranking- und Mode- rationsmodelle ein aktuelles Modellregister. Es enthält mindestens Modell, Anbieter, Version, Li- zenz, Bereitstellungsform, Verarbeitungsort, Zweck, Aktualisierungsstand, bekannte Einschrän- kungen sowie Update- und Qualitätssicherungsverfahren.

Der BGE sind insbesondere folgende Änderungen vorher mitzuteilen:

 Wechsel des Modellanbieters  Austausch eines eingesetzten KI-Modells  wesentliche Versionswechsel  Änderungen der Modellarchitektur  Änderungen, die das Antwortverhalten, die Qualität, die Sicherheit oder die datenschutz- rechtliche Bewertung beeinflussen können

Die Dokumentation muss mindestens enthalten:

 Übersicht aller eingesetzten Modelle  jeweilige Zweckbestimmung innerhalb der Lösung  Zeitpunkt der letzten Aktualisierung  bekannte Einschränkungen oder Nutzungsvorbehalte  Verfahren zur Qualitätssicherung vor produktiven Modellupdates

Die erstmalig produktiv eingesetzten Modelle sowie wesentliche Modelländerungen bedürfen vor ihrem Produktiveinsatz der Zustimmung der BGE. Rein technische Änderungen ohne Einfluss auf Antwortverhalten, Qualität, Sicherheit, Datenschutz oder Kosten sind zu dokumentieren und der BGE im Rahmen der vereinbarten Berichterstattung mitzuteilen. Das Register der eingesetzten Modelle ist während der Vertragslaufzeit verfügbar zu halten.

8.2 KI-Sicherheit

[Seite 16]

Die Lösung muss ein dokumentiertes, risikobasiertes und mehrschichtiges Schutzkonzept ge- gen direkte und indirekte Prompt Injection, Jailbreaks, Umgehungsversuche, Informationsabfluss und Manipulationen von Wissensbasis, Quellen und Retrieval-Kontext besitzen.

Nicht freigegebene Informationen, Systemanweisungen und Zugangsdaten sind vor Zugriff, Of- fenlegung und Manipulation zu schützen. Schutzmaßnahmen, Grenzen und Restrisiken sind vor Produktivbetrieb, nach wesentlichen Änderungen und anlassbezogen zu überprüfen. Ihre Wirk- samkeit ist in Pilotierung und Abnahme anhand vereinbarter Angriffsszenarien nachzuweisen; Schwachstellen und Restrisiken sind zu dokumentieren und angemessen zu behandeln. Ein voll- ständiger Ausschluss aller Umgehungsmöglichkeiten wird nicht verlangt.

8.3 EU AI Act

Der Auftragnehmer erfüllt die auf die angebotene Lösung anwendbaren Anforderungen des EU AI Act und sonstiger einschlägiger Vorschriften.

Nutzer*innen sind spätestens zu Beginn der Interaktion verständlich und leicht wahrnehmbar darüber zu informieren, dass sie mit einem KI-System interagieren.

Es sind Verfahren zur Überprüfung, ob Eingaben durch Menschen oder missbräuchlich durch au- tomatisierte Programme (Bots) erfolgen, vorzusehen.

9 Technische Architektur

9.1 Architektur

Die Lösung muss auf einer RAG-Architektur mit getrennter Wissensbasis, Retrieval-Komponente und Sprachmodell basieren, sodass Inhalte modellunabhängig aktualisiert werden können. Für geeignete Retrieval- und Indexierungskomponenten (zum Beispiel Vektor-, Suchindex-, Graph- oder hybride Verfahren), Embeddings, Dokumentenverarbeitung und Wissensmanagement sollen bevorzugt Open-Source-Komponenten eingesetzt werden.

Die Lösung muss dokumentierte Schnittstellen für die Integration in die Webpräsenz der BGE so- wie für den automatisierten Import, die Aktualisierung und den Export betriebsrelevanter Daten bereitstellen. Wissensinhalte, Metadaten, Quellenbezüge sowie Auswertungs- und Protokolldaten

[Seite 17]

müssen über APIs, maschinenlesbare Standardformate oder funktional gleichwertige Verfahren exportierbar sein.

Die Lösung muss über eine Monitoring-Funktion zur Überwachung von Verfügbarkeit, Leistung und Nutzung sowie zur Erkennung und Dokumentation von Fehlern, Sicherheitsereignissen und kritischen Systemzuständen verfügen.

Die Architektur muss einen stabilen und skalierbaren Betrieb ermöglichen. Der Bieter muss die vorgesehenen Skalierungsmaßnahmen sowie nachweisbare Last- und Leistungskennzahlen dar- stellen.

9.2 Webintegration

Die Standard-Chat-Komponente muss über ein dokumentiertes Verfahren, etwa JavaScript, Web Component oder iFrame, ohne Registrierung der Nutzenden in www.bge.de integrierbar sein.

Die Basisleistung umfasst die von der Komponente unterstützte Konfiguration von Logo, Farben, Schriftarten, Bezeichnungen, Starttexten und Kontaktverweisen. Die Komponente muss die An- forderungen an Informationssicherheit, Datenschutz und Barrierefreiheit erfüllen und ohne eine ausschließlich beim Auftragnehmer verfügbare Entwicklungsumgebung eingebunden, deaktiviert und entfernt werden können.

Die Nachweise richten sich nach A-03 und B-19.

9.3 Digitale Souveränität und Open Source

Die BGE verfolgt das Ziel, technologische Abhängigkeiten zu begrenzen und einen späteren Wechsel des Auftragnehmers, der Plattform oder wesentlicher Komponenten zu ermöglichen.

Die Lösung muss daher dokumentierte Schnittstellen und Datenformate bereitstellen, soweit diese für die Integration, den Datenaustausch und die Übernahme kundenspezifischer Inhalte in eine andere geeignete Lösung erforderlich sind. Proprietäre Komponenten sind zulässig, sofern die Anforderungen an Datenzugang, Export und Portabilität erfüllt werden.

Zu den kundenspezifischen Inhalten gehören:

[Seite 18]

 Prompts, Systemanweisungen, Antwortregeln und Guardrail-Konfigurationen, soweit Rechte Dritter nicht entgegenstehen  Chatprotokolle und Auswertungen des Antwortverhaltens  zuordenbare und nach den vereinbarten Datenschutz- und Aufbewahrungsregelungen ex- portierbare Qualitäts-, Evaluations- und Protokolldaten  die für einen reproduzierbaren Neuaufbau der kundenspezifischen Wissensbasis erforder- lichen Daten, Einstellungen und Parameter

Nicht verlangt wird die Herausgabe allgemeiner Produktbestandteile, Geschäftsgeheimnisse, nicht kundenspezifischer Konfigurationen oder geschützter Komponenten des Auftragnehmers oder Dritter, sofern dadurch der Export und der reproduzierbare Neuaufbau der kundenspezifi- schen Wissensbasis nicht beeinträchtigt werden.

Der Auftragnehmer dokumentiert übernehmbare und neu aufzubauende Bestandteile, technische und rechtliche Abhängigkeiten, Exportformate, Einschränkungen sowie erforderliche Unterstüt- zungsleistungen. Die Exportfähigkeit ist vor Go-Live durch einen repräsentativen Testexport nach B-24 nachzuweisen, bei wesentlichen Änderungen zu aktualisieren und zum Vertragsende nach C-13 umzusetzen.

9.4 Hosting, Verarbeitungsorte, Datenzugriffe und Datenübermittlungen

Personenbezogene Daten dürfen ausschließlich innerhalb der Europäischen Union oder des Euro- päischen Wirtschaftsraums produktiv gespeichert und verarbeitet werden.

Der Auftragnehmer legt alle wesentlichen Unterauftragnehmer und Dienstleister offen, die perso- nenbezogene, sicherheitsrelevante oder inhaltsbezogene Daten verarbeiten, administrativen Zu- griff erhalten oder für Verfügbarkeit, Sicherheit oder Wiederherstellung wesentlich sind. Die Über- sicht enthält mindestens Datenkategorien, Speicher-, Verarbeitungs- und Zugriffsorte, Empfän- ger, Speicherdauer und Schutzmaßnahmen.

Vor dem Go-Live sind diese Angaben auf Grundlage der konkreten technischen und organisatori- schen Konfiguration zu aktualisieren. Zusätzlich ist ein Datenflussdiagramm vorzulegen, das die wesentlichen Systemkomponenten, Datenkategorien, Speicher- und Verarbeitungsorte, Schnitt- stellen, Empfänger und administrativen Zugriffswege darstellt.

Änderungen

[Seite 19]

Wesentliche Änderungen an Speicher- oder Verarbeitungsorten, Datenflüssen, Unterauftragneh- mern, administrativen Zugriffswegen oder Schutzmaßnahmen sind der BGE vor ihrer Umsetzung in Textform mitzuteilen. Die Mitteilung muss die betroffenen Datenkategorien, Systeme, Empfän- ger, Orte, Zwecke, Risiken, Schutzmaßnahmen und den vorgesehenen Umsetzungszeitpunkt ent- halten.

Nach einer wesentlichen Änderung sind die Verarbeitungsübersicht, das Datenflussdiagramm, die Unterauftragnehmerübersicht und die Dokumentation der administrativen Zugriffswege zu aktua- lisieren und der BGE vorzulegen.

9.5 Kosten- und Betriebssteuerung

Die Lösung muss Nutzung, Systemauslastung und Betriebskosten transparent darstellen. Aus- wertbar und maschinenlesbar exportierbar sein müssen insbesondere Nutzer*innen, Anfragen, Nutzungshäufigkeit, Antwortvolumen und zeitliche Entwicklung sowie bei verbrauchsabhängigen KI-Modellen Modellnutzung, API-Aufrufe, Verbrauchseinheiten und Kosten. Konfigurierbare Schwellwerte und Benachrichtigungen müssen ungewöhnliche Nutzungs- oder Kostenmuster anzeigen. Eine automatisierte Kostenbegrenzung durch Abschaltung mit entsprechendem Chat- bot-Hinweis muss möglich sein.

10 Implementierung

10.1 Workshops

Die Basisleistung umfasst einen Workshop von höchstens acht Stunden sowie Vor- und Nachbe- reitung; Reise- und Nebenkosten sind einzurechnen. Weitere Workshops auf Wunsch der BGE werden gesondert vergütet. Gegenstand sind Anforderungen und Wissensquellen, Vorgehen, Rol- len, Mitwirkungsleistungen sowie Pilotierung, Abnahme, Betrieb und Go-Live.

10.2 Pilotierung

Sechs Wochen nach Zuschlagerteilung beginnt eine dreimonatige Pilotierung; eine Verlängerung um bis zu drei Monate aus fachlichen oder technischen Gründen bedarf einer gesonderten Verein- barung. Die BGE pflegt die Wissensbasis, führt fachliche Testfälle durch und bewertet Antworten

[Seite 20]

und Nutzerfeedback. Es ist vorgesehen, verschiedene KI-Modelle zu testen. Der Auftragnehmer stellt Funktionen und Testumgebung bereit und unterstützt bei Einrichtung, technischen Fragen und Fehleranalysen.

Die Pilotierung umfasst drei aufeinanderfolgende Testphasen. Dauer, Testfälle, Messverfahren und abnahmerelevante Kriterien werden vorab im Test- und Abnahmeplan festgelegt. Jede Phase verwendet eine definierte Konfiguration; Änderungen werden grundsätzlich erst in der Folge- phase wirksam. Dringende Sicherheits- und Fehlerkorrekturen sind zulässig und als Abweichung zu dokumentieren.

Für jede Testphase erstellt der Auftragnehmer unter vorrangiger Nutzung vorhandener Exporte und Auswertungen eine standardisierte Kurzdokumentation mit Zeitraum, Testkatalog, Konfigura- tionsstand, Änderungen, Kennzahlen, Auffälligkeiten, Folgemaßnahmen, Verantwortlichkeiten und Abweichungen.

Nach der letzten Phase ist eine Gesamtübersicht mit Ergebnisentwicklung, Anpassungen und Go- Live-Empfehlung vorzulegen.

10.3 Erfolgskriterien

Die Pilotierung wird anhand der in Tabelle 2 festgelegten Erfolgskriterien bewertet. Für die Ab- nahme sind ausschließlich die als abnahmerelevant bezeichneten Mindestanforderungen maß- geblich.

Tabelle 2: Erfolgskriterien

[Seite 21]

BGE und Auftragnehmer vereinbaren vor der Pilotierung ein Test- und Abnahmekonzept mit Testkatalog, Mess-, Auswertungs- und Dokumentationsverfahren. Berücksichtigt werden nur an- hand freigegebener Wissensquellen bewertbare Testfälle.

Die BGE stellt einen repräsentativen Testkatalog mit eindeutig, teilweise und nicht beantwortba- ren Fragen, widersprüchlichen oder unterschiedlich aktuellen Quellen sowie komplexen, missver- ständlichen, suggestiven oder sachlich falschen Eingaben bereit.

Bewertungsregeln

Eine Antwort ist fachlich fehlerhaft, wenn sie mindestens eine nachweislich falsche Kernaussage enthält. Richtige, aber nicht hinreichend vollständige Antworten werden als unvollständig bewer- tet. Eine fehlende oder unzureichende Quellenzuordnung wird im Kriterium „Quellen- und Be- legabdeckung“ berücksichtigt. Eine unbelegte Aussage wird im Kriterium „Sichere Behandlung nicht beantwortbarer Fragen“ bewertet. Ist die Aussage zusätzlich fachlich falsch, wird sie auch im Kriterium „Fachliche Richtigkeit und Vollständigkeit“ berücksichtigt.

Ein kritischer fachlicher Fehler der Fehlerklasse 1 liegt vor, wenn eine nachweislich falsche oder irreführende Aussage geeignet ist,

 wesentliche Verfahrensstände, Zuständigkeiten oder Beteiligungsrechte falsch darzustel- len,  eine nicht bestehende rechtliche oder behördliche Verbindlichkeit zu vermitteln,  sicherheitsrelevante Sachverhalte wesentlich falsch darzustellen oder

[Seite 22]

 die sachliche Neutralität und Verlässlichkeit der öffentlichen Kommunikation erheblich zu beeinträchtigen.

Ein kritischer Fehler der Fehlerklasse 1 ist zu beheben. Die Abnahme kann erfolgen, wenn die Fehlerursache dokumentiert, die Korrektur umgesetzt und ein Wiederholungstest erfolgreich ab- geschlossen wurde.

Zusätzliche Testzyklen, die nicht auf einem vom Auftragnehmer zu vertretenden Mangel beruhen, insbesondere aufgrund nachträglicher Änderungen durch die BGE, sind gesondert zu vereinbaren.

10.4 Schulungen

Die Schulungen müssen Pflege und Aktualisierung der Wissensbasis, Rollen und Berechtigungen, Reporting und Analyse sowie relevante Systemeinstellungen vermitteln. Eine Betriebs- und Ad- ministrationsdokumentation muss die eigenständige Durchführung regelmäßiger Aufgaben er- möglichen.

10.5 Go-Live

Vor dem Produktivbetrieb ist ein abgestimmtes Go-Live-Konzept mit Kommunikations-, Eskalati- ons-, Rückfall- und Wiederanlaufverfahren vorzulegen. Der Produktivbetrieb beginnt erst nach er- folgreicher Pilotierung und Abnahme. Daran schließt sich eine vierwöchige Hypercare-Phase an.

Während dieser Phase unterstützt der Auftragnehmer die BGE insbesondere bei:

 der Analyse und Behebung von Fehlern  der Optimierung von Konfigurationen und Prozesseinstellungen  der Bewertung von Nutzungs- und Qualitätskennzahlen  der Bearbeitung von Nutzerfeedback  der Durchführung notwendiger Anpassungen im Rahmen der vereinbarten Leistungen

Zum Abschluss der Hypercare-Phase erstellt der Auftragnehmer einen Abschlussbericht mit einer Zusammenfassung der durchgeführten Maßnahmen, identifizierten Optimierungspotenziale so- wie einer Empfehlung für den weiteren Regelbetrieb.

[Seite 23]

11 Betrieb und Support

Für Störungsmeldung und -bearbeitung ist ein zentraler Service Desk bereitzustellen. Der Auf- tragnehmer beschreibt die außerhalb der Supportzeiten vorgesehenen automatisierten Maßnah- men, Bereitschaften und Reaktionsmechanismen.

Für Störungen gelten mindestens die folgenden Reaktions- und Wiederherstellungszeiten:

Tabelle 3: Reaktions- und Wiederherstellungszeiten

Die Reaktionszeit beginnt mit der Meldung einer Störung über die vereinbarten Supportkanäle.

Geplante Wartungsarbeiten sind der BGE mindestens fünf Arbeitstage im Voraus anzukündigen. Wartungsarbeiten mit Auswirkungen auf die Verfügbarkeit der Lösung sind in mit der BGE abge- stimmten, nutzungsarmen Zeitfenstern durchzuführen.

12 Nachweisführung

Zertifizierungen, Testate und Prüfberichte werden anerkannt, soweit Geltungsbereich, Aktualität und Prüftiefe die Anforderung abdecken. Fehlende Bestandteile sind ergänzend nachzuweisen.

13 Abnahme

[Seite 24]

Die Abnahme erfolgt auf Grundlage der Anforderungs- und Nachweismatrix. Für jede Anforderung sind dort Einstufung, Nachweisart, Nachweiszeitpunkt und Prüfmethode festgelegt. Funktional und hinsichtlich des Schutzniveaus gleichwertige Lösungen sind zulässig, wenn Gleichwertigkeit und geforderte Nachweise belegt werden.

Kritische oder wesentliche Mängel, die einer sicheren oder vertragsgemäßen Produktivsetzung entgegenstehen, sind vorher zu beheben. Sonstige Mängel können mit verbindlicher Frist im Ab- nahmeprotokoll dokumentiert werden, sofern Schutzniveau und vertragsgemäße Nutzbarkeit nicht beeinträchtigt sind.

Die Nichterreichung eines Pilotierungszielwerts oder einer Qualitäts- und Optimierungskennzahl stellt für sich allein keinen Mangel und kein Abnahmehindernis dar. Unberührt bleibt die Prüfung, ob den Ergebnissen ein unabhängig nachgewiesener funktionaler, fachlicher, sicherheitsbezoge- ner, datenschutzrechtlicher oder barrierefreiheitsbezogener Mangel zugrunde liegt.

[Seite 25]

Anhang A - Anforderungs- und Nachweis-Matrizen

Tabelle 4: Anforderungen, die mit dem Angebot zu erfüllen sind

[Seite 26]

[Seite 27]

[Seite 28]

[Seite 29]

Tabelle 5: Anforderungen, die bis zum Go-Live zu erfüllen sind

[Seite 30]

[Seite 31]

[Seite 32]

[Seite 33]

[Seite 34]

[Seite 35]

[Seite 36]

[Seite 37]

Tabelle 6: Anforderungen, die im laufenden Betrieb zu erfüllen sind

[Seite 38]

[Seite 39]

[Seite 40]

[Seite 41]

Anhang B – Redaktionelle Standards

Die generelle Antworterstellung folgt den Richtlinien zu redaktionellen Standards der BGE.

 Zahlen von null bis zwölf werden ausgeschrieben  Wir gendern mit Sternchen: Teilnehmer*innen  Zahlen ab 1.000 werden durch Punkte in Dreiergruppen gegliedert  Datumsformat: 12. Juli 2026  Uhrzeitformat: 18:00 Uhr  Zeitspanne: 20:00 bis 21:30 Uhr  Umgangssprachliche Abkürzungen (wie zum Beispiel, usw.) werden ausgeschrieben: zum Bei- spiel, und so weiter  Fachbegriff-Abkürzungen werden eingeführt: repräsentative vorläufige Sicherheitsuntersuchun- gen (rvSU)  Personen werden mit Vor- und Nachnamen sowie Funktion vorgestellt: Iris Graffunder, Vorsit- zende der BGE-Geschäftsführung  Deutsche Anführungszeichen: „Beispiel“  Bindestriche (Beispiel: Online-Redaktion) werden nicht als Gedankenstriche benutzt; ein richti- ger Gedankenstrich ist länger. Beispiel: Mehrere Spezialfahrzeuge – etwa Versatztransport-, Stapel- und Plateauwagen – sind bereits gefertigt oder in Erprobung.

[Seite 42]

Anhang C - Begriffe

Tabelle 7: Begriffe

[Seite 43]