LV.pdf

[Seite 1]

Leistungsbeschreibung zur Vergabe

Lieferung, Montage und Inbetriebnahme

von 2 GPU-basierten KI-Hochleistungssystemen

inkl. 5 Jahre Support

PR1272001

1 LV_PR1272001

[Seite 2]

Inhalt

1 Beschreibung des Vorhabens 3 1.1 Allgemeine Vorstellung der Organisation: 3 1.2 Kurzvorstellung des Instituts 3 1.3 Konkrete Vorstellung des Vorhabens: 3 2 Inhaltliche Anforderungen 4 2.1 Auftragsgegenstand 4 2.2 Technische Mindestanforderungen 4 2.3 Anlieferung und Inbetriebnahme 8 2.3.1 Lieferumfang 8 2.3.2 Inbetriebnahme 8 2.3.3 Integration in die bestehende Netzwerk- und Datenspeicher-Struktur 8 2.4 Support und Serviceleistungen 9 2.4.1 Gewährleistung für Ersatzteile 9 2.4.2 Hard- und Software-Support für 5 Jahre 9 2.4.3 Servicezeit 9 2.4.4 Reaktionszeit 9 2.4.5 Reparatur und Wartung 9 3 Ausarbeitung des Angebots 9 4 Liefertermin 10 5 Bankbürgschaft 10 6 Abnahme 10 7 Zahlungsbedingungen 11 8 Eignungskriterien und Referenzen 11 9 Zuschlagskriterien 11

2 LV_PR1272001

[Seite 3]

1 Beschreibung des Vorhabens

1.1 Allgemeine Vorstellung der Organisation:

Die Fraunhofer-Gesellschaft mit Sitz in Deutschland ist eine der führenden Organisationen für anwendungsorientierte Forschung. Im Innovationsprozess spielt sie eine zentrale Rolle – mit For- schungsschwerpunkten in zukunftsrelevanten Schlüsseltechnologien und dem Transfer von For- schungsergebnissen in die Industrie zur Stärkung unseres Wirtschaftsstandorts und zum Wohle unserer Gesellschaft.

Die 1949 gegründete Organisation betreibt in Deutschland derzeit 76 Institute und Forschungs- einrichtungen. Die gegenwärtig knapp 32 000 Mitarbeitenden, überwiegend mit natur- oder in- genieurwissenschaftlicher Ausbildung, erarbeiten das jährliche Finanzvolumen von 3,4 Mrd. €. Davon fallen 3,0 Mrd. € auf den Bereich Vertragsforschung, der sich in drei Finanzierungssäulen gliedert: Einen Anteil davon erwirtschaftet Fraunhofer mit Aufträgen aus der Industrie und aus Lizenzerträgen, die sich auf insgesamt 836 Mio. € belaufen. Der hohe Anteil an Wirtschaftser- trägen ist das Fraunhofer-Alleinstellungsmerkmal in der deutschen Forschungslandschaft. Ein weiterer Teil aus dem Bereich Vertragsforschung stammt aus öffentlich finanzierten Forschungs- projekten. Bund und Länder komplettieren die Vertragsforschung durch die Grundfinanzierung. Damit ermöglichen die Zuwendungsgeber, dass die Institute schon heute Problemlösungen ent- wickeln können, die in einigen Jahren für Wirtschaft und Gesellschaft relevant werden.

1.2 Kurzvorstellung des Instituts

Das Institut Fraunhofer FOKUS in Berlin erforscht die Digitale Vernetzung und ihre Auswirkun- gen auf Gesellschaft, Wirtschaft und Technologie. Seit 1988 unterstützt es Wirtschaftsunterneh- men und öffentliche Verwaltung in der Gestaltung und Umsetzung des digitalen Wandels. Dazu bietet Fraunhofer FOKUS Forschungsleistungen von der Anforderungsanalyse über Beratung, Machbarkeitsstudien, Technologieentwicklung bis hin zu Prototypen und Piloten in den Ge- schäftsbereichen Digital Public Services, Future Applications and Media, Quality Engineering, Smart Mobility, Software-based Networks und Vernetzte Sicherheit an. Fraunhofer FOKUS ge- hört zu den größten IKT-Instituten der Fraunhofer-Gesellschaft.

1.3 Konkrete Vorstellung des Vorhabens:

Im Forschungsbetrieb kommt zunehmend KI, insbesondere LLMs zum Einsatz, um den gestiege- nen Anforderungen gerecht werden zu können. Zunehmend kann dabei auf öffentliche Cloud- Infrastruktur für die Vertrags-/Auftragsforschung nicht zurückgegriffen werden. Entsprechend sind der Aufbau und der Betrieb eigener KI-fähiger Infrastruktur am Standort nötig. Nur so kann technisch gewährleistet werden, dass kein Datenabfluss zu KI-Anbietern stattfindet. Die bereits vorhandene Infrastruktur erreicht dabei bereits ihre Kapazitätsgrenzen, und hat teilweise bereits das Ende ihrer Nutzungsdauer erreicht. Die Modernisierung unterstützt dabei die strategisch be- reits ergriffenen Maßnahmen in der IT-Infrastruktur.

Die Erweiterung und Modernisierung der KI-fähigen Ausstattung sowie der Cloud-Infrastruktur sind erforderlich, um unsere Forschungsaufgaben in den Bereichen Resilienz, digitale Souveräni- tät, Cybersicherheit und kritische Infrastrukturen auch künftig erfüllen zu können. Zugleich die- nen sie der Sicherstellung von IT-Sicherheit und der Resilienz des Forschungsbetriebs gemäß Bu- siness Continuity Management nach ISO 22301:2019 bei steigenden Anforderungen. Darüber hinaus leistet die Modernisierung einen nachhaltigen Beitrag zu einem effizienten Energiema- nagement des Instituts.

3 LV_PR1272001

[Seite 4]

Für eine Erweiterung und Modernisierung am Standort sollen zweileistungsstarke NVIDIA/CUDA- fähige-GPU-Systeme beschafft werden. Diese sollen sich in die vorhandene Infrastruktur einfü- gen und institutsweit strategisch in der Forschung eingesetzt werden. Dazu ist die Unterstützung eines Multi-User-Betriebs ebenso notwendig, wie eine Mandantentrennung. Mithilfe der moder- nisierten KI-fähigen Infrastruktur können nicht nur aktuelle und zukünftige LLMs genutzt wer- den, sondern auch neue Netze für neue Anwendungszwecke trainiert und zur Anwendung ge- bracht werden.

2 Inhaltliche Anforderungen

2.1 Auftragsgegenstand

Es sollen Rechenkapazitäten zur Erforschung und Anwendung von Künstlicher Intelligenz, insbe- sondere Large Language Models (LLMs) beschafft werden. Diese müssen sich in vorhandene Inf- rastrukturen integrieren lassen. Die Systeme sollen als integrierte Gesamtsysteme im Rechen- zentrum bereitgestellt werden.

Es sollen insgesamt 2 identische Systeme beschafft werden. Jedes Einzelsystem muss die im fol- genden Abschnitt technischen und funktionalen Anforderungen erfüllen. Alle technischen An- forderungen sind Mindestanforderungen. Eine Überschreitung führt zu keiner besseren Bewer- tung. Sämtliche technischen Mindestanforderungen sind durch Herstellerdatenblätter, techni- sche Produktbeschreibungen, Herstellerzertifikate oder vergleichbare technische Dokumentatio- nen nachzuweisen. Soweit sich einzelne Anforderungen nicht unmittelbar aus den Produktun- terlagen ergeben, ist eine gesonderte technische Erläuterung des Bieters beizufügen. Fehlende Nachweise zu Mindestanforderungen können zum Ausschluss des Angebots führen. Im Angebot ist eindeutig anzugeben, dass es den Anforderungen dieses Leistungsverzeichnisses entspricht.

2.2 Technische Mindestanforderungen

Die folgenden Anforderungen gelten für beide Systeme, und sind, soweit nicht anders angege- ben, Anforderung für jedes einzelne System. Der Anbieter ist verpflichtet, die gelisteten Positio- nen hinsichtlich technischer Plausibilität zu prüfen. Fehlende, für den bestimmungsgemäßen Be- trieb zwingend erforderliche Komponenten sind im Angebot gesondert auszuweisen und zu be- preisen. Die angebotene Lösung muss vollständig betriebsbereit sein.

Technische Anforderungen der Komponenten und, soweit erforderlich, deren technische Not- wendigkeit, sind wie folgt spezifiziert. Diese Anforderungen sind Mindestanforderungen. Ein Fehlen/Unterschreiten führt zum Ausschluss.

◼ Mindestanforderung 1: Unterstützung für AI-Frameworks, insbesondere mit CUDA-Unter- stützung: Das System muss die hardware-beschleunigte Ausführung von CUDA-optimierten Algorithmen in den Frameworks PyTorch, Tensorflow, Keras, vLLM, SGLang, RAPIDS auf Hardware-Ebene, ohne zusätzliche Translation Layer, unterstützen. Es ist eine vollständige Unterstützung von CUDA mit mindestens Compute Capability 10.3 nötig. • Technische Notwendigkeit: So ist eine Kompatibilität zu den bereits am Institut ein- gesetzten Geräten und entwickelten Algorithmen ohne Leistungsverluste oder perso- nalintensive Anpassungen garantiert. CUDA-fähige Systeme kommen ebenfalls in mobilen Versuchsträgern wie Fahrzeugen zum Einsatz, welche technisch nur unter erheblichem personellen und finanziellen Aufwand mit nicht-CUDA-fähiger Hard- ware ausgestattet werden können. ◼ Mindestanforderung 2: Hardwareseitige Unterstützung für moderne Low-Precision-Formate für LLM-Inferenz, mindestens FP4

4 LV_PR1272001

[Seite 5]

• Technische Notwendigkeit: Aktuelle LLMs besitzen bereits mehrere Billionen Parame- ter. Dies überträgt sich direkt auf die Speichergröße. Um hier Einsparungen zu errei- chen, werden Parameter nur noch mit reduzierter Genauigkeit gespeichert. Stand der Technik ist hier die Reduktion mittels FP4-Quantisierung (z. B. NVFP4, MXFP4, E2M1). Um gleichzeitig eine hohe Ausführungsgeschwindigkeit zu erreichen, ist eine entsprechende Unterstützung der Algorithmen durch die Hardware selbst nötig. ◼ Mindestanforderung 3: Je System mind. 8 GPUs • Technische Notwendigkeit: Um eine institutsweite Nutzung für alle Projekte zu er- möglichen, bedarf es einer Mindestanzahl an GPUs. ◼ Mindestanforderung 4: Anbindung der GPUs an den GPU-Speicher: mit mindestens 5 TB/s • Technische Notwendigkeit: Bei der Ausführung ist die Speicherbandbreite ein maß- geblicher Faktor. Für eine hohe Ausführungsgeschwindigkeit im institutsweiten Pa- ralleleinsatz soll die Speicherbandbreite je System und GPU nicht weniger als 5TB/s betragen. ◼ Mindestanforderung 5: 2,3TB+ HBM3e GPU Speicher pro System • Technische Notwendigkeit: Die Ausführung des LLMs findet im Grafikprozessor statt. An diesen angebunden ist der GPU-Speicher. Je mehr Speicher direkt angebunden ist, umso schneller kann ein LLM ausgeführt werden. Aktuelle große Foundation- LLM-Modelle besitzen bereits mehr als 2 Billionen Parameter (KIMI K3: 2.8T, Qwen3.8-Max: 2.4T), so dass hier nur mit einem Maximalausbau und der Unterstüt- zung von geeigneter Quantisierung ein Mindestmaß an Zukunftssicherheit gegeben ist. ◼ Mindestanforderung 6: Hochperformanter GPU-Interconnect mit mindestens 1,8 TB/s (ag- gregiert 14,4TB/s) bidirektionaler Bandbreite zwischen den GPUs • Technische Notwendigkeit: Um schnell Daten zwischen den verschiedenen GPU-Spei- cherbereichen zu übertragen, muss der Speicher über ein hinreichend schnelles Übertragungssystem verfügen. ◼ Mindestanforderung 7: 2TB+ DDR5 Systemarbeitsspeicher pro System • Technische Notwendigkeit: In den Fällen, in denen der GPU-Speicher nicht ausreicht, kann vom System auf langsamere Arbeitsspeicher zurückgegriffen werden. Dieser sollte mindestens so groß sein wie der verfügbare GPU-Speicher. ◼ Mindestanforderung 8: CPU: Dual CPU-System (2 Sockets), Intel- oder AMD-basierte CPU, mit folgenden Mindestanforderungen für AMD-basierte CPUs:

5 LV_PR1272001

[Seite 6]

• Andere CPU-Modelle desselben Herstellers sind zulässig, sofern sie sämtliche in der Tabelle genannten Mindestmerkmale erfüllen oder überschreiten. Maßgeblich sind ausschließlich die technischen Daten gemäß Herstellerdatenblatt sowie die im ange- botenen System tatsächlich nutzbare Konfiguration. • CPU, Mainboard, Spannungsversorgung und Kühlsystem müssen für Dauerbetrieb unter kombinierter CPU-/GPU-Volllast geeignet sein. Thermal Throttling im bestim- mungsgemäßen Betrieb ist unzulässig. • Das System muss die Bestückung aller Speicherkanäle je CPU unterstützen; eine re- duzierte Bestückung mit wesentlicher Verringerung der Speicherbandbreite ist unzu- lässig

• Technische Notwendigkeit: Die CPUs steuern die Datenübertragung zwischen den GPUs und den Systemen und übernehmen die Datenaufbereitung. Entsprechend dürfen diese nicht einen Flaschenhals bei der Verarbeitung darstellen. Die CPUs und deren Speicheranbindung entscheiden maßgeblich über die Geschwindigkeit für den Fall, dass Daten vom Datenspeicher oder Arbeitsspeicher in den GPU-Speicher nach- geladen werden müssen. Dies ist besonders bei wechselnden Ausführungskontexten der Fall (KV-Cache offload, Tokenisierung, Inferenz über mehrere Systeme). ◼ Mindestanforderung 9: Je System Netzwerkanbindung über mind. 4 gleichzeitig nutzbare dedizierte Datenübertragungsschnittstellen pro System; Remote-Management-Schnittstellen werden gesondert betrachtet ◼ Mindestanforderung 10: Netzwerkanschlüsse: Jedes System muss: • mindestens 4 gleichzeitig nutzbare Hochgeschwindigkeitsnetzwerkports aufweisen, • Geschwindigkeiten von 100 Gbit/s bis 400 Gbit/s je Port unterstützen, • Geschwindigkeiten von 400 Gbit/s auf allen Ports gleichzeitig unterstützen, • Ethernet und InfiniBand an jedem einzelnen Port, einzeln konfigurierbar, unterstüt- zen, • RDMA, InfiniBand RDMA und RoCE unterstützen, • Verbindungen über Längen von 2 m bis 50 m herstellen können.

• Notwendigkeit: Zur Übertragung und Anbindung an die bereits vorhandene Infra- struktur sind entsprechende Netzwerkanschlüsse nötig. Gleichzeitig darf diese die Systemleistung beim Zugriff auf externen Datenspeicher oder zwischen den Syste- men nicht limitieren. Die Anforderungen stellen die Integration in die am Institut be- reits vorhandene Speicher- und Netzwerkinfrastruktur sicher und ermöglichen auch den Betrieb der 2 Systeme als Verbund im Cluster. ◼ Mindestanforderung 11: Netzwerk-Remote-Management: je System 1 dedizierter Netzwerk- anschluss 1GbE oder 10GbE RJ45 für Out of Band Remote-Management über IP mittels IPMI und Remote/Virtual KVM • Technische Notwendigkeit: Die Systeme werden im Rechenzentrum betrieben. Ein permanentes Arbeiten an den Systemen vor Ort ist nicht möglich. Ebenso ist eine Steuerung und ggf. Entstörung aus dem Home Office notwendig. ◼ Mindestanforderung 12: Mind. 30TB lokaler Datenspeicher je System über NVMe angebun- den • Technische Notwendigkeit: Die Systeme sollen für alle Nutzer im Institut zur Verfü- gung stehen. Entsprechend umfangreich muss der Datenspeicher für alle Nutzer

6 LV_PR1272001

[Seite 7]

sein. Angegeben ist die Gesamtbruttokapazität. Eine Nutzung als Raid1+0 mit Nen- nung der Nettokapazität ist vorzuschlagen. ◼ Mindestanforderung 13: Luft-Kühlung • Bauliche Gegebenheiten erfordern eine Luft-Kühlung und machen den Einsatz einer Wasser-Kühlung mit externer Wasserzufuhr unmöglich. Jedes System muss in einem Rechenzentrum betrieben werden können mit einer Umgebungstemperatur von 20°C ohne separate Kalt-/Warmgänge. Die Luftzufuhr erfolgt über die Raumluft. ◼ Mindestanforderung 14: Stromversorgung über 230V-Anschlüsse mit bis zu 16A Strom je System, inkl. Kabeln in 2m Länge für den Anschluss der Systeme an C20-Anschluss in Stück- zahl entsprechend der an den Systemen vorhandenen Anschlüsse. • Technische Notwendigkeit: Stromversorgung über mindestens 6 und bis zu 12 sepa- rate Stromkreise, abgesichert mit 16A, und C19-Anschlüsse. Die maximale Stromauf- nahme je System darf in Summe 20 kW über alle Anschlüsse nicht übersteigen. Die genaue Stromkonfiguration ist bei Angebotsabgabe mitzuteilen oder als Teil des Da- tenblatts zur Verfügung zu stellen. Eine N+N-Redundanz ist vorzusehen. ◼ Mindestanforderung 15: Betriebssystem: Redhat- oder Ubuntu-basiertes Linux, von Herstel- lern der Komponenten freigegebene und für das Betriebssystem unterstützte Treiber. Sämtli- che Lizenzkosten für das Betriebssystem und weitere zum Betrieb direkt notwendigen Soft- ware-Komponenten müssen abgegolten sein. ◼ Mindestanforderung 16: Software-Ausstattung: je System soll eine Lizenz zur Nutzung von GPU-Hardware-Hersteller eigenen Containern und Laufzeitumgebungen für 5 Jahre beilie- gen. • Technische Notwendigkeit: Diese sind angepasst an die Hardware-Kernkomponenten (GPUs) und stellen so die maximale Effizienz und Kompatibilität sicher.

Technische Mindestanforderungen je System:

Nr. Kriterium Mindestanforderung Hardware-beschleunigte Ausfüh- 1 rung Mindestens CUDA Compute Capability 10.3 von CUDA-Algorithmen 2 Unterstützung von Quantisierung FP4 oder besser, z.B. NVIDIA Blackwell oder vergleichbar 3 Anzahl GPUs Mindestens 8 4 Anbindung GPU<->GPU-Speicher Mindestens 5 TB/s 5 Kapazität GPU-Speicher 2,3 TB HBM3e 6 Geschwindigkeit GPU-Interconnect 1,8 TB/s (bei 8 GPUs aggregiert 14,4 TB/s) 7 Kapazität Systemarbeitsspeicher 2TB DDR5 Speicher Dual-Sockel, PCIe 5.0, 6400MT/s, HyperThreading; 8 CPU Klasse AMD: 192 Kerne, Passmark Multithread 160542; Intel: 64 Kerne, Passmark Multithread 93165 9 Anzahl Netzwerkanschlüsse Mindestens 4 100 Gbit/s bis 400 Gbit/s je Anschluss, 400 Gbit/s an allen An- 10 Leistung Netzwerkanschlüsse schlüssen gleichzeitig, RDMA, Infiniband RDMA, RoCE Unterstützung an allen Anschlüssen aktivierbar 11 Remote Management vorhanden, über 1 GbE oder 10GbE Out-of-Band Mindestens 30 TB lokaler NVMe Speicher, im Raid als Brutto- 12 Festplatte Kapazität 13 Luft-Kühlung vorhanden 14 230V Stromversorgung vorhanden 15 Betriebssystem Redhat oder Ubuntu basiertes Linux 16 Software vorhanden 7 LV_PR1272001

[Seite 8]

Folgende Kriterien dienen der Bewertung der Angebote. Eine Erfüllung der Mindestkriterien wird mit 0 Punkten bewertet; höhere/bessere Werte entsprechend mit mehr Punkten gemäß Gewich- tung und Verfahren:

Kriterium Gewichtung Mindestens = Maximal = Verfahren 0 Punkte 100 Punkte Anzahl GPUs 10% 8 16 linear Kapazität System- 10% 2TB DDR5 Speicher 4 TB linear arbeitsspeicher Kapazität 5% 30 TB lokaler 60 TB linear Festplatten- NVMe Speicher

2.3 Anlieferung und Inbetriebnahme

Folgende Leistungen sind zusätzlich durch den Lieferanten vor Ort zu erbringen:

◼ Inbetriebnahme vor Ort: Aufstellungsort ebenerdig bzw. Aufzüge vorhanden ◼ Integration in die bestehende Netzwerk- und Datenspeicher-Struktur über optische Verbin- dungen, welche ebenfalls bereitzustellen sind.

2.3.1 Lieferumfang Die Lieferung und Montage erfolgt frei Verwendungsstelle (Fraunhofer Institut FOKUS Berlin, Re- chenzentrum)

Alle für Anlieferung, Verbringung und Rackmontage notwendigen Hilfsmittel sind vom Auftrag- nehmer bereitzustellen, insbesondere notwendige technische Hilfsmittel wie 19“-Hubwagen für das systemspezifische Gewicht. Ebenso ist entsprechendes Personal bereitzustellen.

2.3.2 Inbetriebnahme Die Inbetriebnahme erfolgt vor Ort. Der Aufstellungsort ist ebenerdig und es sind Aufzüge vor- handen

Die Inbetriebnahme umfasst den Rack-Einbau, den Stromanschluss, physischen Netzwerkan- schluss und Installation aktueller Firmware- und eines unterstützten Betriebssystems (siehe An- forderungen) und einen Funktionstest der Systeme. Alle Lizenzkosten sind im Angebot enthal- ten.

2.3.3 Integration in die bestehende Netzwerk- und Datenspeicher-Struktur Die Integration in die bestehende Netzwerk- und Datenspeicher-Struktur erfolgt über optische Verbindungen, welche ebenfalls bereitzustellen sind.

Die Integration umfasst in Absprache die Basis-Konfiguration für die Systemverwaltung und die Ersteinrichtung von administrativen Zugängen. Es ist das Herstellen von zwei Netzwerkverbin- dungen je System an 100GbE QSFP28 Anschlüsse mit 20m Kabellänge und je System eine Ka- belverbindung Kupfer RJ45 10GigE oder 1GIgE für das Systemmanagement vorzusehen. Not- wendige Optiken und Kabel sind mitzuliefern.

8 LV_PR1272001

[Seite 9]

2.4 Support und Serviceleistungen

Zur Aufrechterhaltung des Betriebs der Systeme sind folgende Leistungen nach Abnahme zu er- bringen. Diese Leistungen sollen ebenfalls sicherstellen, dass die Ausfallzeiten möglichst kurz sind und Betriebsunterbrechungen sich auf eine minimale Dauer reduzieren.

2.4.1 Gewährleistung für Ersatzteile Die Gewährleistung für alle Einzelteile erfolgt im Rahmen der gesetzlichen Maßgabe.

2.4.2 Hard- und Software-Support für 5 Jahre Für einen strategisch langfristigen Einsatz muss ein Betrieb über mindestens 5 Jahre gewährleis- tet sein. Der Software-Support umfasst die Bereitstellung von Updates/Upgrades für Firmware, Betriebssystem, Treiber und GPU-Hersteller eigene Laufzeitumgebungen.

Die Leistung kann durch den Auftragnehmer selbst oder über den Hersteller erbracht werden. Spätestens mit Beginn des Leistungszeitraums für den Support ist dem Auftraggeber der allei- nige und verantwortliche Vertragspartner zu nennen.

2.4.3 Servicezeit Die Servicezeit wird wie folgt vereinbart: Montag bis Freitag, ausgenommen gesetzliche Feier- tage, mindestens 08:00 bis 17:00 Uhr.

2.4.4 Reaktionszeit Die Reaktionszeit gibt den Zeitraum an, innerhalb dessen der Auftragnehmer mit den Störungs- bzw. Mängelbehebungsarbeiten zu beginnen hat. Der Zeitraum beginnt mit dem Zugang der Störungs- bzw. Mängelmeldung innerhalb der angebotenen Servicezeiten und läuft während der vereinbarten Servicezeiten weiter.

Die Reaktionszeit beträgt höchstens 4 Stunden. Eine qualifizierte Bearbeitung einer Störungsmel- dung in einem Support-Portal oder via E-Mail innerhalb von 4 Stunden wird akzeptiert.

2.4.5 Reparatur und Wartung Reparatur/Wartung inkl. Teiletausch defekter Teile vor Ort durch Techniker-Einsatz: Der Auftrag- nehmer ist sowohl für das Gesamtsystem als auch für seine Komponenten verantwortlich, kann dies jedoch im Rahmen einer Hardware-Garantie vom Hersteller übernehmen lassen. Teil der Leistung sind Vor-Ort-Service inkl. Arbeitszeit, Anfahrt, Ersatzteilen und Koordination mit dem Hersteller. Eine Einsendung des Geräts ist grundsätzlich nicht vorgesehen.

3 Ausarbeitung des Angebots

Die Fraunhofer-Gesellschaft bittet um ein – dem oben genannten Bedarf entsprechendes – An- gebot. Maßgeblich für die Zuschlagserteilung ist der Gesamtpreis. Das Angebot sollte folgende Positionen separat ausweisen:

◼ Die Angabe einer konkreten Ansprechperson inkl. Kontaktdaten, welche für die Ausschrei- bung verantwortlich ist ◼ detaillierte Beschreibung des angebotenen Systems inklusive vollständiger Ausstattungsliste ist im Rahmen der Angebotserstellung vorzulegen ◼ Im Angebot ist eindeutig anzugeben, dass es den Anforderungen dieses Leistungsverzeich- nisses entspricht. Der Auftraggeber behält sich vor, unvollständige Angebote nach Maßgabe der vergaberechtlichen Vorschriften vom Verfahren auszuschließen 9 LV_PR1272001

[Seite 10]

◼ Preis für die Support-Leistungen je System: Die Support- und Serviceleistungen gemäß Ziffer 2.2 sind Bestandteil des Angebots und in den Gesamtangebotspreis einzukalkulieren. Die hierfür kalkulierten Kosten sind im Angebot gesondert auszuweisen. Die gesonderte Auswei- sung dient ausschließlich der Kostentransparenz und hat keinen Einfluss auf die Angebots- wertung. Maßgeblich für die Wertung ist ausschließlich der Gesamtangebotspreis. ◼ Pauschale für die Lieferung, Montage, Inbetriebnahme und Bereitstellung/Installation aller unter in Punkt 2.3.2 (Inbetriebnahme) beschriebenen Datenverbindungen ◼ Die geforderten Nachweise und Angaben sind vollständig einzureichen. Der Auftraggeber behält sich vor, unvollständige Angebote nach Maßgabe der vergaberechtlichen Vorschriften auszuschließen.

Alle Kosten müssen vollständig und transparent ausgewiesen werden; keine versteckten Neben- kosten.

Mit dem Angebot einzureichen sind:

◼ Datenblatt des angebotenen Systems ◼ Supportbeschreibung ◼ Lieferzeitangabe ab Auftragseingang ◼ Elektrischen Anschlussdaten und Energieaufnahme ◼ Nachweis über die Autorisierung ◼ Gleichwertigkeitsnachweis bei Alternative zum Referenzprodukt

4 Liefertermin

Die Lieferung und Inbetriebnahme der Systeme erfolgt spätestens bis Ende 2. Quartal 2027, bis 30.06.2027. Weitere Detail siehe 2.3.2 Inbetriebnahme.

Die Support- und Serviceleistungen sind für 60 Monate ab erfolgreicher Abnahme zu erbringen.

Ein Lieferverzug ist ohne Verzögerung mitzuteilen.

5 Bankbürgschaft

Sollte der gewünschte Liefertermin nicht eingehalten werden können, wird die Zahlungsabwick- lung zu 100% über eine Vorauszahlung erfolgen, da die Bezahlung bereits in diesem Jahr erfol- gen muss. Als Voraussetzung für die Vorauszahlung ist von Ihnen eine für uns spesenfreie, un- befristete Bankbürgschaft erforderlich, die nach Abnahme des Gegenstandes zurückgegeben wird.

6 Abnahme

Die Abnahme erfolgt nach folgenden Kriterien:

◼ Vollständige Lieferung nach Sichtprüfung ◼ Übergabe der Dokumentation inkl. gesetzter Kennwörter/Zugangsdaten ◼ Funktionstest hinsichtlich der Stromzufuhr ◼ Remote-Steuerung möglich ◼ Anzeige aller GPUs und Auslesen der Seriennummern möglich ◼ Übersicht freie Systemspeicher und Datenspeicher ◼ Netzwerkstest anhand von IP-Verbindungsversuchen ◼ Übersicht der eingebauten CPUs

10 LV_PR1272001

[Seite 11]

◼ Hersteller-eigener Selbsttest zur Diagnose („Health Test“) ohne kritische Fehlermeldungen: Wird ein solcher Test vom Hersteller nicht bereitgestellt, ist ein entsprechender Test als Teil des Angebots vorzuschlagen. ◼ Test über die Ausführung von mindestens einem LLM mit der Mindestgröße von 500 Mrd. Parametern, z.B. Chat mit GLM 5.3 FP8 durch den Auftraggeber, gemäß Abschnitt 10

Die Abnahme erfolgt frei Verwendungsstelle gemeinsam mit dem Lieferanten.

7 Zahlungsbedingungen

Das Zahlungsziel beträgt 30 Tage netto nach erfolgreicher Abnahme und Rechnungseingang. Für den Fall, dass gemäß den kaufmännischen Bedingungen nach Zuschlagserteilung eine selbst- schuldnerische Anzahlungsbürgschaft mit der vorgegebenen Laufzeit zu stellen ist, wird drin- gend empfohlen, bereits während des laufenden Vergabeverfahrens Kontakt zu Ihrem Kreditin- stitut oder Ihrem Kreditversicherer aufzunehmen, um die Voraussetzungen bzw. die Bereitschaft für die Ausstellung einer solchen Bürgschaft nach dem vorgegebenen Muster zu klären.

Weitere Hinweise entnehmen Sie bitte den kaufmännischen Bedingungen.

8 Eignungskriterien und Referenzen

Der Nachweis einschlägiger Projekterfahrung ist durch eine der folgenden Alternativen zu erbrin- gen:

Der Bieter weist anhand eines gültigen Zertifikats nach, dass er autorisierter Vertriebs- oder Service-Partner des Herstellers ist für die angebotenen Systeme

ODER FALLS NICHT VORHANDEN

Vorlage von mindestens zwei Referenzprojekten innerhalb der letzten 12 Monate, die hinsichtlich Art, Umfang und technischer Komplexität mit dem ausgeschriebenen Leis- tungsgegenstand vergleichbar sind.

Zu nennen sind mindestens folgende Punkte:

◼ Auftraggeber (ggf. mit Ansprechpartner für Rückfragen) ◼ Projektbezeichnung ◼ Leistungszeitraum ◼ Leistungsumfang ◼ Projektgröße (z. B. Anzahl Systeme, Nutzer, Server o. Ä.) ◼ Technische bzw. fachliche Besonderheiten ◼ Rolle des Bieters (Generalunternehmer, Hauptauftragnehmer etc.) ◼ Erfolgreicher Projektabschluss ◼ Vergleichbarkeit mit dem ausgeschriebenen Auftrag

9 Zuschlagskriterien

Der Auftrag wird nach den folgenden Zuschlagskriterien vergeben:

• Preis: 75%; Bewertet wird der Gesamtpreis
• Technische Ausstattung: 25%, siehe 2.2 Technische Mindestanforderungen

11 LV_PR1272001

[Seite 12]

10 Abnahmetest

Dieser Test beschreibt zwei Prüfungen, welche vom Auftraggeber vorgenommen werden zur Be- stätigung der Leistungsfähigkeit der gelieferten Systeme. Er orientiert sich an gängigen Stan- dards.

Diese Tests werden nach erfolgreichem Abschluss von hersteller-eigenen Tests ausgeführt.

10.1 MLPerf Inference Benchmark

Der Fokus dieses Tests liegt auf der Reproduzierbarkeit der Leistungsergebnisse durch den Ein- satz des offiziellen MLPerf Inference Benchmarks.

Um die Leistung mit öffentlichen Einreichungen durch die Hersteller zu vergleichen, wird der MLCommons Datacenter Inference Benchmark durchgeführt. Eine Liste der möglichen verwend- baren Netze mit Vergleichswerten findet sich unter https://mlcommons.org/benchmarks/infer- ence-datacenter/

Es kann hierbei auf die herstellereigene angepasste Software zurückgegriffen werden.

Abnahme-Bedingung: Jedes System gilt als leistungsmäßig abgenommen, wenn der MLPerf-Run fehlerfrei abgeschlossen wird und die Performance im Rahmen der für die Architektur erwarte- ten Toleranz liegt. Vergleichssystem ist hierbei das ein System, welches die Mindestanforderun- gen erfüllt, z.B. NVIDIA DGX B300 8x288GB

10.2 LLM Test

Zusätzlich soll ein einfacher Test zur Inferenz mit einem zeitgemäßen LLM passender Größe aus- geführt werden. Ein LLM, welches die Anforderungen zum Stand September 2026 erfüllt, ist GLM-5.3 FP8 893GB. Aufgrund seiner Größe müssen hierbei alle GPUs und deren Speicher na- hezu gleichzeitig genutzt werden. Ein zum Zeitpunkt der Inbetriebnahme verfügbares Netz, wel- ches die Anforderungen ähnlich erfüllt, kann alternativ verwendet werden.

Für die Durchführung des Tests wird sich an fertigen „Rezepten“ für die Installation passender Software orientiert, wie https://recipes.vllm.ai/zai-org/GLM-5.3?hardware=b300 oder https://docs.sglang.io/cookbook/autoregressive/GLM/GLM-5.3#hw=b300

Abnahme-Bedingung: Jedes System gilt als hinreichend getestet, wenn im direkten Chat Ant- worten auf einfache Fragestellungen und mehr mehrseitige Beschreibungen zu Sachverhalten generiert werden können. Es wird keine genaue inhaltliche Prüfung auf Korrektheit vorgenom- men. Auch die bei den Rezepten angegebenen Performance-Werte werden lediglich als Hin- weise verstanden und stellen mangels Vergleichbarkeit kein Kriterium für eine Abnahme dar.

12 LV_PR1272001