[Seite 1]
Anlage 2 zur Leistungsbeschreibung: Testszenarien zur Erprobung der drohnengestützten Lageaufklärung im Rahmen des Ausschreibungsverfahrens.
Zweck der Testdurchführung
Im Rahmen des Bewertungsverfahrens der angebotenen Produkte ist die Durchführung eines
Testverfahrens zur Feststellung der Erfüllung aller Kriterien und der praktischen Verwendbarkeit
der ULS für den VLOS-Einsatz der Polizei Berlin vorgesehen.
Dieses Testverfahren dient der standardisierten praktischen Erprobung dienstlich gelieferter
ULS einschließlich Akkus, Sensorik, Bildübertragung und Zubehör. Ziel der Testdurchführung ist
die nachvollziehbare Feststellung, ob das jeweilige System die in der Leistungsbeschreibung
definierten funktionalen Anforderungen für den praktischen Einsatz erfüllt.
Die Testdurchführung erfolgt unter einheitlichen Bedingungen, um eine objektive,
wiederholbare und vergleichbare Bewertung aller vorgestellten Systeme zu gewährleisten. Die
Prüfung ist so ausgestaltet, dass sowohl die fliegerische Eignung als auch die Bedienbarkeit,
Sensorleistung, Datenübertragung und Einsatzpraktikabilität bewertet werden können. Die
Testergebnisse werden auf einem einheitlichen Prüfbogen erfasst und bepunktet.
Auswahl der Angebote für das Testverfahren
Für die Testphase werden ausschließlich unterschiedliche ULS berücksichtigt. Bei identischen
ULS wird nur der Bieter mit dem kostengünstigsten Angebot zu diesem ULS-Modell zur
Teststellung aufgefordert.
Rahmenbedingungen der Testdurchführung
Die Örtlichkeit des Tests wird den beteiligten Bietern 7 Kalendertage vor dem Test bekanntgegeben. Der Bieter hat während der Testungen anwesend zu sein um ggf. offene Fragen zum System beantworten zu können und Einweisungen in das vorhandene System geben zu können.
[Seite 2]
Die Durchführung der Tests erfolgt auf einem für den vorgesehenen Flugbetrieb geeigneten und
luftrechtlich zulässigen Gelände. Die Erprobung ist unter Einhaltung der geltenden
Sicherheitsbestimmungen sowie unter Sichtflugbedingungen durchzuführen; die Testleitung
dokumentiert Datum, Uhrzeit, Witterung, beteiligtes Personal und besondere Vorkommnisse
Für die Testdurchführung werden beim Auftraggeber mindestens folgende Funktionen
vorgesehen:
testverantwortliche Leitung,
steuernde Fernpilotin oder steuernder Fernpilot,
beobachtende Person,
protokollführende Person.
Die einzelnen Testabschnitte werden vollständig dokumentiert. Hierzu gehören insbesondere
Zeitmessungen, Beobachtungen zum Flugverhalten, Video- oder Bilddokumentation,
Messergebnisse, Auffälligkeiten im Betrieb sowie Abweichungen von vorgegebenen
Anforderungen.
Gegenstand der Erprobung
Gegenstand der Prüfung ist jeweils ein vollständiges ULS in der durch den Anbieter
bereitgestellten Konfiguration. Zur Konfiguration zählen insbesondere Luftfahrzeug,
Fernsteuerung oder Ground Control Station, eingesetzte Akkus, Ladeeinrichtungen, Kamera-
und Sensorsysteme, Speichermedien, Datenübertragungsfunktionen sowie sonstiges
einsatzrelevantes Zubehör gemäß der Ausschreibung.
Vor Beginn der Erprobung sind Hersteller, Typbezeichnung, Seriennummer sowie die zur
Verfügung gestellte Systemkonfiguration vom Auftragnehmer zu erfassen und an den
[Seite 3]
Auftraggeber zu übermitteln. Ebenfalls zu dokumentieren sind vorhandene Softwarestände,
eingesetzte Zusatzmodule und die für die Durchführung aktivierten Funktionen.
Ablauf der Testdurchführung
Die praktische Erprobung gliedert sich in mehrere standardisierte Testabschnitte.
- Einsatzbereitschaft und Inbetriebnahme
Im ersten Testabschnitt wird geprüft, ob das ULS in angemessener Zeit und ohne vermeidbare
Schwierigkeiten die Flugbereichschaft herstellen kann. Hierzu erfolgt die Entnahme aus dem
Transportbehältnis, Sichtprüfung, Montage beziehungsweise Herstellung der
Betriebsbereitschaft, Einsetzen des Akkus, Inbetriebnahme der Steuerungseinheit sowie
Durchführung des Vorflugchecks, welche beobachtet und dokumentiert werden.
Zu bewerten sind insbesondere Vollständigkeit, Übersichtlichkeit, Handhabbarkeit,
Verständlichkeit der Startprozedur sowie die Zeitspanne bis zur sicheren Startbereitschaft.
Ebenso ist festzustellen, ob das System erforderliche Statusmeldungen und Warnhinweise
verständlich und nachvollziehbar anzeigt.
- Flugverhalten und Steuerbarkeit
Im zweiten Testabschnitt wird die sichere Steuerbarkeit des Systems im manuellen Flugbetrieb
geprüft. Hierfür sind Start, Steig- und Sinkflug, Schwebeflug, Richtungswechsel, Vorwärts- und
Seitwärtsbewegungen sowie eine kontrollierte Landung unter standardisierten Bedingungen
durchzuführen.
Darüber hinaus ist zu bewerten, ob das System im Schwebeflug stabil arbeitet, Steuerbefehle
präzise umsetzt und auch bei kurzzeitigen Störungen oder erschwerten Bedingungen
beherrschbar bleibt. Ferner ist die Funktion vorhandener Sicherheitsmechanismen,
[Seite 4]
insbesondere automatischer Rückkehrfunktionen oder vergleichbarer Failsafe-Verfahren, zu
überprüfen und zu dokumentieren.
- Tagesflug und optische Aufklärung
Im dritten Testabschnitt wird die Nutzbarkeit der optischen Sensorik bei Tageslicht geprüft. Das
System hat dabei ein festgelegtes Zielobjekt anzufliegen beziehungsweise aus definierter
Distanz zu erfassen, um die Bildqualität, Zielerkennung, Zoombarkeit, Detaildarstellung sowie
die Praktikabilität der Echtzeitübertragung zu bewerten. Bei diesem Test wird der Laser-
Entfernungsmesser ebenfalls einbezogen. Dokumentiert wird hierbei Messbarkeit,
Bedienbarkeit, Plausibilität der Messwerte sowie die Nutzbarkeit der angezeigten Positions- und
Entfernungsdaten im Einsatzkontext.
- Nacht- und Wärmebildfähigkeit
Im vierten Testabschnitt wird geprüft, ob das ULS auch bei eingeschränkten Lichtverhältnissen
den Einsatzerfordernissen entsprechend eingesetzt werden kann. Hierzu ist die Funktion der
Nachtbetriebsanzeige sowie die praktische Verwendbarkeit der vorhandenen Wärmebild- oder
Low-Light-Sensorik unter realitätsnahen Bedingungen zu bewerten.
Insbesondere ist festzustellen, ob Personen oder Wärmequellen gegenüber ihrer Umgebung
eindeutig detektiert und lagegerecht dargestellt werden können. Zu dokumentieren sind hierbei
Erkennbarkeit, Bildstabilität und Umschaltbarkeit zwischen Darstellungsmodi.
- Anwenderfreundlichkeit und Datenverarbeitung
Im fünften Testabschnitt wird die Bedienbarkeit des Systems durch eine in die konkrete Plattform
nicht eingewiesene Testperson mit einer Fernpilotenlizens A1/A3 bewertet. Gegenstand der
Prüfung sind insbesondere Verständlichkeit der Benutzeroberfläche, Nachvollziehbarkeit von
[Seite 5]
Menüs und Funktionen, Fehleranfälligkeit in der Bedienung sowie die praktische Durchführung
einfacher Standardaufträge wie Wegpunktplanung, Bildaufnahme oder Datensicherung. Das
Ergebnis wird durch die Testperson dokumentiert.
Weiterhin ist zu prüfen, ob erzeugte Daten in einsatztauglicher Form gespeichert, gesichert und
exportiert werden können. Hierzu zählen insbesondere Bild- und Videodaten, Telemetriedaten
und Georeferenzierungen. Ferner wird die Bildübertragung getestet.
Bewertungsmaßstab
Die Bewertung erfolgt für jeden Prüfaspekt anhand einer einheitlichen vierstufigen Skala. Zur
Wahrung der Vergleichbarkeit ist jedes Einzelkriterium des Bewertungsbogens einer der
folgenden Kategorien zuzuordnen:
15 Punkte (trifft voll zu),
10 Punkte (trifft eher zu),
5 Punkte (trifft eher nicht zu),
0 Punkte (trifft nicht zu).
Alle Punkte in Addition ergeben die Gesamtpunktzahl (22 Einzelkriterien x 15 Punkte = 330
Gesamtpunkte) des Testobjekts samt des Zubehörs.
Ergänzend werden zu jeder Bewertung kurze Bemerkungen dokumentiert, sofern
Besonderheiten, Störungen, Abweichungen oder einsatztaktisch relevante Einschränkungen
festgestellt werden. Bei technisch messbaren Kriterien sollen zusätzlich objektive Mess- oder
Beobachtungswerte festgehalten werden, damit die Bewertung nachvollziehbar bleibt.
[Seite 6]
Dokumentation und Auswertung
Für jedes getestete System wird durch den Testleiter ein gesonderter Bewertungsbogen (Anlage
- gefertigt. Der Bewertungsbogen hat mindestens Angaben zu Testdatum, Testort,
Testpersonal, Hersteller, Systembezeichnung, getesteter Konfiguration sowie den Ergebnissen
der einzelnen Prüfaspekte zu enthalten.
Nach Abschluss der Erprobung sind alle Ergebnisse zusammenzuführen und auf Vollständigkeit
sowie Nachvollziehbarkeit zu prüfen. Auffälligkeiten, technische Ausfälle, Abweichungen von
den geforderten Funktionen oder sicherheitsrelevante Feststellungen sind gesondert zu
vermerken.
Schlussbestimmung
Das Testverfahren dient der einheitlichen, objektiv nachvollziehbaren und
diskriminierungsfreien Erprobung der angebotenen ULS-Systeme. Alle Bieter werden unter
vergleichbaren Bedingungen getestet.
Bewertung
Für die Bewertung wird der Gesamtnettopreis inklusive aller Optionen, Rabatte und Skonti
herangezogen. Einzige Ausnahme bilden die Alternativpositionen 3/3a und 4/4a. Hier
entscheidet der Auftraggeber im Rahmen des ihm zur Verfügung stehenden Budget, welche der
beiden Alternativpositionen beauftragt und somit in die Bewertung einfließen sollen.
Favoritisiert wird der 3 Jahresvertrag mit jährlicher Wartung (bzw. bei Erreichen der
Flugstunden) gemäß Punkt 2.5.2 LB. Sollte das Budget nicht ausreichen, so wird die Wartung
nach Punkt 2.5.1 beauftragt.
Die Bewertung erfolgt nach der einfachen Richtwertmethode nach UfAB.
[Seite 7]
Einfache Richtwertmethode
Bei der einfachen Richtwertmethode wird für jedes Angebot das Leistungs-Preis-Verhältnis
gebildet. Preis und Leistung (Leistungspunkte) haben bei der Berechnung die gleiche
Gewichtung. Die entsprechende Formel stellt sich folgenderma-ßen dar:
Z (Angebot) = (L (Angebot)) / (P (Angebot))
Z (Angebot) = Kennzahl für Leistungs-Preis-Bewertung des zu bewertenden Angebotes
L (Angebot) = Leistungspunktzahl des zu bewertenden Angebotes
P (Angebot) = Preis (Euro) des zu bewertenden Angebotes
Aus einer Gegenüberstellung aller noch in der Wertung befindlichen Angebote wird dann auf
der Basis der Kennzahl Z (Angebot) das wirtschaftlichste Angebot ausgewählt. Dieses ist das
Angebot mit dem höchsten Quotienten Z (Angebot).