[Seite 1]

| Evaluierung von Effizienz in der deutschen EZ (Meta-Evaluierung) 1

DEval - Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit

Ausschreibung 2026:

„Wissenschaftliches Lektorat für deutschsprachige Texte“

Text für das Probelektorat zur Bewertung der Leistung

Anweisung für die Bearbeitung der Aufgabe:

Bitte prüfen Sie sowohl alle 5 Seiten des Textes als auch die Abbildung (auch als separate PDF-Datei vorhanden „Anlage 2_Abbildung 1 Anteil der Maßnahmen nach Effizienznote“) auf Stil, Kohärenz sowie sach- und fachgerechte Terminologie. Zudem sollte der korrekte Gebrauch der deutschen Sprache bezüglich Orthographie, Interpunktion und Grammatik sichergestellt werden. (Weitere Informationen zu den übergeordneten Zielen dieser Leistung entnehmen Sie der Leis- tungsbeschreibung, Seite 4).
Nutzen Sie als Orientierungshilfe die zwei Dokumente „Anlage 3_Styleguide_Schreibweisen_DE- val_DE_2024“ und „Anlage 4_DEval_Terminologie“ sowie https://www.duden.de/.
Nutzen Sie die Kommentarfunktion, um auf die Ihrer Einschätzung nach notwendigen Anpassungen bzw. Korrekturen im Text und in der Abbildung hinzuweisen.
Die Kriterien für die Bewertung der Aufgabe sind ausführlich beschrieben in der Datei „Anlage 5_2026-27_Matrize_zur_Eignung_und_Bewertung_der_Leistung“.

[Seite 2]

2 1. | Evaluierung von Effizienz in der deutschen EZ

1. EVALUIERUNG VON EFFIZIENZ IN DER

DEUTSCHEN EZ

In Deutschland definiert die Bundeshaushaltsordnung (BHO) §7 (Absatz 1) die Wirtschaftlichkeit und Sparsam- keit als Grundsatz für die Aufstellung und Ausführung des Haushaltsplans (BMJ, 2024). Dieser Grundsatz ist Maßstab für alle staatlichen Entscheidungen, die die Einnahmen und Ausgaben des Bundeshaushalts beeinflus- sen. Die Beachtung der Wirtschaftlichkeit von finanzwirksamen Maßnahmen soll die günstigste Relation zwi- schen dem verfolgten Zweck und den einzusetzenden Mitteln bewirken. Der Grundsatz der Wirtschaftlichkeit umfasst das Sparsamkeits- und das Ergiebigkeitsprinzip. Das Sparsamkeitsprinzip (Minimalprinzip) verlangt, ein bestimmtes Ergebnis mit möglichst geringem Mitteleinsatz zu erzielen. Das Ergiebigkeitsprinzip (Maximalprin- zip) verlangt, mit einem bestimmten Mitteleinsatz das bestmögliche Ergebnis zu erzielen. Bei der Ausführung des Haushaltsplans steht das Sparsamkeitsprinzip im Vordergrund (BMJ, 2024).

Die BHO §7 (Absatz 2) verpflichtet die Ressorts zu angemessenen Zielerreichungs-, Wirkungs- und Wirtschaft- lichkeitskontrollen ihrer Maßnahmen. Die Umsetzung der Erfolgskontrolle unterliegt dabei dem Ressortprin- zip. In der vom BMZ verantworteten öffentlichen Entwicklungsfinanzierung erfolgt die Bewertung der Zieler- reichung, Wirksamkeit und Wirtschaftlichkeit unter anderem über das Instrument der Evaluierung.1 Evaluierungen sollen dazu beitragen, die Wirksamkeit und Legitimität durch möglichst objektive und empi- risch fundierte Analysen und Bewertungen des Ausmaßes des erzielten Erfolgs von Entwicklungsmaßnahmen zu verbessern (BMZ, 2021b).

Mit dem Ziel die wirtschaftliche und sparsame Verwendung der öffentlichen Entwicklungsfinanzierung zu unterstützen, hat sich die deutsche EZ-Evaluierung mit der Qualität und den Möglichkeiten zur Verbesserung der Evaluierung der Effizienz auseinandergesetzt. Bereits 2011 hat sich das BMZ über ein Diskussionspapier zu „Tools and methods for evaluating the efficiency of development interventions“ mit möglichen methodi- schen Herangehensweisen für die Evaluierung der Effizienz von Entwicklungsmaßnahmen auseinanderge- setzt (Palenberg, 2011). Kurz darauf widmete sich die Deutsche Gesellschaft für Evaluation (DeGEval) prakti- schen Fragen der Effizienzanalyse in der EZ-Evaluierung (DeGEval, 2015). Zugleich belegten durch die GIZ beauftragte Untersuchungen Potenziale zur Verbesserung von Effizienzanalysen in der Evaluierungspraxis (Rambøll Management Consulting und SEEK Development, 2013). Im Bereich der technischen Zusammenar- beit hat die GIZ zuletzt eine Reihe von Querschnittsauswertungen beauftragt, die sich mit der Wirtschaftlich- keit von Maßnahmen auseinandersetzen (Mainlevel Consulting AG, 2021). Darüber hinaus ist die Effizienz von Maßnahmen Bestandteil von Querschnittsauswertungen zur generellen Erfolgsbewertung deutscher EZ- Maßnahmen (Eilers et al., 2025).

In der EZ-Evaluierung orientiert sich die Erfolgsbewertung seit Anfang der 1990er-Jahre an den Evaluierungs- kriterien des Entwicklungsausschusses der OECD (OECD-DAC). Mit dem Anspruch, „bessere Kriterien für bes- sere Evaluierungen“ zu schaffen, wurden die sogenannten „DAC-Kriterien“ erstmals reformiert (OECD, 2019). Neben der Relevanz, Kohärenz, Effektivität, Impact und Nachhaltigkeit gehört auch die Effizienz zu den sechs international etablierten Evaluierungskriterien.2 Im Zuge der OECD-Reform wurden auch die entsprechenden BMZ-Vorgaben zum Umgang mit den „Evaluierungskriterien der bilateralen EZ“ in Form einer Orientierungs- linie aktualisiert (BMZ, 2021c).3

1 Zu den verwandten, aber von Evaluierung zu unterscheidenden Bereichen der Überprüfung gehören Monitoring und Berichterstattung zur Umset- zung von Entwicklungsmaßnahmen sowie interne/externe Prüfungen zur Wirtschaftlichkeit, Sparsamkeit und Ordnungsmäßigkeit, z.B. über externe Wirtschaftsprüfungen, Finanzkontrollen durch den Bundesrechnungshof, etc. (vgl. BMZ, 2021). 2 Dabei entsprechen die DAC-Kriterien Effektivität und Impact den BHO-Kriterien zur Zielerreichung und Wirkungskontrolle; das Effizienzkriterium entspricht der Wirtschaftlichkeit (BMZ, 2021b vgl. Kapitel 1). 3 Die vorangegangene BMZ-Orientierungslinie zu den Evaluierungskriterien für die deutsche bilaterale EZ wurde 2006 in Kraft gesetzt (BMZ, 2006).

[Seite 3]

| Evaluierung von Effizienz in der deutschen EZ (Meta-Evaluierung) 3

Bei der Erfolgsbewertung nach den einzelnen DAC-Kriterien und bei der kriterienübergreifenden Gesamtbe- wertung arbeitet die deutsche bilaterale EZ-Evaluierung mit einer sechsstufigen Notenskala (siehe Tabelle 1). Die Stufen 1–3 der Bewertung kennzeichnen eine „erfolgreiche“, die Stufen 4–6 eine „nicht erfolgreiche“ Maßnahme. Für die Bewertung des Effizienzkriteriums übersetzt sich diese Notenskala in die Stufen von „sehr effizient“ (Note 1), „effizient“ (Note 2), „eingeschränkt effizient“ (Note 3), „eher nicht effizient“ (Note 4), „überwiegend nicht effizient“ (Note 5) bis zu „gänzlich ineffizient“ (Note 6).

Tabelle 1 Notenskala für die Erfolgsbewertung der deutschen bilateralen EZ-Evaluierung

Note Einstufung Maßstab

1 sehr erfolgreich Deutlich über den Erwartungen liegendes Ergebnis

2 erfolgreich Voll den Erwartungen entsprechendes Ergebnis, ohne wesentliche Mängel

3 eingeschränkt erfolgreich Liegt unter den Erwartungen, aber es dominieren die positiven Ergebnisse

4 eher nicht erfolgreich Liegt deutlich unter den Erwartungen und es dominieren trotz erkennbarer positi- ver Ergebnisse die negativen Ergebnisse

5 überwiegend nicht erfolg- Trotz einiger positiver Teilergebnisse dominieren die negativen Ergebnisse deut- reich lich

6 gänzlich erfolglos Die Maßnahme ist nutzlos bzw. die Situation ist eher verschlechtert

In den vorliegenden Evaluierungen von GIZ und KfW in den Jahren 2018-2024 werden die Grundgesamtheit aller evaluierten Maßnahmen (aller Module) im Hinblick auf ihre Effizienz als überwiegend erfolgreich (min- destens Note 3 oder besser) bewertet (siehe Abbildung 1). 41% der TZ- und 35% der FZ-Maßnahmen werden als effizient bewertet (Note 2). In der TZ ist der Anteil sehr effizienter Maßnahmen (gemäß Pearson Chi- Quadrat-Test) mit 21 % signifikant höher. Auch die Verteilung der Häufigkeiten über alle Noten hinweg (eben- falls gemäß Pearson Chi-Quadrat-Test) und die Verteilung der mittleren Bewertung (gemäß Wilcoxon-Rangs- ummentest) unterscheiden sich signifikant zwischen TZ und FZ. Die GIZ-ZPE bewerten die Maßnahmen der technischen Zusammenarbeit demnach systematisch besser. Bei der Betrachtung der Bewertung nach Regionen und BMZ-Kernthemen4 (siehe Abbildung 2 und Abbildung 3, im Statistikanhang 8.2) zeigen sich – unter Berücksichtigung der Anzahl der umgesetzten Maßnahmen – für den Zeitraum der Untersuchung keine signifikanten Unterschiede in der durchschnittlichen Effizienzbewertung. Maßnahmen in Afrika werden als ebenso effizient bewertet wie Maßnahmen in Asien oder Europa; Maßnah- men zum Kernthema „Frieden“ als ebenso effizient wie Maßnahmen zum Thema „Klima und Energie“.

Doch wie erfolgt die Evaluierung der Effizienz in der aktuellen Praxis? Wie geht die GIZ in den ZPE bzw. die KfW in den EPE methodisch vor? Und wie kommen die Evaluierungen zu ihrer Bewertung? Die teilweise un- terschiedlichen Herangehensweisen werden im Folgenden kurz vorgestellt. Das Effizienzverständnis, die Be- wertungsdimensionen und die generischen Evaluierungsfragen gemäß BMZ-Orientierungslinie (2021c) wer- den anschließend im Kapitel 4.1.1 vorgestellt.

4 Die BMZ-Kernthemen umfassen „Frieden und gesellschaftlicher Zusammenhalt“; “Leben ohne Hunger – Transformation der Agrar- und Ernährungs- systeme“; „Nachhaltige Wirtschaftsentwicklung, Ausbildung und Beschäftigung“; “Klima und Energie, Just Transition“; „Schutz unserer natürlichen Lebensgrundlagen“; „Gesundheit, Soziale Sicherung und Bevölkerungspolitik“.

[Seite 4]

4 1. | Evaluierung von Effizienz in der deutschen EZ

Abbildung 1 Effizienznote nach Evaluierungsformat (GIZ-ZPE, KfW-EPE)

0 1 2 3 4 5 6 Effizienzno-

Quelle: DEval, eigene Darstellung Anmerkungen: Die Abbildung zeigt die relative Häufigkeit der vergebenen Effizienznoten nach Durchführungsorganisation. N = 783.

In den ZPE der GIZ liegt der Fokus der Effizienzanalyse auf der Produktionseffizienz. Um diese zu ermitteln, hat die GIZ den Follow-the-Money-Ansatz als Standardverfahren festgelegt. Die Methode dient der Identifi- kation von Verbesserungspotenzialen hinsichtlich der Produktionseffizienz einer Maßnahme (Palenberg, 2011). Dabei werden die Kosten einer Maßnahme den einzelnen Leistungen zugeordnet und anschließend im Hinblick auf die Prinzipien der Sparsam- und Ergiebigkeit hin bewertet. Für die konkrete Umsetzung hat die GIZ ein „Effizienz-Tool“ entwickelt, welches sich nach KOMP- bzw. Nicht-KOMP-Maßnahmen unterschei- det.5 Als weiteren Ansatz zur Evaluierung der Produktionseffizienz in der GIZ dienen Kostenvergleichsrech- nungen bzw. Benchmarking of Unit Costs. Für die Evaluierung der Allokationseffizienz können in Ergänzung oder als Alternative zum Follow-the-Money-Ansatz Kosten-Wirksamkeitsanalysen (Cost-Effectiveness Analy- sis) zum Einsatz kommen. Diese Methode dient dem Vergleich der Effizienz von Maßnahmen mit Alternativen bzw. Vergleichsmaßstäben (Palenberg, 2011). Bei der Evaluierung von Effektivität und Impact folgen die ZPE dem Verfahren einer Kontributionsanalyse. Die ZPE werden im Auftrag der GIZ-Stabsstelle Evaluierung von externen Evaluierenden durchgeführt. Die Bewertung der einzelnen Evaluierungskriterien, einschließlich der Effizienz, erfolgt entlang von Evaluierungsfragen und Bewertungsdimensionen (GIZ, 2022b). Dabei werden pro Evaluierungskriterium max. 100 Punkte vergeben.6 Die Bewertung der Produktionseffizienz geht dabei mit 70%, die Bewertung der Allokationseffizienz mit 30% in die Bewertung des Effizienzkriteriums ein. Bei der Gesamtbewertung einer Maßnahme gehen anschließend alle sechs Evaluierungskriterien gleichgewichtet in die Berechnung ein. Die gewählte Methodik, die genutzten Daten, die Gewichtung und die Ergebnisse der Bewertung werden in den öffentlich zugänglichen Evaluierungsberichten, insbesondere über den Anhang der Evaluierungsmatrix, dargestellt.

5 Bei den KOMP-Maßnahmen werden die Daten aus dem KOMP-Bericht automatisch in das Tool übertragen, bei den Nicht-KOMP-Maßnahmen erfolgt dies manuell (Syspons, 2023c). 6 Übersetzt in die 6-stufige Notenskala verteilen sich die Punkte wir folgt: 92-100 Punkte (Note 1), 81-91 Punkte (Note 2), 67-80 Punkte (Note 3), 50- 66 Punkte (Note 4), 30-49 Punkte (Note 5) und 0-29 Punkte (Note 6), (GIZ, 2022b). nemhanßaM red lietnA

GIZ (N = 372) KFW (N = 395)

[Seite 5]

| Literaturverzeichnis (Meta-Evaluierung) 5

2. LITERATURVERZEICHNIS

BMF (2024), „Abschlussbericht 11. Spending Review. Verbesserung der Wirkungsorientierung im Bundeshaus- halt mit einem Schwerpunkt Nachhaltigkeit“, Bundesministerium der Finanzen, Berlin. BMJ (2024), „Bundeshaushaltsordnung“, https://www.gesetze-im-internet.de/bho/ (zugegriffen 01.08.2024). BMZ (2006), Evaluierungskriterien für die deutsche bilaterale Entwicklungszusammenarbeit. Eine Orientie- rung für Evaluierungen des BMZ und der Durchführungsorganisationen, Federal Ministry for Econo- mic Cooperation and Development, Bonn/Berlin. BMZ (2021a), „Leitlinien für die bilaterale finanzielle und technische Zusammenarbeit mit Kooperationspart- nern der deutschen Entwicklungszusammenarbeit“, BMZ Konzepte, Nr. 165, Federal Ministry for Eco- nomic Cooperation and Development, Berlin & Bonn. BMZ (2021b), „Evaluierung der Entwicklungszusammenarbeit: Leitlinien des BMZ“, Nr. 4, BMZ Strategien, Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, Bonn/Berlin. BMZ (2021c), „Evaluierungskriterien der bilateralen Entwicklungszusammenarbeit. Orientierungslinien des BMZ“, Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, Bonn/ Berlin. Borenstein et al. (2009), Introduction to meta-analysis. BRH (2021), „Abschließende Mitteilung an das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung über die Prüfung Evaluierung von Maßnahmen der Entwicklungszusammenarbeit. Teil II

Maßnahmen der bilateralen Technischen Zusammenarbeit“, Bundesrechnungshof, Potsdam.

Bulman, D. J. et al. (2015), „Good Countries or Good Projects? Comparing Macro and Micro Correlates of World Bank and Asian Development Bank Project Performance“, SSRN Scholarly Paper, Social Science Research Network, Rochester, NY. Caracelli, V. J. und L. J. Cooksy (2009), „Metaevaluation in Practice“, Journal of MultiDisciplinary Evaluation, Vol. 6, Nr. 11, S. 1–15.

Chauvet, L. et al. (2010), „What Explains Aid Project Success in Post-Conflict Situations?“, SSRN Scholarly Paper, Social Science Research Network, Rochester, NY. DeGEval (2015), „Effizienzbewertung in Evaluationen: Handreichung für die Effizienzbewertung von Projekten und Programmen der Entwicklungszusammenarbeit“, Diskussionspapier der Arbeitsgruppe „Effizi- enz“, n.a. Delcea, C. et al. (2024), „Energy communities: Insights from scientific publications“, Oeconomia Copernicana, Vol. 15, Nr. 3, S. 1101–1155.

Denizer, C. et al. (2013), „Good countries or good projects? Macro and micro correlates of World Bank pro- ject performance“, Journal of Development Economics, Vol. 105, S. 288–302.

Muthusami, R. et al. (2024), „Investigating topic modeling techniques through evaluation of topics discov- ered in short texts data across diverse domains“, Scientific Reports, Nature Publishing Group, Vol. 14, Nr. 1, S. 12003.

Narayanan Venkit, P. et al. (2024), „An Audit on the Perspectives and Challenges of Hallucinations in NLP“, in Al-Onaizan, Y., M. Bansal und Y.-N. Chen (Hrsg.), Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, gehalten auf der EMNLP 2024, Association for Computa- tional Linguistics, Miami, Florida, USA, S. 6528–6548. Noltze, M. et al. (2018a), Nachhaltigkeit in der deutschen Entwicklungszusammenarbeit: Evaluierungssyn- these, Bonn. Noltze, M. et al. (2018b), Nachhaltigkeit in der deutschen Entwicklungszusammenarbeit - Evaluierungssyn- these, German Institute for Development Evaluation, Bonn.

[Seite 6]

6 0. |

Noltze, M. und G. Leppert (2018), „Standards für Evaluierungen des DEval“, Methoden und Standards, Deut- sche Evaluierungsinstitut der Entwicklungszusammenarbeit. Noltze, M. et al. (2018c), „Nachhaltigkeit in der deutschen Entwicklungszusammenarbeit - Meta-Evaluie- rung“, Meta-Evaluierung, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), Bonn. OECD (2019), „Better Criteria for Better Evaluation: Revised Evaluation Criteria, Definitions and Principles for Use“, OECD DAC Network on Development Evaluation (EvalNet). OECD (2021), Applying Evaluation Criteria Thoughtfully, OECD Publishing, Paris, doi:10.1787/543e84ed-en. OECD (2023a), Applying a Human Rights and Gender Equality Lens to the OECD Evaluation Criteria, OECD Publishing, Paris. OECD (2023b), Evaluation Systems in Development Co-operation 2023, OECD, doi:10.1787/a255365e-en. Palenberg, M. (2011), „Tools and Methods for Evaluating the Efficiency of Development Interventions“, Eval- uation Working Papers, Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung, Bonn. Přibáň, P. et al. (2024), „A comparative study of cross-lingual sentiment analysis“, Expert Systems with Ap- plications, Vol. 247, S. 123247. Rambøll Management Consulting und SEEK Development (2013), „GIZ Review Gesundheit: Querschnittsaus- wertung mit Meta-Evaluierung, Effizienzanalyse und Evaluierungssynthese“, Deutsche Gesellschaft für Internationale Zusammenarbeit, Bonn.

Shin, W. et al. (2017), „Do Different Implementing Partnerships Lead to Different Project Outcomes? Evi- dence from the World Bank Project-Level Evaluation Data“, World Development, Vol. 95, S. 268–284. Tunstall, L. et al. (2023), Natural Language Processing mit Transformern: Sprachanwendungen mit Hugging Face erstellen, (Fraaß, M., Übers.), O’Reilly, Heidelberg. Veiderpass, A. und P.-Å. Andersson (2007), „Foreign aid, economic growth and efficiency development“, Swedish Agency for Development Evaluation, Karlstad, Sweden. Wencker, T. und I. Verspohl (2019), „German Development Cooperation in Fragile Contexts“, German Insti- tute for Development Evaluation, Bonn.

Anlage 1_2026_DEval-Ausschreibung-Lektoratspool-Übungstext.pdf