Anlage_3_Handreichung_WoM_BKP_Version_Okt_2025.pdf

[Seite 1]

Handreichung für Durchführungsinstitutionen von BKP-Projekten

zur Einrichtung eines wirkungsorientierten Monitorings

Version: Oktober 2025

• 1 -

[Seite 2]

Inhalt

Verzeichnis der Abkürzungen ................................................................................................ 3 1 Einführung ...................................................................................................................... 4 1.1 Zweck der Handreichung ......................................................................................... 4 1.2 Begriffe und Definitionen.......................................................................................... 5 1.3 Einordnung des wirkungsorientierten Monitorings in den Projektzyklus ................... 6 2 Planung des wirkungsorientierten Monitorings ................................................................ 7 2.1 Wertbestückung von Indikatoren .............................................................................. 7 2.2 Erstellung des Monitoringplans ................................................................................ 8 3 Durchführung des wirkungsorientierten Monitorings ....................................................... 9 3.1 Dialogformate .......................................................................................................... 9 3.2 Praxisbezogene Demonstrations-, Trainings- und Schulungsprojekte.................... 11 3.3 Verbandskooperationsprojekte .............................................................................. 12 3.4 Fachkräfteaustausch- und Nachwuchsförderungsprojekte ..................................... 13 4 Wirkungsorientierung in der Berichterstattung .............................................................. 14 4.1 Soll-Ist-Vergleich ................................................................................................... 14 4.2 Dokumentation sonstiger Projektwirkungen ........................................................... 14 Anlage A1: Monitoring-Tools ................................................................................................ 16 Anlage A2: Stichprobenverfahren ........................................................................................ 22

• 2 -

[Seite 3]

Verzeichnis der Abkürzungen

BHO Bundeshaushaltsordnung

BKP Bilaterales Kooperationsprogramm

BMLEH Bundesministerium für Landwirtschaft, Ernährung und Heimat

DAC Entwicklungsausschuss

DCALDP Deutsch-Chinesischer Ackerbau- und Landtechnik-Demonstrationspark

DUS Distinctness, Uniformity and Stability

EU Europäische Union

FIF Fachinformationsfahrt

GFA GFA Consulting Group GmbH

KZF Kurzzeitfachkraft

OECD Organisation für Wirtschaftliche Zusammenarbeit und Entwicklung

PFB Projektfortschrittsbericht

PFK Projektfortschrittskontrolle

PKB Projektkurzbericht

PPÜ Projektplanungsübersicht

PSB Projektschlussbericht

PSK Projektschlusskontrolle

PuL Projekt- und Leistungsbeschreibung

SMART Specific, Measurable, Attainable, Relevant, Time-bound

SWOT Strengths, Weaknesses, Opportunities, Threats

VCU Value for Cultivation and Use

VV Verwaltungsvorschrift

• 3 -

[Seite 4]

1 Einführung

1.1 Zweck der Handreichung

Die vorliegende Handreichung dient der Unterstützung von Durchführungsinstitutionen im Rahmen des Bilateralen Kooperationsprogramms (BKP)1 des Bundesministeriums für Land- wirtschaft, Ernährung und Heimat (BMLEH) bei der Einrichtung eines wirkungsorientierten Pro- jektmonitorings. Diesem Bereich des Projektmanagements kommt international wie national eine nach wie vor hohe Bedeutung zu:

• Schon beim 2. Internationalen Runden Tisch in Marrakesch 2004 verständigten sich die Mitglieder der Organisation für Wirtschaftliche Zusammenarbeit und Entwicklung (OECD) darauf, das Monitoring von Programmen und Projekten an Wirkungen auszu- richten.

• Die Agenda 2030 ist nicht nur für alle Staaten – Entwicklungs-, Schwellen- und In- dustrieländer – gleichermaßen gültig, sondern auch sind sämtliche an ihrer Umset- zung Beteiligten gehalten, über den Fortschritt mit Blick auf die vereinbarten nachhal- tigen Entwicklungsziele Rechenschaft abzulegen.

• Der Bundesrechnungshof bemängelt bei seinen Prüfungen immer wieder die unzurei- chende Einhaltung einschlägiger Haushaltsvorschriften zur Erfolgskontrolle finanz- wirksamer Maßnahmen des Bundes. Danach bemisst sich der Erfolg einer Entwick- lungsmaßnahme nicht daran, ob sie wie geplant durchgeführt wurde, sondern daran, ob und in welchem Ausmaß ihre Ziele erreicht wurden.2

• In jüngerer Zeit häufen sich Anfragen im Bundestag zu staatlich geförderten Pro- grammen der Entwicklungszusammenarbeit und deren Ergebnissen. In solchen Fäl- len müssen zeitnah qualifizierte Antworten gegeben werden.

Mit der Einrichtung eines wirkungsorientierten Monitorings sind mehrere Ziele verbunden:

• In allererster Linie dient wirkungsorientiertes Monitoring der Projektsteuerung. Die generierten Daten und Informationen liefern dem Projektmanagement wichtige Hin- weise darauf, inwieweit das Vorhaben mit Blick auf die Projektzielerreichung on track ist und welche operativen und strategischen Anpassungen ggf. vorgenommen wer- den müssen.

• Die im wirkungsorientierten Monitoring erhobenen Daten und Informationen dienen zudem der Rechenschaftslegung gegenüber dem BMLEH, indirekt auch gegenüber den Steuerzahlerinnen und -zahlern und ihren parlamentarischen Vertreterinnen und Vertretern.

• Wirkungsorientiertes Monitoring ermöglicht – in Verbindung mit Evaluierungen (Pro- jektfortschritts- und -schlusskontrollen) – nicht zuletzt auch Lernen aus Erfolgen und Misserfolgen, insbesondere mit Blick auf ähnliche zukünftige Vorhaben.

• Letztendlich werden bereits in der Planungsphase eines Projekts Maßnahmen von den Wirkungen her betrachtet und die Grundlagen zur Etablierung eines Monitoring- systems gelegt (wirkungsorientierte Projektplanung).

1 In dieser Handreichung ist mit BKP immer das BKP-Agrar gemeint. Seit Mitte 2014 gibt es neben dem auf den Agrarsektor ausgerichteten BKP-Agrar auch den Bereich BKP-Forst mit Forstprojekten. 2 Vgl. Verwaltungsvorschrift (VV) Nr. 2.2 zu § 7 der Bundeshaushaltsordnung (BHO).

• 4 -

[Seite 5]

1.2 Begriffe und Definitionen

Wirkungen (international: results) sind Veränderungen3, die durch spezifische Interventionen – hier: ein BKP-Projekt – verursacht werden. Dabei sind folgende Ebenen von Wirkungen zu unterscheiden:

• Ergebnisse (international: outputs) sind Produkte, Investitionsgüter, Dienstleistungen und Kapazitäten/Potenziale, die durch verschiedene Aktivitäten und unter Einsatz verschiede- ner Inputs (finanzielle Mittel, Personal, sonstige Ressourcen) geschaffen werden.

• Direkte Wirkungen (international: outcomes) sind kurz- bis mittelfristige, positive oder ne- gative Wirkungen bei den Zielgruppen4, für die die Ergebnisse erstellt werden. In der Pro- jektplanung beschreiben sie positive Veränderungen in Einstellungen, Verhalten und un- mittelbarer Lebenssituation dieser Gruppen und entsprechen den Projektzielen.

• Indirekte Wirkungen (international: impacts) sind langfristige, positive oder negative Wir- kungen auf der Ebene der Gesellschaft. In der Projektplanung beschreiben sie positive wirtschaftliche, soziale und ökologische Folgen von verändertem Verhalten von Zielgrup- pen und entsprechen den übergeordneten Entwicklungszielen.

Für die Erstellung von vereinbarten Projektergebnissen (outputs) übernimmt die Projektdurch- führungsinstitution, je nach Projektkonzeption gemeinsam mit den operativen Projektpartnern, die volle Managementverantwortung. Für die Entstehung beabsichtigter und unbeabsichtigter direkter Wirkungen (outcomes) haben sie, gemeinsam mit anderen Beteiligten, eine Mitverant- wortung. Indirekte Wirkungen (impacts) liegen außerhalb ihres Verantwortungsbereichs. So- weit es sich um positive Wirkungen handelt, stellen sie allerdings ein leitendes langfristiges Ziel für die am Projekt Beteiligten dar, zu deren Verwirklichung das Projekt – basierend auf

3 Veränderungen können sich auf die Verbesserung oder Verschlechterung eines Zustands beziehen oder auch auf die Abwehr seiner drohenden Verschlechterung, also den Erhalt des Status Quo. 4 Zielgruppen, d. h. direkt mit Maßnahmen Adressierte und Nutznießende von BKP-Projekten reichen von Teilnehmenden an landwirtschaftlichen Demonstrationen und Schulungen bis hin zu agrarpolitischen Entscheidungsträgerinnen und -trägern.

• 5 -

[Seite 6]

Wirkungshypothesen – einen Beitrag leistet (contribution5). Dementsprechend erstreckt sich die Systemgrenze von BKP-Projekten und ihrem wirkungsorientierten Monitoring bis zur Ebene der direkten Wirkungen (outcomes) bzw. der Projektziele (siehe Schaubild).

Ein Indikator ist eine Variable (quantitativer oder qualitativer Natur), mit der Fortschritte ge- messen, durch eine Intervention bedingte Veränderungen wiedergegeben oder auch Leistun- gen von Akteuren oder Organisationen beurteilt werden können. Unter den verschiedenen Qualitätsanforderungen an Indikatoren lassen sich die wesentlichen unter dem Kriterienbündel SMART zusammenfassen. Danach sind gute Indikatoren:

• Spezifisch (Specific), das heißt, sie sind konkret und beziehen sich klar auf das, was sie zu messen vorgeben;

• messbar (Measurable), das heißt, sie können eindeutig und mit vertretbarem Auf- wand gemessen und interpretiert werden;

• erreichbar (Attainable), das heißt, die Indikatorenwerte sind unter Berücksichtigung der verfügbaren Ressourcen (Zeit, Personal, Finanzmittel) realistisch;

• relevant (Relevant), das heißt, sie erfassen das Wesentliche des zu messenden Sub- jekts;

• zeitgebunden (Time-bound), das heißt, sie beschreiben bis wann bestimmte Verän- derungen in den Indikatorwerten als erfüllt erwartet werden.

Im Gegensatz zu direkten Indikatoren (s. o.) beziehen sich Proxy-Indikatoren nur indirekt auf das Subjekt, das gemessen werden soll. So ist z. B. der Anteil von weiblichen Mitgliedern einer Handelskammer ein Proxy-Indikator für den Anteil an Geschäftsinhaberinnen oder -manage- rinnen.

1.3 Einordnung des wirkungsorientierten Monitorings in den Projektzyklus

In der Planung von BKP-Projekten findet der Logical Framework Approach Anwendung, der in der internationalen Zusammenarbeit weitverbreitet ist. In einer Projekt- und Leistungs- beschreibung (PuL) werden die Projektziele und Zielgruppen, Indikatoren zur Zielerreichung sowie erwartete Ergebnisse und Aktivitäten festgelegt. In der PuL findet sich zudem ein auf das jeweilige Vorhaben zugeschnittenes Kapitel zu Anforderungen an das wirkungsorientierte Monitoring.

Die PuL enthält eine Projektplanungsübersicht (PPÜ), in der systematisch Entwicklungs- und Projektziel, die geplanten Ergebnisse und hierfür erforderlichen Aktivitäten sowie Annah- men und Risiken für den Projekterfolg dargestellt sind. Für das wirkungsorientierte Monitoring besonders relevant sind die Indikatoren zur Messung der Ergebnis- und Zielerreichung und die zugehörigen Quellen der Nachprüfbarkeit.

Zu Beginn der Durchführung des Projekts werden in einem Projektauftaktworkshop (unter Beteiligung der Partner und ggf. Teilnahme der GFA und/oder BMLEH) ein gemeinsames Ver- ständnis der Projektplanungsunterlagen hergestellt und die Planung (Indikatoren6, Aktivitäten- plan) bei Bedarf detailliert. Binnen der ersten drei bis sechs Monate, der sogenannten Incep- tion Phase, ermittelt die Durchführungsinstitution i. d. R. alle Referenz-Indikatorenwerte (siehe

5 Im Gegensatz dazu bedeutet Zuordnung (attribution), dass dem Projekt eine eintretende (langfristige) Veränderung (in der Region, im Land) als Wirkung eindeutig zugeschrieben werden kann. Um einen solchen Nachweis zu führen, erfordert es tiefergehende und i. d. R. aufwändige Wirkungsanalysen, z. B. unter Einsatz von quantitativen Vergleichen zwischen Ziel- und Kontrollgruppen (randomized control trials) oder qualitativen Pfadanalysen (process tracing). 6 Im Ergebnis der Projektplanungsphase – Projektplanungsmission(en), PuL-Erstellung – sind die Indikatoren gegebenenfalls noch nicht hinreichend SMART und bedürfen einer weiteren Konkretisierung.

• 6 -

[Seite 7]

Abschnitt 2.1) und legt ihre Planung des wirkungsorientierten Monitorings dar (siehe Abschnitt 2.2).

Im weiteren Projektverlauf erstellt die Durchführungsinstitution jeweils zur Jahresmitte einen Projektkurzbericht (PKB) sowie jeweils zum Jahresende einen Projektfortschrittsbericht (PFB), in denen u. a. zum Stand der Ergebnis- und Zielerreichung anhand der Indikatoren berichtet wird (Soll-Ist-Vergleich, siehe Abschnitt 4.1). Bei Projektende erstellt die Durchfüh- rungsinstitution einen Projektschlussbericht (PSB), der die gesamte Projektlaufzeit umfasst und den Projekterfolg (Ergebnis- und Zielerreichung) abschließend dokumentiert. Hierbei wird auch über sonstige Projektwirkungen berichtet, und Erfolgsgeschichten können für die Öffent- lichkeitsarbeit des BMLEH genutzt werden (siehe Abschnitt 4.2).

Bei der Evaluierung des Projekts – im Rahmen von Projektfortschrittskontrollen (PFK) und Projektschlusskontrollen (PSK) – greifen die externen Gutachterinnen und Gutachter auf Daten und Informationen aus dem wirkungsorientierten Monitoring zurück, um ihre Bewertung zu den OECD/DAC-Evaluierungskriterien mit Fakten zu unterfüttern.

2 Planung des wirkungsorientierten Monitorings

Die Planung eines wirkungsorientierten Monitorings erfolgt ganz ähnlich der Planung eines Vorhabens: Zunächst wird der Bedarf (an Informationen und Daten) ermittelt, sodann die Mo- nitoringaktivitäten und -instrumente, der dazugehörige Zeitplan und die Verantwortlichkeiten für die Durchführung festgelegt. Schließlich wird der Aufwand an personellen und finanziellen Ressourcen für die Umsetzung des Monitorings (für Erhebung und Auswertung/Analyse) be- stimmt.

2.1 Wertbestückung von Indikatoren

Die Erfassung des Status quo bezüglich der Indikatoren zu Projektbeginn (Basiswerte) dient dazu, realistische Zielwerte (Soll-Werte) festzulegen, um dann zu späteren Zeitpunkten Fort- schritte auf dem Weg zur Ergebnis- und Zielerreichung erkennen zu können. Hat die GFA die Wertbestückung von Indikatoren schon teilweise während der Planungsphase vorgenommen, muss die Wertbestückung lediglich vervollständigt bzw. überarbeitet und final abgestimmt wer- den (z.B. im Zuge der ersten Projektsteuerungsgruppensitzung unter Teilnahme von BMLEH/GFA, Projektpartnern und Durchführungsinstitution).

Die Art der Basisdatenerhebung ergibt sich aus dem Projekttyp und den Indikatoren aus der PPÜ (siehe Kapitel 3). Allgemein gilt, dass

• bei dialogorientierten Vorhaben überwiegend qualitative Status-Quo-Analysen vorge- nommen werden, etwa die Zusammenfassung bestehender Gesetze, Sektoranaly- sen, Politiken und Strategien; Basiswerte sind in diesen Fällen überwiegend qualitati- ver Natur (z. B. „Ein Rechtsrahmen für die Umsetzung von Maßnahmen zur markt- wirtschaftlichen und nachhaltigen Entwicklung des Agrar- und Ernährungssektors ist nicht etabliert“ bzw. Basiswert „0“);

• bei Vorhaben zur Förderung von Verbandskooperationen sowohl qualitative als auch quantitative Status-Quo-Analysen vorgenommen werden, woraus sich entsprechend qualitative (z. B. „durchschnittliche Management-Index-Stufe 3 der Regionalver- bände“) und quantitative (z. B. „10%“ (Anteil der entgeltlichen Beratungsleistungen der Regionalverbände)) Basiswerte ergeben;

• bei praxisbezogenen Projekten überwiegend quantitative Status-Quo-Analysen durchgeführt werden, woraus sich entsprechend überwiegend quantitative Basiswerte

• 7 -

[Seite 8]

ergeben (z. B. „% Ackerfläche im Partnerunternehmen, die mit konventionellen An- baumethoden bewirtschaftet wird“).

Die Zielwerte, mit denen die Indikatoren bestückt werden, sind analog qualitativer oder quan- titativer Natur.

2.2 Erstellung des Monitoringplans

Hilfreich für die übersichtliche Darstellung des geplanten Monitorings ist die Erstellung einer Tabelle (siehe Beispiel), in der für jeden Indikator festgehalten ist:

• Eine Erläuterung (ggf. Definition) von bestimmten Begriffen und Konzepten in der Indi- katorformulierung, damit deutlich ist, was genau im Monitoring erhoben werden soll;

• der Basiswert, der ggf. über eine eigene Erhebung ermittelt wurde (siehe Abschnitt 2.1);

• der Zielwert laut PPÜ (oder auf Grundlage des Basiswertes angepasst oder festgelegt);

• die Frequenz der Erhebung (z. B. vierteljährlich, jährlich, einmalig am Projektende) und ggf. die Erhebungszeitpunkte;

• die Quelle(n) der Nachprüfbarkeit (Dokumente, Umfrageergebnisse usw.);

• Verantwortlichkeiten für Datenerhebung und -auswertung (z. B. eigenes Personal, Part- nerpersonal, Externe);

• erforderliche Ressourcen (extern / KZF oder intern, ggf. Budget); und

• die Nutzung der Messergebnisse (z. B. für PKB, PFB, Öffentlichkeitsarbeit).

• Ggf. ist auch der Zeitpunkt der Messung/Erhebung relevant, zum Beispiel für die Erfassung von Ertragsdaten.

Für den Betrieb des wirkungsorientierten Monitoringsystems bietet es sich an, die Tabelle (z. B. in Microsoft Excel® erstellt) um Spalten für die Dokumentation der Erhebungsergebnisse, d. h. den jeweiligen Status Quo (Ist-Werte), zu erweitern.

• 8 -

[Seite 9]

3 Durchführung des wirkungsorientierten Monitorings

In der praktischen Durchführung des Monitorings und der damit verbundenen Wahl von Erhe- bungsmethoden ist es wichtig, den projekttypenspezifischen – und mit den Indikatoren ange- legten – Bedarfen nach Daten und Informationen Rechnung zu tragen. Dabei sind folgende Fragen zu beantworten:

• Welche Fragen sollen mit Blick auf die Indikatoren in der PPÜ konkret beantwortet wer- den?

• Existieren bereits Daten aus abgeschlossenen Projekten, die genutzt werden können?

• Welche Qualität haben vorhandene Sekundärdaten und wie können sie für das Monitoring verwendet werden?

• Wo und bei wem sollen die Primärdaten erhoben werden?

• Sollen Projektmitarbeitende die Daten selbst erheben oder wird die Datenerhebung extern vergeben?

Grundsätzlich ist ein Mix aus quantitativen („zählen, was gezählt werden kann“) und qualitati- ven Methoden der Informationsgewinnung empfehlenswert7:

• Sekundärquellenanalyse, d. h. Sammlung und Analyse vorliegender Daten (Statistiken, Protokolle, Artikel usw.);

• schriftliche Befragungen (online-Fragebogen, Tests);

• dialogische Verfahren (Leitfaden-Interviews, semistrukturierte Gespräche mit Individuen und Gruppen, moderierte Workshops);

• direkte Messungen, z. B. von landwirtschaftlichen Erträgen;

• Beobachtungen (teilnehmende Beobachtung, ggf. Ton- und Videoaufnahmen).

Die Erhebung von Primärdaten wird durch den Einsatz bestimmter Instrumente (Tools) unter- stützt, die bspw. strukturierte Feedbacks oder Rankings ermöglichen.

3.1 Dialogformate

Langfristig und thematisch breit angelegte Agrarpolitische Dialoge, unter Berücksichtigung sowohl der Reformagenda des Partnerlandes als auch der deutschen und europäischen Inte- ressen, dienen der Verbesserung der politischen Rahmenbedingungen für eine effiziente, res- sourcenschonende und unternehmerische Landwirtschaft.

So hat beispielsweise der Agrarpolitische Dialog mit Kasachstan das Projektziel, dass „politi- sche Verantwortliche sowie Fach- und Führungskräfte im deutschen und kasachischen Agrar- sektor über ein wachsendes gegenseitiges Verständnis in zentralen agrarpolitischen Fragen verfügen“ und dass „transferiertes Know-how Eingang in politische Entscheidungsprozesse findet“. Fortschritte in der Projektzielerreichung werden anhand folgender Indikatoren gemes- sen:

7 In vielen Fällen können Monitoringdaten durchaus digital mit Tablets erhoben werden. Dafür steht auch Gratis-Software zur Verfügung (z. B. das Programm "Kobo Toolbox").

• 9 -

[Seite 10]

• Indikator 1: Fachliche Beiträge des Agrarpolitischen Dialogs wurden bis 2022 bei der Um- setzung von X Maßnahmen, die in Agrarprogrammen definiert sind, berücksichtigt (Quel- len der Nachprüfbarkeit: relevante Gesetze, Durchführungsverordnungen, Verwaltungs- vorschriften u. ä.; Positionspapiere, Stellungnahmen).

• Indikator 2: Mindestens 75% der politisch Verantwortlichen und der Fach- und Führungs- kräfte, die an Projektaktivitäten teilgenommen haben, konnten bis 2022 ihr Wissen und ihre Fachkompetenzen weiterentwickeln und in ihrer Arbeit nutzen (Quellen der Nachprüf- barkeit: Ergebnisse einer Stichprobenerhebung zur Abfrage der Fachkompetenzentwick- lung (Selbstbewertung / ggf. Fremdbewertung durch Vorgesetzte)).

Das Monitoring von Indikator 1 erfordert eine Spezifizierung der zu analysierenden Maßnah- men und die fokussierte Auswertung von Dokumenten und ggf. Beobachtung und Dokumen- tation von Prozessen (von Gesetzgebungsverfahren / legislative process tracking und von Po- litikentwicklungen / policy tracking analysis, siehe Beschreibung in Anlage A1.1).

Die Messung des Indikators 2 erfordert die Erstellung eines Fragebogens, der ein Scoring der Verbesserung in den ausgewählten Wissens- und Fachkompetenzbereichen durch die Befrag- ten (ggf. auch durch deren Vorgesetzte) sowie qualitative Fragen zur Anwendung der erwor- benen Kompetenzen in der eigenen Arbeit enthält. Die Befragung kann direkt (im Interview) oder online (z. B. mit Hilfe von Tools wie LamaPoll8, LimeSurvey, SurveyMonkey®) erfolgen.

Eher kurzfristig angelegte Agrarfachliche Dialoge unterscheiden sich von Agrarpolitischen Dialogen vor allem darin, dass sie einen bestimmten Fachbereich oder Sektor zum Gegen- stand von Austausch und Beratung haben. So hat beispielsweise die deutsch-indische Koope- ration das Projektziel, dass „in den Handlungsbereichen ‚gesetzlich-politische Rahmenbedin- gungen‘, ‚Harmonisierung von Register- und Wertprüfungen‘ sowie ‚Produktion, Lagerung und Aufbereitung von bzw. Handel mit qualitativ hochwertigem Saatgut‘ die Zusammenarbeit zur Stärkung des indischen Saatgutsektors gefestigt“ ist. Fortschritte in der Projektzielerreichung werden anhand folgender Indikatoren gemessen:

• Indikator 1: Vorschläge zur Stärkung des Sortenschutzes in Indien bei gleichzeitiger Be- rücksichtigung kontextspezifischer Besonderheiten liegen bis März 2022 vor (Quelle der Nachprüfbarkeit: Präsentation auf einer Veranstaltung).

• Indikator 2: Methoden für DUS- und VCU-Tests sind bis Juni 2022 für mindestens vier Kulturpflanzenarten mit Potenzial für den Handel zwischen Indien und Deutschland / EU weiter harmonisiert (Quellen der Nachprüfbarkeit: Protokolle, Handbücher).

• Indikator 3: Die Menge des nach OECD-Standard zertifizierten Saatguts ist in der Pilotre- gion bei mindestens zwei ausgewählten Kulturpflanzenarten mit Bedeutung für internatio- nale Saatgutmärkte zwischen 2019 und 2022 um mindestens 20 % gestiegen (Quellen der Nachprüfbarkeit: Zahlen aus offiziellen Mitteilungen und Statistiken).

• Indikator 4: Ein Konzept zur Fortführung von Schlüsselaktivitäten nach Beendigung der Projektförderung, welches u.a. Verantwortlichkeiten für deren Umsetzung benennt, wurde bis März 2022 erstellt (Quelle der Nachprüfbarkeit: vorliegendes Konzept).

Die Operationalisierung des Monitorings des Indikators 1 erfordert eine Erläuterung, was kon- kret mit „kontextspezifischen Besonderheiten“ gemeint ist.

8 LamaPoll zeichnet sich durch hohe Datensicherheit und hohen Datenschutz aus und hat zudem den Vorteil, dass das Hosting der Daten auf deutschen Servern erfolgt.

• 10 -

[Seite 11]

Um die direkte Wirkung typischer Einzelmaßnahmen im Bereich Dialogformate bei den Betei- ligten (Zielgruppen) zu erfassen, können die im Folgenden kurz beschriebenen Erhebungsin- strumente eingesetzt werden.

Dialogveranstaltungen (Konferenzen, Workshops, Runde Tische, Seminare)

• Erfassung von Basisdaten: Anzahl durchgeführter Veranstaltungen, Ziel, Art und Gegen- stand / Inhalt der Veranstaltung, Art und Anzahl der Teilnehmenden, Zielgruppenerrei- chung, Themen;

• Prozessbeobachtung: Erstellung eines Beobachtungsbogens (observation checklist, siehe Anlage A1.1) und Beobachtung und Dokumentation der definierten Aspekte (Beteiligung der Teilnehmenden, Qualität der Inputs und der Moderation usw.);

• Output-Reporting: Dokumentation der Veranstaltungsergebnisse und Abgleich mit geplan- ten Ergebnissen, Einschätzung der Zielerreichung;

• Qualitatives Feedback der Teilnehmenden: Blitzlicht (falls zeitliche Begrenzung wichtig, ggf. auch Streichholzmethode9), Bepunktung von Erfolgsfaktoren/-kriterien der Veranstal- tung;

• bei mehrtägigen Workshops oder Seminaren: Evaluierung der Veranstaltung durch die Teilnehmenden mittels Fragebogen (siehe GFA Leitfaden für Seminarbeurteilungen).

Studienreisen (Fachinformationsfahrten, Delegationsreisen, Expositionsbesuche)

• Erfassung von Basisdaten: Ziel, Art und Ablauf der Reise / des Besuchs, Art und Anzahl der Teilnehmenden, Zielgruppenerreichung, Themen;

• Output-Reporting: Dokumentation und Verbreitung der Ergebnisse der Reise / des Be- suchs und Abgleich mit geplanten Ergebnissen, Einschätzung der Zielerreichung;

• bei mehrtägigen Reisen / Besuchen: Tägliche Zwischenauswertung durch die Teilneh- menden (Highlights und Gelerntes / gemachte Erfahrungen), alternativ auch durch die Teilnehmenden geführte Lerntagebücher (siehe Anlage A1.4); Auswertungsgespräch am Ende der Reise / des Besuchs.

Beratungen (Fachkräfteeinsätze, Expertisen)

• Erfassung von Basisdaten: Anzahl durchgeführter Beratungen, Ziel, Art und Inhalt der Be- ratung, Art und Anzahl der Beratenen, Zielgruppenerreichung, Themen;

• Output-Reporting: Dokumentation und Verbreitung der Ergebnisse des Fachkrafteinsatzes und Abgleich mit geplanten Ergebnissen, Einschätzung der Zielerreichung; bei Experti- sen: Dokumentation der Analyseergebnisse;

• Zielgruppenbefragung zur Qualität und Wirkung der Beratung / der Expertise (Nützlichkeit und Nutzung der Ergebnisse).

3.2 Praxisbezogene Demonstrations-, Trainings- und Schulungsprojekte

Praxisbezogene Projekte dienen dazu, dass Fach- und Führungskräfte in Partnerländern the- oretische und praktische Kenntnisse im nachhaltigen Anbau, in moderner und artgerechter Tierhaltung sowie im Bereich Farmmanagement erwerben und anwenden. So hat beispiels- weise das Projekt „Deutsch-Chinesischer Ackerbau- und Landtechnik-Demonstrationspark

9 Eine Beschreibung findet sich unter https://www.dija.de/ikl/methodenbox-interkulturell/?no_cache= 1&tx_fedijametho- den_pi1%5BshowUid%5D=97

• 11 -

[Seite 12]

(DCALDP)“ das Projektziel, dass „Managerinnen und Manager sowie Mitarbeitende des chi- nesischen Agrarsektors, die über Weiterbildungen und Demonstrationen im DCALDP-Projekt praxisnahes Wissen zu nachhaltigen Landbaumethoden und moderner Landtechnik erhalten haben, beginnen, dieses Wissen anzuwenden“. Fortschritte in der Projektzielerreichung wer- den anhand folgender Indikatoren gemessen:

• Indikator 1: 50% der Managerinnen und Manager sowie Mitarbeitende der Farmen und anderer landwirtschaftlicher Betriebe und Organisationen des Agrarsektors, die an Maß- nahmen des DCALDP Projektes teilgenommen haben, beginnen das Wissen anzuwen- den bis Ende 2020 (Quelle der Nachprüfbarkeit: Ergebnisse einer Feedbackbefragung von ca. 30% der Teilnehmerinnen und Teilnehmer an Trainingsmaßnahmen).

• Indikator 2: Auf Flächen außerhalb der Projektflächen werden vom Projekt geförderte nachhaltige Landbaumethoden angewendet (auf mind. 300 ha bis Ende 2020) (Quelle der Nachprüfbarkeit: Projektfortschrittsberichte).

• Indikator 3: Bis Ende 2020 ist mindestens eine weitere Farm der Holding (oder auch um- liegende Farmen in der Provinz) interessiert, modifizierte Praktiken, die auf Projekterfah- rungen beruhen, auf weiteren Flächen umzusetzen (Quelle der Nachprüfbarkeit: Bericht zur Umfrage bei Farmern und ggf. anderen Farmen nach modifizierten Praktiken, die auf Projekterfahrungen basieren).

Zur Operationalisierung des Monitorings der Indikatoren 1 und 3 ist es erforderlich, ein Stich- probenverfahren zu identifizieren, das allen Mitgliedern der Zielgruppe (hier: Teilnehmerinnen und Teilnehmern an Maßnahmen, Farmern in umliegenden Gemeinden) grundsätzlich die glei- che Chance gibt, an der Befragung teilzunehmen. Ein praktisches Beispiel für die Identifizie- rung eines geeigneten Stichprobenverfahrens findet sich in Anlage 2.

Um die Wirkungen von praxisbezogenen Fortbildungen (Trainings, Schulungen) zu erfassen, können folgende kurz beschriebene Erhebungsinstrumente eingesetzt werden.

• Erfassung von Basisdaten: Ziel und Art des Trainings / der Schulung, Art und Anzahl der Teilnehmenden, Zielgruppenerreichung, Themen;

• Pre-/Post-Test: Selbsteinschätzung des Wissens / der Kompetenzen der Teilnehmenden vor/zu Beginn und am Ende des Trainings / der Schulung (siehe Anlage A1.2);

• Evaluierung des Trainings / der Schulung durch die Teilnehmenden mittels Fragebogen (siehe GFA Leitfaden für Seminarbeurteilungen);

• Surveys zu späterem Zeitpunkt, um Wirkungen des Trainings / der Schulung (Nutzung und Nutzen der Erlernten / der erworbenen Kompetenzen) zu erfassen.

3.3 Verbandskooperationsprojekte

Die Stärkung von Selbstorganisationskräften im Agrarsektor dient dazu, Bauernverbände und Dachverbände landwirtschaftlicher Genossenschaften in die Lage zu versetzen, die Interes- sen ihrer Mitglieder besser zu vertreten und Dienstleistungen für Mitglieder und Bewohnerin- nen und Bewohner des ländlichen Raums bedarfsgerechter anzubieten. So hat beispielsweise das deutsch-türkische Verbandskooperationsprojekt das Projektziel, dass „weiterentwickelte Modelle zur Stärkung der Organisationsstrukturen in ausgewählten Zentral- und Regionalver- bänden landwirtschaftlicher Genossenschaften in diesen Verbänden angewandt werden und zu einer Verbesserung von Dienstleistungen gegenüber den Primärgenossenschaften führen“. Fortschritte in der Projektzielerreichung werden anhand folgender Indikatoren gemessen:

• Indikator 1: Im Ergebnis einer repräsentativen Befragung von Primärgenossenschaften in den am Projekt teilnehmenden Pilotprovinzen haben sich die durch die Regionalverbände

• 12 -

[Seite 13]

erhaltenen Unterstützungsleistungen seit Projektbeginn qualitativ und quantitativ verbes- sert (Quelle der Nachprüfbarkeit: Ergebnisse der repräsentativen Befragung).

• Indikator 2: Die am Projekt teilnehmenden Zentralverbände haben bis spätestens Ende 2021 mindestens drei neue eigenständige Aktivitäten zur Verbesserung der Organisati- onsstrukturen auf Basis der im Projekt entwickelten Modelle eingeführt (Quellen der Nach- prüfbarkeit: Projektfortschrittsberichte, Protokolle Basisanalysen, Auswertungs- und Ent- scheidungsprotokolle).

Zur Operationalisierung des Monitorings von Indikator 1 ist es, sofern nicht sämtliche Primär- genossenschaften befragt werden, erforderlich, ein geeignetes Stichprobenverfahren zu iden- tifizieren (vgl. Abschnitt 3.2). Auch muss festgelegt werden, welche qualitativen und quantita- tiven Verbesserungen der Unterstützungsleistungen konkret ermittelt werden sollen.

Um die Wirkungen von Maßnahmen zur Stärkung von Organisationsstrukturen zu erfassen, bieten sich Interviews und Auswertungen von Dokumenten zur Ermittlung des Grades der Ver- besserung des Managements (der Genossenschaft, des Verbandes) in definierten Kategorien – Aufbau- und Ablauforganisation, Personalressourcen und Infrastruktur, interne und externe Kommunikation, Mitgliederzufriedenheit usw. – und Bündelung zu einem Management-Index an.10 Ob die von den Organisationen angebotenen Dienstleitungen für Zielgruppen im Projekt- verlauf nachhaltig verbessert wurden, sollte über ergänzende Befragungen und Datenerhe- bungen (z. B. bei Primärgenossenschaften, Landwirten) beurteilt werden.

3.4 Fachkräfteaustausch- und Nachwuchsförderungsprojekte

Die Förderung von Fachkräfteaustausch und Nachwuchs dient dazu, die Beziehungen zwi- schen Organisationen in Deutschland und im Partnerland zu intensivieren, um Multiplikations- effekte, Alumni- und Kontaktnetzwerke zu schaffen und so einen Beitrag zu Reformprozessen zu leisten. So unterstützt beispielsweise das deutsch-chinesisches Austauschprogramm junge Fachkräfte im Agrarsektor, von Agrarverwaltungseinrichtungen und des Agribusiness-Sektors dabei, ihr Wissen über den Agrarsektor des jeweiligen Partnerlandes auszubauen und fördert damit die deutsch-chinesische Zusammenarbeit im Agrarsektor sowie die Etablierung von Netzwerken zwischen deutschen und chinesischen Unternehmen, Verwaltungseinrichtungen und Fachkräften.

Um die Wirkungen von Fachkräfteaustausch- und Nachwuchsförderungsprojekten zu erfas- sen, können folgende kurz beschriebene Erhebungsinstrumente eingesetzt werden.

• Lerntagebücher (siehe Anlage A1.4), in denen die Teilnehmenden an Fachkräfteaus- tausch und Nachwuchsförderung ihre individuelle Persönlichkeitsentwicklung (z. B. in in- terkultureller Hinsicht) und ihre fachlichen Lernfortschritte, d. h. ihre Weiterentwicklung in Hinsicht auf ihre Profession bzw. Tätigkeit festhalten.

• Auswertungsgespräch am Ende des Austausch- oder Nachwuchsförderungsprojekts (Er- lerntes und geplante Nutzung des Erlernten).

• Verbleibsstudien (tracer studies, siehe Anlage A1.4) zu einem späteren Zeitpunkt (z. B. ein Jahr nach dem Austausch / der Förderung), um Wirkungen des Projekts (Nutzung und Nutzen der Erlernten / der erworbenen Kompetenzen, Vernetzung der Alumni usw.) zu er- fassen.

• Wenn vorhanden, Auswertung von (wissenschaftlich angereicherten) Berichten, Doku- mentationen, Aufsätzen usw., die sich z. B. auf mehrere Austauschmaßnahmen oder

10 Zu Details zum Management-Index und der Methodik siehe Anlage A1.3.

• 13 -

[Seite 14]

Nachwuchsförderprogramme beziehen und in denen Hinweise darüber gegeben werden, wie diese sich auf das Agrar- und Ernährungssystem im Land ausgewirkt haben.

4 Wirkungsorientierung in der Berichterstattung

Kommunikation über die Zielerreichung und Wirkungen der BKP-Projekte ist ein zentraler Be- standteil der Projektdurchführung. Durch kontinuierliche Berichterstattung (z. B. in Form von PKB/PFB) wird gemeinsames Lernen und Steuern der Projekte durch Durchführungsinstitu- tion, GFA und BMLEH möglich. Dabei geht es zum einen um die Kontrolle der Ergebnis- und Zielerreichung (Soll-Ist-Vergleich anhand der Indikatoren), zum anderen um die Dokumenta- tion sonstiger wichtiger Projektwirkungen sowie von Erfolgsgeschichten für die Öffentlichkeits- arbeit von GFA und BMLEH.

4.1 Soll-Ist-Vergleich

Die durch wirkungsorientiertes Monitoring gewonnenen Daten und Informationen werden ge- nutzt, um Projektfortschritte mit Blick auf die Erreichung von Ergebnissen und Zielen zu doku- mentieren. Zentrale Projektberichte (PKB, PFB, PSB)11 enthalten daher einen Abschnitt „Ana- lyse des Projektfortschritts“ und eine dazugehörige Anlage für den Soll-Ist-Vergleich. Hier wird für jeden Indikator neben dem Basis- und dem Zielwert (gemäß PPÜ) der aktuelle (quantitative oder qualitative) Ist-Wert dokumentiert.

Naturgemäß bedeutet die bloße Dokumentation der Ziel- und Ist-Werte weder eine Bewertung des Projektfortschritts noch eine Erklärung für Abweichungen zwischen Ist- und Zielwerten. Daher nimmt die Durchführungsinstitution nicht nur eine Wertung des Erreichten vor12, son- dern erläutert auch die Ursachen für Abweichungen.

4.2 Dokumentation sonstiger Projektwirkungen

Ein wirkungsorientiertes Monitoringsystem und die damit verbundene Daten- und Informati- onssammlung – durch Befragungen, Fokusgruppendiskussionen, Workshops usw. – generiert eine Fülle von Informationen zu Projektwirkungen auch jenseits von spezifischen Ergebnissen zum Status Quo der Indikatorenwerte. Dazu zählen auch überraschende / ungeplante Wirkun- gen, und darunter auch unerwünschte projektbedingte Veränderungen, die in geeigneter Form (in Anlage zum PSB) dokumentiert werden sollten. Dies trägt in besonderer Weise zum Lernen aus den Projekten und ihrer Durchführung bei.

Der öffentlichkeitswirksamen Aufbereitung von Erfolgsgeschichten aus BKP-Projekten kommt eine nicht geringe Bedeutung zu. Ob in Form von leicht verständlichen Webartikeln für die breite Öffentlichkeit oder in Form von Policy Briefs für die Fachöffentlichkeit, zeigen Erfolgs- geschichten im Wesentlichen auf:

• Was war die Ausgangslage (das Problem, das ungenutzte Potenzial)?

• Was wurde unternommen, um das Problem zu lösen, das Potenzial in Wert zu setzen? Was war dabei besonders erfolgreich oder innovativ?

• Welche positiven Veränderungen haben sich daraus ergeben?

11 Durchführungsinstitutionen erstellen darüber hinaus zweimal pro Jahr ein so genanntes Projektprofil, in dem die wesentlichen Ziele und aktuellen Entwicklungen im Projekt zusammengefasst werden, und das so einen schnellen Überblick ermöglicht. Bei Bedarf, z. B. zur Vorbereitung von Terminen, werden zusätzlich Sachstandsberichte erstellt, die einen kurzen Überblick über die aktuelle Situation im Projekt geben. 12 Gemäß Bewertungsschlüssel: A = erreicht; B =teilweise erreicht; C = nicht erreicht; D = Erreichung nicht möglich; E = Bewer- tung zzt. nicht vorgesehen.

• 14 -

[Seite 15]

Besonders anschaulich werden Erfolgsgeschichten, wenn sie durch die Beschreibung eines konkreten Falls in Verbindung mit Fotos und / oder Originaltönen von Zielgruppenvertreterin- nen und -vertretern angereichert werden.

• 15 -

[Seite 16]

Anlage A1: Monitoring-Tools

A1.1: Dialogformate

Verfolgung eines Gesetzgebungsprozesses (legislative process tracking)

Die systematische Verfolgung eines relevanten Gesetzgebungsprozesses im Agrar- und Er- nährungsbereich dient dazu zu prüfen, inwieweit Beiträge und Ergebnisse des bilateralen ag- rarpolitischen Dialogs Eingang in den Gesetzesvorschlag, die Gesetzesberatung, das verab- schiedete Gesetz und seine Anwendung finden. Methoden der Informationsgewinnung sind in erster Linie die Sekundärquellenanalyse (von Gesetzestexten, Stellungnahmen, Positionspa- pieren, Blogs, Medienbeiträgen in Zeitungen und online usw.), ggf. auch die teilnehmende Beobachtung, z. B. die Teilnahme an Anhörungen. Die folgende Übersicht enthält für jede Prozessphase mögliche Leitfragen für das Monitoring.

• Die Bewertung kann in vier Abstufungen erfolgen: ‚vollständig‘; ‚substanziell‘; ‚teilweise‘; ‚nicht‘.

Policy-Tracking-Analyse (policy tracking analysis)

Vergleichbar der Verfolgung von Gesetzgebungsprozessen dient die Policy-Tracking-Analyse zur Prüfung, ob und inwieweit Beiträge des agrar- und ernährungspolitischen Dialogs die For- mulierung (oder auch Veränderung) und Umsetzung von Politiken beeinflussen. Dabei geht es zum einen um die Dokumentation und Auswertung des Prozesses von der Entwicklung über die Annahme bis zur Umsetzung der jeweiligen Politik auf Basis von Sekundärquellenanalyse und ggf. Befragung von politischen Entscheidungsträgerinnen und -trägern.13

13 Eine Einführung in das Tool geben z. B. Reisman, Gienapp und Stachowiak (2007) in “A Handbook of Data Collection Tools: Companion to a Guide to Measuring Advocacy and Policy“ (https://www.betterevalua- tion.org/en/resources/tool/a_handbook_of_data_collection_tools).

• 16 -

[Seite 17]

Zum anderen erfolgt für das Monitoring die Bestimmung von Politikkomponenten, die Teil des politischen Dialogs sind, und eine Bewertung, inwieweit die analysierte Politik diese Kompo- nenten und die damit verbundenen Erwartungen der am agrarpolitischen Dialog Beteiligten übertrifft, trifft, teilweise trifft oder nicht trifft (siehe Beispiel14).

Beobachtungsbogen (observation checklist)

Anders als ein übliches Veranstaltungsprotokoll, bei dem vorrangig Ergebnisse der Veranstal- tung (Runder Tisch, Workshop, Seminar usw.) festgehalten werden, dient ein Beobachtungs- bogen der Dokumentation des Prozesses und der Qualität der Veranstaltung. Dabei werden die Beobachtungsaspekte und -leitfragen vorab festgelegt (siehe Beispiel) und die Beobach- tungsergebnisse im Verlauf der Veranstaltung schriftlich festgehalten.

14 Hier angelehnt an OECD (https://www.oecd.org/agriculture/topics/agricultural-policy-monitoring-and-evalua- tion/). Für die Policy-Tracking-Analyse in BKP-Projekten müssen die Kategorien entsprechend der Inhalte der agrarpolitischen Dialoge angepasst werden.

• 17 -

[Seite 18]

• Waren die Moderationsmethoden angemessen und abwechslungsreich? • Hat die Moderation geholfen, neue Denkprozesse und Lösungen zu entfal- ten?

A1.2: Praxisbezogene Demonstrations-, Trainings- und Schulungsprojekte

Prä-/Post-Test (pre-/post test)

Ein einfaches Instrument zur Erfassung des unmittelbaren Erfolgs von Trainings- oder Schu- lungsmaßnahmen ist der Prä-/Post-Test. Dabei bewerten die Teilnehmenden zu Beginn der Maßnahme – i. d. R. durch Ausfüllen eines Fragebogens – den Stand ihres Wissens und ihrer Kompetenzen in den Themenfeldern, die Gegenstand der Wissens- und Kompetenzvermitt- lung sind (Saatgutbehandlung, Anbaumethoden, Fruchtfolgemanagement, Genossenschafts- recht usw.), jeweils auf einer Skala (z. B. von 1 ‚sehr gering‘ bis 5 ‚sehr hoch‘). Durch Wieder- holung der Übung am Ende der Trainings- oder Schulungsmaßnahme und Abgleich der Er- gebnisse kann der Wissens- und Kompetenzerwerb der Teilnehmenden eingeschätzt werden.

Mit einigem zeitlichen Abstand zur Maßnahme kann zusätzlich durch eine Teilnehmerbefra- gung erfasst werden, inwieweit die Teilnehmenden ihre erworbenen Kenntnisse und Fähigkei- ten in ihrem beruflichen Kontext auch einsetzen (vgl. A1.4).

A1.3: Verbandskooperationsprojekte

Management-Index

Der Management-Index misst den Grad der Verbesserung des Managements der beratenen Genossenschaften und Genossenschaftsverbände im Rahmen des deutsch-türkischen Ver- bandskooperationsprojektes in der Türkei und eignet sich generell zur Erfassung der Wirkun- gen von Vorhaben zur Stärkung solcher Organisationen.15 Es handelt sich dabei um einen aus 10 Komponenten zusammengesetzten Index mit je einer unterschiedlichen Zahl an Einzelas- pekten, die abgefragt und auf einer Skala von 0 (nicht erfüllt) bis 5 (voll erfüllt) bewertet werden:

15 Für eine detaillierte Beschreibung der Einführung des Management-Index siehe MÄRZ (2016). Das Dokument kann bei Bedarf bei der GFA (Büro Berlin) angefragt werden.

• 18 -

[Seite 19]

Aus den Ergebnissen der Erhebung und Bewertung lassen sich nicht nur ein Gesamt-Manage- ment-Index (zu Projektbeginn und -ende) berechnen, sondern auch die Ergebnisse zu allen Kategorien in einem Spinnendiagramm übersichtlich darstellen (siehe Beispiel).

• 19 -

[Seite 20]

Aufbau und interne Abläufe 5,0 Dokumentationssystem Mitgliederbewusstsein 4,0 und Datenbank

3,0

Interne und externe 2,0 Planung und Kommunikation Konzeptentwicklung 1,0

0,0

Zusammenarbeit mit Grad der Zufriedenheit Partnerorganisationen der Mitglieder und Netzwerkbildung

Aufbau von Personalressourcen und Verbandsgremien und verfügbare Infrastruktur deren Aktvitäten Dienstleistungsangebot und Services

Status April 2016 Ideal

A1.4: Fachkräfteaustausch- und Nachwuchsförderungsprojekte

Lerntagebuch

Ein Lerntagebuch dient der prozessorientierten Selbstevaluierung von Teilnehmenden an Fachkraftaustausch- und Nachwuchsförderungsmaßnahmen, die sich auf einen längeren Zeit- raum beziehen.16 Das Schreiben eines Lerntagebuchs soll zunächst zu einem vertieften Ver- ständnis des Gelernten führen, indem es zu regelmäßiger Nachbearbeitung und Reflexion an- regt, und außerdem das Bewusstsein für den eigenen Lernprozess fördern. Darüber hinaus dient es als Grundlage für (Zwischen-)Auswertungsgespräche und so dem Monitoring der Wir- kungen der jeweiligen Maßnahmen auf die Teilnehmenden mit Blick sowohl auf ihre Persön- lichkeitsentwicklung als auch auf ihre fachlichen Lernfortschritte.

Für das Führen des Lerntagebuchs sind rund 15 Minuten pro Tag (alternativ: 1-1,5 Stunden pro Woche) anzusetzen. Es sollte um bestimmte Leitfragen herum organisiert sein, um die Reflexion zu strukturieren. Dabei geht es nicht darum, sich jedes Mal wieder mit allen Leitfra- gen auseinanderzusetzen, sondern jeweils diejenige Frage – oder einige wenige Fragen – auszuwählen, die besonders wichtig erscheinen. Mögliche Leitfragen sind:17

• Welche Sachverhalte erscheinen mir so wichtig, dass ich sie noch einmal mit eigenen Worten auf den Punkt bringen möchte?

• Fallen mir Beispiele aus meiner eigenen (kulturellen oder professionellen) Erfahrung ein, die das Gelernte illustrieren, bestätigen, oder ihr widersprechen?

• Welche Aspekte des Gelernten fand ich interessant, nützlich, überzeugend, und welche nicht? Warum?

• Welche weiterführenden Fragen wirft das Gelernte auf? Regt es mich zu Gedanken an, die über das Gelernte im engeren Sinne hinausführen?

16 Es eignet sich jedoch auch bei kurzfristigeren Maßnahmen, z. B. Fachinformationsfahrten. 17 In Anlehnung an die Abteilung Pädagogische Psychologie an der Universität Freiburg (http://www4.psychologie.uni- freiburg.de/einrichtungen/Paedagogische/lehre/entwickl/vlep4_5.html).

• 20 -

[Seite 21]

• Welche Aspekte des Gelernten kann ich bei gegenwärtigen oder zukünftigen Tätigkeiten selbst nutzen? Wie könnte eine solche Nutzung aussehen?

Verbleibsstudie (tracer study)

Eine Verbleibstudie dient der Erfassung der nachhaltigen Wirksamkeit von Fachkräfteaus- tausch- und Nachwuchsförderprojekten.18 Dabei werden die Teilnehmenden eine gewisse Zeit nach Beendigung ihrer Teilnahme (z. B 1 Jahr) befragt, bei größeren Gruppen in der Regel schriftlich – z. B. durch eine (online-)Befragung –, bei kleineren Gruppen ggf. auch durch mündliche Befragung (via Telefon oder Skype).

In aller Regel werden sämtliche Teilnehmende befragt. Die Durchführbarkeit der Verbleibsstu- die hängt in erster Linie davon ab, ob (a) gültige Adressen der Teilnehmenden vorliegen19 und (b) ob die Teilnehmenden bereit sind, an der Befragung teilzunehmen (response rate).20 Typi- sche Leitfragen, die für das jeweilige Fachkräfteaustausch- und Nachwuchsförderprojekt an- gepasst und weiter spezifiziert werden müssen, drehen sich um:

• Was ist aus den Teilnehmenden geworden?

• Nutzen sie erworbenes Wissen / erworbene Kompetenzen? Wenn nicht, warum?

• Konnten sie durch erworbenes Wissen / erworbene Kompetenzen ihre Position auf dem Arbeitsmarkt verbessern?

• Welches zusätzliche Wissen / welche zusätzlichen Kompetenzen hätten sie erwerben müssen? Warum?

• Wie bewerten sie rückblickend das Fachkräfteaustausch- und Nachwuchsförderprojekt (Stärken, Schwächen)? Welche Vorschläge für Verbesserungen haben sie?

18 Das Instrument eignet sich prinzipiell auch für Follow-up Surveys zu Trainings- und Schulungsmaßnahmen (siehe A1.2). Unter den vielen existierenden Handbüchern zur Durchführung von tracer studies siehe z. B. https://www. cedefop.europa.eu/files/2218_en.pdf 19 Dies kann z. B. dadurch sichergestellt werden, dass auch die Adressen der Eltern aufgenommen werden. 20 Eine zu geringe Teilnahmequote schränkt die Validität der Ergebnisse stark ein. Dem kann dadurch einigerma- ßen begegnet werden, dass die nicht Antwortenden zweimal erinnert (also insgesamt dreimal kontaktiert) wer- den. Bei Verbleibsstudien gilt international eine response rate über 50% als gut.

• 21 -

[Seite 22]

Anlage A2: Stichprobenverfahren

Wirkungsorientiertes Monitoring von BKP-Projekten erfordert in einigen Fällen die Erhebung von Daten und Informationen bei Zielgruppen von Maßnahmen. Dort wo die Größe der Ziel- gruppe, d. h. die Grundgesamtheit, überschaubar ist (z. B. die Teilnehmenden an einem Fach- kräfteaustausch, die Teilnehmenden an einer agrarpolitischen Dialogveranstaltungsreihe, die beratenen Genossenschaften), ist eine Vollerhebung angezeigt. Wo hingegen die Grundge- samtheit (sehr) groß ist (z. B. Gesamtheit der Genossenschaftsmitglieder, sämtliche bäuerli- che Betriebe im Einzugsbereich eines Agrartrainings- und -demonstrationszentrums) und eine Vollerhebung nur mit unangemessen hohem Aufwand möglich ist21, muss eine Stichprobe ge- zogen werden. Hierfür stehen verschiedene Verfahren zur Verfügung, die sich im Wesentli- chen dadurch unterscheiden, ob eine Wahrscheinlichkeitsauswahl (probability sampling) oder eine bewusste Auswahl (non-probability sampling) vorgenommen wird.

Bei der Identifizierung eines geeigneten Stichprobenverfahrens zur Durchführung einer Base- line- oder Endline-Erhebung ist zuerst zu prüfen, ob eine vollständige Liste der Untersuchungs- objekte (z. B. der landwirtschaftlichen Betriebe, der Genossenschaftsmitglieder) vorliegt. Ist dies der Fall und sind die Untersuchungsobjekte mit Blick auf die Fragestellungen der Unter- suchung homogen22, ist eine einfache Zufallsstichprobe (random sampling) angezeigt. Die Zie- hung der Stichprobe kann dann z. B. bei einer verhältnismäßig kleinen Grundgesamtheit nach dem Lottoprinzip – für jedes Element der Grundgesamtheit wird ein Los erstellt und nach Durchmischung Lose gezogen – oder, bei großen Grundgesamtheiten, per systematischer Auswahl erfolgen.23

Sind dagegen die Untersuchungsobjekte mit Blick auf die Fragestellungen der Untersuchung heterogen, gilt es zu entscheiden, ob vergleichende Aussagen zu den Untergruppen innerhalb des Untersuchungsobjekts erwünscht sind. Ist dies nicht der Fall, wird wie oben eine einfache Zufallsstichprobe gezogen. Interessieren aber beispielsweise Unterschiede zwischen von Männern und Frauen geleiteten Betrieben oder Genossenschaften oder zwischen Betrieben oder Genossenschaften unterschiedlicher Rechtsform, ist eine geschichtete Zufallsstichprobe (stratified sampling) angezeigt. Dabei wird sichergestellt, dass jede Untergruppe (Schicht) in ausreichender Zahl in der Stichprobe repräsentiert ist und so valide Vergleichswerte erhoben werden können. Aus jeder Untergruppe wird eine einfache Zufallsstichprobe gezogen.24

Häufig, insbesondere wenn die Untersuchungsobjekte geographisch weit auseinanderliegen, können die Erhebungskosten (z. B. die Transportkosten, zeitlicher Aufwand) unvertretbar hoch werden. In solchen Fällen bietet sich eine Klumpenstichprobe (cluster sampling) an. Dabei

21 Zu beachten ist, dass die Budgets von BKP-Projekten und damit auch das Budget für Basis- und Folgeerhe- bungen häufig nicht sehr hoch sind und daher – mit Kostenvariationen je Land und Projekt – ggf. nicht mehr als 150-300 Personen je Erhebung befragt werden können. Bei nicht-mündlicher (z. B. online-)Befragung kann die Zahl der Befragten auch höher sein. 22 So sind z. B. für die Erhebung von Daten und Informationen zur landwirtschaftlichen Betriebsführung oder zum Management der Genossenschaft die Leitungen der Betriebe oder der Genossenschaften homogene Untersu- chungsobjekte.

2

24 Eine spezielle Form der geschichteten Zufallsstichprobe ist die Wahrscheinlichkeitsauswahl proportional zur Größe (Probability-Proportional-to-Size). Dabei wird sichergestellt, dass Individuen innerhalb großer und kleiner Einheiten (z. B. Genossenschaften) die gleiche Chance haben, in die Stichprobe zu kommen. Eine gute Be- schreibung des Verfahrens findet sich bei REINECKE (2005) (http://wwwhomes.uni-bielefeld.de/fvan_veen/Statis- tikII%20SS05/Folien/STICH1.pdf).

• 22 -

[Seite 23]

werden geographische oder institutionelle Cluster (z. B. Landkreise, Regionalverbände) gebil- det und aus den zufällig ausgewählten Clustern Zufallsstichproben der Untersuchungsobjekte (z. B. Betriebe, Genossenschaften) gezogen.

In Fällen in denen die Grundgesamtheit (die Summe aller Untersuchungsobjekte) nicht be- kannt ist – etwa, wenn zu Beginn der Einrichtung eines Agrartrainings- und -demonstrations- zentrums noch nicht klar ist, welche und wie viele Landwirtinnen und Landwirte in welchem Umkreis zu Kursen anreisen werden –, muss eine bewusste Auswahl erfolgen. Da in der Regel Daten und Informationen zu Gruppen mit bestimmten Merkmalen interessieren (z. B. große, mittlere und kleine landwirtschaftliche Betriebe, männer- und frauengeführte Betriebe), sind Quotenstichproben (quota sampling) häufig das Mittel der Wahl. Dabei werden zunächst die Merkmale (und ihre Kombinationen) festgelegt und die Anteile der Untergruppen an der Grund- gesamtheit geschätzt. Die Datenerheberinnen und -erheber erhalten dann entsprechende Vor- gaben (Quoten), wie viele Beobachtungen mit welchen Merkmalskombinationen zu erheben sind, damit die Stichprobenanteile der Untergruppen ihren (geschätzten) Anteilen an der Grundgesamtheit entsprechen. Dabei ist es ihnen überlassen, wie sie die vorgegeben Quoten erfüllen.25

In Erhebungen, bei denen keine Informationen zu Gruppen mit bestimmten Merkmalen inte- ressieren – etwa, wenn über Experteninterviews Informationen zum Stand eines Agrargesetz- gebungsverfahrens erhoben werden sollen –, bietet sich z. B. die Schneeball-Auswahl (snow- ball sampling) an. Dabei vermittelt eine Person aus der Gruppe (z. B. ein Experte) die Inter- viewenden an einen weiteren Experten weiter.

Die folgende Abbildung zeigt den Entscheidungsbaum für die Identifizierung eines geeigneten Stichprobenverfahrens.

25 Eine Beschreibung des Quotenstichprobenverfahrens findet sich z. B. bei MESOSworld (http://www.mesos- world.ch/lerninhalte/Grund_Stichprob/de/text/Grund_Stichprob.pdf).

• 23 -

[Seite 24]

• 24 -