Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2022 des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe.

Die Frühjahrstagung fand am 28. Juli 2022 online statt. Die Veranstaltung wurde vom Arbeitskreis Entwicklungspolitik und Humanitäre Hilfe der DeGEval in Kooperation mit dem Verband Entwicklungspolitik und Humanitäre Hilfe (VENRO) ausgerichtet.

Thorsten Bär vom AK-Epol-HuHi begrüßte zunächst die Teilnehmenden der Frühjahrstagung.

14:35 – 14:50 Uhr „Einführung in das Veranstaltungsthema“
Zu Beginn der Veranstaltung gab Sebastian Schuster als Sprecher der VENRO AG Wirkungsorientierung eine kurze Einführung in das Veranstaltungsthema. Hierbei gab er einen Überblick zum Verständnis von „Partizipation“ sowie „Remote Evaluierung“ und welche Möglichkeiten und Herausforderungen „Partizipation in Remote Evaluierungen“ mit sich bringen.

14:50 - 15:35 Uhr “Participatory Evaluation: Theories und Methods for Remote Work“
Elizabeth DiLuzio von der Evaluation + Learning Consulting (EVALLEARN) stellte in ihrem Vortrag Ansätze und Erfahrungen zum Einsatz von partizipativen Methoden in Remote Evaluierungen vor. Nach einer einführenden Definition zu „participatory evaluation“ ging Elizabeth DiLuzio auf die Voraussetzungen für Partizipation in Remote Evaluierungen ein und zeigte Möglichkeiten auf, wie Partizipation in den verschiedenen Phasen einer Remote Evaluierung umgesetzt werden kann.

15:45 – 17:00 Uhr „World Café“
Nach einer kurzen Einführung von Susanne von Jan, Sprecherin des AK-Epol-HuHi, teilten sich die Teilnehmenden der Tagung in Gruppen auf und diskutierten an drei „Tischen“ (Break-out Rooms) unterschiedliche Fragen. Im Sinne des World Cafés konnten die Teilnehmenden an den „Tischen“ jeweils 15 Minuten zu den vorgegebenen Fragen diskutieren, danach wechselten sie an den nächsten „Tisch“. Insgesamt gab es drei Diskussionsrunden. Die Moderator*innen der Tische blieben in den jeweiligen Räumen und dokumentierten die Ergebnisse auf einem virtuellen Whiteboard (Mural). Nach Abschluss der dritten Runde wurden die Ergebnisse der Diskussionen von den Moderator*innen kurz im Plenum vorgestellt. Folgende Fragen wurden diskutiert:

Tisch 1 (Moderation Natascha Pancic, Welttierschutzstiftung):
Warum ist Ihnen Partizipation in Remote Evaluierung wichtig? Gibt es auch Aspekte, die gegen Partizipation sprechen? Inwieweit hängt die Einschätzung von unterschiedlichen Phasen der Evaluation ab?
Die Diskussion befasste sich sowohl mit den Grenzen für Partizipation (Ressourcen, Unabhängigkeit) als auch mit den Chancen (bessere Erreichbarkeit von Zielgruppen, virtuelle Teilnahme an gemeinsamen Veranstaltungen). Die Teilnehmenden waren sich einig, dass der Grad der Partizipation auch von Gegenstand und Zweck der Evaluierung abhängt.

Tisch 2 (Moderation Sebastian Schuster, AG Wirkungsorientierung, VENRO):
Welche Herausforderungen sehen Sie bei der Implementierung von Partizipation in Remote Evaluierung? Inwieweit sind die Herausforderungen abhängig von den verschiedenen Stakeholdergruppen, die Sie einbeziehen wollen? Welche Lösungsvorschläge fallen Ihnen ein?
In der Diskussion wurde deutlich, dass eine wesentliche Herausforderung für die Partizipation in Remote Evaluierungen in der Einbeziehung marginalisierter Gruppen sowie in der gemeinsamen Datensammlung mit nationale n Gutachter*innen oder Zielgruppen gesehen werden. Zudem bestehen Herausforderungen für die Erzielung eines umfassenden Kontextverständnis, da Informationen zum lokalen Kontext oder „spontane Kontakte“ schwieriger zu erhalten sind. Lösungsvorschläge bezogen sich insbesondere auf die enge Zusammenarbeit mit nationalen Gutachter*innen und die intensive Einbeziehung lokaler Expertise.

Tisch 3 (Moderation Jens Koy, freier Gutachter und Berater):
Wie ist es Ihnen gelungen, Partizipation in Remote Evaluierungen umzusetzen? Welche konkreten Ideen haben Sie? Welche Tools kennen Sie, die sich für Partizipation in Remote Evaluierung eignen?
Die Ergebnisse des Tisch 3 zeigen, dass virtuelle Workshops und Interviews gängige Tools bei Remote Evaluierungen sind. Insgesamt hat sich die Nutzung dieser Tools in den letzten Jahren weit verbreitet. Dadurch bestünde z.B. auch die Möglichkeit gemeinsame Kick-off-Workshops mit Partnern zu Beginn einer Evaluierung durchzuführen, ebenso wie Treffen zur gemeinsamen Diskussion von Ergebnissen.

17:10-17:55 Uhr: „Praxisbeispiel zu partizipativer Remote Evaluierung: Remote Evaluierung mit Outcome Harvesting“
Abschließend stellte Konny Rassmann, freiberufliche Evaluatorin und Beraterin ein Praxisbeispiel zu einer Remote Evaluierung vor, in der die Methode des „Outcome Harvesting“ zur Anwendung kam. Dabei handelte es sich um die Evaluierung eines komplexen, länderübergreifenden Vorhabens im Themebereich „Gute Regierungsführung“. In ihrer Präsentation stellte Konny Rassmann zunächst die Grundlagen von Outcome Harvesting vor, um im zweiten Schritt darauf einzugehen, wie Partizipation bei der remote Datenerhebung und -analyse mit Outcome Harvesting in der vorgestellten Evaluierung umgesetzt wurde.

17:55-18:00 Uhr: Verabschiedung

Vor dem Hintergrund des übergreifenden Tagungsthemas „Wandel durch Evaluation und Wandel der Evaluation“ befasste sich die Veranstaltung des AK mit der Frage, welche Veränderungen in der Evaluation, in der EZ und humanitären Hilfe im Zuge der Corona Pandemie stattgefunden haben und inwieweit diese Veränderungen im Sinne eines langfristigen Wandels auch zukünftig Bestand haben sollen.

 
In einem einführenden Vortrag „Evaluation approaches under Covid-19: what have we learned“ stellte Jos Vaessen, Methodenberater der Independent Evaluation Group (IEG) der Weltbank, Methoden und Ansätze, die im Zuge der Pandemie entwickelt wurden, sowie Erfahrungen der IEG mit deren Umsetzung, vor. Im Anschluss an den Vortrag diskutierten die Teilnehmenden in vier virtuellen Kleingruppen auf Basis ihre eigenen Erfahrungen, welche der aus der Corona-Pandemie resultierenden Veränderungen bei der Planung und Durchführung von Evaluationen langfristig beibehalten werden sollten. 

Die Diskussion orientierte sich an folgenden Leitfragen:

1. Inwieweit hat sich Evaluation im Zuge der Pandemie verändert? 
2. Welche Veränderungen sind nur temporär, welche sollten beibehalten und weiterentwickelt werden? 

Die Ergebnisse der Diskussion in den vier Gruppen wurden auf virtuellen Whiteboards festgehalten. Zum Abschluss der Gruppenarbeiten wurden zudem die jeweils wichtigsten 3 Veränderungen, die aus Sicht der Kleingruppen beibehalten werden sollen, auf einem Whiteboard gesammelt und anschließend im virtuellen Plenum gemeinsam betrachtet und von Jos Vaessen kommentiert. 
Wichtige Veränderungen die identifiziert wurden waren u.a. die größere Nutzung von Sekundärdaten sowie die Zusammenarbeit mit nationalen Evaluatorinnen und Evaluatoren und damit verbunden die stärkere Einbeziehung der „lokalen Perspektive“. Insbesondere wurde auch die Bedeutung von hybriden Formaten hervorgehoben, um die positiven Aspekte virtueller Formate stärker zu nutzen und mit „traditionellen“ Formaten der Datenerhebung (Projektbesuche, persönliche Interviews und Befragungen, Gruppendiskussionen etc.) zu kombinieren. Einigkeit bestand dahingehend, dass Projektbesuche und persönliche Erhebungen vor Ort auch in Zukunft wichtige Bestandteile von Evaluationen bleiben werden. Die Dokumentation der Ergebnisse findet sich hier.
 

(Von Teilnehmenden der Frühjahrstagung erarbeite Aspekte zum Satz „Menschenrechte bedeuten für mich…“, versinnbildlicht am Beispiel des „Menschenrechtsbaums“)

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2021  des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe.

Die Frühjahrstagung fand am 24. und 25. Juni 2021 aufgrund der aktuellen COVID-19 Situation online statt. Die Veranstaltung wurde vom Arbeitskreis Entwicklungspolitik und Humanitäre Hilfe des DeGEval in Kooperation mit dem Deutschen  Institut für Menschenrechte (DIMR) und dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgerichtet. 

Donnerstag, 24. Juni 2021

Jörg Faust (DEval), Anna Würth (DIMR), sowie ein Sprecher des AK-Epol-HuHi, Thorsten Bär (World Vision) begrüßten zunächst die Teilnehmenden der Frühjahrstagung. 

09:50 – 10:15 Uhr „Menschenrechte bedeuten für mich …“ 
Noch vor dem ersten inhaltlichen Vortrag zum Thema der diesjährigen Frühjahrstagung wurden die Teilnehmenden im virtuellen Veranstaltungsraum gebeten, eigene Überlegungen aufzustellen, was Menschenrechte sind und welche Werte diesen zugrunde liegen. Am Beispiel von zwei „Menschenrechtsbäumen“ (Verlinkung hier und hier) trugen die Teilnehmenden der Frühjahrstagung somit aktiv zum Diskurs über Fragen der Menschenrechte bei. 

10:15 – 11:00 Uhr Menschenrechte: Definition, Abgrenzung, Kontextualisierung
Anna Würth (DIMR) stellte in ihrer einführenden Präsentation zum Thema Menschenrechte vor, wie der Begriff der Menschenrechte definitorisch gefasst werden kann. Durch ihre Darstellung der Meilensteine der Menschenrechte, beginnend bei der Allgemeinen Erklärung der Menschenrechte durch die UN-Generalversammlung von 1948, wurde in Bezug auf das heutige Verständnis von Menschenrechten deutlich, dass eine Neukontextualisierung und Spezifizierung von Menschenrechten prozessual stattfinden. Sie betonte, dass Staaten die Menschenrechte achten, schützen und gewährleisten müssen. In Bezug auf die Verbindung von Menschenrechten und Entwicklungszusammenarbeit gab Anna Würth an, dass Durchführungsorganisationen und NGOs ihre Sorgfaltspflicht beachten müssen und ging auf die Unterscheidung von Pflichten-Tragenden und Rechte-Inhabenden ein.

11:15 – 12:00 Uhr Menschenrechtsbasierte Ansätze in Evaluation – Vorstellung und Reflexion
Lena Taube und Martin Bruder (DEval) gaben in ihrem Vortrag einen Überblick über Menschenrechtsbasierte Ansätze explizit innerhalb der Evaluationsarbeit. Sie zeigten auf, dass innerhalb der evaluatorischen Arbeitsprozesse Menschenrechte und menschenrechtliche Prinzipien eine große Rolle spielen können. In allen Phasen der Evaluation, von Planung und Design über Erhebung und Analyse bis zur Disseminierung können Menschenrechte systematisch einbezogen werden. Dafür bieten Taube und Bruder in ihrem Vortrag verschiedene Entscheidungspunkte an, die wie Regler verstanden und mehr oder weniger spezifisch umgesetzt werden können. So kann beispielweise innerhalb der Planung einer Evaluation die menschenrechtliche Situation im Fallstudienland anhand von relevanten ratifizierten Menschenrechtsverträgen untersucht werden. Abschließend beschrieben die Vortragenden menschenrechtsbasierte Evaluierung als ein Qualitätsmerkmal einer erfolgreichen Evaluation, welche eher durch eine Haltung getragen wird und weniger durch das Abhaken von Checklisten. 

13:30 – 15:30 Gruppenarbeiten

Die Teilnehmenden der Frühjahrstagung nahmen im weiteren Verlauf an einem von zwei parallel stattfindenden Workshops teil.

Workshop A zu Menschenrechten als Querschnittsthema in Evaluation: Standards, Leitfragen und Vorgehensweise

Referierende: Ilse Worm (freie Evaluatorin) und Marco Hanitzsch (CoResult) 

Dieser Workshop beschäftigte sich mit dem Thema der Menschenrechte als Querschnittsthema in Evaluationen und es wurden Standards, Leitfragen und Vorgehensweisen diskutiert. In einer einführenden Präsentation durch die Referierenden wurde anhand von Beispielen die Integration von Leitfragen zu Menschenrechten in die OECD DAC-Evaluierungskriterien sowie spezifische Fragestellungen zu wirtschaftlichen und sozialen Rechten vorgestellt. In zwei Gruppenübungen mit Fallbeispielen aus der staatlichen Entwicklungszusammenarbeit sowie der humanitären Hilfe analysierten die Teilnehmenden die Vorhaben hinsichtlich menschenrechtlicher Aspekte. Dies beinhaltete beispielsweise auch die Identifizierung von Rechteinhaber*innen und Pflichtenträger*innen. In einem zweiten Schritt wurden entlang der DAC-Evaluierungskriterien spezifische Evaluierungsfragen entwickelt und diskutiert, wie zentrale Menschenrechtsprinzipien im Evaluierungsprozess berücksichtigt werden sollten.  Aus den Gruppenübungen wurde deutlich, wie menschenrechtliche Normen und Prinzipien systematisch in Evaluationen berücksichtigt werden können, sowohl bei der Bewertung von Vorhaben, als auch im Rahmen des Evaluationsprozesses. Diskutiert wurde dabei unter anderem die Umsetzung des Prinzips der Nicht-Diskriminierung sowie die Rolle von lokalen NGOs, die zum Teil sowohl Pflichtenträger*innen sind als auch Vertreter*innen von Rechteinhaber*innen. 

Workshop B: Trauma-informed approach to evaluations - sharing of experiences with evaluations in trauma related contexts: Challenges identified and practical

Referierende: Berenice Meintjes (Jikelele Consultancy, South Africa), Ulrike Weinspach (Misereor) und Kirsten Wienberg (medica mondiale)

Kirsten Wienberg und Berenice Meintjes haben in zwei Präsentationen (hier und hier) in diesem Workshop vier Schlüsselprinzipien von Trauma-sensiblen Ansätzen vorgestellt: Sicherheit, Empowerment, Solidarität und Selbstschutz/Organisationaler Schutz. Darüber hinaus haben sie für die Bedeutung eines Trauma-sensiblen Vorgehens sensibilisiert und Erfahrungen von Evaluationen in traumabezogenen Kontexten vorgestellt sowie Empfehlungen gegeben. Die Teilnehmenden des Workshops diskutierten darauffolgend in Kleingruppen über die Inhalte der Präsentationen und machten deutlich, dass einerseits das Design und die Auswahl von partizipativen Methoden und ein gesteigertes Empowerment positive Auswirkungen auf sowohl Evaluationsprozesse als auch auf die beteiligten Stakeholder haben könnte und andererseits eine ausreichende Qualifizierung der Evaluierenden in solchen Trauma-sensiblen Bereichen notwendig ist. 

16:00 – 17:15 Uhr Erfahrungsaustauch und Diskussion zu den beiden Workshops

In Flüstergruppen tauschten die Teilnehmenden der beiden Workshops sich miteinander aus und erörterten Ergebnisse sowie offenen Fragen. Im Anschluss haben die Referenten*innen im Plenum aus den Flüstergruppen resultierende Fragen beantwortet. 

Freitag, 25. Juni 2021

Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Kirsten Vorwerk, Sprecherin des AK-Epol HuHi (DEval) begrüßt.

09:00 – 10:45 Uhr World Café 

Die Teilnehmenden der Frühjahrstagung versammelten sich an drei virtuellen Tischen und diskutierten dabei unterschiedliche Fragestellungen. 

Unter der Moderation von Simon Freund diskutierten die Teilnehmenden am ersten virtuellen Tisch folgende Fragen: Was müssen wir verändern, um Menschenrechte in Evaluierungen ernst zu nehmen? Wie können wir menschenrechtsbasierte Ansätze in der Praxis umsetzen? Und was benötigen Auftraggeber*innen und Evaluator*innen dafür? Ein Ergebnis dieser Diskussion war, dass es das Bewusstsein braucht, dass es sich bei Menschenrechten um Rechte handelt und gute Evaluierungen das Thema bearbeiten und Menschenrechtsprinzipien selbst umsetzen müssen (Qualitätsmerkmal).  Außerdem müssen menschenrechtsbezogene Fragestellungen für den Evaluierungsgegenstand als Evaluierungsfragen konkret operationalisiert werden. Auch wurde die Bedeutung von menschenrechtsbezogenen Kompetenzen seitens der Evaluierenden besonders hervorgehoben.

Evelyn Funk moderierte die Gesprächsrunde am zweiten virtuellen Tisch mit folgenden Leitfragen: Inwieweit muss im Globalen Süden bei der Beachtung von Menschenrechten in Evaluierung kultursensibel vorgegangen werden? Inwieweit kann und sollte der universale Anspruch der Menschenrechte lokal konkretisiert werden? Die darauffolgende Diskussion konzentrierte sich zuerst auf das Verständnis von Kultursensibilität. Hierbei wurde festgehalten, dass ein Umgang mit Menschenrechten dann kultursensibel ist, wenn aus der Perspektive einer Kultur angemessene Fragen, Formulierungen und Vorgehensweisen für die Evaluierung gewählt werden. So können Menschenrechte ein kultursensibles Framing bekommen, wobei der inhaltliche Kern nicht verändert wird. Zudem müssen die Wertvorstellungen der Evaluierenden reflektiert und nach außen transparent gemacht werden. Außerdem wurde diskutiert, dass konkrete Strategien für einen kultursensiblen Umgang mit Menschenrechten mit Gutachtenden-Tandems entwickelt werden sollten. Gutachtende sollten eine Kulturexpertise mitbringen und  ein kultursensibles Framing/Wording beachten. Zudem sollten regionale Menschenrechtskonventionen berücksichtigt und Partnerorganisationen sowie Stakeholder und Rechteinhaber*innen angemessen miteinbezogen werden 

Am dritten virtuellen Tisch diskutierten die Teilnehmenden unter der Moderation von Steffen Schimko die folgenden Fragen: Wie können wir mit einer potenziellen Überfrachtung von Evaluationen umgehen, wenn neben den Fragen zu den OECD/DAC-Kriterien noch Querschnittsthemen wie SDG, Menschenrechte, Gender, Inklusion oder ökologische Aspekte beachtet werden sollen? Welche Möglichkeiten für einen Umgang mit diesen Herausforderungen gibt es? Die Diskussion zu diesen Fragen zeigte die Bedeutung der Terms of Reference für eine Evaluierung auf, in denen der Auftrag deutlich gemacht werden muss. Die Verantwortung für eine Fokussierung und Schwerpunktsetzung (im Rahmen der Vorgaben der Mittelgebenden) liegt dabei v.a. bei den Auftraggeberinnen und Auftraggebern. Menschenrechte können hier als Referenzrahmen dienen, da diese bereits viele gängige Querschnittsthemen miteinbeziehen.

11:15 – 12:15 Uhr Evaluation von Menschenrechtsprojekten: Die Förderbereichsevaluierungen Menschenrechte der kirchlichen Träger

In ihrem gemeinsamen Vortrag präsentierten Friederike Subklew-Sehume (Brot für die Welt) und Michael Steinfelder (Misereor) die Förderbereichsevaluationen ihrer beiden Organisationen zum Thema Menschenrechte. Hierbei fokussierten die Referierenden sich auf den Prozess, die zugrunde liegenden Wirkungsmodelle, die methodischen Aspekte der Evaluation von Menschenrechtsprojekten sowie auf die Schritte der Organisationen, um die Verbreitung der Ergebnisse und das Lernen zu fördern. Dabei wurden Gemeinsamkeiten und Unterschiede bei der Vorgehensweise der beiden Organisationen dargestellt und erörtert Ein für beide Organisationen wichtiges Thema war beispielweise die Verbreitung der Ergebnisse und das Lernen aus der Evaluation, jedoch unterschieden sich die Herangehensweisen u.a. dadurch, dass auf der einen Seite mit Lern-Teams aus Mitgliedern verschiedener Hauptabteilungen gearbeitet wurde und auf der anderen Seite durch und mit Workshops gemeinsam mit Partnerorganisationen. 

12:15 – 13:00 Uhr Bewertung und Impulse: Perspektiven auf die Tagung

In der die Frühjahrstagung abschließenden Podiumsdiskussion unter der Moderation von Susanne von Jan (Sprecherin AK-Epol-HuHi, smep-consult) bewerteten die Teilnehmenden die diesjährigen Frühjahrstagung abschließend und gaben Impulse für die weitere Arbeit. Mit Michael Herbst (CBM), Jonas Schubert (TDH, Forum Menschenrechte) und Justine Hunter (freie Evaluatorin) als Podiumsteilnehmende konnten verschiedene Perspektiven in die abschließende Diskussion eingebracht werden. In der Diskussion wurde positiv bemerkt, dass durch die Tagung verschiedene Communities zusammengebracht wurden, z.B. Experten für Menschenrechte mit Evaluierenden und dass ein engerer Kontakt für beide Seiten gewinnbringend wäre. Zudem zeigte sich ein Podiumsteilnehmer überrascht, dass das Thema Menschenrechte und menschenrechts-basierte Ansätze in Evaluierung noch relativ neu zu sein scheine. Hinsichtlich der Impulse wurde empfohlen, in Evaluierungen keinen zu technokratischen Blick auf Menschenrechte zu werfen und über Indikatoren nicht zu sehr in ein Schema-Denken zu verfallen. In diesem Kontext wurde auch die Nutzung von Proxy-Indikatoren angeregt.  Weiterhin wurde hinsichtlich vulnerabler Gruppen darauf hingewiesen, dass es hier nicht nur darum gehen dürfe, Personen nicht auszuschließen, sondern eine aufholende Entwicklung zu ermöglichen. Schließlich ist sowohl das Prinzip der Nicht-Diskriminierung, als auch die generelle Einbindung von benachteiligten Menschen ist für eine menschenrechtsbasierte Evaluation von enormer Wichtigkeit, um die Diversität und Qualität von Evaluationen zu fördern. 

13:00 – 13:15 Verabschiedung und Ende der Tagung
 

Mit der Ausbreitung der Corona-Pandemie in Entwicklungs- und Schwellenländern steht die internationale Gemeinschaft vor neuen globalen Herausforderungen. Viele der in der Entwicklungszusammenarbeit, humanitären Hilfe und Stabilisierung tätigen Organisationen haben Maßnahmen ergriffen, um die negativen Folgen der Pandemie in den betroffenen Ländern einzudämmen. Vor diesem Hintergrund ergeben sich auch neue Rahmenbedingungen für die Evaluierung in der EZ und humanitären Hilfe. Auf der einen Seite steht Evaluierung vor der Aufgabe Evidenz für eine wirksame Gestaltung der Maßnahmen bereitzustellen, gleichzeitig ergeben sich weitreichende Konsequenzen für die Umsetzung von Evaluierungen - sowohl für die inhaltliche und methodische Ausrichtung als auch aus ethischen und finanziellen Gesichtspunkten.

Die Veranstaltung zielte darauf ab, konkrete Auswirkungen von COVID 19 auf die Evaluierung in der Entwicklungszusammenarbeit, humanitären Hilfe und Stabilisierung aus unterschiedlichen Perspektiven zu beleuchten und mit einem breiten Publikum zu diskutieren. Eingeladen waren Vertreterinnen und Vertreter aus Ministerien, staatlichen Durchführungsorganisationen, Wissenschaft, nicht staatlicher Zusammenarbeit und Evaluator*innen, die in Kurzvorträgen auf folgende Fragestellungen eingingen:

1. Welche inhaltlichen Veränderungen bzw. Verschiebungen von Prioritäten ergeben sich für die Arbeit in der EZ, humanitären Hilfe und Stabilisierung aufgrund der Corona-Pandemie?
2. Welche Auswirkungen haben diese Veränderungen auf die Umsetzung von (laufenden und geplanten) Evaluierungen?
3. Gibt es gute/innovative Beispiele für die Durchführung von Evaluierungen vor dem Hintergrund der Corona-Pandemie?

Den Auftakt machte Daniel Ramge, Referatsleiter S 06 (Evaluierung) im Auswärtigen Amt, der auf die Veränderungen bei Evaluierungen in der humanitären Hilfe und Stabilisierung einging. Nachfolgend berichtete Claudia Gottmann, Referentin Ref. 105 (Evaluierung und Ressortforschung, DEval, DIE) im Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) zu den Auswirkungen der Pandemie auf die Evaluierungen in der staatlichen Entwicklungszusammenarbeit.

Die Sichtweise der Wissenschaft wurde von Jörg Faust, Direktor des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) vertreten, der sowohl über Anpassungen bei laufenden Evaluierungen des DEval als auch über die Aktivitäten in der internationalen Evaluierungscommunity berichtete.
Anschließend stellte Jochen Kluve, Head of Evaluation der KfW Entwicklungsbank, als Vertreter einer der großen Durchführungsorganisationen die Veränderungen und Reaktionen auf COVID-19 im Evaluierungssystem der KfW Entwicklungsbank vor. Für die nichtstaatliche Entwicklungszusammenarbeit berichteten Kirsten Wienberg, Sprecherin VENRO AG Wirkungsorientierung und Klaus Heinle, Leiter L4 Evaluierung in der Hanns-Seidel-Stiftung über die Herausforderungen, welche die Pandemie für Evaluierungen der Nichtregierungsorganisationen und bei der politischen Hanns-Seidel-Stiftung mit sich bringt. Den Abschluss bildeten die Vorträge von Michael Lieckefett, Evaluation Manager bei Particip GmbH und Marie-Carin von Gumppenberg, freie Gutachterin, die als Auftragnehmende und Durchführende von Evaluierungen über konkrete Erfahrungen in der Umsetzung von Evaluierungen in Zeiten der Pandemie berichteten.

Die Teilnehmenden der Veranstaltung hatten die Möglichkeit über den Chat Rückfragen an die Vortragenden zu stellen. Zu jedem Vortrag wurde eine Frage ausgewählt, die direkt beantwortet wurde, die anderen Fragen wurden nachträglich von den Vortragenden schriftlich bearbeitet. Die vollständige Dokumentation der Fragen und Antworten kann hier nachgelesen werden.

(Thorsten Bär und Kirsten Vorwerk, Sprecher und Sprecherin des AK Entwicklungspolitik und Humanitäre Hilfe bei der diesjährigen Frühjahrstagung in Bonn. Foto: Ruth Fuchs)

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2020 des AK Entwicklungspolitik und Humanitäre Hilfe.

Am 05. und 06. März 2020 fand in Bonn die Frühjahrstagung statt, welche von Deutschen Akademischen Austauschdienst (DAAD) ausgerichtet wurde.

Donnerstag, 05. März 2020

Christiane Schmeken (DAAD) sowie der Sprecher des AK-Epol-HuHi, Thorsten Bär (World Vision), begrüßten zunächst die Teilnehmenden der Frühjahrstagung.

10:20 - 11:00 The frontier of Monitoring for development and humanitarian goals
Masahiro Igarashi (UNEG/FAO) gab in seinem Vortrag einen Überblick über wichtige Aspekte eines qualitativ hochwertigen Monitoringansatzes. Er wies darauf hin, dass im Monitoring sowohl qualitative als auch quantitative Informationen erhoben werden müssen. Zudem sollten Wechselbeziehungen zwischen Maßnahmen Ergebnissen, Wirkungen sowie anderen verbundenen Faktoren im Blick gehalten werden. Dabei sei es wichtig, den dynamischen Wandel eines Kontextes zu monitoren. Monitoring sollte in Wissensmanagementsprozesse eingebettet sein. Ein erfolgreiches Monitoringsystem ist nach Igarashi eine Grundvoraussetzung eines Adapative-Programming Ansatzes, welcher auch verschiedene Risikoszenarien miteinbezieht.

11:00 - 12:30 Gruppenarbeit „Posterzeit“
Anschließend an den ersten Vortrag erarbeiteten die Teilnehmenden in interaktiver Gruppenarbeit Poster zu Gütekriterien, Standards und Anforderungen an Monitoring. Diese wurden zuerst getrennt von den Gruppen der Gutachtenden und Auftraggeber erarbeitet. Im Anschluss präsentierten die Gruppen sich gegenseitig in Kurzvorträgen die Ergebnisse.

14:00 - 14:45 Wie digitales Denken als methodischer Ansatz das heutige Projektmonitoring verbessert
Felipe Isidor Serrano und Olaf Haasner von MainLevel präsentierten in ihrem Vortrag, inwiefern die Kluft zwischen Anspruch und Realität von Projektmonitoring mit der Theorie des digitalen Denkens zu verringern ist. Gemäß den Referierenden kann digitales Denken die in der Projektarbeit häufig fehlenden Verknüpfungen zwischen Indikatoren und Daten verbinden. In dem die Datenstruktur mitbedacht wird, werden die Indikatoren operationalisierbar. Durch den Aufbau eines digitalen Monitoringsystems kann zudem erreicht werden, die Datenstrukturen für das Projektmonitoring aufzubauen und die benötigten Daten für jeweilige Indikatoren im Voraus zu bestimmen. Zudem können über digitale Tools (z.B. Dashboards) jederzeit Auswertungen der Indikatoren mit den bereits vorhandenen Daten umgesetzt werden.

14:45 - 15:30 Wissensmanagement: Grundlagen, Tipps und Maximen
Ulrich Schmidt von der Gesellschaft für Zwischenlagerung (BGZ) beleuchtete in seinem Vortrag verschiedene Ansätze und Perspektiven auf die Konzeption und Realisierung von Wissensmanagement. In seinem Vortrag präsentierte Schmidt sieben Leitlinien für einen erfolgreichen Umgang mit Wissen und erläuterte beispielsweise, dass Wissen immer an den Menschen gebunden ist, ohne den aktiven Menschen wird nur Information gemanagt.  In einer Zusammenfassung nannte er zwei verschiedene Ansätze zur Umsetzung von Wissensmanagement: Wissen einerseits verstanden als Erkenntnisstand und andererseits im Sinne eines Lösungswegs. Die sieben Leitlinien sollen darüber hinaus dazu dienen, eine wissensorientierte Unternehmensorganisation zu ermöglichen.

16:00 - 16:45 Wirkungsorientiertes Monitoring auf institutioneller Ebene – Herausforderungen und Lösungsansätze
Ruth Fuchs, Daniel Lechner und Mareike Fehling vom Deutschen Akademischen Austauschdienst (DAAD) legten in ihrer Präsentation dar, welche Kernelemente das institutionelle wirkungsorientierte Monitoring im DAAD ausmachen und inwiefern ein Mehrwert in diesem zu finden ist. Die Referierenden haben die verschiedenen Prozessschritte dargestellt von der Ausgangssituation bis hin zur Projektkonzeption und einem Ausblick über nächste Schritte und Herausforderungen. Da es sich um einen komplexen Veränderungsprozess auf Ebene der Gesamtorganisation handelt ist beispielweise eine klare Steuerungsstruktur von Nöten. Ebenso sind passgenaue IT-Lösungen von großer Wichtigkeit für den Erfolg des M&E Systems. 

16:45 - 18:00 Monitoring im Realitätscheck: Zwischen Anspruch und Umsetzbarkeit
In einer von Susanne von Jan (Sprecherin des AK Epol HuhHi) geführten Fishbowl-Diskussion wurden die wichtigsten Aspekte des ersten Tages zusammengetragen und mit dem Plenum diskutiert. Es wurden insgesamt 3 Fragen gestellt, zu denen sich die Teilnehmenden positionieren konnte. Die Fragen richteten sich an (1) die Rolle von qualitativen Daten im Monitoring, (2) die Rechtzeitigkeit qualitativ hochwertiger Daten und (3) die Möglichkeit, Empowerment der Zielgruppen durch das Monitoring selbst zu ermöglichen. So wurde unter anderem festgestellt, dass durch einen Fokus auf qualitative Daten ein stärkerer Bezug zur Projekt- und Feldebene hergestellt werden kann und Narrative beispielsweise für die politische Kommunikation besser genutzt werden können. Wenn es um die Rechtzeitigkeit qualitativ hochwertiger Daten geht, so wurde unter anderem erörtert, dass der Zeitpunkt der Evaluationen entscheidend ist, damit während eines noch laufenden Projekts ggf. Umsteuerungsmaßnahmen greifen können. Als letzter Punkt in der Diskussion wurde erörtert, dass im besten Fall die Fähigkeit der Zielgruppen zur Selbststeuerung durch das Monitoring gefördert wird.

18:00-18:15 Ausblick & Organisatorisches

Freitag, 06. März 2020

Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Kirsten Vorwerk, Sprecherin des AK-Epol HuHi (DEval) begrüßt.

09:15 - 10:00 Monitoringdaten: Nutzung und Lernen
David Schmid von der GIZ referierte über den Nutzen von Monitoringdaten und zeigte, dass nicht nur die Bereiche Rechenschaft und Steuerung durch Monitoring abgedeckt werden können, sondern insbesondere auch das Lernen. Hierbei muss unterschieden werden, wer zu welchem Zweck lernen soll, was Schmid durch das Aufzeigen von Kompetenz- und Kompetenzstufenmodellen der GIZ verdeutlichte. Darüber hinaus stellte er verschiedene Ansätze zum Lernen aus Monitoringdaten vor, u.a. durch Standardisierung, Digitalisierung, interaktive Lernformate (z.B. auch Blended Learning), strategische Kompetenzentwicklung sowie auch durch agilere Anwendungen (siehe z.B. Prinzipien von Kooperation und Führung).

10:30 – 12:00 Werkstattgespräche:
a) Monitoring in der HuHi: Status Quo und Überlegungen für die Zukunft
• Thomas Rottland (CARE): Monitoring im Kontext von humanitärer Hilfe am Beispiel von CARE in Nordwestsyrien
• Moderation: Peter Hermes (Auswärtiges Amt)

b) Tools und Tipps: Erfahrungen zum Aufbau von Monitoring Kapazitäten
• David Vossebrecher (Rosa Luxemburg Stiftung): „Mühsam ernährt sich das Eichhörnchen“ - Monitoring-Capacity Aufbau im ZID
• Britta Gentsch (GFA) und Julia Krömer (Europäische Kommission/GFA): Strengthening EC DEVCO systems  for monitoring and reporting
• Moderation: Robert Heine (energypedia-consult)

c) Was kommt nach dem Bericht? Wirkungsmodelle und Monitoring von Evaluierungsarbeit
• Dorothea Giesen-Thole (GIZ): Theorie des Wandels für Evaluierungen der GIZ
• Line Winterhoff (DEval): Wirkungsgefüge als Grundlage für Monitoring-Systeme: Wie kann ein Wirkungsgefüge in der Evaluierung genutzt werden?
• Moderation: Claudia Gottmann (BMZ)

Unter folgendem Link können Sie eine Fotodokumentation der vorgestellten Poster aus diesem Werkstattgespräch einsehen.

12:30 - 13:00 Abschluss-Session: Podiumsdiskussion zur Zusammenfassung der Erkenntnisse
In der abschließenden Podiumsdiskussion wurden die zentralen Thesen und Erkenntnisse der Veranstaltung reflektiert und zusammengefasst. Sowohl die Teilnehmenden der Frühjahrstagung als auch die Podiumsgäste hatten die Möglichkeit unter einer Vielzahl von Schlagworten zentrale Standards und Anforderungen, welche an Monitoring zu stellen sind, auszuwählen.
Die wichtigsten Schlagworte in der Online-Umfrage beim Plenum waren:
• Partizipation
• Angemessenes Aufwand-Nutzen-Verhältnis
• Datenqualität
• Nützlichkeit für das Lernen
• Nützlichkeit für Steuerung
Durch die Podiumsgäste wurden die folgenden Schlagworte ausgewählt: Nützlichkeit, Datenqualität, Pragmatismus, Partizipation und Ethik und Empowerment. Diese wurden dann im Kontext von verschiedenen Positionen - beispielsweise aus consulting-Perspektive oder aus NRO-Perspektive – erörtert und kontextualisiert.

Quelle: Belli, Luisa (2019): Präsentation im Rahmen der Frühjahrstagung des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe der DeGEval

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2019 des AK Entwicklungspolitik und Humanitäre Hilfe. Ein umfangreicher Artikel über die Frühjahrstagung 2019 ist in der Zeitschrift für Evaluation (ZfEv) Heft 2/2019 erschienen und kann hier abgerufen werden (Quellenangabe: Wein, S., Bär, T, Dawit, S., von Jan, S. & Schmid, M. (2019): Frühjahrstagung des Arbeitskreises Entwicklungspolitik und Humanitäre Hilfe der DeGEval. In: Zeitschrift für Evaluation, 2, 327-334.). 

Am 27. und 28. März 2019 fand in Köln die Frühjahrstagung statt, welche von dem ICON-INSTITUTE ausgerichtet wurde.

Mittwoch 27. März 2019
Dr. Tanja Lingohr und Barbara Wirth-Bauer (ICON-INSTITUTE) sowie der Sprecher des AK-Epol-HuHi, Thorsten Bär (World Vision), begrüßten die Teilnehmenden der Frühjahrstagung.

10:45-11:30 Einführung in Capacity Development und Überlegungen zur Evaluation dieses Konzepts
Luisa Belli von der Food and Agriculture Organization (FAO) gab mit ihrem Vortrag einen Überblick über das Konstrukt Capacity Development mit den drei verschiedenen Ebenen des Individuums, der Organisation und des Systems. Sie nannte die jeweiligen Inhalte der Ebenen und erläuterte deren Beziehung zueinander sowie Faktoren, welche für die Evaluation der Wirkung von CD in entwicklungspolitischen Kontexten förderlichen beziehungsweise hinderlich sind.

Anschließend an den ersten Vortrag erarbeiteten die Teilnehmenden in interaktiver Gruppenarbeit Mind-Maps zu den drei Ebenen des Capacity Development. Im Laufe der Tagung erfolgte eine Erweiterung der Mind-Maps um die neuen Inhalte aus den folgenden Präsentationen und einer Zusammenfassung der Ergebnisse durch die Rapporteure am Ende der Tagung.

14:00-14:45 Individuelles Capacity Development messen: Capacity Development im Rahmen eines entwicklungspolitischen Freiwilligendienstes
Martin Bruder vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) leitete mit der Vorstellung einer Evaluation zur Wissens-, Kompetenz- und Einstellungsveränderung von Weltwärts-Teilnehmenden in die Messung von Capacity Development auf individueller Ebene ein.

14:45 – 15:30 Die individuelle Ebene: Evaluation eines Projekts zur beruflichen Bildung in Vietnam
Dorothee Mack von MISEREOR und Ralf Lange von FAKT präsentierten eine weitere Evaluierung zur Messung von CD auf individueller Ebene im Bereich beruflicher Bildung. Dabei stellten sie die angewandte partizipative Vorgehensweise und konkrete Methoden aus dem mehrstufigen Verfahren vor.

16:20 – 17:05 Organisationales Capacity Development messen, eine Perspektive aus der Organisationssoziologie
Dr. Helmut Brentel beleuchtete in seinem Vortrag Capacity Development aus der Perspektive der Organisationssoziologie, wobei er defensive Routinen und die Auflösung dieser durch produktives Lernen und intervenierende Techniken hervorhob. Diese unterstützten auch den Übergang von instrumentellem Einschleifen zu produktiven Zweischleifen-Lernen. In diesem Zusammenhang ging er näher auf positive Einflussfaktoren wie beispielsweise die Unterstützung der Führungskraft ein.

17:05 – 17:50 Die organisationale Ebene: Learning Organisations: How Evaluation can inform the Development of Capacities in Organisations
Gemeinsam mit seinem Kollegen Kalifa Traoré legte Christophe Dietrich vom ICON-INSTITUTE in seiner Präsentation dar, welche positiven Faktoren für das Etablieren von Capacity Development in Organisationen beachtet werden sollten und wie Evaluation dabei den Lernprozess unterstützen kann.

18:20 – 18:35 Ausblick & Organisatorisches

Donnerstag, 28. März 2019
Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Thorsten Bär (Sprecher AK-Epol) begrüßt.

09:15 – 10:00 Die systemische Ebene: Measuring Capacity of Networks and Cooperations in the Gender Based Violence Sector
Lennart Raetzell und Birgit Alber von Syspons referierten über die Messung von Capacity Development auf systemischer Ebene anhand einer durchgeführten Baseline-Studie über die Kooperation verschiedener Akteure zur Gewaltprävention im südlichen Afrika, wobei spannende Methoden zum Einsatz kamen.

10:50 – 12:30 Werkstattgespräche:
a) Evaluation von Capacity Development in der Humanitären Hilfe und in fragilen Kontexten.

• Janine Lietmeyer, Malteser: Gemeinschaftsevaluierung mit Islamic Relief und Welthungerhilfe zur grenzüberschreitenden Nothilfe in Syrien.
• Petra Kiel, Christoffel-Blindenmission (CBM): Bedarfsanalyse und Evaluation eines CD-Projektes zur Stärkung der Zivilgesellschaft und lokaler Verwaltungen in Sri Lanka.
• Moderation: Dr. Markus Moke, Aktion Deutschland Hilfe (ADH)

b) Evaluation von Capacity Development in der Entwicklungszusammenarbeit.

• Catrina Schläger, Friedrich-Ebert-Stiftung (FES): Evaluation des Nachwuchsförderprogrammes „Agentes de Cambio“
• Dr. Ursula Esser, Institut für Bildung, Entwicklung und Beratung (BEB): Capacity Development Assessment für die Pestalozzi Children Foundation
• Moderation: Dr. Bernhard Hoeper, Welthungerhilfe (WHH)

c) World Café: Monitoring und Evaluation von Evaluation Capacity Development.

• Moderation: Nikolaus Rentrop, Alteri

14:00 – 14:30 Abschluss-Session: Zusammenfassung der Erkenntnisse der Tagung & Diskussion
Für die abschließende Schlussrunde, in welcher die zentralen Erkenntnisse aus den Gruppenarbeiten der Tagung reflektiert und zusammengefasst wurden, rapportierten die Rapporteure:

• Julia Kahrl, Auswärtiges Amt
• Iskander Chemli, ICON-Institute
• Jens Koy, freier Berater und Evaluator
• Moderation: Susanne von Jan (Hanns-Seidel-Stiftung), Sprecherin AK-Epol

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2018 des AK Entwicklungspolitik und Humanitäre Hilfe. Ein umfangreicher Artikel über die letzte Frühjahrstagung 2018 ist in der Zeitschrift für Evaluation (ZfEv) Heft 2/2018 erschienen und steht Ihnen hier zur Verfügung (Quellenangabe: Schmid, M., O´Brien, A., Bär, T. & von Jan, S. (2018): Frühjahrstagung zum Thema Relevanz des AK-Entwicklungspolitik und Humanitäre Hilfe in Bad Homburg. In: Zeitschrift für Evaluation, 2, 407-413.).

Am 11. und 12. April 2018 fand auf Schloss Bad Homburg die Frühjahrstagung statt, welche von der GOPA Consulting Group ausgerichtet wurde.

Mittwoch 11. April 2018

Berthold Averweg (GOPA), Heike Happerschoss (GOPA) und der Sprecher des AK-Epol-HuHi, Thorsten Bär (World Vision), begrüßten die Teilnehmenden der Frühjahrstagung.

10:45-12:00 Die DAC-Kriterien im Zeitalter der SDG
Jörg Faust und Ida Verspohl (DEval) hielten einen Vortrag mit einem Überblick über aktuelle Diskussionen im Zusammenhang mit den fünf DAC-Kriterien und deuteten sowohl auf deren Stärken als auch auf mögliche Anpassungen hin.

An den ersten Vortrag schloss der freie Berater Bernward Causemann an, der seine Thesen bezüglich der DAC-Kriterien im Zeitalter der SDG präsentierte.

13:15-15:00 Stationengespräche Relevanz
Die Teilnehmenden diskutieren in Kleingruppen an insgesamt 12 Stationen grundlegende Fragestellungen zum Relevanzkriterium.

15:00 – 15:35 Evaluation von Relevanz in der EZ: Praxis und Reformbedarf
Elias Sagmeister von Ground Truth Solutions schrieb seine Dissertation über das DAC-Kriterium Relevanz. In seinem Vortrag präsentierte er seine Erkenntnisse über die Bewertung der Relevanz in der Entwicklungszusammenarbeit.

16:05 – 16:40 Relevance and Appropriateness in Evaluation of Humanitarian Action
Neil Dillon vom ALNAP-Netzwerk referierte über Gegebenheiten und wesentliche Aspekte der Evaluation von Relevanz und Angemessenheit im Feld der Humanitären Hilfe.

16:40 – 16:50 Flüstergruppe
Die Teilnehmenden erarbeiten Fragestellungen für die anschließende Fisbowl-Diskussion.

16:50 – 18:30 Fishbowl-Diskussion
Die beiden Referenten Elias Sagmeister und Neil Dillion beantworteten die Fragen aus der Flüstergruppe, die von Teilnehmenden auf das Podium getragen wurden. Die Diskussion wurde von AK-Sprecherin Susanne von Jan (Hanns-Seidel-Stiftung) moderiert.

18:15 – 18:30 Ausblick & Organisatorisches

Donnerstag, 12. April 2018

Um 09:00 Uhr begann der zweite Tagungstag und die Teilnehmenden wurden durch Thorsten Bär (Sprecher AK-Epol) begrüßt.

09:15 – 10:00 Die Relevanz von Relevanz – Beobachtungen aus sieben Meta-Studien zu Stellenwert, Analyse und Bewertung des OECD-DAC Kriteriums Relevanz in Evaluationen
Stefan Silvestrini, Geschäftsführer der CEval GmbH, referierte über die durchgeführten Meta-Studien und beschrieb den Stellenwert des Relevanzkriteriums. Darüber hinaus erläuterte er Auffälligkeiten bei den Relevanzbewertungen in Projektevaluationen.

10:20 – 12:00 Werkstattgespräche:
a) Evaluierungsbeispiele Relevanz – in der Entwicklungszusammenarbeit und Humanitären Hilfe.
• Harriet Lange, Plan International Deutschland e.V.: Darstellung der Evaluierung des Programms „Safer Cities for Girls“.
• Markus Moke, Aktion Deutschland Hilft (ADH): „Gemeinschaftliche Evaluierung: Hurrikan Matthew auf Haiti, Oktober 2016“.
• Moderation: Bernhard Hoeper, Deutsche Welthungerhilfe e.V.

b) Diskussionsrunde Auftragnehmer & Auftraggeber zum Relevanz-Kapitel
• Ulrike Haffner und Benjamin Bräuer, Gesellschaft für internationale Zusammenarbeit mbH: „Das Kriterium der Relevanz im Konzept der Zentralen Projektevaluierungen (ZPE) der GIZ“
• Moderation: Heike Happerschoss (GOPA)

13:45 – 15:00 Abschluss-Session: Zusammenfassung der Erkenntnisse der Tagung & Diskussion
Für die abschließende Schlussrunde, in welcher die zentralen Erkenntnisse in Bad Homburg reflektiert und zusammengefasst wurden, befanden sich auf dem Podium:
• Elias Sameister, Ground Truth Solutions
• Heike Happerschoss, GOPA
• Anja Scherkus, Rosa-Luxemburg-Stiftung
• Moderation: Susanne von Jan (Hanns-Seidel-Stiftung), Sprecherin AK-Epol

Tagungsthema: Die Rolle der SDGs für Monitoring und Evaluation von Projekten der Entwicklungszusammenarbeit und der Humanitären Hilfe am Beispiel Klima und Umwelt (SDG 13 und 15)

Am 29. und 30. Juni 2017 fand bei der GIZ in Bonn die Frühjahrstagung des AK Entwicklungspolitik zum Thema SDG statt.

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2017 des AK-Epol sowie die Präsentationen der ReferentInnen. Eine etwas ausführlichere Dokumentation finden Sie hier.

Donnerstag 29.06.2017

Claudia Kornahrens, Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), und Susanne von Jan, Sprecherin des Arbeitskreises Entwicklungspolitik (AK-Epol) der DeGEval, begrüßten die diesjährigen Teilnehmenden der Tagung.

11.15-12.15 Einführung in die SDGs – Die deutsche Nachhaltigkeitsstrategie 2017 – Anstöße der Agenda 2030 und Anforderungen an die Evaluierung (Imme Scholz)

Imme Scholz vom Deutschen Institut für Entwicklungspolitik (DIE) hielt den Eröffnungsvortrag. Sie vermittelte einen Überblick über den derzeitigen Stand der Indikatorenentwicklung zu den 17 SDGs mit Fokus auf die SDGs 13 und 15.

13.40-14.25 Die Rolle der SDG für M&E von EZ-Projekten – Ansatzpunkte aus Sicht der GIZ (Susanne Milcher, David Schmid)

Susanne Milcher und David Schmid, beide GIZ, stellten die Rolle der SDGs für Monitoring und Evaluation von Projekten der Entwicklungszusammenarbeit aus Sicht der GIZ vor.

14.25 – 17.15 World Café – Diskussion über die Rolle der SDG für P, M&E von Projekten aus EZ und HH

Im Rahmen eines „World Café“ wurde von den Teilnehmern die Rolle der SDGs für Planung, Monitoring und Evaluation von Projekten aus Entwicklungszusammenarbeit und Humanitäre Hilfe diskutiert.

Die Ergebnisse der Diskussionsgruppen wurden im Plenum vorgestellt.

17.15 – 18.00 Die Evaluation der Internationalen Klimaschutzinitiative des BMUB

Andreas Obser und Günter Schmidt, GFA Consulting Group, stellten die Evaluation der Internationalen Klimaschutzinitiative des BMUB vor.

18.00-18.30 Zusammenfassung, Einführung in das Abendprogramm und Verabschiedung (Thorsten Bär, Sprecher AK Epol)

Freitag, 30. Juni 2017

9.00-9.45 Die amtliche Statistik und das Monitoring der SDG (Miriam Blumers)

Miriam Blumers, Statistisches Bundesamt, hielt einen Vortrag zur amtlichen Statistik und dem Monitoring der SDG.

9.45-12.00 Arbeitsgruppen/Werkstattgespräche und Ergebnispräsentation

Die Teilnehmenden nahmen entsprechend ihrer Interessensgebiete an einem der drei Werkstattgespräche teil. Folgende Themen wurden, jeweils begleitet durch den Input der entsprechenden FachreferentInnen, vertiefend diskutiert:

a)    Die Rolle des SDG 13 für Entwicklungszusammenarbeit und Humanitäre Hilfe – Einblicke in M&E von Projekten im Bereich Klima & Katastrophenvorsorge
•    Jürgen Clemens, Malteser International
•    Adrien Detges, adelphi research
•    Bernhard Hoeper, Deutsche Welthungerhilfe

b)    Die Rolle des SDG 15 für die Entwicklungszusammenarbeit – Einblicke in Erhebungsmethoden für M&E von Projekten im Bereich Biodiversität und Umwelt
•    Elke Mannigel, OroVerde
•    Friedrich Wulf, Pro Natura

c)    Werkstattgespräch des AK Umwelt - Methoden zur Messung von Klimaschutzzielen und Umweltindikatoren
•    Dominik Jessing, Institut für Energie- und Umweltforschung Heidelberg (IFEU)
•    Reinhard Zweidler, Bundesamt für Umwelt Schweiz (BAFU)

Die Ergebnisse der Werkstattgespräche wurden anschließend in der Großgruppe präsentiert.

12.00-13.00 Abschlussdiskussion

Eine Abschlussdiskussion wurde mit den folgenden Podiumsgästen durchgeführt:

•    Sven Harten, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)
•    Sven Kaumanns, Statistisches Bundesamt
•    Pedro Morazán, Südwind e.V.
•    Michaela Zintl, Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)
•    Moderation: Susanne von Jan (Hanns-Seidel-Stiftung)

Tagungsthema: Monitoring & Evaluierung in fragilen Kontexten.
Was tun in Afghanistan, Syrien, Sierra Leone…?

Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2016 des AK-Epol. Eine ausführliche Dokumentation finden Sie im Tagungsprotokoll.

Donnerstag, 14. April 2016
10.45-11.15 Begrüßung durch Klaus Altemeier und Jens Koy

Dr. Klaus Altemeier, Geschäftsführer der GFA Consulting Group GmbH und Jens Koy, Sprecher des AK Entwicklungspolitik der DeGEval begrüßen die diesjährigen TeilnehmerInnen der Tagung.

Dr. Klaus Altemeier: Begrüßung und Vorstellung der GFA Consulting Group (siehe auch Präsentation) 

• Vorstellung der GFA-Arbeit im Bereich M&E. Seit 2015 gibt es eine eigene fachliche Unit in der GFA zu „Monitoring und Evaluierung“, die innerhalb der Abteilung „Public Finance Management“ angesiedelt ist.

• Kurzer Überblick über GFA-Arbeit in fragilen Staaten. Die GFA ist weltweit tätig, somit auch bspw. in fragilen Kontexten in Afghanistan, im Irak oder im Südsudan. Zahlreiche GFA-Mitarbeiter sind lang- oder kurzfristig in diesen Ländern tätig. Ein Teil der GFA-Arbeit in Afghanistan im Bereich M&E wird nachmittags in einem Werkstattgespräch der Tagung vorgestellt.

Jens Koy: Vorstellung des AK Entwicklungspolitik, Einführung ins Tagungsthema

11.15-11.30 AG Neue Technologien in M&E des AK-Entwicklungspolitik (Rosilin Bock, Robert Heine)

Rosilin Bock und Robert Heine stellen das Ziel der AG sowie die bisherigen Arbeitsschritte und -ergebnisse vor:

• Fokus der AG: Nutzung von Information und Communication Technology (ICT) für M&E
• Die AG besteht aktuell aus ca. 10 Personen, die sich monatlich austauschen.
• Die AG organisiert sich über die Web-Plattform WebMo.
• Die HauptansprechpartnerInnen der AG sind Rosilin Bock und Robert Heine.

Die AG freut sich auch über neue interessierte Mitglieder. Interessenten können sich an die beiden o.g. AnsprechpartnerInnen wenden, oder sich mit Verweis auf den/die AnsprechpartnerIn registrieren: www.Akepol.webmo.info

11.30-12.30 Monitoring & Evaluierung in fragilen Kontexten – Einführung in die Herausforderungen und die aktuelle Diskussion (Jörg Faust)

Prof. Dr. Jörg Faust, Direktor des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) führt in das Tagungsthema ein.
Für eine ausführliche Dokumentation siehe das Tagungsprotokoll und die entsprechende Präsentation.

Zusammenfassung:

• Es bestehen definitiv große Herausforderungen bei Evaluierungen in fragilen Kontexten.
• Gleichzeitig nimmt ihre Relevanz jedoch stark zu.
• Eine umfassende Kontextanalyse ist dabei zentral.
• Anspruchsvolle Evaluierungen sind mit geeigneten Methoden möglich, können jedoch hohe Kosten erfordern.
• Der Evaluierung werden klare Grenzen durch existierende Sicherheitsrisiken und eine Einhaltung des Do No Harm-Prinzips gesetzt.

12.30-13.00 Versicherungen – Informationen zu Versicherungen für Gutachterinnen und Gutachter sowie Auftraggebende, die in fragilen Kontexten arbeiten

Claus-Helge Groß der BDAE Holding GmbH gibt einen kurzen Überblick über den nötigen Versicherungsschutz freier Evaluatoren in fragilen Kontexten (siehe auch Präsentation).

• Auslandskrankenversicherung: Es ist immer nötig, zu überprüfen, ob bei der KV ein passives Krisen/ Kriegsrisiko mitversichert ist.  
• Entführung und Lösegeldversicherung: Eine Entsprechende Versicherung für den Schadensfall deckt nicht nur eine potenzielle Lösegeldforderung ab, sondern managt im Entführungsfall auch den gesamten Prozess bis hin zur Freilassung.

18.00-18.30 Kurzvorstellungen aus den Werkstattgesprächen, AGs und dem Sicherheitstraining im Plenum im linken blauen Haus

a.    Humanitäre Hilfe und EZ - Erfahrungen mit M&E in fragilen Kontexten (DRK und WHH) (siehe auch Fotodokumentation)

• Stabilisierende Faktoren und destabilisierende Faktoren
• Evaluierungen erfüllen hier vor allem eine Kontrollfunktion und dienen der Urteilssicherheit
• Erkenntnisgewinn: Blick nach außen ist genauso wichtig wie der Blick von außen. Die Auftraggeber haben oftmals auch ein Interesse zu erfahren – wie machen es andere in ver-gleichbaren Kontexten?
• Aufbau lokaler Wissenssysteme
• Evaluierungen über Inter Agency Cluster organisieren, nicht so sehr über unseren Input
• Syrien: große Herausforderung, den Datenanforderungen gerecht zu werden. Bilder und GPS- Daten bieten Ansatzpunkte.

b.    M&E von Advocacy-Arbeit und Pressefreiheit in fragilen Staaten / M&E von Frauenrechtsarbeit (siehe auch Präsentation)

• Gender based violence als besondere Form von Fragilität
• In diesen Fällen sind nur langfristige Wirkungen beobachtbar, frühestens nach 10 Jahren
• In Evaluierungen sollte man Empowerment und Selbstwirksamkeit beobachten und dies in M&E-Systeme direkt mit einbauen.
• Das Evaluationsdesign muss zu den Menschen im Projekt und dem Kontext passen. Es kann sinnvoll sein, holistische Mehrebenenansätze anzuwenden.

c.    „Good enough monitoring“ (Bsp. Afghanistan, siehe auch Präsentation)

“Blitzlichter” aus der Diskussion:

• Je höher die Fragilität des Kontextes, desto höher die Eintrittswahrscheinlichkeit der ange-nommenen Risiken
• Umso komplexer das Umfeld und das Projekt selbst, umso einen höheren Detailierungsgrad hat das Monitoringsystem.
• Im fragilen Kontext braucht man viel Flexibilität in Bezug auf die theory of Change und in Bezug auf die Wahl der Indikatoren.
• Die Einbindung der Partner vor Ort ist entscheidend: Wie viel ist nötig und möglich? Man muss den richtigen Grad finden, um die staatliche Funktionalität von politischen Partnern angesichts der starken Geberpräsenz und -fragmentierung im Land nicht unnötig zu belasten.

d.    SMS, Geocoding, Digital Data Entry mit Tablet und Smartphone: 3 Impulsreferate (u.a. Live-schaltung aus Nairobi, siehe Präsentation von SAVE, Plan, ona (a und b))

• Überblick über Stärken und Schwächen von bestehende Tools als Teil von remote Manage-ment in humanitären Kontexten: Z.B. Telefon, SMS, Geocoding, Tablet, die Teil eines erstellen Toolkits des Global Public Policy Insitute sind
• Es wurde ein cloud-basiertes Monitoring System von Plan International vorgestellt.
• Fallstudie eines Third Party Monitoring eines  innovativen Projektes für DFID Somalia mit dem Ziel, ein allumfassendes M&E System der Katastrophenhilfeprogramme zu entwickeln. Der 145 Mio £ schwere Fonds beinhaltet 34 Partner und über 100 lokale Partnerorganisatio-nen.
• Herausforderung bei der Nutzung von ICT für die Evaluierung für die PO: Es ist nicht nur eine Auseinandersetzung mit Logframe/Wirkungslogik etc. nötig, sondern zusätzlich eine Analyse geeigneter Software/Tools etc.
• Vorteil der Nutzung entsprechender Tools: hohe Zeit- und Geldersparnis

e.    Sicherheitstraining
Der Trainer des Sicherheitstrainings, Benjamin Beutekamp (BDAE / Human Resource Protection) appellierte daran, sich über erlebte Belastungen in Krisenländern immer auszutauschen, um Folgeschäden zu minimieren.

Freitag, 15. April 2016

09.00-10.45 Erfahrungen mit Evaluationen in verschiedenen fragilen Kontexten

Erfahrungen von GIZ und KfW mit Evaluierungen in Afghanistan
Claudia Kornahrens, Gesellschaft für Internationale Zusammenarbeit (GIZ) und
Prof. Dr. Eva Terberger, KfW-Bankengruppe

Für eine ausführlichere Dokumentation siehe die Power Point Präsentationen von GIZ und KfW.

• Projektfortschrittskontrollen heißen in der GIZ inzwischen Projektevaluierungen
• Vor der Evaluierung ist die Ziel- und Auftragsklärung essentiell: Was steht im Vordergrund, Rechenschaftslegung oder Lernorientierung?
• Realistische Ziele setzen!
• Festlegung des Evaluierungsgegenstands anhand des GIZ Wirkungsmodells
• Entsprechend dem Leitfaden für konfliktsensibles Monitoring sollen die Erfahrungen zusammengefasst werden.

Evaluierung der Ebola-Response von Brot für die Welt in Sierra Leone
Stefan Jansen, Iber-Consult/FAKT und Rosilin Bock, Brot für die Welt

Hintergrund:

• Die Ebola Dynamik wurde falsch eingeschätzt, internationale Hilfe kam zu spät
• Brot für die Welt  konnte auf ein gutes Netzwerk mit Partnerorganisationen vor Ort setzen
• 10 Mio. Funding für die Ebola-Response
• Bundle approach (Implementierung durch Konsortium der Partnerorganisationen)
• Intervention mit kirchlichen Mitteln und Mitteln des BMZ
• Nach einem halben Jahr wurde die Intervention evaluiert (BMZ Vorgabe)

Vgl. Power Point Präsentation, Vortrag Stefan Jansen

• Stefan Jansen wies auf die ethische Dimension der Evaluierung im Ebola-Kontext hin, insbe-sondere im Hinblick auf nationale Gutachtende, die zumeist ökonomischen Zwängen unter-liegen und im gegebenen Fallbeispiel einer erhöhten Gefahr ausgesetzt waren als der internationale Experte.
• Berücksichtigung von Do No Harm-Prinzipien stellte einen wichtigen Teil des Evaluierungsansatzes dar, insbesondere im Umgang mit traumatisierten Personen aus den Zielgruppen der Evaluierung (z.B. Ebola-Überlende).
• Stichprobe: 300-350 Personen

11.15-12.25 Abschlussdiskussion
mit Sibylle Braune (DRK), Bernd Bültemeier (FAO), Prof. Dr. Jörg Faust (DEval) und Dr. Karin Stahl (freie Gutachterin)

Der Anknüpfungspunkt für die Abschlussdiskussion war die vor der Tagung durchgeführte Online-Befragung der TagungsteilnehmerInnen bzgl. ihrer Meinung zu drei Statements (siehe auch Präsentation der Auswertung). Diese wurden hier wieder aufgegriffen und unter den vier Podiumsgästen diskutiert.  

Im Folgenden werden die Statements genannt, zu denen die Podiumsgäste diskutierten, eine ausführliche Darstellung findet sich im Tagungsprotokoll.

1. „Es ist unverantwortlich, internationale Gutachtende für Evaluierungen in fragile Staaten zu senden.“

2. „Die Kontextbedingungen sind so schwierig, dass man auf Eval. verzichten sollte.“

3. "Sind im fragilen Kontext spezielle Ansätze & Verfahren für Evaluierungen nötig?“

13.-14. April 2015

Gastgeber: Brot für die Welt – evangelischer Entwicklungsdienst, Berlin

Montag, den 13.4.2015

Als Mitglied des Sprecherteams begrüßte zunächst Fr. Dr. Neubert die rund 50 Tagungsteilnehmerinnen und –teilnehmer aus Wissenschaft, EZ-Organisationen, politischen Stiftungen und der Consultingwirtschaft. Sie bedankte sich bei den Gastgebern für die Räumlichkeiten und die Organisation.

Fr. Neubert stellte die zentralen Fragen der Tagung vor, die in den eineinhalb Tagen produktiv und kontrovers diskutiert werden sollten. Die Klärung dieser Aspekte sei zentraler Auftrag der anwesenden Evaluatoren und Institutionen.

• Sind unsere Evaluierungen viel zu technisch und zu langweilig, als dass die Öffentlichkeit sie wahrnimmt?

• Zur Optimierung von Evaluierungen sind technische Details notwendig - sollen Evaluierungsergebnisse überhaupt durch die Öffentlichkeit wahrgenommen werden?

• Ist die Öffentlichkeit überhaupt an der Wirksamkeit von Vorhaben interessiert?

• Wenn ja, soll an der Vermarktung der Ergebnisse gearbeitet werden?

Nach Vorstellung des Programms übergab Fr. Dr. Neubert an Jens Koy, der als Moderator durch den Tag führte.

Im ersten inhaltlichen Block stellte die AG Effizienz, vertreten durch Barbara Winker von der Kindernothilfe, Bernhard Hoeper von der Welthungerhilfe und Jens Koy, den aktuellen Stand der Handreichung „Effizienzbewertung in Evaluationen“ vor. Fazit der Überlegungen der AG sei, dass mit der Effizienzbewertung sofort begonnen werden könne. Im Zentrum stehe die Frage, was der Mitteleinsatz koste und welche alternativen Vorgehensweisen es gebe. Sie betonten, dass die Bewertung des Kriteriums nicht als Audit, sondern als Lerninstrument zu sehen sei (weiter & Präsentation).

Im Anschluss gab Alexander Kocks von der DEval einen Input zur Cost-Utility Analysis. Diese Methode eigne sich für Maßnahmen mit mehreren, nicht-monetären Outcomes. Um unterschiedliche Outcomes zueinander in Beziehung zu setzen, müssten diese unter Anwendung verschiedener Methoden in Nutzwerte transferiert werden. Dazu böte sich eine Zusammenarbeit mit der Zielgruppe an. (weiter….).

Nach der Mittagspause begann der Block zum eigentlichen Tagesthema: Sind Evaluationen grau und langweilig? Tilman Henke, Leitung des Vorstandsbereichs Finanzen, Organisation und internationale Personaldienste bei Brot für die Welt – evangelischer Entwicklungsdienst, begrüßte die Teilnehmer. Er betonte, dass Evaluierungen elementarer Bestandteil der Arbeit von Brot für die Welt als lernende Organisation seien. Empfehlungen und Ergebnisse würden aber oft nur von den unmittelbar Beteiligten genutzt. Wichtig sei es daher, Querschnitte zu anderen Gebern und den Partnern im Süden herzustellen. Für den Austausch mit der Öffentlichkeit sei die Aufbereitung in verständliche Sprache zentrales Kriterium. Zusätzlich sei die Nutzung neuer medialer Wege über Film oder interaktive Websites in Betracht zu ziehen.

In der Keynote betrachtete der freie Journalist Dirk Asendorpf die Frage, warum Medien nicht über Evaluierungen berichten würden. Unabhängige Medien könnten vor allem durch kontraintuitive, originelle Themen begeistert werden, wozu die anonymisierten, technischen und oft gesichtslosen Evaluierungen nicht passten. Außerdem berge die Veröffentlichung ein gewisses Risiko, da die Endredaktion nicht mitgestaltet werden könne. Ein großer Teil des Verwertungspotenzials bliebe somit ungenutzt (weiter…).

Im Anschluss boten parallel verlaufende Werkstattgespräche Raum für offene Diskussionen. Die zentralen Erkenntnisse wurden anschließend im Plenum präsentiert (weiter…).

1) Wie erreichen wir die Aufmerksamkeit der Medien? mit Dirk Asendorpf (freier Journalist)

2) Zur Perspektive der Humanitären Hilfe , mit Katja Maurer von Medico International

3) Veröffentlichung von Evaluierungsergebnissen - Gefahr oder Chance für spendensammelnde Organisationen? mit Matthias Lanzendörfer (Misereor), Bernhard Hoeper (Welthungerhilfe) und Thorsten Baer (World Vision Deutschland).

4) Von Evaluation erzählen – Welche Geschichten braucht ein Redakteur? – mit Gregor Jungheim (Magazin DIE STIFTUNG)

Dienstag, den 14.4.2014

Zu Beginn des zweiten Tages stellte Martina Vahlhaus von der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) die Realität der TZ-Evaluierung und die Organisation von Wahrnehmung dar. Die GIZ veröffentliche alle Ergebnisse in Form von Kurzberichten oder journalistisch aufgearbeiteten, übergreifenden Broschüren. Die Verbreitung würde durch Veranstaltungen, die Nutzung von Plattformen und enge Zusammenarbeit mit der Unternehmenskommunikation unterstützt. Zentrale Herausforderung seien wiederum die Sprache und Länge der Berichte im Allgemeinen und die Aufbereitung der DAC-Kriterien im Speziellen (weiter & Präsentation).

Im Anschluss berichtete Eva Terberger von der KfW Entwicklungsbank über die Farbigkeit von FZ Evaluierungen und deren eher graue Berichterstattung. Während die Inhalte in den Augen der Evaluierer/innen schillernd und interessant seien, interessiere sich kaum jemand anderes dafür. Die KfW wirke dem durch ein neues Berichtsdesign und eine verständliche Sprache in Kurzfassungen entgegen. Auch würde operatives Personal mit auf Evaluierungsmissionen entsendet, um Erfahrungen in das eigene Projektmanagement zu transferieren. Wichtig sei außerdem die zielgruppengerechte Aufbereitung. Abschließend plädierte sie für Bescheidenheit der Evaluierer/innen, da Entwicklungspolitik auch durch andere Faktoren maßgeblich beeinflusst würde (weiter & Präsentation).

In einer lebhaften Abschlussdiskussion wurden die Vorträge resümiert sowie offen geblieben Fragen formuliert. Vor allem standen dabei der Fokus auf die interne Verbreitung und das institutionelle Lernen, die Aufbereitung für die Öffentlichkeit sowie der Anspruch an die Weiterverwendung der Ergebnisse zur Debatte (weiter…).

Der inhaltliche Teil der Tagung endete mit einer Themensammlung für die Frühjahrstagung 2016. Fr. Neubert wies darauf hin, dass sich vor allem Themen mit einem methodischen und einem sektoralen Bezug bewährt hätten. Folgendes wurde gesammelt:

• Moderierte Diskussionsforen, zum Beispiel zum Thema Genderfrage: (Tagungsthema oder AG)

• Monitoring

• Neue Instrumente und Methoden zur Wirkungsmessung

• Wie lassen sich Evaluierungen bedarfsgerechter gestalten?

• Randomised Control Trials (RCT)

• OE im Bereich des Monitoring: Behinderung oder Tool für wirkungsorientiertes Monitoring?

• Wie evaluieren wir capacity development? Verbindung mit Effizienz Messung

• Abbau von Demokratie und Speckröllchen der EZ (Menge der gesammelten Daten steht nicht im Verhältnis zur Reflexion)

• Evaluierung in fragilen Staaten

• Crowdsourcing bei Evaluierungen: wie können mehr Ressourcen genutzt werden?

Im abschließenden Blitzlicht wurde die Vielfalt des Themas und die Möglichkeit zum Austausch gelobt. Das Sprecherteam bedankte sich bei allen Teilnehmenden und verabschiedete sich!

Im Anschluss zum inhaltlichen Teil der Tagung fand daraufhin die Sitzung des Arbeitskreises Evaluation von Entwicklungspolitik statt (weiter...).