Evaluation is often seen by social change organizations as an “external” activity, conducted by professional evaluators or third parties at the behest of funders. Managers inside such organizations—be they nonprofits, governments, or social enterprises—frequently see evaluation as being separate from their “real work”. Why is this the case? And what can be done about it?  In this keynote address, I shall frame this problem as a failure to link evaluation with organizational strategy. Drawing on research from my recent book, Measuring Social Change, I examine how to incorporate performance measurement and evaluation in the service of strategy. I differentiate among four different types of strategies of social change—niche, integrated, emergent, and ecosystem—and detail the types of evaluative systems and capacities best suited to each. I also consider the roles of funders such as impact investors, philanthropic foundations, and international aid agencies, and how they can best enable meaningful evaluation.

 

---

 

Alnoor Ebrahim is Professor of Management at The Fletcher School, and the Tisch College of Civic Life, at Tufts University. He also co-chairs an executive program on leadership for systems change at the Harvard Kennedy School. Professor Ebrahim’s recent book, Measuring Social Change: Performance and Accountability in a Complex World (Stanford University Press) received The Alliance for Nonprofit Management’s best book award for 2020. He is also the author of the award-winning NGOs and Organizational Change: Discourse, Reporting, and Learning (Cambridge University Press).  Alnoor serves on advisory boards to IRIS+ at the Global Impact Investing Network and the Stanford Social Innovation Review. He previously served on a working group established by the G7 to create global guidelines on social impact measurement. And his prior research on accountability at the World Bank led to a Congressional Testimony on improving the Bank’s information disclosure policy.

 

 

Evidenzbasierte Politik ist ein Begriff, der von Politiker*innen selbst zunehmend häufiger verwendet wird. Evaluation (siehe die Nutzensbestimmung nach Stockmann) respektive deren Verankerung kommt dabei eine zentrale Rolle zu. Danach sollte Evaluation nicht nur zu einer Erhöhung der Steuerungsfähigkeit und Legitimität führen, sondern auch zur gesellschaftlichen Aufklärung. Ohne Zweifel sind wir jedoch von einer systematischen Verankerung von Evaluation in Deutschland und Österreich noch weit entfernt (im Gegensatz zur Schweiz, wo Evaluation in der Bundesverfassung verankert ist). Dies gilt jedoch nicht nur für Evaluation, sondern generell für die Berücksichtigung wissenschaftlicher Erkenntnisse bei politischen Entscheidungen.

Die Pandemie hat jedoch hier ohne Zweifel zu einer massiven Veränderung geführt. Ergebnisse wissenschaftlicher Forschung – insbesondere im weiteren Feld der Medizin, aber auch darüber hinaus – haben eine Aufmerksamkeit erfahren wie nie zuvor. Der gesellschaftliche Wunsch nach mehr Wissen über die Pandemie und ihre Folgen hat auch die Medien dazu gebracht, Wissenschaftler*innen als wichtige Gesprächspartner*innen zu sehen und über Ihre Forschungsbefunde zu berichten. Begriffe aus dem (medizinisch) wissenschaftlichen Fachvokabular haben Eingang in den Wortschatz vieler Menschen gefunden. Gleichzeitig mit der wachsenden Bedeutung, die Forschung und Wissenschaft in der Öffentlichkeit erlangt hat, hat jedoch über die Zeit ihre Glaubwürdigkeit – zumindest teilweise – gelitten. Denn die Forschungsergebnisse widersprechen einander zum Teil, was von den Medien noch verstärkt wird. Grund dafür ist, dass die Ergebnisse wissenschaftlicher Studien oft bereits sehr früh (vor einer Diskussion in der Scientific Community) in die Öffentlichkeit gelangten und zwar zumeist ohne die Darstellung von Methoden, Stichproben etc., die ja häufig die Ursachen diskrepanter Befunde sind.

Was können wir daraus für Evaluation und ihren Beitrag zur Evidenzbasierung in der Politik sowie zur gesellschaftlichen Aufklärung lernen? Leider müssen wir wohl feststellen, dass viele Evaluationen, die höchst wichtig für eine evidenzbasierte Bekämpfung der Pandemie und ihrer Folgen gewesen wären, gar nicht beauftragt und durchgeführt wurden. Sie hätten vielleicht zu anderen Maßnahmen (einem Wandel?) geführt. Haben wir uns zu wenig laut zu Wort gemeldet? Warum wurden wir von den Medien nur wenig angesprochen? Hier gilt es offensichtlich entsprechende Kommunikationsstrategien zu entwickeln. Diese und weitere Lehren, die wir für die Evaluation und ihren Wandel aus der Pandemie ziehen können, werden im Vortrag diskutiert.

 

---

 

Univ.-Prof. Dr. Dr. Christiane Spiel ist Professorin für Bildungspsychologie und Evaluation an der Fakultät für Psychologie, Universität Wien. Ihre Forschungsschwerpunkte liegen in den Bereichen Lernen in der Welt von morgen, Selbstregulation, Bildungsmotivation, Gewaltprävention, Geschlechtsstereotype in der Bildungssozialisation sowie Evaluations-, Interventions- und Implementationsforschung. Ein besonderes Anliegen ist ihr der Transfer wissenschaftlicher Erkenntnisse in die Gesellschaft und die Gestaltung der Schnittstelle zwischen Wissenschaft, Politik und Gesellschaft. Daher hat sie auch viele Funktionen in nationalen und internationalen Beratungsgremien und wissenschaftlichen Gesellschaften inne (sie war u.a. 8 Jahre Vorstandsvorsitzende der DeGEval – Gesellschaft für Evaluation). Sie hat eine Reihe von Auszeichnungen erhalten, u.a. das Österreichische Ehrenkreuz für Wissenschaft und Kunst 1. Klasse und den Franz Emanuel Weinert-Preis der Deutschen Gesellschaft für Psychologie für herausragende Forschung und ihren Transfer in die Gesellschaft. Die Association for Psychological Science hat sie zum Fellow ernannt. Für mehr Informationen siehe: https://bildung-psy.univie.ac.at/ueber-uns/christiane-spiel/ .

Mehr Informationen entnehmen Sie bitte dem VC im PDF-Format. (PDF)