Evaluation ist der Nützlichkeit verpflichtet. Sie soll zur Entscheidungsfindung dienen oder zur Verbesserung – jedenfalls Wirkungen auf den Evaluationsgegenstand zeigen. Doch welche Wirkungen kann man tatsächlich erwarten? Und woran liegt es, ob Evaluationen genutzt werden oder nicht? Die beiden Beiträge dieser Sessions gehen diesen Fragen in unterschiedlichen Evaluationsfeldern nach und versuchen zu bestimmen, welche „Qualitäten“ die Wirksamkeit von Evaluationen beeinflussen. Sie ziehen dafür empirische Forschungsergebnisse aus umfassenden Meta-Evaluationen heran, die auf Basis der Standards für Evaluation mittels Dokumentenanalysen sowie Befragungen von Beteiligten durchgeführt wurden. Die unterschiedlichen Schlussfolgerungen der beiden Meta-Evaluationen sollen herausgearbeitet und im Anschluss an die Beiträge – nicht zuletzt vor dem Hintergrund der unterschiedlichen Evaluationsfelder und organisatorischen Kontexte –diskutiert werden.

• Nutzung von Projektevaluierungen: Ergebnisse einer Meta-Evaluierung auf Basis der DeGEval Standards
  Im ersten Beitrag wird die Praxis der Projektevaluierungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beleuchtet. Aktuell werden ca. 100 Projektevaluierungen jährlich durchgeführt. Um die Qualität der Evaluierungen zu erfassen, wurde im Winter 2015/16 eine umfassende Meta-Evaluation durchgeführt. Dafür wurde aufbauend auf den DeGEval-Standards ein Analyseraster entwickelt, das neben der Genauigkeit auch die Dimensionen Prozessqualität („Durchführbarkeit“ und „Fairness“) sowie die Nützlichkeit operationalisiert und bewertet. Dabei wurde auf die Erfassung der Nutzung der Evaluationen auf verschiedenen Ebenen geachtet.
  Es zeigte sich, dass insbesondere die Nutzung der Evaluierungsergebnisse auf der Projektebene gut gelingt, während die Nutzung auf Unternehmensebene herausfordernd ist. Die Einbindung von Stakeholdern im Evaluationsprozess erwies sich als positive Einflussgröße. Hingegen konnte kein Einfluss der methodischen Qualität auf die Nutzung festgestellt werden. Die Ergebnisse der Meta-Evaluation fließen aktuell in einen Reformprozess des Instruments Projektevaluation ein. Die Erhebung 2015/16 soll darüber hinaus im Sinne einer Baseline-Erhebung als Referenzpunkt für zukünftige Meta-Evaluationen dienen.

Vortragende
Dr. Vera Hundt, Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH
Isabelle Freimann, Syspons GmbH
Dr. Alexander Erich, Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH
Matias Krämer, Syspons GmbH

• Fördert die Qualität von Evaluationen die Nutzung?
  (Does evaluation quality enhance evaluation use?)
  Den Zusammenhang zwischen Evaluationsqualität und Wirkung untersucht auch der zweite Beitrag anhand von externen Evaluationen im Schulbereich. Je höher die Qualität, desto eher sei die evaluierte Einrichtung bereit, der Evaluation Taten folgen zu lassen, so die Schlussfolgerungen bestehender Studien zur Evaluationsnutzung, die allerdings die Evaluationsqualität von den beteiligten Akteur/-innen beurteilen ließen. Eine unabhängige Bewertung von 34 externen Evaluationsberichten von Sekundarschulen des Kantons Zürich im Zeitraum 2006 bis 2014 bildete die Basis der Meta-Evaluation, mit der die Autor/-innen dieses Postulat hinterfragen wollten. Die Auswertung erfolgte anhand von 36, aus den vier Dimensionen der Evaluationsstandards abgeleiteten Analysekriterien und beinhaltete, wie die Meta-Evaluation des vorherigen Beitrags auch, eine zusätzliche Befragung von Verantwortlichen. Die Analyse zeigte einen unerwarteten Wirkungszusammenhang: Je höher die Qualität der Evaluation, desto negativer zwar die Sicht der Schulen auf die Evaluation, desto häufiger aber die Umsetzung von Schlussfolgerungen aus den Evaluationsberichten.

Vortragende:
Prof. Dr. Thomas Widmer, Universität Zürich, Department of Political Science
Dr. Kathrin Frey, Universität Zürich, Department of Political Science
Pirmin Bundi, Universität Zürich, Department of Political Science

Schlagwörter: Meta-Evaluation, Standards für Evaluation, Nutzung von Evaluationen, Wirkung von Evaluationen