Vorstand der DeGEval
Von Evaluationen wird viel erwartet: Forschungsstandards sind einzuhalten, die Interessen der „beforschten“ Personen sind zu berücksichtigen und die heimlichen Ziele von Auftraggebern sollen aufgedeckt werden. Gleichzeitig erweisen sich viele Programme als so ungenau, dass erst bei der Evaluation Ziele definiert werden. Wie können Evaluatoren mit diesen – und anderen – Situationen der „Unmöglichkeit“ umgehen? In den Beiträgen der Session werden wir bei der Beantwortung dieser Frage methodische oder methodologische Probleme in den Mittelpunkt stellen.
Die Vorträge:
1. Prof. Dr. Manfred Rolfes (Universität Potsdam / Institut für Geographie): Den Pudding an die Wand nageln! Paradoxien bei der Evaluation der Städtebauförderung
In der deutschen Städtebauförderung werden Programme, Projekte und Instrumente auf sehr unterschiedlichen Ebenen konzipiert, konkretisiert und umgesetzt. Der Beitrag zeigt, dass sich solche Evaluationen in dem Dickicht der unterschiedlichen Funktionen von Evaluationen, der sich widersprechenden Erwartungen, abweichender Bewertungs- und Bezugsnormen oder widersprüchlicher Ergebnis- oder Wirkungsinterpretationen verlieren. Nach Ansicht des Referenten kann kein noch so ausgeklügeltes Evaluationsdesign, Monitoringsystem oder Methodenkonzept diesen Anforderungen gerecht werden. Diese Erkenntnis kann gleichwohl im Hinblick auf die hohen und komplexen Erwartungen an Evaluationen und Evaluatoren/innen deutlich entlastend wirken.
2. Mag. Vera Popper (Universität Wien, Fakultät für Psychologie): Evaluation ohne explizite Maßnahmenziele: ein Ding der Unmöglichkeit?
Die Referentin wird die Entwicklung und Durchführung eines dreistufigen Evaluationsdesigns bei Fehlen expliziter Maßnahmenziele für den Schulversuch ‚E-Learning und E-Teaching mit Schüler/-innen-Notebooks‘ vorstellen. Dabei wird sie insbesondere auf die methodologischen Herausforderungen der Evaluation eingehen, die gewählte Lösungsalternativen darstellen und exemplarisch über die Evaluationsergebnisse berichten.
3. Dipl. Päd. Pascal Bastian: Wirkungsevaluation in sozialpädagogischen Modellprojekten - Evaluation des Unmöglichen?
Modellvorhaben in sozialpädagogischen Kontexten sind zumeist als Programme angelegt, deren Ziele und Ausgestaltung zu Beginn bestenfalls in groben Zügen beschrieben sind. Evaluatoren haben es deshalb selten mit dem einen einheitlichen Modell zu tun, sondern sehen sich vielmehr verschiedenen relativ autonom agierenden, multizentrischen Einzelprogrammen gegenüber. Die Evaluation birgt somit einen (scheinbar) unmöglichen Auftrag in sich: Die Entwicklung eines Design, das den Evaluationsgegenstand in seiner Kerndimension abbildet und gleichzeitig auf alle Evaluationsstandorte anwendbar ist. Der Referent diskutiert alternative Strategien, die durch den konsequenten Einbezug von Kontexten und Wirkmechanismen erwarten lassen, dass trotz dieser Herausforderung wissenschaftlich und praktisch bedeutsame Ergebnisse erzielt werden können.
