Die Frühjahrstagung 2023 des AK Methoden in der Evaluation fand in Zusammenarbeit mit dem Statistischen Bundesamt (Destatis) als Präsenzveranstaltung am 19. und 20. Juni 2023 in Wiesbaden statt.
In Evaluationen werden unterschiedliche Erwartungen an die Rolle und Funktion von Theorien gerichtet. Als gegenstandsbezogene Theorien sollen sie erstens erklären, wie und warum eine Intervention (nicht) wirkt. Gegenstandsbezogene Theorien bilden zweitens die Basis für die empirische Untersuchung von Programmen bzw. Interventionen. Sie rücken in den Blick, welche Aspekte empirisch zu untersuchen sind und strukturieren die Wahl des Evaluationsdesigns. Drittens stellen gegenstandsbezogene Theorien mit den in sie eingelassenen Maßstäben und Erkenntnishorizonten die Grundlage für die Bewertung von Programmen bzw. Interventionen dar. Sie können zudem, viertens, als Verständigungsgrundlage im Stakeholderprozess dienen, dabei das Aushandeln von Zielen und Fragen erleichtern sowie eine bessere Kooperation und geteilte Sichtweisen auf die Funktionsweise und Umsetzung von Programmen fördern (Hense/Taut 2021).
Diesen vielseitigen und komplexen Ansprüchen an Theorien widmete sich die Frühjahrstagung 2023. Im Zentrum der Tagung standen dabei u.a. die Rolle und Güte gegenstandbezogener Theorien in der Evaluation und Fragen danach, wie sich Theorie und Evaluationsdesign wechselseitig bedingen, welche methodischen Implikationen sich aus der jeweiligen Theorie für das Evaluationsdesign ergeben, wo Grenzen der Theoriebildung und -testung liegen und welchen Anforderungen bzw. Herausforderungen sich Theorien im Stakeholderprozess stellen.
Die AK Sprecher*innen, Dr. Alexander Kocks und Dr. Franziska Heinze, eröffneten die Tagung und leiteten inhaltlich in das Tagungsthema ein. Im anschließenden Grußwort der gastgebenden Institution, stellte Christoph Unger, Vizepräsident des Statistischen Bundesamtes (Destatis), u.a. die vielfältigen Aufgaben der Datenerhebung aufseiten des Statistischen Bundesamtes und die unterstützenden und beratenden Aufgaben der hier angesiedelten Kompetenzstelle der Bundesregierung für Evaluierung im Dienstleistungszentrum für Bessere Rechtsetzung dar. Er betonte die Bedeutung von Theorien als „das Fundament einer guten Evaluierung“ sowie damit verbunden die besondere Relevanz des Tagungsthemas für die Evaluation.
Die Keynote von Prof. Dr. Jan Hense adressierte die Frage, inwiefern die zahlreichen Ansprüche an Wirkmodelle bzw. Programmtheorien in der derzeitigen Evaluationspraxis eingelöst werden und welche Potenziale bislang wenig genutzt erscheinen. Dabei schlug er einen Bogen von den Anfängen programmtheoriebasierter Evaluationsansätze zu Desideraten für die Weiterentwicklung der gegenwärtigen Evaluationspraxis. Dabei betonte er zugleich die Notwendigkeit eines realistischen Erwartungsmanagements bei der Nutzung von Wirkungsmodellen. In den nachfolgenden Inputs reflektierte zunächst Dr. Anna von Werthern, was genau es bedeute, eine Programmtheorie zu erarbeiten, was es mit der Theorie hinter der Programmtheorie auf sich hat und wie sich eine Programmtheorie praxisnah und effizient nutzen lässt. Dr. Martin Bruder widmete sich anschließend am Beispiel einer Evaluation des „weltwärts“-Freiwilligendienstes der Frage, wie sich über Theory Knitting („Theoriestricken“) sozialwissenschaftliche Theorien und Programmtheorien in der evaluatorischen Tätigkeit miteinander verschränken lassen, um profunde Erkenntnisse über die jeweiligen Wirkzusammenhänge zu erlangen. Den Abschluss des offiziellen Programms des ersten Tages bildete das Treffen des Arbeitskreises Methoden in der Evaluation.
Am zweiten Tagungstag folgten Inputs von Dr. Jan Gellermann und Norbert Knoll. Dr. Jan Gellermann widmete sich in seinem Beispiel aus der Evaluation eines Coaching-Angebots für Langzeitarbeitslose der Frage, wie ein Mixed Methods-Design dazu beitragen kann, die gegenstandsbezogene Programmtheorie zu schärfen, zu verfeinern und damit letztlich zur Weiterentwicklung des Programms beitragen kann. Norbert Knoll veranschaulichte anhand der Evaluation von österreichischen Förderungsprogrammen für Unternehmen, dass es notwendig sei, die unterschiedlichen Zielstellungen der beteiligten Stakeholdergruppen in Programmtheorie und Evaluierungsdesign einzufangen. So können Lerneffekte generiert werden, die für die Programmweiterentwicklung in Wert gestellt werden können. Zum Abschluss diskutierten die Referierenden gemeinsam mit dem Publikum Good Practices bei der Nutzung von Programmtheorien im Stakeholderprozess. Die Notwendigkeit von Mindeststandards in der Theorieformulierung und -überprüfung wurde dabei ebenso reflektiert wie konkrete Lernerfahrungen und Tipps bezüglich einer Stakeholdergerechten (und partizipativen) Theorieformulierung und -vermittlung. Dank der engagierten Mitwirkung aller Teilnehmenden leuchtete die Tagung das Spannungsfeld von Erklärungsanspruch, Überprüfbarkeit und Praxistauglichkeit von Theorien in Evaluationen aus und generierte damit einen Mehrwert sowohl für die „Evaluierungspraktiker“ als auch die „Evaluierungstheoretiker“ – so das Credo der Teilnehmenden.
Präsentationen der Vorträge:
Weitere Dokumentation:
