Ziele des Seminars
Die Teilnehmerinnen und Teilnehmer haben einen Überblick über methodologische und konzeptionelle Ansätze anhand derer die Wirkungen einer Maßnahme gemessen werden können. Sie kennen die verschiedenen Forschungsdesigns und wissen um die Stärken und Schwächen sowie Möglichkeiten und Grenzen der verschiedenen Designs. Die Teilnehmerinnen und Teilnehmer können ein Untersuchungsdesign selbst entwerfen und es in die Praxis umsetzen.
Zielgruppe des Seminars
Anwendende, mit allgemeinen praktisch-theoretischen Vorkenntnissen
Angabe, welche Kompetenzfelder und -bereiche der Empfehlungen zur Aus- und Weiterbildung in Evaluation im Wesentlichen behandelt werden
Der Workshop behandelt vornehmlich das Kompetenzfeld „Methoden“, insbesondere die Dimension „Grundzüge empirischer Sozialforschung und Untersuchungsdesign“mit den Aspekten „Entwicklung und Operationalisierung von Fragestellungen“ sowie „Planung empirischer Untersuchungen, Auswahl- und Messverfahren“ aber auch die Dimension „Datenerhebung“ mit dem Aspekt „Entwicklung von Erhebungsinstrumente“ (Operationalisierung, Indikatoren). Ein weiterer Bezug besteht zum Kompetenzfeld „Theorie und Geschichte der Evaluation“ mit der
Inhalt, Ablauf und Form sowie Dokumentation des Workshops (stichwortartig)
Inhalte
Im Kontext der Debatte um Evidenz und Evaluation wird meist auch diskutiert, ob bzw. wie Wirkungsnachweise von Maßnahmen möglich sind. Zentrale Frage ist mit welchen methodologischen und konzeptionellen Ansätzen Wirkungen kausal einer Maßnahme zugeordnet werden können. Im Mittelpunkt aufgezeigter Lösungsansätze stehen experimentelle Untersuchungsdesigns, die oft als „Königsweg“ für den Test von Kausalhypothesen gelten, aber auch quasi-experimentelle Designs.
Im Seminar werden die verschiedenen Untersuchungsdesigns dargestellt und verschiedenen Möglichkeiten zur Bildung von Kontroll- bzw. Vergleichgruppen aufgezeigt. Der Unterschied zwischen (reiner) Wirkungsmessung und Wirkungsevaluation, in deren Rahmen die Messung kausaler Wirkungen lediglich ein Aspekt darstellt, wird herausgearbeitet. Der Fokus des gesamten Seminars liegt auf konkreten Umsetzungmöglichkeiten in der Praxis. Es wird aufgezeigt, wann adäquate Untersuchungsdesigns Sinn machen bzw. möglich sind, aber auch wo ihre Grenzen liegen. Über das „wie“ hinaus, geht das Seminar auch auf die Frage „was“ gemessen werden soll und zeigt verschiedenen Beispiele der Operationalisierung von „Wirkungen“ auf. Anhand von Beispielen aus diversen Politikfeldern (Soziale Arbeit, Entwicklungszusammenarbeit, Coaching und Supervision) werden konkrete Praxisbeispiele gegeben.
Ablauf
Einleitend wird ein Überblick über die Grundlagen der Wirkungsmessung gegeben und Möglichkeiten zur Bildung von Kontroll- bzw. Vergleichgruppen aufgezeigt. In Kleingruppen wird anhand eines (fiktiven oder realen) Beispiels einzelner Teilnehmer/innen die Umsetzung erprobt: Welches Design wäre möglich? Worauf müsste bei der Umsetzung geachtet werden? Die Ergebnisse der Kleingruppen werden im Plenum vorgestellt und diskutiert.
Dokumentation
Handout der Kurzpräsentation sowie Literaturempfehlung im Kurs. Die Ergebnisse der Gruppenarbeiten werden dokumentiert (fotografiert) und nachträglich zur Verfügung gestellt.
Referentinnen/Referenten mit workshopbezogenen Referenzen
Alexandra Caspari ist Professorin für Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik an der Frankfurt University of Applied Sciences. Ihr Arbeits- und Forschungsschwerpunkt liegt seit mehr als 198 Jahren im Bereich der Evaluation mit Schwerpunkt auf Evaluationsmethoden. Sie verfügt über umfangreiche Lehrerfahrung in diesem Themenfeld sowohl in der universitären Lehre als auch der berufsbegleitenden Fortbildung. Frau Caspari hat einschlägige Erfahrungen in der Durchführung von Evaluationen und ist seit vielen Jahren für diverse Organisationen als Evaluatorin und/oder (Methoden)Beraterin tätig. Seit 2007 beschäftigt sie sich intensiv mit dem Thema Wirkungsmessung im Kontext von Evaluationen und den methodischen Möglichkeiten zur Berücksichtigung des Kontrafaktischen in der Evaluationspraxis. Im Rahmen einer vom BMZ beauftragten Studie hat sie die internationale Methodendiskussion zum Thema „High Quality/Rigorous Impact Evaluation“ aufbereitet und seither auf zahlreichen Tagungen vorgetragen. Sie ist Mitherausgeberin der „Zeitschrift für Evaluation“ und war von 2003 bis 2007 Vorstandsmitglied der „DeGEval – Gesellschaft für Evaluation“. Seit 2015 ist sie Sprecherin des AK Methoden in der DeGEval.