Ziele des Seminars

Programmtheorien und logische Modelle fassen meist in visualisierter Form die wesentlichen Annahmen zur Funktions- und Wirkungsweise eines Evaluationsgegenstands („Programm“) zusammen. Sie verdeutlichen also, warum von einer Maßnahme erwartet wird, dass sie ihre beabsichtigten Wirkungen erzielt. Für die Evaluation können Programmtheorien und logische Modelle an verschiedenen Stellen des Evaluationsprozesses nützlich sein, etwa bei der Verständigung mit Auftraggebenden und Stakeholdern, bei der Entwicklung von Evaluationskonzept und –design oder bei der Vorbereitung und Interpretation von Datenerhebungen. Vor allem für die formative Evaluation sind sie von Bedeutung, da sie Schwächen des Konzepts oder der Umsetzung einer Maßnahme erhellen können. Während Programmtheorien und logische Modelle in der internationalen Evaluation im Kontext der „theory-driven evaluation“ und ähnlicher Ansätze inzwischen „mainstream“ sind, gewinnen sie seit einigen Jahren auch hierzulande wachsende Bedeutung.

Im Einzelnen werden im Seminar diese Ziele verfolgt:

Die Teilnehmerinnen und Teilnehmer

 

• kennen wesentliche Begriffe im Gegenstandsbereich Programmtheorien (PT) und logische Modelle (LM) sowie das relavante „Vokabular“ (z. B. Inputs, Outcomes, Mechanismus)
• erwerben erste Erfahrungen mit der eigenen Entwicklung eines logischen Modells bzw. einer Programmtheorie
• verstehen, welchen Nutzen logische Modelle und Programmtheorien in verschiedenen Phasen ihrer Evaluationsarbeit haben können
• kennen wichtige Vorteile und Grenzen der Verwendung von logischen Modellen und Programmtheorien in der Evaluation.

 

  

Zielgruppe des Seminars

Praktizierende oder angehende Evaluator/innen ohne Vorkenntnisse im Themengebiet Logische Modelle und Programmtheorien

Behandelte Kompetenzfelder und -bereiche der Empfehlungen zur Aus- und Weiterbildung in Evaluation

 

• Praxis der Evaluation: v. a. Anwendung von logischen Modellen und Programmtheorien in verschiedenen Phasen des Evaluationsprozesses
• Methoden der Evaluation: v.a. Erstellung von logischen Modellen und Programmtheorien
• Theorie und Geschichte der Evaluation: Grundlagen und Grundbegriffe; Hintergründe der wachsenden Rolle von logischen Modellen und Programmtheorien für die Evaluation

 

Inhalt, Ablauf und Form sowie Dokumentation des Workshops (stichwortartig)

Inhalte

 

• Einführung: Warum sollen Evaluierende sich mit logischen Modellen und Programmtheorien befassen?
• Logische Modelle: Merkmale, Bestandteile und Erstellung
• Programmtheorien: Merkmale, Bestandteile und Erstellung
• Verwendung von logischen Modellen und Programmtheorien in verschiedenen Phasen der Evaluationspraxis
• Nutzen und Grenzen

 

Ablauf

 

• Einführende problemorientierte Kurzpräsentationen
• Anwendung im Rahmen von fall- und beispielbasierten Einzel- und Gruppenübungen
• Vertiefung und Klärung von offenen Fragen im Rahmen der anschließenden Diskussionen
• Inhaltliche Schwerpunktsetzungen je nach Bedarfslage und Interessen der Teilnehmenden

 

Dokumentation

 

• Präsentationsfolien
• Handouts (z. B. Glossar, Fallbeispiele, kommentierte Literaturliste)
• Fotodokumentation

 

Referent mit seminarbezogenen Referenzen

Jan Hense ist wissenschaftlicher Mitarbeiter an der Ludwig-Maximilians-Universität München (Empirische Pädagogik und Pädagogische Psychologie) und seit mehr als 10 Jahren als Evaluator, Berater und Lehrender in der Evaluation tätig. Seine Arbeits- und Forschungsgebiete sind Evaluation und Selbstevaluation im Bildungsbereich, Forschung über Evaluation, die Gestaltung innovativer Lehr- und Lernumgebungen sowie Wissensmanagement. Ein besonderes Anliegen ist ihm die Professionalisierung der Evaluation. Zum Thema des Seminars hat Jan Hense mehrere nationale und internationale Publikationen vorgelegt und im Master-Studiengang „Evaluation“ der Universität Bern vertritt er es als Gastdozent. In der DeGEVal (Gesellschaft für Evaluation) ist er als Sprecher des Arbeitskreises „Aus- und Weiterbildung in der Evaluation“ aktiv.

Kontaktdaten

Dr. Jan Ulrich Hense
LMU München, Department Psychology
Leopoldstr. 13, D-80802 München
+49 (0)89 2180-3257
jan.hense@psy.lmu.de - http://www.evoluation.de/

Ziele des Seminars

Teilnehmende lernen über die wenig bekannten theoretischen Arbeiten von Edwards Tufte zum Gestalten von guten Datengraphiken, die in etlichen Publikationsformaten verwendet werden, jedoch allzu oft von geringer Qualität und Verstehbarkeit sind. Teilnehmende lernen durch den Workshop, was effektive Datengraphiken ausmacht und wie man diese konzeptualisiert. Teilnehmende werden Wissen aneignen zu den Vor- und Nachteilen gängiger Graphikformate und wie man innovative Formate effektive einsetzen kann. Teilnehmende erhalten eine kurze Einführung in relevante Softwaretools und bekommen während des gesamten Workshops Gelegenheit, ihre Perspektive und Fragen einzubringen.

Zielgruppe des Seminars

Anwendende, mit allgemeinen praktisch-theoretischen Vorkenntnissen

Angabe, welche Kompetenzfelder und -bereiche der Empfehlungen zur Aus- und Weiterbildung in Evaluation im Wesentlichen behandelt werden

Der Workshop gehört eindeutig zum Aus- und Weiterbildungsfeld der Methodenkompetenz, und hier insbesondere zu der wichtigen Gruppe G7 (Analyse qualitativer und quantitativer Information) sowie N4 (Auswahl und Umfang der Informationen). Gutes Reporting von quantitativen Evaluationsbefunden ist ohne gut durchdachte Datengraphiken praktisch unmöglich.

Inhalt, Ablauf und Form sowie Dokumentation des Workshops (stichwortartig)

Inhalte, Ablauf
Die Teilnehmenden werden zunächst durch Kurzvorträge über die Prinzipien und theoretischen Grundlagen effektiver Datengraphiken lernen. Zahlreiche Bespiele aus realen Anwendungskontexten werden dabei zum Einsatz kommen. Danach werden in einem kurzen Quiz die gelernten Prinzipien „spielerisch“ vertieft. In einem weiteren Kurzvortrag wird kurz auf die gängigsten Datengraphiken, ihre Stärken, Schwächen und Anwendungsmöglichkeiten eingegangen, wobei auch innovative Formen vorgestellt werden, inklusive zugehöriger Softwaretools, die die Erstellung guter Datengraphiken überhaupt erst ermöglicht (vorrangig die Software „Tableau“). Im Anschluss werden Teilnehmende kurz gebeten, Beispiele aus ihrem eigenen Arbeitskontext zu sammeln und kurz vorzustellen. Der Kern des Seminars wird in einer Gruppenarbeit mit anschließender Präsentation der von den Gruppen erarbeiteten Lösungen vor dem Plenum bestehen, bei der den Teilnehmenden Aufgaben zur Gestaltung von Datengraphiken gegeben werden (anhand von quantitativen Ergebnissen von klassischen Evaluationsthemen, wie etwa Therapieeffektivität, oder Unterschiede von Fragebogenergebnissen zwischen verschiedenen Personengruppen, etc.). Das Besondere hierbei ist, dass die Teilnehmenden Datengraphiken ohne Computersoftware entwerfen sollen, da das Ziel des Seminars darin besteht, den Mitmachenden Konzepte mitzugeben, die dann später mit verschiedener Software umgesetzt werden können.

Dokumentation
Vortragsfolien, Arbeitsblätter, Checklisten für Datengraphiken, abphotographierte Gruppenentwürfe und Skizzen

Referenten mit seminarbezogenen Referenzen
Ich habe ähnliche Workshops bereits mehrfach bei Kongressen der American Evaluation Association mit großem Erfolg gehalten. Zuletzt bin ich im Jahr 2009 eingeladen, auf der Jahreskonferenz in Florida einen ganztägigen Workshop zu Datengraphiken zu halten.

Kontaktdaten

Dr. Frederic Malter
Munich Center for the Economics of Aging (MEA)
Max-Planck-Institute for Social Law and Social Policy
Amalienstraße 33
D-80799 München, Germany
Tel +49-89-38602-309
malter@mea.mpisoc.mpg.de – www.mea.mpisoc.mpg.de

Kurzbeschreibung:

Die Datenerhebung ist bei Evaluationen von enormer Relevanz, denn Evaluationsergebnisse basieren stets auf der Analyse von Daten. Zur Anwendung kommen meist Dokumentenanalyse, Beobachtung sowie qualitative und quantitative Methoden. Da in der Evaluationspraxis die Methoden der empirischen Sozialforschung häufig nicht in ihrer „reinen“ Form angewandt werden können, haben sich in der Evaluation der Methoden-Mix sowie die Triangulation etabliert. 

Ziele des Seminars:

Die Teilnehmenden haben einen Überblick über die verschiedenen Datenerhebungsmethoden, die im Kontext von Evaluationen sinnvoll eingesetzt werden können. Sie kennen die Vor- und Nachteile, Stärken und Schwächen sowie Möglichkeiten und Grenzen der verschiedenen Methoden in der praktischen Umsetzung.
Die Teilnehmenden können bei der Vorbereitung von Evaluationsvorhaben sinnvolle Datenerhebungsmethoden je nach Evaluationsfragen und Zielgruppen angemessene auswählen und wissen, wie hierbei der Grundstein für Triangulation gelegt wird.
Die Teilnehmenden können die im Rahmen von Evaluationen gewählten Datenerhebungsmethoden kritisch bewerten und deren Angemessenheit einschätzen.
Ziel des Seminars ist nicht die konkrete Umsetzung/Anwendung einzelner Datenerhebungsmethoden (z.B. Einführung in die Fragebogengestaltung etc.)!

Zielgruppe des Seminars:

Auftraggebende von Evaluationen sowie Interessierte ohne Vorkenntnisse in Methoden der empirischen Sozialforschung.
Für die Kleingruppenarbeit wäre es von Vorteil, wenn die Teilnehmer/innen einen eigenen Evaluationsauftrag mitbringen könnten (Terms of Reference, zentrale Fragen, etc.) bzw. sich einen fiktiven Evaluationsauftrag ausdenken (d.h. vorab überlegen) könnten (zu evaluierendes Projekt, Evaluationsfragen, etc.).

Behandelte Kompetenzfelder und -bereiche der Empfehlungen zur Aus- und Weiterbildung in Evaluation
-    Methodenkompetenz: Grundzüge empirischer Sozialforschung, Untersuchungsdesign – Entwicklung und Operationalisierung von Fragestellungen & Planung empirischer Untersuchungen, Auswahl- und Messverfahren; Datenerhebung – Grundlagen von Erhebungsformen (Befragung, Beobachtung, Inhaltsanalyse)
-    Theorie und Geschichte der Evaluation: Evaluationsansätze – Theoretische und methodologische Ansätze und Modelle & Positionierung und Aufgabenstellung sowie methodische Ausgestaltung; Evaluationsstandards – Sicherung der Qualität von Evaluationen

Inhalt, Ablauf und Form des Workshops:

Einleitend wird ein Überblick über die im Kontext der Evaluationsplanung notwendige Vorbereitung der Datenerhebung gegeben (Zielexplikation, Formulierung der Fragestellung, Operationalisierung, Design) sowie die zentralen quantitative und qualitative Datenerhebungsmethoden dargestellt, wobei auf die von der DeGEval herausgegebenen Standards Bezug genommen wird. Insbesondere werden die Vor- und Nachteile sowie Möglichkeiten und Grenzen quantitativer und qualitativer Methoden in der Evaluationspraxis diskutiert. Leitfadengestützte Intensivinterviews sowie standardisierte Befragungen mit Fragebögen werden näher betrachtet und deren sinnvolle Kombinationsmöglichkeiten diskutiert.
In Kleingruppen wird anhand eines (fiktiven oder realen) Beispiels einzelner Teilnehmer/innen die Umsetzung erprobt: welche Fragen können von welchen Personengruppen beantwortet werden? Welche Datenerhebungsmethode ist jeweils sinnvoll, warum? Wie kann die Datenerhebung umgesetzt werden? Wie können die Stärken einzelner Methode die Schwächen anderer ausgleichen? Die Ergebnisse der Kleingruppen werden im Plenum vorgestellt und diskutiert.
Als Kursunterlagen werden ein Handout der Folien, Literaturempfehlungen sowie weitere Handouts zur Verfügung gestellt. Die Ergebnisse der Gruppenarbeiten werden dokumentiert und nachträglich ebenfalls zur Verfügung gestellt. 

Referentin mit workshopbezogenen Referenzen:

Alexandra Caspari ist Soziologin und seit mehr als 13 Jahren im Bereich der Evaluation mit Schwerpunkt auf Evaluationsmethoden tätig. Sie verfügt über umfangreiche Lehrerfahrung im Bereich empirische Sozialforschung und Evaluationsmethoden sowohl in der universitären Lehre als auch der berufsbegleitenden Fortbildung. Frau Caspari ist seit vielen Jahren für diverse Organisationen als Evaluatorin und/oder (Methoden)Beraterin tätig. Aktuell ist sie im Rahmen eines Drittmittelprojektes wissenschaftliche Beraterin der Evaluierungsbeauftragten der Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH, Bonn. In den letzten Jahren beschäftigte sie sich insbesondere mit dem Thema Rigorous Impact Evaluation/Wirkungsevaluationen und den methodischen Möglichkeiten zur Berücksichtigung des Counterfactual in der Evaluationspraxis.

Kontaktperson:
Prof. Dr. Alexandra Caspari
Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik
Fachhochschule Frankfurt am Main
Fachbereich 4 – Soziale Arbeit und Gesundheit
Nibelungenplatz 1
D-60318 Frankfurt am Main
Tel: (+49) 069 1533 2660
caspari@fb4.fh-frankfurt.de