Am 13.09.2018 fand das Treffen des AK Soziale Dienstleistungen (SDL) im Rahmen der 21. Jahrestagung der DeGEval in Dresden statt. Neben Informationen aus der Arbeit des AK's wurde über weitere Aktivitäten beraten. Als neue Sprecher*innen des AK SDL wurden Stefanie Reiter, Olaf Lobermeier und Frank Buchheit gewählt - und Rainer Strobl* für sein bisheriges Engagement gedankt!
Das Protokoll ist hier verfügbar.

Der AK SDL beteiligte sich in zwei Sessions:

• A6: Wirkungsorientierte Evaluation aus evaluationstheoretischer und methodischer Perspektive am Beispiel von Fallstudien (Moderation)
• D3: Wirkmodelle praxisnah erarbeiten und für Wirkungsuntersuchungen nutzen – Potenziale und Grenzen in komplexen Mehrebenenprogrammen (AK-Session)

Zudem wurde ein aktualisiertes AK-Poster veröffentlicht.

Die Session beschäftigt sich mit der Frage, welchen Beitrag die theorie- und empiriegestützte, partizipationsorientrierte Modellierung von Ziel-Interventions-Zusammenhängen im Kontext von Programmevaluationen leisten kann, um unter Einbeziehung von Programmakteuren Wirkannahmen herausarbeiten und diese als Grundlage der Analyse von Wirkzusammenhängen zu nutzen.

‚Lernende‘ sozialpolitische Programme sind nicht selten dadurch gekennzeichnet, dass zu Programmbeginn nur abstrakte Ziele formuliert, die konkreten Zielsetzungen und Ansätze zur Verfolgung dieser Ziele hingegen erst in der Programmumsetzung entwickelt werden. Hinzu kommt, dass eine multizentrische Anlage über mehrere Planungs- und Umsetzungsebenen hinweg ein komplexes Zusammenwirken vieler beteiligter Stakeholder mit sich bringt. Im Zuge der Formulierung von (abstrakten) Programm- und (konkreten) „lokalen“ Theorien sind entsprechend nicht nur Wirkannahmen auf den verschiedenen Ebenen, sondern auch das Zusammenspiel der Ebenen zu betrachten. Für Evaluierende geht damit die Herausforderung einher, einerseits nicht ohne weiteres einer Beobachtung zugängliche Wirkzusammenhänge auf mehreren Ebenen zu modellieren, um in einem nächsten Schritt entsprechende Wirkungsuntersuchungen durchführen zu können. Andererseits geht es darum, solche Modellierungen als ko-konstruktive Prozesse mit den involvierten Praktiker/innen zu gestalten und transparent zu halten, damit sie Praxisrelevanz entfalten können.

Die Herausforderungen dieser Aufgaben werden anhand der Darstellung zweier Vorgehensweisen (Logische Modellierung in Verknüpfung mit „Resonanzorterhebungen“ sowie Modellierungen mittels QCA) exemplarisch vorgestellt. Anschließend werden Möglichkeiten und Grenzen der Verknüpfung von logischen Modellen unterschiedlicher Programmebenen sowie die Rolle der Evaluierenden als „Transmitter“ zwischen den Ebenen ebenso zur Diskussion gestellt und reflektiert, wie die Potenziale empiriegestützter Modellbildung.

Logische Modellierung als Vorbereiter von Resonanzorterhebungen
Franziska Heinze, Frank König, Stefanie Reiter, Ellen Schroeter (Deutsches Jugendinstitut e.V.) [Präsentation]

Der Vortrag reflektiert die Potenziale logischer Modellierungen für die Rekonstruktion von Ziel-Interventions-Zusammenhangsannahmen und deren Nutzung für die Erhebung von „Resonanzen“ von Akteurshandeln in der Programmumsetzung.

Am Beispiel der Evaluation eines Mehrebenenprogramms aus dem Bereich der Demokratieförderung wird erläutert, wie unter Rückgriff auf eher deduktive Methoden (bspw. Literaturrecherchen) bzw. induktive Vorgehensweisen (partizipative Erstellung mit programmumsetzenden Akteuren und mittels leitfadengestützter Interviews) logische Modellierungen der Programmumsetzung für mehrere Ebenen vorgenommen werden. Als explizierte Wirkannahmen der Einzelakteure werden die entwickelten Modelle zur Grundlage für die Identifikation von möglichen „Resonanz(ort)en“, d. h. „Orten“, an denen die Aktivitäten der Akteure Effekte für diejenigen Personen, Institutionen oder Strukturen erzeugen, die von diesen Aktivitäten erreicht bzw. tangiert werden. Der Beitrag reflektiert die Vorgehensweise in methodischer und methodologischer Hinsicht und befragt sie auch auf die ihnen inhärenten gegenstandskonstitutiven Anteile der Evaluierenden.

QCA zur partizipativen Wirkungsuntersuchung
Wolfgang Stuppert (Camino - Werkstatt für Fortbildung, Praxisbegleitung und Forschung im sozialen Bereich gGmbH) [Präsentation]

Wie in föderalen Mehrebenenprogrammen häufig der Fall, erfordert die Umsetzung lokaler Maßnahmen, wie einer „Partnerschaft für Demokratie“, von kommunalen Akteuren, im Rahmen der Vorgaben kontextabhängige Interventionen zu entwickeln, die zu den übergeordneten Zielstellungen des Programms beizutragen vermögen. Bei dieser Übersetzungsleistung werden praxisnahe Akteure häufig von lokalen Theorien geleitet, die von asymmetrischen, deterministischen Kausalitätsannahmen geprägt sind. Solche Theorien können prinzipiell auch mit statistischen Methoden modelliert werden. Oft gelingt aber die Übersetzung der Bedingtheit der Kausalannahmen nur eingeschränkt und Fallzahlen sind zu gering, damit asymmetrische Kausalbeziehungen auf eine Weise untersucht werden können, die den Standards der Statistik Genüge tun. Diskutiert werden die Vorteile von Qualitative Comparative Analysis (QCA) gegenüber anderen Methoden unter den Bedingungen äquifinaler, asymmetrischer Kausalitätsannahmen und wenigen Vergleichsfällen. Reflektiert wird, inwiefern sich die praxisnahe Modellierung von Wirkzusammenhängen und die iterative Ausgestaltung des Forschungsprozesses in besonderer Weise für eine dezidiert partizipative Vorgehensweise in der Wirkungsuntersuchung eignen.

Die im Vortrag präsentierten QCA-basierten Modellierungen ermöglichen es praxisnahen Akteuren, den eigenen Fall in Bezug zu induktiv-gewonnen, vorläufigen Erklärungsmodellen auf Programmbereichsebene zu setzen und Entscheidungen in der lokalen Umsetzung in Abhängigkeit von Kontextbedingungen zu diskutieren. Damit sind sie geeignet, das Fallwissen lokaler Akteure für eine partizipative Fortentwicklung der Wirkungstheorie auf Programmbereichsebene zu erschließen.

Wirkungsanalysen sind eine zentrale Evaluationsaufgabe, aber auch eine große methodische Herausforderung, weil die Effekte oft klein sind, unterschiedliche Ursachen haben können und häufig nicht eindeutig auf bestimmte Maßnahmen zurückzuführen sind. Begreift man Wirkungen als die von den Maßnahmen verursachten Veränderungen bei einer bestimmten Zielgruppe, dann stellt sich aber zunächst noch eine weitere Frage: Wird die intendierte Zielgruppe überhaupt erreicht?

Wirkt die Maßnahme dort, wo es weh tut?
Elisabeth Wachsmuth und Jan Hense (Universität Gießen)

Elisabeth Wachsmuth und Jan Hense gehen in ihrem Beitrag genau dieser Frage und den damit zusammenhängenden Problemen nach. So ist der Blick auf die vorgefundenen Wirkungen aus ihrer Sicht nicht ausreichend. Vielmehr müsse sich die Evaluation auch damit auseinandersetzen, wer die Maßnahmen nutzt und warum. Aus einer formativen Perspektive gehe es dann auch darum, wie die bestmöglichen Wirkungen für die intendierte Zielgruppe erreicht werden können. Aus einer summativen Perspektive rücken dagegen Fehleinschätzungen in den Blick, die sich ergeben können, wenn nicht berücksichtigt wird, ob die intendierte Zielgruppe überhaupt erreicht wird. Diese Fragen und mögliche Konsequenzen für die Evaluationspraxis werden an einem Beispiel aus dem Hochschulkontext diskutiert.

Problemstellung und Potenziale wirkungsorientierter Evaluationen
Holger Bähr (IAB) und Dieter Filsinger (HTW) [Präsentation]

Ausgehend von dem klassischen Modell, das Input, Output, Outcome und Impact als Abfolge betrachtet, beginnen Holger Bähr und Dieter Filsinger ihren Beitrag mit einer Klärung der Begriffe „Wirkung“ und „Wirkungsorientierung“, indem sie die Vorgehensweise von qualitativen und quantitativen Methoden bei der Aufdeckung kausaler Zusammenhänge gegenüberstellen. Auf dieser Grundlage diskutieren sie verschiedene Vorgehensweisen der wirkungsorientierten Evaluation und fragen jeweils nach geeigneten Anwendungsfeldern, nach den Grenzen ihrer Anwendbarkeit und nach der Art und Reichweite der aus den Studien gezogenen Schlussfolgerungen. Der Beitrag schließt mit einem Plädoyer für ein theoriegeleitetes Vorgehen.

Der Ausgangspunkt des Beitrags „Identifizierung von Wirkelementen sozialer Interventionen am Beispiel betrieblicher Gesundheitsförderung“ von Ludwig Grillich (Donau-Universität Krems) ist die These, wonach Wirksamkeitsnachweise die Angabe eines kausalen Mechanismus, die Identifizierung von zentralen Wirkbestandteilen sowie eine Theorie erfordern, die beschreibt, wie die Wirkbestandteile der Intervention mit den Outcomes zusammenhängen. Vor diesem Hintergrund stellt Grillich am Beispiel eines Programms zur betrieblichen Gesundheitsförderung für mittlere Unternehmen einen Ansatz zur Entwicklung einer Programmtheorie vor. In seinen Schlussfolgerungen gibt er zudem wichtige Hinweise für die Evaluationspraxis.

Dr. Andreas Armborst (NZK), Dr. Maria Walsh (NZK): Evidenzbasierte Extremismusprävention

Die Bundesregierung tritt laut Koalitionsvertrag für eine evidenzbasierte Kriminalprävention ein, bei der „Evidenzen sowohl bei der Erarbeitung von Gesetzentwürfen als auch bei deren Evaluation berücksichtigt werden“. Auch die Prävention extremistisch motivierter Gewalt ist zunehmend der Forderung ausgesetzt, ihre Wirksamkeit und Effekte anhand von Evaluation nachvollziehbar zu belegen.
Der Vortrag stellte das Nationale Zentrum Kriminalprävention und insbesondere das Internetportal WESPE vor, skizziert die Merkmale und Abläufe evidenzbasierter Kriminalprävention und diskutiert deren Implikationen für den speziellen Bereich der Extremismusprävention.
Zur Illustration wurde ein laufendes Evaluationsprojekt vorgestellt, bei der die Wirkung einer schulbasierten Primärpräventionsmaßnahme durch einen Aussteiger aus dem Bereich Rechtsextremismus untersucht wird.

Dr. Andreas Armborst ist Leiter des Nationalen Zentrums Kriminalprävention (NZK). Seine Schwerpunkte liegen auf der Kriminologie, Methoden der empirischen Sozialforschung, dem Dschihadismus, Salafismus und der islamistischen Ideologie sowie der Sicherheitsforschung.
Dr. Maria Walsh ist stellvertretende Leiterin des NZK. Ihre Schwerpunkte liegen auf der Jugendkriminalität, dem Jugendstrafvollzug, der Bewährungshilfe, der kriminologischen Lebenslaufforschung sowie Methoden empirischer Sozialforschung.

 

Dr. Christian Lüders (DJI): Evaluation von Modellprojekten zur Deradikalisierung. Erfahrungen aus den Bundesprogrammen

Zum Verständnis der Programmevaluation z. B. von „Demokratie leben!“ stellt der Beitrag zunächst die Vorgeschichte, den Aufbau, die Teilprojekte und die Förderlogik des Programms vor. Aufgrund der zeitlich begrenzten Förderung und des Entwicklungs- und Erprobungscharakters spielen Leitfragen bei der Evaluation der Gesamtarchitektur des Bundesprogramms eine wichtige Rolle. Die Evaluation der Programmbereiche startet meist mit der Rekonstruktion der Programmtheorie, z. B. als logisches Modell, um sich darüber über Wirkungs- und Zielerreichungsfragen zu befassen. Die Vielschichtigkeit und Komplexität des Programms, seiner Bestandteile und der Einzelprojekte ergibt spezifische Probleme und zugeschnittene Ansätze der Evaluation. Wirkungen des Förderprogramms ergeben sich auf unterschiedlichen Ebenen, die im Beitrag vorgestellt werden.

Dr. Christian Lüders ist Leiter der Abteilung Jugend und Jugendhilfe des Deutschen Jugendinstituts. Seine Schwerpunkte liegen auf der Kinder- und Jugendhilfeforschung, Sozialpädagogik, qualitativen Sozialforschung und der Evaluationsforschung.

 

Prof. Dr. Kurt Möller (HS ES): Wirkungsanalysen im Rahmen formativer Projektevaluation?
Möglichkeiten und Grenzen wirkungsbezogener Untersuchungen

Der Beitrag stellt vor dem Erfahrungshintergrund von selbst durchgeführten Studien im Bereich der Extremismusprävention vor, wie und inwieweit wissenschaftliche Evaluationen von themenbezogenen Projekten gewinnbringend erfolgen können, welcher Nutzen aus ihnen für wen zu ziehen ist und welche Rolle dabei die Identifizierung von Wirkungszusammenhängen spielt.
Diesbezüglich geht der Beitrag auf ein formatives Evaluationsverständnis ein, beschreibt Radikalisierung als Prozess und beleuchtet die Voraussetzungen für deradikalisierende Maßnahmen. Die Evaluation deradikalisierender Maßnahmen wird vor allem im Sinne des Lernens und der Entwicklung der Projekte verstanden. Aus der Identifikation von Wirkungsweisen und Schwierigkeiten kann sich ein vielschichtiger Verstehensprozess ergeben, der zu einer kommunikativen Entwicklung zum beiderseitigen Nutzen führt. Nicht die Dissemination einmal gesicherten Wissens, sondern die gestaltungsorientierte Transformation als Ziel der Evaluation steht im Vordergrund.

Prof. Dr. phil. habil. Kurt Möller ist Lehrstuhlinhaber zu Theorien und Konzepten Sozialer Arbeit, Jugendarbeit, Jugendpolitik, Kultur- und Bildungsarbeit an der Hochschule Esslingen. Seine Forschungsschwerpunkte liegen auf Gewalt, Rechtsextremismus, Fremden- und Menschenfeindlichkeit, der männlichen Sozialisation, Jungen- bzw. Männerarbeit, der politische Sozialisation sowie Jugendkulturen.

Podiumsdiskussion mit den Referenten (Leitung: Dr. Rainer Strobl, ProVal Hannover / DeGEval)

Die Podiumsdiskussion verdeutlichte Unterschiedliches und Verbindendes der drei Inputvorträge. Die Diskussion orientierte sich einerseits an den Standards der DeGEval bzw. an Fragen der Programmsteuerung (z. B. evidenzbasierte oder –orientierte Praxis) und ging auf Fragen der Teilnehmenden ein.

 

---

20. April 2018 (Flyer)

Der zweite Tagungstag beginnt mit drei Workshops. Diese sind durch Kurzbeiträge strukturiert, die als Input für die weitere Diskussion dienen.

 

Workshop 1: Präventionsprojekte

Maria Kamenowski (Züricher Hochschule für Angewandte Wissenschaften): Evaluation von Pilotprojekten zu Gegennarrativen und alternativen Narrativen zur Prävention von Radikalisierung im Netz (Schweiz) Präsentation

Das Schweizer Bundesamt für Sozialversicherungen hat vier Projekte ausgewählt, in denen Gegennarrative bzw. alternative Narrative zur Prävention von Radikalisierung im Netz, die zu gewalttätigem Extremismus führt, erarbeitet werden sollen. Die Projekte zeichnen sich dadurch aus, dass partizipativ mit den Jugendlichen bzw. junge Erwachsenen Narrative ausgearbeitet werden. Für die Untersuchung der Projektprozesse wie auch der Wirkung der Narrative wurden sieben Module entwickelt, anhand derer die Projekte evaluiert werden. Die methodischen Module wie auch die Herausforderungen der Evaluation werden im Fokus des Vortrages stehen.

Josephina Schmidt (IPES), Athanasios Tsirikiotis (IPES); Formative Evaluation des Präventionsprogramms "ACHTUNG?!" - Qualitative Methoden und Zielentwicklung

Der Beitrag stellt die formative Evaluation des Präventionsprogramms „ACHTUNG?!“ des Polizeipräsidiums Ludwigsburg vor, das mit mehreren durch unterschiedliche Akteure gestaltete Module, einen Beitrag zur Radikalisierungsprävention leistet. Bei der formativen Evaluation kam der Zielfindung eine zentrale Rolle zu. Hieran sollen die unterschiedlichen Perspektiven der Stakeholder des Projekts veranschaulicht werden.

 

Workshop 2: Aussteigerprogramme für Rechtsextremist*innen

Florian Neuscheler (Hochschule Esslingen): Evaluation des Aussteigerprogramms EXTRA

Das beim Landesamt für Verfassungsschutz in Sachsen-Anhalt angesiedelte Aussteigerprogramm für Rechtsextremisten wurde durch die Hochschule Esslingen im ersten Schritt formativ evaluiert. Aktuell findet der zweite, summative Evaluationsschritt statt. Der Referent berichtet über methodische Herausforderungen und die Lösungsansätze dieses Evaluationsprojekts.
(Der Beitrag musste krankheitsbedingt leider kurzfristig entfallen)

Dr. Frank Greuel (DJI, Halle), Frank König (DJI, Halle): „doing Ausstieg“ – Gegenstandskonstruktionen in der Ausstiegsarbeit und die Rolle von Evaluation

Das Ziel von Ausstiegsangeboten scheint klar: Personen bei ihrem Ausstieg zu unterstützen und so viele wie möglich zum Ausstieg zu bewegen. Jede Aussteigerin und jeder Aussteiger gelten damit als Projekterfolg. Die genaue Bestimmung des Ziels „Ausstieg“ erweist sich in der Praxis jedoch als überaus schwierig und unterschiedet sich zwischen den verschiedenen Angeboten. Während teilweise bereits das Lösen von problematischen Szenezugehörigkeiten als Ausstieg gilt und als (abschließender) Erfolg gewertet wird, gelten in anderen Angeboten erst die dauerhafte Abkehr von der Szene und demokratische Haltungen als Ende eines gelingenden Unterstützungsprozesses. Im Workshop soll diskutiert werden, wie Evaluation im Feld der Deradikalisierung mit den zugrundeliegenden verschiedenen Gegenstandskonstruktionen umgehen und Erfolgskriterien verbindlich formulieren kann.

 

Workshop 3: Evaluation von Programmen

Verena Fiebig (KPEBW): Strukturelle Qualitätsstandards als Ausgangspunkt der Bewertung von Deradikalisierungsprogrammen

Programme zur Deradikalisierung und Extremismusprävention haben in den letzten Jahren einen festen Platz in vielen nationalen und internationalen Strategien zur Terrorismusbekämpfung gefunden. Doch die Frage, wie sich der Erfolg und die Qualität von Deradikalisierungsprogrammen einschätzen lässt, ist bisher weitestgehend offen. Wissenschaftler kritisieren seit Jahren die mangelhafte konzeptionelle Klarheit und massive Intransparenz der überwiegenden Mehrheit dieser Programme, obwohl der grundsätzliche Wert der Deradikalisierung nicht bestritten wird.
Mit den strukturellen Qualitätsstandards in der Interventions- und Präventionsarbeit gegen gewaltbereiten Extremismus wird eine erste Grundlage für die strukturellen Mindestanforderungen für Programme, Träger und Initiativen vorgeschlagen, welche als Leitfaden für eine mehrstufige Evaluation und Qualitätssicherung der Extremismusprävention fungieren können. Neben der Vorstellung der strukturellen Qualitätsstandards werden die Chancen und Grenzen dieser Evaluationsmethode diskutiert.

 

Fishbowl-Diskussion (Leitung: Edith Halves, HAW Hamburg)

Die abschließende Diskussion dient einerseits der Darstellung der Workshopergebnisse und soll andererseits einen abschließenden Diskussionsraum bieten, die Erträge der Tagung und Überträge in die Praxis zu bestimmen.

Teilnehmer*innen-Liste der Tagung

Die Fragestellung, wie Wirkungen im Bereich der Prävention allgemein und im Bereich der Extremismusdistanzierung oder Deradikalisierung methodisch zu fassen sind, umfasst auf den ersten Blick widersprüchliche Ansätze. Während einerseits rigorose Verfahren und Metaevaluationen zur Wirkungsmessung als geeignet gelten, sind für viele Programme und Projekte eher formative und Selbstevaluationen erreichbar. Ist dies „besser als nichts“ oder ein untauglicher Versuch?

„Deradikalisierende Maßnahmen“ sind zudem ein komplexes Handlungsfeld – alleine die verwendeten Begriffe sind in der Lage, Diskussionen auszulösen. Bei der Zieldefinition kommen mehrere Dimensionen in Betracht: die Zielgruppenerreichung, die reduzierte Rückfallquote, die Distanzierung aus einschlägigen Kontexten oder gar der Einstellungswandel, dessen Messung weitere methodische Fragen aufwirft.

Einigkeit besteht in der Defizitbeschreibung: bislang gab es zu wenige (veröffentlichte) Studien. Die Verbindungen zwischen „großen“ Programm- und „kleinen“ Projekt-Evaluationen wird als mangelhaft beschrieben. Der Austausch über Evaluationen auf dem Weg zu einer konstruktiven Fehlerkultur und zu gegenseitigem Lernen scheint verbesserungswürdig.

Die Tagung will im Handlungsfeld tätige Evaluatorinnen und Evaluatoren sowie Programmverantwortliche zusammenführen und Möglichkeiten ausloten, mithilfe von evaluativen Verfahren zu größerer Wirkung und Effizienz in der Prävention und Intervention von Radikalisierungen zu gelangen. Hierbei sollen Lösungswege aufgezeigt, übertragbare methodische Zugänge gesucht, Forschungslücken umrissen und die weitere Diskussion angestoßen werden.

Das Programm lässt sich dem Flyer (PDF) entnehmen. Weitere Informationen sind über das KPEBW verfügbar. Anmeldungen sind über das Online-Formular bis zum 23. März 2018 möglich.

In der Ausgabe 2/2017 ist eine Darstellung des AK unter dem Titel "Evaluation sozialer Dienstleistungen. Kurzbericht aus dem AK Soziale Dienstleistungen über die Entwicklungen in diesem Feld sowie die Rolle der DeGEval" veröffentlicht (Link auf die Verlagsseite)

Früh am 21.09.2017 traf sich der AK Soziale Dienstleistungen zu seiner Sitzung anlässlich der 20. Jahrestagung in Mainz. Das Protokoll ist hier eingestellt.

Anlässlich der 20. Jahrestagung der DeGEval wurde das AK-Poster aktualisiert.

Der AK Soziale Dienstleistungen bot, unter Leitung von Dr. Rainer Strobel bei der Jahrestagung 2016 eine Session zum Thema "Ergebnisse ignorieren und dann weiter so? Nutzung und Einfluss von Evaluation in politischen Prozessen" an. Caroline Schlaufer (Universität Bern), Prof. Dr. Reinhard Stockmann (CEval) sowie Dr. Holger Bähr (IAB) und Prof. Dr. Dieter Filsinger (HTW) brachten Beiträge ein.

Die Tagungsdokumentation finden Sie in der Rubrik Bisherige Aktivitäten.

Die Frühjahrstagung des AK Soziale Dienstleistungen in der DeGEval fand in Kooperation mit dem Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW) am 15./16. März 2016 in Düsseldorf statt. Das Programm und eine Tagungsbeschreibung können Sie hier downloaden. Die Tagungsdokumentation finden Sie in der Rubrik Bisherige Aktivitäten.

Zwischen den Stühlen? - Rollen von Evaluierenden und Erwartungen an Evaluation in komplexen Programmen. Vortragssession des AK Soziale Dienstleistungen

Komplexe Programme und Handlungsstrategien stellen vielfältige Anforderungen an Evaluierende. Der Zweck von Evaluation kann dabei sehr unterschiedlich ausgestaltet sein und von der Bewertung erbrachter Leistungen bis hin zur Mitgestaltung des zu evaluierenden Prozesses reichen. Zudem kann das Verhältnis von Evaluation und Evaluationsgegenstand je nach Nähe und Einbindung als ein externes, semi-externes oder internes Verhältnis beschrieben werden. Für die Rolle von Evaluierenden hat dies weitreichende Konsequenzen und bestimmt darüber, welche Aufgaben und Funktionen Evaluierende wahrnehmen – und welche außerhalb ihrer Zuständigkeit liegen (sollten). Darüber hinaus sind von einer Evaluation und ihren Ergebnissen immer verschiedene Akteure betroffen, die meist sehr unterschiedliche und zum Teil wiederstreitende Interessen im Hinblick auf die Evaluation haben. Auch wenn in der Planung und Durchführung eines Evaluationsvorhabens angestrebt wird, (explizit geäußerte) Anliegen der beteiligten Stakeholder neben den Interessen der Auftraggebenden möglichst zu berücksichtigen, werden die Evaluierenden – weitgehend unabhängig von ihrem formal definierbaren Auftrag – immer mit (auch impliziten) Erwartungen der an der Evaluation beteiligten Akteure konfrontiert. Diese Erwartungen resultieren etwa aus verschiedenen Bezugssystemen (z. B. Politik, Wissenschaft, Fachpraxis, Öffentlichkeit), aus Vorerfahrungen mit Evaluation oder Evaluierenden und aus unterschiedlichen Interessen an den Evaluationsergebnissen (z. B. Bewertung, Anregung zur Weiterentwicklung, Lob/Bestätigung, fachliche Einschätzung). Gelegentlich beziehen sich die Erwartungen auch nicht auf den eigentlichen Evaluationsgegenstand. Entsprechend stehen die vereinbarten Rollen der Evaluierenden und die an sie herangetragenen Erwartungen in einem mal mehr, mal weniger starken Spannungsverhältnis.

Gerade im Bereich der Evaluation sozialer Dienstleistungen sind die entsprechenden Aushandlungsprozesse oftmals stark ausgeprägt, da für diesen Bereich standardisierte und übertragbare Evaluationsverfahren selten vorhanden sind. Auch müssen diese in der Regel gegenstandsangemessen und partizipativ im Evaluationsprozess mit den beteiligten Stakeholdern (weiter-)entwickelt werden. Zudem weisen viele beteiligte Akteure – u. a. aufgrund der langen Tradition von Selbstevaluationen in diesem Feld – eigene Vorerfahrungen mit Evaluationen auf und bringen die daraus resultierenden Vorstellungen in den Evaluationsprozess ein. Die AK-Session zielt darauf, dieses Spannungsverhältnis aus Sicht von externen Evaluierenden in der Kinder- und Jugendhilfe als einem wichtigen Feld der Evaluation sozialer Dienstleistungen zu reflektieren. Dazu werden zunächst Erfahrungen mit Rollen von und Erwartungen an Evaluierende anhand von drei Beispielen aus der Evaluationspraxis vergleichend betrachtet. Ergänzend wird vorgestellt, wie (implizite) Erwartungen an Evaluierende systematisch aus empirischem Material rekonstruiert werden können.

Beitrag I

Ulrike Berg‐Lupper, Franziska Heinze, Stefanie Reiter, Stephanie Riedle & Katharina Wach des DJI (München und Halle): "Zwischen den Stühlen? Rollenverständnisse und ‐aushandlungen von Evaluierenden an drei Beispielen"

Der erste Beitrag basierte auf den Erfahrungen aus drei am Deutschen Jugendinstitut e.V. angesiedelten Evaluationen von komplexen Bundesprogrammen („Evaluation des Kinder- und Jugendplans des Bundes“, „Wissenschaftliche Begleitung der Umsetzung der EU-Jugendstrategie in Deutschland“ und „Wissenschaftliche Begleitung der Förderung zur Strukturentwicklung bundeszentraler Träger im Rahmen des Bundesprogramms ‚Demokratie leben!‘)“. In einer vergleichenden Perspektive wurde herausgearbeitet, welches Rollenverständnis Evaluierende einnehmen und welche Reaktionen darauf und Herausforderungen damit in der Evaluationspraxis verbunden sind. Neben der Reflexion von Erfahrungen während des Evaluationsprozesses wurden auch Strategien des Umgangs mit konfligierenden Rollen und Erwartungen thematisiert.

Beitrag II

Franziska Heinze & Stefanie Reiter "'Wir wären weiter, wenn auch Wissenschaft da eine andere Haltung hätte und nicht einfach nur als der Empfänger von Fördermitteln agiert' – Potenziale der Rekonstruktion von Erwartungen an Evaluierende" 

Der zweite Beitrag widmete sich vor allem den Erwartungen an Evaluation und Evaluierende. Ausgehend von subjektiven Erfahrungen der Evaluierenden, dass in Erhebungssituationen auch Rollenverständnisse und Erwartungen an Evaluierende kommuniziert und/oder implizit verhandelt werden, entstand die Frage, wie diese subjektiven Erfahrungen systematisch herausgearbeitet und transparent gemacht werden können. Anhand einer rekonstruktiven Sekundäranalyse empirischen Materials aus einer wissenschaftlichen Begleitung wurden Orientierungsmuster von befragten Akteuren in Bezug auf Evaluation und Evaluierende vorgestellt. Abschließend wurden die Potenziale und Grenzen einer solchen Vorgehensweise für die Reflexion von Rollen von und Erwartungen an Evaluation und Evaluierende thematisiert.

Die Frühjahrstagung des AK Soziale Dienstleistungen in der DeGEval fand in Kooperation mit dem Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW) am 15./16. März 2016 in Düsseldorf statt. Eine ausführliche Beschreibung der Inhalte findet sich weiter unten bzw. in der ZfE (Ausgabe 2/2016, S. 342-348).

Session des AK Soziale Dienstleistungen bei der 19. Jahrestagung der DeGEval am 23.09.2016: Ergebnisse ignorieren und dann weiter so? Nutzung und Einfluss von Evaluation in politischen Prozessen

Evaluationsergebnisse können ein konstruktiver Faktor in politischen Prozessen sein, wenn sie von den beteiligten Akteuren für eine rationale Entscheidungsfindung genutzt werden. Häufig werden Evaluationsergebnisse jedoch gar nicht erst zur Kenntnis genommen oder lediglich für strategische Zwecke eingesetzt. Dabei ist jedoch zu berücksichtigen, dass der wahrgenommene Nutzen von Evaluationsergebnissen in erster Linie von den Relevanzstrukturen der Rezipienten abhängt. Vor diesem Hintergrund stellt sich dann die Frage nach der Anschlussfähigkeit von Evaluationsergebnissen in politischen Prozessen.

 

 

• In seinem Vortrag „Die Nutzung von Evaluation in unterschiedlichen Systemen: der Administration, der Politik und der Gesellschaft“ geht Prof. Dr. Reinhard Stockmann (CEval) davon aus, dass Evaluationen in den betrachteten Systemen jeweils unterschiedlichen Zielen dienen und dass sich der Nutzen von Evaluationen in den drei Systemen grundsätzlich anders darstellt. Weitere Aspekte sind die Verbreitung von Evaluation in den drei genannten Systemen und Möglichkeiten zur Erhöhung der Nutzung von Evaluationsergebnissen bei der politischen Entscheidungsfindung.
  (Beschreibung und Folien zum Download)
• Caroline Schlaufer (Universität Bern) beschreibt in ihrem Beitrag „Die Rolle von Evaluationsergebnissen in Abstimmungskampagnen“ die Nutzung von Evaluationsergebnissen zur Unterstützung oder Widerlegung von politischen Positionen. Konkret geht es um die Frage, inwieweit Evaluationsresultate in Abstimmungskampagnen in der Schweiz genutzt werden und welchen Einfluss die Nutzung von Evaluationsergebnissen auf die Qualität des Mediendiskurses hat.
  (Beschreibung und Folien zum Download)
• Dr. Holger Bähr (IAB) und Prof. Dr. Dieter Filsinger (HTW) richten in ihrem Beitrag „Die Gelegenheit ist günstig: Vom Einfluss der Evaluation auf die Politik“ ihr Augenmerk auf die Adressaten von Evaluationsstudien und fragen, welchen Einfluss Evaluationen auf die Politik haben. In diesem Zusammenhang sehen Sie die Bereitstellung von Wissen über die Wirksamkeit von Programmen, Maßnahmen und Strategien als einen Beitrag der Evaluation zu einer nachhaltigen Lösung gesellschaftlicher Probleme. Allerdings müsse sich ein „Gelegenheitsfenster“ öffnen, damit Ergebnisse und Empfehlungen aus Evaluationsstudien zu einer nachhaltigen Politikgestaltung beitragen können.
  (Beschreibung und Folien zum Download)

 

AK-Dokumente zur Jahrestagung:

•     Tätigkeitsbericht 2015/2016
•     AK-Poster 2016
•     Protokoll des AK-Treffen 2016 in Salzburg

Evaluationen können wichtige Informationen für politische Entscheidungsträger liefern, die deutlich über die Legitimationsfunktion der Evaluation hinausgehen. Eine Diskussion über diese umfassende Form der Evaluation war das Ziel einer gemeinsamen Frühjahrstagung des AK Soziale Dienstleistungen in der DeGEval in Kooperation mit dem Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW). Die Fachtagung zum Thema „Evaluation und politische Gestaltungs- und Entscheidungsprozesse“ fand am 15./16. März 2016 in Düsseldorf statt. Bei der Tagung stand die Fragestellung im Zentrum, wie Evaluation zur gesellschaftlichen Weiterentwicklung beitragen kann. Dabei wurden die Möglichkeiten und Grenzen einer Verzahnung zwischen Evaluations- und politischen Entscheidungsprozessen beleuchtet und die Frage behandelt, welche Rationalitätsgewinne die Evaluation bei politischen Entscheidungen verspricht und was daraus für die Zusammenarbeit von Programmentscheidern aus Politik und Verwaltung auf der einen Seite und Evaluationsexpertinnen und -experten auf der anderen Seite folgt. Das Tagungsformat beinhaltete Impulsreferate von Expertinnen und Experten aus diesen unterschiedlichen Bereichen sowie ausführliche Diskussionen zu den aufgeworfenen Themen im Plenum und in Kleingruppen. Insgesamt nahmen rund 80 Vertreterinnen und Vertreter aus den Bereichen Politik, Verwaltung, Zivilgesellschaft und Evaluation an der Tagung teil. Referierende aus Österreich und der Schweiz gaben Einblicke in aktuelle Entwicklungen und Diskurse der Nachbarländer und eröffneten neue Perspektiven auf die Thematik. Die Fachtagung bot somit Vertreterinnen und Vertretern aus Politik, Verwaltung, Zivilgesellschaft und Evaluation eine Gelegenheit, Fragestellungen zum Zusammenwirken von Evaluation und politischen Gestaltungs- und Entscheidungsprozessen aus unterschiedlichen Perspektiven zu diskutieren und gemeinsam über Grenzen sowie Potenziale nachzudenken. Die Tagung umfasste folgende Vorträge:

Prof. Dr. Wilhelm Heitmeyer (Universität Bielefeld): Gesellschaftliche Weiterentwicklung, die Bedeutung von Evaluation und Problembereiche Vortrag als Download

Prof. Dr. Thomas Widmer (Institut für Politikwissenschaft, Universität Zürich): Evaluation in der Politik Vortrag als Download

PD Dr. Rainer Strobl (proVal - Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation, Hannover): Möglichkeiten und Konsequenzen eines wirkungszentrierten Vorgehens bei der Planung, Umsetzung und Evaluation von politischen Programmen und Initiativen Vortrag als Download

Dr. Olaf Lobermeier (proVal - Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation, Hannover): Beispiele für ein wirkungszentriertes Vorgehen bei der Evaluation von politischen Programmen und geförderten Projekten Vortrag als Download

Mag. Ursula Rosenbichler (Bundeskanzleramt Österreich): „Monitoring: Voraussetzung für wirkungsorientiertes Steuern – Evaluation: Basis für nachhaltiges Entscheiden? Erfahrungen aus der österreichischen Bundesverwaltung Vortrag als Download

Prof. Dr. Dieter Filsinger (Hochschule für Technik und Wirtschaft des Saarlandes): Politikberatung und/oder Evaluation

Cornelia Stern (Ministerium für Schule und Weiterbildung NRW, Referat 13) und Stefan Schmidt (schmidt evaluation, Köln): Evaluation und politischer Entscheidungsprozess – Möglichkeiten einer Verzahnung Vortrag als Download

Prof. Dr. Reinhard Stockmann (Universität des Saarlands, Centrum für Evaluation): Rationalitätsgewinne bei politischen Entscheidungen durch Evaluation Vortrag als Download

Vom 16. bis 18. September 2015 fand in Speyer die 18. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V. zum Thema „Evaluation und Wissensgesellschaft“ statt. Der AK Soziale Dienstleistungen beteiligte sich an dieser Jahrestagung mit der Session „Zwischen Evidenzbasierung und partizipativer Evaluation: Ansätze zur Generierung und Nutzung von Wissen in der Pflege und Seniorenarbeit“. Die Session umfasste folgende Vorträge:

• Dr. Heidemarie Kelleter (Diözesan-Caritasverband für das Erzbistum Köln e.V.): Outcome zur evidenzbasierten Steuerung in der Langzeitpflege – Wirkungen im Projekt EQis. Vortrag als Download
• Annette Beyer und Ralf Schattschneider (Hochschule für Angewandte Wissenschaften Hamburg): Partizipative Evaluation eines KONFETTI-Cafés – Verbindung von Wissensproduktion und Anwendungsbezug. Vortrag als Download

 

Zudem wurde der AK für die „Patenschaft“ und Moderation der Session „Evaluationsnutzung in der frühkindlichen Bildung“  angefragt, welche ebenfalls im Rahmen der Jahrestagung übernommen wurde. Die Session beinhaltete zwei Vorträge:

• Sabine Nunnenmacher und Mechthild Laier (Deutsches Jugendinstitut e.V.): Welche Veränderungen im Wissen pädagogischer Fachkräfte kann eine praxisbegleitende Qualifizierungsmaßnahme anstoßen? Vortrag als Download
• Mira Beck (Friedrich-Alexander-Universität Erlangen-Nürnberg): Aus Evaluationen lernen: Durchführung einer Meta-Evaluation zur Generierung von Empfehlungen für die Evaluationspraxis. Vortrag als Download

 

AK-Dokumente zur Jahrestagung

• Tätigkeitsbericht 2014/2015
• AK-Poster 2015
• Protokoll des AK-Treffen 2015 in Speyer

Die Frühjahrstagung des Arbeitskreises Soziale Dienstleistungen der DeGEval mit dem Titel "Methodische Herausforderungen der Wirkungsanalyse bei knappen Ressourcen" fand am 24. Mai 2015 in Wolfsburg statt. Sie bot Evaluatorinnen und Evaluatoren eine Gelegenheit, die methodischen Herausforderungen der Wirkungsanalyse bei knappen Ressourcen zu diskutieren und gemeinsam über Lösungen nachzudenken. Rund 30 Personen aus Deutschland und Österreich nahmen teil.

Die Dokumentation zur Tagung finden Sie hier.

Vom 10. bis 12. September 2014 fand die 17. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V. zum Thema „Professionalisierung in und für Evaluationen“ in Kooperation mit der Schweizer Evaluationsgesellschaft (SEVAL) in Zürich statt. Der AK Soziale Dienstleistungen beteiligte sich an dieser Jahrestagung mit der Session „Professionalisierung durch Evaluation“, welche folgende Vorträge umfasste:

• Prof. Dr. Edgar Baumgartner und Dr. Sigrid Haunberger, Fachhochschule Nordwestschweiz, Hochschule für Soziale Arbeit, Institut Professionsforschung und kooperative Wissensbildung: Realistic Evaluation als Werkzeug der (Wirkungs-)evaluation in der Sozialen Arbeit - Ergebnisse einer Systematischen Review Vortrag als Download

• M.Eval. Jessica Prigge und Prof. Dr. Dieter Filsinger, Hochschule für Technik und Wirtschaft des Saarlandes, Fakultät für Sozialwissenschaften, Department Soziale Arbeit und Pädagogik der Kindheit: Professionalisierung durch Evaluation in der Pädagogik der frühen Kindheit Vortrag als Download

AK-Dokumente zur Jahrestagung

• Tätigkeitsbericht 2013/14
• AK-Poster 2014
• Protokoll AK-Treffen 2014 in Zürich

Im April 2014 fand in Augsburg im "Zentrum für interkulturelle Beratung, Tür an Tür e.V. die Frühjahrstagung des AK Soziale Dienstleistungen zum Thema "Evaluation von Integrationsprozessen von MIgranten_innen" statt.

Den Tagungsbericht können Sie hier downloaden.

Session 'Evaluation von Prävention von Rechtsextremismus'

• Dr. Rainer Strobl und Olaf Lobermeier (proval - Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation): Richtige Reduktion von Komplexität Vortrag als Download
• Dr. Frank Greuel, Susanne Johansson, Eva Zimmermann (Deutsches Jugendinstitut): Komplexe Programme bedürfen komplexer Evaluation: Chancen und Herausforderungen von Evaluationsverbünden Vortrag als Download
• Sarah Beierle, Dr. Ursula Bischoff, Eva Zimmermann (Deutsches Jugendinstitut): Komplexe Programme und die Herausforderungen bei der Erhebung und Darstellung ihrer Wirksamkeit - Die Adressatenperspektive Vortrag als Download

AK-Dokumente zur Jahrestagung

• Tätigkeitsbericht 2012/2013
• AK-Poster 2013  
  
• Protokoll AK-Treffen 2013 in München

Session 'Evidenzbasierung und komplexe Interaktionszusammenhänge: Eine Quadratur des Kreises bei Sozialen Dienstleistungen?'

• Dr. Kerstin Junge (Tavistock Institute of Human Relations; London, United Kingdom): Evaluation als kontextbezogene und relationale Aktivität: Voraussetzung für die Nutzung von Evidenzen? (Vortrag zum Download als pdf)
• Ralf Schattschneider (Zentrum für ökonomische und soziologische Studien Universität Hamburg): Kompliziert vs. komplex: das Dilemma evidenzorientierter Evaluation in Organisationen der sozialen Arbeit (Vortrag zum Download als pdf)

AK-Dokumente zur Jahrestagung

• Tätigkeitsbericht 2011/2012
• AK-Poster 2012
• Protokoll AK-Treffen 2012 in Potsdam

Keiner wird zurückgelassen!? - Evaluation von Bildungslandschaften (in Kooperation mit der asw e.V. - AG sozialwissenschaftliche Forschung und Weiterbildung an der Universität Trier)

• Natalie Smilek, Annelie Cremer (asw e.V./FB IV Soziologie Universität Trier): „Nimm' jemanden mit - geh' nicht allein" - „Regionale Vernetzung und Kooperation als zentraler Gelingensfaktor schulischen Wirkens – Befunde einer wissenschaftlichen Begleitung" (Vortrag zum download als pdf )
• Rudolf Fries (Projektleiter Lernen vor Ort, Trier): Kommunales Bildungsmonitoring - Eine Basis für kommunale Bildungslandschaften? (Vortrag zum Download als pdf )
• Stefan Schmidt (schmidtevaluation, Köln): Regionale Bildungslandschaften wirkungsorientiert gestalten (Vortrag zum Download als pdf )
• Edith Halves (Zentrum für Praxisentwicklung Hamburg): Evaluation des Programms HIPPY in Hamburg – Vorgehen, Ergebnisse,
  Entwicklungen und Lessons Learned (Vortrag zum Download als pdf )

Publikationen und Materialien zur Tagung:

• Schmidt, S. (2012). Regionale Bildungslandschaften wirkungsorientiert gestalten.  Ein Leitfaden zur Qualitätsentwicklung in regionalen Bildungslandschaften. Verlag Bertelsmann Stiftung. Broschüre zum Download und Broschüre als Leseprobe.
  
• Schmidt, S. & Höfer, C. (2012). Nachhaltige Qualitätsentwicklung in Bildungsregionen. Eine Handreichung zur Implementierung von internen Evaluationsverfahren in regionalen Bildungsbüros. Artikel zum Download.
• Annelie Cremer, Natalie Smilek, Dirk Groß: „Keiner wird zurückgelassen!? – Evaluation von Bildungslandschaften“, Frühjahrstagung des AK Soziale Dienstleistungen im Mai 2012 (Artikel zum Download , mit freundlicher Genehmigung des Waxmann-Verlages)

Session "Teilhabe und Politikgestaltung als Elemente partizipativer Evaluationen"

• Die Teilnahme am Evaluationsprozess als Teilhabe-Fiktion: Wolfgang Vogt; Anett Reiche (Forschungs- und Transferstelle G.I.M. an der HTW des Saarlandes) (Vortrag zum Download als pdf)
• Evaluation als Organisations- und Politikentwicklung: Dr. Olaf Lobermeier; PD Dr. Rainer Strobl (proVal – Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation Hannover) (Vortrag zum Download als pdf)

Session "Methodenmix und Triangulation als Chance für Partizipation" 

• Multikontextuale Fallstrukturanalysen am Beispiel der wissenschaftlichen Begleitung der Lokalen Aktionspläne im Rahmen des Bundesprogramms VIELFALT TUT GUT: Dr. Kari-Maria Karliczek (Camino gGmbh) 
• Partizipation als unverzichtbarer Bestandteil eines subjektorientierten Evaluationsansatzes: Stefan Heinzmann (Institut für Sozialarbeit und Sozialpädagogik (ISS) e.V) (Vortrag zum Download als pdf)

Session "Selbstbestimmung durch Partizipation im Forschungsprozess"  

• Wenn Peers evaluieren“ – Affinität und Professionalität als Begründung für Expertentum im Rahmen von NutzerInnen-Evaluationen. Methodologische Argumente zum Einsatz von Menschen mit kognitiver Behinderung für  Interviews mit Menschen mit Behinderungen: Prof. (FH) Dr. Mag. Rainer Loidl (Fachhochschule JOANNEUM Graz) (Vortrag zum Download als pdf)
• Nutzerorientierte Evaluationsforschung – Beispiele an der Partizipation gehörloser Menschen: Univ.-Prof. Dr. Mathilde Niehaus/Univ.-Prof. Dr. Thomas Kaul (Universität zu Köln)
• Evaluation von Dienstleistungen für Menschen mit Behinderung: Dipl. Gerontologin Cordula, Barth und Prof. Dr. Albrecht Rohrmann (ZPE der Universität Siegen) (Vortrag zum Download als pdf)  

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2010/2011
• Protokoll AK-Treffen 2011 in Linz
• Poster 2011

Session "Nutzen qualitativer Methoden im Kontext der Evaluation Sozialer Dienstleistungen"

• Dr. Marianne Lück-Filsinger (Forschungs- und Transferstelle G.I.M an der Hochschule für Technik und Wirtschaft des Saarlandes): Zur Leistungsfähigkeit Qualitativer Methoden in der Evaluation – exemplarisch aufgezeigt an der Rekonstruktion der Kooperation unterschiedlicher Berufsgruppen in der Ausbildungsvorbereitung (Vortrag zum Download als pdf)
• Prof. Dr. Helmut Willems, Christiane Meyers und Andreas Heinen (Université du Luxembourg): Der Einsatz qualitativer Methoden in der Sozialberichterstattung und Politikberatung. Das Beispiel des ersten luxemburgischen Jugendberichtes (Vortrag zum Download als pdf)
  

Methodische Fragen bei der Evaluation von Gesundheitsprävention (in Kooperation mit dem AK Gesundheit)

• Esin Taskan-Karamürsel, Dr. Annekatrin Wetzstein (Institut für Arbeit und Gesundheit der Deutschen Gesetzlichen Unfallversicherung (IAG)): Vielfalt als Mehrwert für die Evaluation von Präventionskampagnen (Vortrag zum Download als pdf) 
• Prof. Dr. Helmut Willems, Sandra Biewers, M.A. (Universität Luxemburg): Zur Anwendung der Sozialen Netzwerkanalyse in der Evaluation: Eine Methodendiskussion am Beispiel des Forschungsprojekts SORES (Social responsibility as a strategic concept of prevention work - Opportunities and limitations of promoting an intergenerational dialogue by networking) (Vortrag zum Download als pdf)

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2009/2010
• Protokoll AK-Treffen 2010 in Luxemburg
• Poster 2010 des AK

Evaluation in der Sozialen Arbeit im Spannungsfeld von Forschung, Steuerung und Entwicklung
(in Kooperation mit dem Studiengang Soziale Arbeit und Pädagogik der Kindheit der Fakultät für Sozialwissenschaften an der Hochschule für Technik und Wirtschaft (HTW) des Saarlandes) 

Eröffnungsvortrag:

• Prof. Dr. Werner Thole (Universität Kassel): Vom Messen der Effekte hin zur Wirksamkeitsforschung (Vortrag zum Download als pdf)

Workshop 1: Evaluation: Ein Beitrag zur Professionalisierung der Sozialen Arbeit (Moderation: Edith Halves, ZEPRA HAW Hamburg)

• Prof. Dr. Birgit Althans, Juliane Lamprecht (Universität Trier): Qualitative Evaluation als Professionsforschung: Prozessbegleitung ohne Wertung? (Text und Bilder zum Download als pdf)

• Prof. Dr. Armin Schneider (Fachhochschule Koblenz): Gezielte Wirkungen brauchen Prozesse und Strukturen – Evaluation Sozialer Arbeit muss in Profession und Politik wirken (Vortrag zum Download als pdf)

Workshop 3: Antworten der Profession auf die Herausforderungen der Evaluationspraxis (Moderation: Stefan Schmidt, schmidt evaluation, Köln)

• Karin Haubrich (DJI München): Die DeGEval-Standards als Orientierungshilfe in einem unwegsamen Gelände: „Praxisbeispiele einer wissensgenerierenden Evaluation“ (Vortrag zum Download als pdf)
• Christoph Liel (München): Evaluation und Erfolgseinschätzung: Chancen und Probleme (Vortrag zum download als pdf)
• Maria Laura Bono (socialimpact, research & consulting, Graz): Die Entwicklung wirkungsorientierter Ziele: Eine Herausforderung für die Operationalisierung (Vortrag zum Download als pdf)
• Dr. Dominique Moisl (ISS Frankfurt am Main): Die Handlungsrelevanz-Matrix als methodischer Baustein für die steuerungs- und entwicklungsorientierte Evaluation sozialer Dienstleistungen

Die Abstracts der Referentinnen und Referenten stehen zum Download zur Verfügung. Bitte beachten Sie dabei, dass der Workshop 2 leider kurzfristig entfallen musste.

 

Publikationen zur Fachtagung:

Über die Tagung ist ein Beitrag in der Zeitschrift für Evaluation, Ausgabe 1/2010 erschienen. Der Artikel steht Ihnen hier mit freundlicher Genehmigung des Waxmann-Verlages zum Download zur Verfügung:

• Edith Halves, Marianne Lück-Filsinger: "Evaluation in der Sozialen Arbeit im Spannungsfeld zwischen Forschung, Steuerung und Entwicklung. Fachtagung des Arbeitskreises „Soziale Dienstleistungen“ und der Hochschule für Technik und Wirtschaft (HTW) des Saarlandes, Fakultät für Sozialwissenschaften".

Session "Wirkfähigkeit früh ansetzender Prävention zur Bekämpfung von Extremismus" 

• Susanne Giel (Univation, Köln): Wirkungen rekonstruieren - Chancen und Grenzen der Methodenintegration (Vortrag zum Download als pdf)

• Dr. Ursula Bischoff (Deutsches Jugendinstitut, Halle): Wirkungen messen -  methodische Herausforderungen (Vortrag zum Download als pdf)

Session "Der Schwarm-Evaluationsansatz (SEA). Option für eine Gesellschaft im Stress" (gemeinsam mit dem AK Berufliche Bildung) 

• Dörte Schott (Freie Gutachterin, Bonn); Dr. Wolfgang Beywl (Univation, Köln) (Vortrag zum Download als pdf)

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2008/2009
• Protokoll AK-Treffen 2009 in Münster
• Poster 2009 des AK

Session "Das Verhältnis von wirkungsorientierter Evaluation und wirkungsorientierter Steuerung im Feld der Sozialen Dienstleistungen"; Block I

• Ilona Renner (Nationales Zentrum Frühe Hilfen, Köln): Zum Verhältnis von Evaluation und Steuerung: das Aktionsprogramm des Bundes `Frühe Hilfen für Eltern und Kinder und soziale Frühwarnsysteme` (Vortrag zum Download als pdf)
• Dr. Marianne Lück-Filsinger (Saarbrücken): Das Spannungsfeld zwischen Evaluation und Steuerung am Beispiel einer "ex-post-Evaluation" (Vortrag zum Download als pdf)

Session "Das Verhältnis von wirkungsorientierter Evaluation und wirkungsorientierter Steuerung im Feld der Sozialen Dienstleistungen; Block II

• Dr. Petra Wagner (Fachbereich Psychologie, FH Oberösterreich, Campus Linz): Programmevaluation im Kindergarten: Eine kritische Betrachtung zum Verhältnis von Steuerung und Evaluation (Vortrag zum Download als pdf)
• Dr. Anja Grosch, Heike Prüße (Deutsche Kinder- und Jugendstiftung, Berlin) und Christoph Rosenbusch (Zentrum für Qualitätssicherung und -entwicklung, Mainz): Das Verhältnis von Steuerung und Evaluation am Beispiel des Bildungs- und Beratungsprogramms Ìdeen für mehr! Ganztägig lernen` (Vortrag zum Download als pdf)

Session "Wirkungsorientierte Steuerung Sozialer Dienste (gemeinsam mit dem AK Verwaltung)

• Ass. Prof. Iris Saliterer (Alpen-Adria Universität Klagenfurt): Anforderungen an Wirkungsorientierte Steuerung: Erfahrungen aus Österreich (weitere Informationen zur Thematik finden Sie hier)
• Andreas Polutta (Universität Bielefeld): Evaluation des Bundesmodellprogramms "Wirkungsorientierte Jugendhilfe" (weitere Informationen zu diesem Programm finden Sie hier.

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2007/2008
• Protokoll AK-Treffen 2008 in Klagenfurt
• Poster 2008 des AK

Workshop "10 Jahre Qualitätsdebatte in der Sozialen Arbeit: Erfahrungen aus verschiedenen Arbeitsfeldern in Deutschland und Österreich"

• Prof. Hiltrud von Spiegel (Fachhochschule Münster): Qualitätsentwicklung in Jugendarbeit und Erziehungshilfe in Deutschland  - ein "Evaluationsversuch" aus biografischer Perspektive (Vortrag zum Download als pdf)
• Günter Felbinger, Melitta Fritz (beide Fachbereich Qualität in der Sozialabteilung des Landes Steiermark) und Prof. Rainer Loidl-Keil (Fachhochschule JOANNEUM Graz): Gestern, heute, morgen - Qualität und Evaluation in der Sozialarbeit in Österreich. Das Beispiel Jugendwohlfahrt im Bundesland Steiermark (Vortrag zum Download als pdf)

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2006/2007
• Protokoll AK-Treffen 2007 in Dresden

Themenveranstaltung Soziale Arbeit

Beitragende: 

• Karin Haubrich (Deutsches Jugendinstitut, München)
• Prof. Rainer Loidl-Keil (Fachhochschule JOANNEUM, Graz)
• Matthias Drilling (Fachhochschule Nordwestschweiz)

In folgender Publikation sind die Beitrage verschriftlicht: Widmer, T.; Beywl, W.; Fabian, C. (Hrsg.): Evaluation. Ein systematisches Handbuch, Wiesbaden 2009 (Das Buch kann über den Verlag für Sozialwissenschaften bezogen werden.)

• Haubrich, K.: Evaluation in der Sozialen Arbeit in Deutschland. Entwicklungslinien und Besonderheiten der Evaluationsdebatte am Beispiel der Kinder-, Jugend- und Familienhilfe, 441-449
• Loidl-Keil, R.: Evaluation in der Sozialarbeit in Österreich - auf dem Weg zu einem neuen Verständnis und aktiver Auseinandersetzung, S. 450-457 
• Drilling, M.: Evaluation in der Sozialen Arbeit in der Schweiz. Eine Einschätzung aus professionstheoretischer Sicht, S. 458-468
• Haubrich, K.; Loidl-Keil, R.; Drilling, M.: Evaluation in der Sozialen Arbeit im Ländervergleich, S. 469-476 

Workshop 'Evaluation von Netzwerken in der sozialen Arbeit: Praktische Probleme, methodische Herausforderungen und konzeptionelle Antworten'

• Prof. em. Jarg Bergold (Freie Universität Berlin): Evaluation und institutionelle Vernetzung: Probleme und Möglichkeiten der Evaluation im regionalen Gesundheitssystem (Vortrag zum Download als pdf) 
• Dr. Dagmar Killus (Institut für Erziehungswissenschaft, Universität Potsdam) und Dr. Claudia Streblow (Deutsche Kinder- und Jugendstiftung): Evaluation der Netzwerkarbeit im Programm "Reformzeit" (Vortrag zum Download als pdf) 
• Dr. Heinz Metzen (Fachbereich Erziehungs- und Bildungswissenschaften der Universität Bremen): So lassen sich Netzwerke (nicht) evaluieren - von der Netzwerkrhetorik zur systemischen Organisationsgestaltung und Forschungsmethodik. Erste Gehversuche bei Vernetzungsversuchen in der Familienbildung (Vortrag zum Download als pdf) (Arbeitspapier zum Download als pdf)

AK-Dokumente zur Jahrestagung:

• Tätigkeitsbericht 2005/2006
• Protokoll AK-Treffen 2006 in Lüneburg

Wirkungsorientierte Evaluation – ein neues Wundermittel?
(in Kooperation mit dem Deutschen Jugendinstitut, München und dem Institut für Sozialarbeit und Sozialpädagogik, Frankfurt a.M.)

Vorträge

• Dr. Christian Lüders (Deutsches Jugendinstitut): Wirkungsevaluation: Suchbewegung zwischen hohen Erwartungen, fachlichen Erfordernissen und allerlei Befürchtungen

• Dr. Wolfgang Beywl (Univation, Köln): Wirkungsnachweis – ein Job für Sisyphos oder für das Orakel von Delphi?

• Prof. Dr. Michael Macsenaere (Institut für Kinder- und Jugendhilfe, Mainz): Implizite Annahmen eines (quasi-)experimentellen Vorgehens am Beispiel der Jugendhilfe-Effekte-Studie

• Dr. Jan Hense (Ludwig-Maximilians-Universität, München): Mode oder neuer Standard? Vor- und Nachteile theoriebasierter Evaluationsansätze am Beispiel des EUProjekts Simgame

• Dr. Jürgen Boeckh (Institut für Sozialarbeit und Sozialpädagogik, Frankfurt a.M.): Wirkungen als Überprüfung der Zielerreichung – Zwischen objektiver Messung und normativer Setzung (Beispiel Netzwerkarbeit)

• Karin Haubrich (Deutsches Jugendinstitut): Das Programm wirkt! Nur jeder sieht es anders. – Cluster-Evaluation als Ansatz vielfältige Wirkungsannahmen zu berücksichtigen

• Willy Klawe (Institut des Rauhen Hauses für Soziale Praxis, Hamburg): Multiperspektivische Evaluation als Prozess – Wirkungsrekonstruktion aus der Sicht der Beteiligten

Alle Vorträge stehen zum Download zur Verfügung (Download als pdf)

Parallele Rundgespräche

• Prof. Dr. Michael Macsenaere (Institut für Kinder- und Jugendhilfe, Mainz): Wirkungsorientierte Dokumentation in Einrichtungen und Diensten: EVAS (Evaluation erzieherischer Hilfen)

• Michael Köhler und Carsten Bückner (Stadtjugendamt München): Controlling und Evaluation erzieherischer Hilfen im Jugendamt

• Prof. Dr. Ulrich Deinet (Fachhochschule Düsseldorf): Kommunale Qualitäts- und Wirksamkeitsdialoge im Vergleich – Zwischen Legitimation und Steuerung

Alle Rundgespräche stehen zum Download zur Verfügung (Download als pdf).

Podiumsdiskussion

• Wie werden wirkungsorientierte Evaluationen genutzt? Die Sicht von Auftraggebern und Beteiligten

Alle Vorträge und Rundgespräche sind auf der Homepage des Projektes „Strategien und Konzepte externer Evaluation in der Kinder- und Jugendhilfe (eXe)“ beim Deutschen Jugendinstitut dokumentiert und stehen hier zum Download zur Verfügung.

Workshop 'Sozialprofit - Leistungen und Wirkungen Sozialer Dienste auf dem Prüfstand'

• Prof. Dr. Rainer Loidl-Keil (Fachhochschule Joanneum Graz): "Sozialökonomische Werte schaffen - Das Modell des "SROI - Social Return on Investment" am Beispiel Sozialer Integrationsunternehmen" (Vortrag zum Download als pdf) (Beispiel zum Download als pdf)

• Joachim Petscharnig, Tanja Baumgartner und Dr. Georg Spiel (pro mente jugend in Kärnten): "Monitoring und Leistungsdokumentation in der beruflichen Rehabilitation von Jugendlichen und jungen Erwachsenen. Entwicklung, Umsetzung und Perspektiven - Ein Erfahrungsbericht von pro mente jugend, Kärnten" (Vortrag zum Download als pdf)

• Jutta Hollenrieder und Miriam Kohlmeyer (con_sens Hamburg): "Entwicklung und Qualifizierung von Steuerungsindikatoren durch die Evaluation von Wirkungen im Rahmen von administrativen und politischen Entscheidungsprozessen - Ein Beitrag aus der Beratungspraxis" (Vortrag zum Download als pdf)

Workshop 'Verstehen wie Programme wirken - Modellierung von Wirkungen über Programmtheorie I'

• Dr. Jan Hense & Dr. Willy Christian Kriz (Lehrstuhl für empirische Pädagogik und pädagogische Psychologie, Ludwig-Maximilians-Universität München): „Theoriebasierte Evaluation am Beispiel der Evaluation des EU-Projekts Simgame“ (Vortrag zum Download als pdf)

• Verena Friedrich (Zentrum für Organisations- und Arbeitswissenschaften, ETH Zürich): „Der Einsatz von Zielsystemen bei der Evaluation komplexer Programme am Beispiel von Initiativen zur Förderung neuer Technologien in der Hochschullehre“ (Vortrag zum Download als pdf)

Workshop 'Verstehen wie Programme wirken - Modellierungen von Wirkungen über Programmtheorie II'

• Susanne Giel (Institut für Soziologie, Freie Universität Berlin): Formative Evaluation durch Entwicklung und Überprüfung der Programmtheorie – am Beispiel der Entwicklung einer online-gestützten Lernumgebung (Vortrag zum Download als pdf)

• Dr. Heiko Behrendt (Institut für Öffentliche Dienstleistungen und Tourismus IDT-HSG, Universität St. Gallen): Evaluation der Logik und Wirkungsweise von Programmen und Projekten – Auf der Jagd nach den Annahmen (Abstract zum Download als pdf)

AK-Dokumente zur Jahrestagung:

• Protokoll des AK-Treffens 2005 in Essen

Workshop 'Innovative Evaluationsinstrumente in komplexen Evaluationen'

• Dr. Susanne Weber (Philipps Universität Marburg): Das Potenzial von Großgruppenverfahren als Instrumente systemischer Evaluation

Workshop 'Selbstevaluation – Workshop zur Planung weiterer Umsetzungsschritte'

• Dr. Wolfgang Beywl (Univation, Köln): Zwischen Selbstbeobachtung & fremdem Blick - Risiken der Evaluationsarten erkennen - Qualität von Evaluationen erhöhen

• Im Rahmen des Workshops hat die AG "SE-Standards" (Delegierte aus verschiedenen Arbeiskreisen der DeGEVal) einen Antrag zur Formulierung der "SE-Empfehlungen" formuliert, der anlässlich der Mitgliederversammlung am 10.11.04 in dieser Form verabschiedet wurde (Antrag als pdf zum Download)
  

Workshop 'Konzepte und Instrumente wirkungsorientierter Evaluation - realistische Möglichkeiten und Grenzen'

• Dr. Wolfgang Beywl (UNIVATION e. V., Köln): Muss Evaluation Wirkungen beweisen und kann es nicht? (Expose zum Download als pdf)

• Dirk Groß (Institut für Sozialarbeit und Sozialpädagogik e. V., Frankfurt a.M.): Die Evaluation Sozialer Dienste und Sozialer Netzwerke - Konzeptionelle Überlegungen und deren praktische Anwendung (Expose zum Download als pdf) (Vortrag zum Download als pdf)

• Barbara Gronauer (Beraterin für Strategie und Innovation, Schnee.Gronauer & Partner, Hannover): "Kompetenznachweis kulturelle Bildung" (Expose zum Download als pdf)

Workshop 'Evaluationsorientierte Organisationsentwicklung in Sozialen Diensten - Konzepte, Beispiele, Erfahrungen'

• Dr. Barbara Pittracher, SOS-Kinderdorf, Hermann Gmeiner Akademie, Innsbruck,

• Dr. Rainer Loidl-Keil, Johannes Kepler Universität Linz und Friederike Roithmeier-Ebner, Leitung Arbeitstrainingszentrum Oberösterreich

Workshop 'Standards zur Selbstevaluation'

• Vorbereitung einer Beschlussfassung zur Verabschiedung vorläufiger Standards zur Selbstevaluation; Referenten/Moderation: Dr. Wolfgang Beywl, Univation e. V., Köln und Prof. Dr. Hildegard Müller-Kohlenberg, Universität Osnabrück, FB 3 Erziehung und Kultur

'Wirkungsorientierte Evaluation - der "Goldweg" und/oder selten realisierbare Ausnahmen?'

• Podiumsdiskussion zur Thematik 

Workshop 'Erfahrungen mit der Wirkungsmessung in Feldern Sozialer Dienstleistung'

• Prof. Dr. Dr. Martin Schmidt (Zentralinstitut für seelische Gesundheit, Mannheim): Effekte von Jugendhilfemaßnahmen

• Sabrina Hoops und Dr. Hanna Permien (Deutsches Jugendinstitut): Auswirkungen einer ambulanten intensiven Begleitung von Jugendlichen in Krisensituationen

• Dr. Michael Maas (Deutscher Kinderschutzbund, Ortverband Essen): "Lernen wie man lernt". Zur Erfassung von Wirkungen und Ergebnissen eines Bildungsprogramms für sozial benachteiligte Kinder und Jugendliche

Workshop 'Entwicklung von Standards für Selbstevaluation'

• Prof. Dr. Hildegard Müller-Kohlenberg (Universität Osnabrück, FB 3 Erziehung und Kultur): Vorstellung des aktuellen Standes der Standards für Selbstevaluation

Workshop 'Modelle der Evaluation'

• Karin Haubrich (Deutsches Jugendinstitut): Clusterevaluation - ein Modell für einen dornigen Evaluationsgegenstand (Paper zum Download als pdf) 

• Dr. Michael Appel (Zentrum für Evaluation und Planung Sozialer Dienste): Wirksamkeitsdialog – Das Projekt WANJA

Workshop 'Konflikte in der Evaluationspraxis'

• Karin Haubrich, Dr. Christian Lüders (Deutsches Jugendinstitut): Nutzerorientierung – ein anregendes Konfliktpotenzial (Paper zum Download pdf)

• Dr. Hendrik Fassmann (Friedrich-Alexander-Universität Erlangen-Nürnberg): Ursachen, Prävention und Umgang mit sozialen Konflikten in der Evaluationspraxis (Paper zum Download als pdf)

Jahrestagung Selbstevaluation 2001 in der Akademie Remscheid

Wirklichkeit erfassen, abbilden, bewerten, verändern

• Johannes Brings: Das EFQM Modell für Exellence. Ein Qualitätsmanagementsystem oder ein Qualitätspreis?

• Berichte aus den Arbeitsgruppen:

• Susanne Giel: Seminarauswertung mit einem standardisierten Erhebungsinstrument

• Annemarie Cordes: Selbst- und Fremdbewertung von Jugendlichen in der Berufsausbildung

• Karl-Hinz Lichtenberg: Datenerhebung im aufgabenbezogenen Ablauf einer Verwaltungstätigkeit

• Wolfgang Beywl / Stefanie Spöth: Bildungsbedarf und Angebote in der Evaluation. Ergebnisse einer explorativen Pilotstudie

Alle oben genannten Beiträge sind im Tagungsband verschriftlicht und stehen Ihnen hier zum Download zur Verfügung.

November 2000: Konstituierende Sitzung des AK

• Die Ergebnisse der konstituierenden Sitzung sind in folgender Publikation veröffentlicht: Müller-Kohlenberg, H.; Beywl, W.: Arbeitskreis Soziale Dienstleistungen: Entwurf eines Arbeitsplanes, in: Deutsche Gesellschaft für Evaluation (Hrsg.): Evaluation: Reformmotor oder Reformbremse, Köln, 2001, S. 141 - 145