Leitthema der Session ist das Spannungsfeld, das sich im Kontext unabhängiger Evaluierung zwischen Nützlichkeit, Nutzung, Qualität und Unabhängigkeit aufspannt. In dem Maße, in dem sich Evaluierung von der Ebene der Einzelintervention auf die Ebene strategischer Evaluierungen verlagert, potenziert sich dieses Spannungsfeld. In dieser Session sollen Herausforderungen und Lösungsansätze für das Stakeholder-Management in diesem Spannungsfeld am Beispiel komplexer strategischer Evaluierungen des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) vorgestellt und diskutiert werden.

Im Rahmen eines ausführlicheren Inputs werden die Erfahrungen aus zwei jüngeren komplexen Evaluierungen des DEval von Instrumenten der Entwicklungszusammenarbeit vorgestellt. Der Input wird geleistet von den Teamleitern zweier strategischer Instrumentenevaluierungen des DEval: Der Evaluierung des Personalinstruments der Entwicklungshelferinnen und Entwicklungshelfer (Helge Roxin) und der Evaluierung der Integration der Instrumente der Technischen Zusammenarbeit (TZ) im Zuge der Vorfeldreformen der deutschen Entwicklungszusammenarbeit (Lutz Meyer).

Ziel der Session ist es, zu einem vertieften und geteilten Verständnis der besonderen Herausforderungen des Stakeholder-Managements im Rahmen strategischer Evaluierungen beizutragen und damit in Teilen einen Beitrag zur Auflösung des dargestellten Spannungsfeldes zwischen Nutzenorientierung und Unabhängigkeit von politikrelevanter Evaluierung zu leisten.

Moderation: Dr. Stefan Leiderer

Häufig werden Aussagen zur Nutzung, dem Einfluss der Wirkungen und der Nachhaltigkeit von Evaluation auf nationaler Ebene behandelt und ländervergleichend ausgewertet. Dies impliziert die Annahme, dass Evaluationskulturen primär im nationalen Kontext entwickelt und durch Entscheidungen auf dieser Ebene vergleichsweise homogen über die unterschiedlichen Politikfelder und Anwendungsbereiche hinweg geprägt werden.

Diese Annahme ist jedoch problematisch: Evaluation ist in seinen zentralen Einsatzbereichenin unterschiedlich organisiert. Manchewie z.B. die Entwicklungszusammenarbeit sind stark von internationalen Konzepten geprägt und weisen deshalb über die Länder hinweg eine größere Ähnlichkeit auf. In anderen Anwendungsgebieten dominieren regionale Differenzierungen wie z.B. in der Schulevaluation. Hinzukommen Unterschiede in der Einbindung zivilgesellschaftlicher Akteure sowohl in die politische Gestaltung des Politikfelds als auch in die Durchführung von Evaluationen. So ist z.B. die Evaluation sozialer Dienstleistungen deutlich weniger stark staatliche dominiert als die beiden anderen hier erwähnten Gebiete.

Gleichzeitig unterscheiden sich die politischen Systeme verschiedener Länder erheblich: während einige stark zentralistisch mit hierarchischen Durchgriffsmöglichkeiten ausgestaltet sind, zeichnen sich andere durch eine betont dezentrale Steuerungsstruktur aus, die Akteuren jenseits der nationalen Ebene Mitgestaltungsmöglichkeiten eröffnet. Die deutschsprachigen Länder sind hier aufgrund signifikanter Unterschiede interessante Fallbeispiele.

Dies spricht für eine systembezogene Betrachtungsweise, bei der nationale Besonderheiten in den Blick genommen und Gemeinsamkeiten sowie Unterschiede der Institutionalisierung herauszuarbeiten sind. In der Vortragssession werden folgende Fragen erörtert:

1. Wie ist Evaluation im Subsystem verankert und welche Nutzung von Evaluationen steht im Vordergrund?
2. Wer ist Adressat der Evaluationsergebnisse und wer nutzt sie tatsächlich?
3. Wie, durch welche Mechanismen wird sichergestellt, dass Nutzen durch Evaluation entstehen kann?
4. Welche Rolle spielen in dem analysierten System Wirkungs- und ex-post durchgeführte Nachhaltigkeitsevaluationen?
5. Inwieweit werden in dem System die Wirkungen von Evaluationen erfasst?

Geplant sind vier Kurzvorträge, in denen diese Fragen beantwortet und dann in der anschließenden Diskussion im Querschnittsvergleich betrachtet werden.

In dieser Session werden zunächst (von Andreas Paschon) die Kernideen des “Modulansatzes zur Selbstevaluation von Schulentwicklungspro­jekten” (Paschon & Riffert 1997, Riffert & Paschon 2005), sowie ihre ursprüngliche Umsetzung in Form eines “paper & pencil”-Instruments, welches an mehreren verschiedenen Schultypen (AHS; BHS und Hauptschulen) in Österreich erfolgreich realisiert worden ist, dargestellt. Neben einer kurzen Darstellung der Fülle an Möglichkeiten, welche der MSS einer evidenzbasierten Schul­entwicklung eröffnet – wie z.B. Berücksichti­gung aller am Schulprozess beiteilig­ter Gruppen (LehrerInnen, SchülerInnen und Eltern) und da­mit einher­gehend eine multiperspektivische Betrachtung des Schulrealität, Sein-Sollen-Vergleiche (z.B. von Bildungsdzielen), ein LehrerInnenfeedback für den Unterreicht und der Erfassung von zentra­len Variablen wie z. B. Selbstwirksam­keits­überzeugungen und Aggressio­nen –, werden aber auch die Nachteile dieser “paper & pencil”-Version des MSS heraus­gearbeitet: (1) die bislang schwache theoretische und empirische Absiche­rung dieses partizipativen und lokal-fokusierten Ansatzes; (2) die relative hohen Kosten, welche den Schulen durch die Dateneingabe entstehen und (3) die ebenfalls daduch verursachte zeitliche Verzögerung der Datenrückmeldung.

Daran anknüpfend wird (von Franz Riffert) auf die bislang schwache theoretische und empirische Fundierung des MSS eingegangen; durch eine Vernetzung des MSS mit Elinor Ostroms Self-Governance-Ansatzes (Ostrom 1990, 2010) wird dieser Nachteil deutlich reduziert; es wird insbesondere gezeigt, dass der MSS die von Ostrom in jahrzehn­telanger empirischer Forschung zur nachhaltigen lokalen Self-Governance entwickelten soge­nannten Core Design Principles durch den MSS in ihrer Implementierung unter­stützt werden; dadurch liegt einerseits eine weitere Anwendung dieser Prinzipien auf den Schulbereich vor und andererseits wird dadurch der MSS mit den theore­tischen und empirischen Arbeiten von Ostrom vernetzt und damit sowohl theoretisch wie auch em­pirisch gestützt.

Schließlich auf die aktuell in Entwicklung befindliche MSS-Onlineversion (von Daniela Straitzbichler & Martina Griesmayr) eingegangen, welche gegenüber der klassischen “paper & pencil”-Version einerseits die Kosten eines MSS-Einsatzes für die Schulen stark reduziert und andererseits die Datenrückmeldung erheblich beschleunigt.

Die Wirksamkeit oder Effektivität von Qualitätsmanagement und Evaluation im Bereich Hochschulen ist nach wie vor umstritten. Sie reicht von wirkungsvoll bis hin zu Entkopplungsvorwürfen und Beschreibungen von Modeerscheinungen. Dabei handelt es sich zumeist aber um Zuschreibungen, die selten mit empirischen Daten gestützt sind. In der Session wollen wir zwei Forschungsprojekte zur Wirksamkeit von Systemakkreditierung, Qualitätssicherung und –management vorstellen und diskutieren:

Dorothee Polte untersucht die „Funktionen und Wirkungen der Systemakkreditierung für die Qualitätsentwicklung und Steuerung von Studium und Lehre in Hochschulen“. Angesichts der steigenden Zahl von systemakkreditierten Hochschulen stellt sich der Bedarf einer systematischen Betrachtung der Veränderungen, die durch die Systemakkreditierung und die hochschulinternen QS-Verfahren an Hochschulen bewirkt werden. Anhand von Dokumentenanalysen und 16 leitfadengestützten Interviews mit Verantwortlichen des Qualitätsmanagement wird den Fragen nachgegangen, welche Veränderungen sich aufgrund der Systemakkreditierung für die Qualitätsentwicklung und Steuerung von Studium und Lehre ergeben und was Erfolgs- und Hinderungsfaktoren für die Etablierung von Qualitätssicherungssystemen im Rahmen der Systemakkreditierung sind?

Moritz Ansmann, Alexa Kristin Brase, Florian Reith und Markus Seyfried berichten in Ihrem Beitrag „Wirksamkeit von QM aus der Sicht ihrer Entwickler – ein diffuses „Wirkungsgefühl“!?“ die Ergebnisse aus einem WiQu-Projekt. Sie führten deutschlandweit 52 leitfadengestützte Interviews und eine bundesweite Befragung von QM-Verantwortlichen an Universitäten und Fachhochschulen durch. Der Beitrag stellt zunächst dar, welches Wirksamkeitsverständnis Qualitätsmanager und Qualitätsmanagerinnen haben. Anschließend wird ausgewertet, für wie wirksam QM im Allgemeinen gehalten wird und worin mögliche Ursachen von Wirksamkeit bestehen.

Der Gender Mainstreaming Ansatz in der Evaluation verlangt, dass in allen Phasen der Evaluation und in allen Evaluationsschritten die Interessen, Bedürfnisse und Betroffenheiten von unterschiedlichen Gruppen von Frauen und Männern berücksichtigt werden. Feministische Ansätze der Evaluation legen darüber hinaus verstärkt das Augenmerk auf Geschlechterrollenstereotype, Machtunterschiede und unterschiedlichen Zugang zu Ressourcen und versuchen aufzuzeigen, welche Individuen und Gruppen in einem bestimmten Kontext besonders benachteiligt sind bzw. welche dominieren. Sie stellen die Frage danach, wer in einem bestimmten Kontext profitiert, wer Privilegien genießt und ob durch bestimmte Interventionen möglicherweise bestehende Ungleichheiten weiter verstärkt werden. Ziel feministischer Evaluation ist es nicht nur, Ungleichheiten und Ungerechtigkeit sichtbar zu machen sondern auch Wege aufzuzeigen, diese Zustände zu ändern.

Im Rahmen der Session wird zunächst ein Überblick über feministische Evaluationsansätze, deren Hintergrund und Anknüpfungspunkte zu Gender Mainstreaming gegeben. Daran anschließend werden zwei kurze Inputs als Einstieg in die Diskussion gegeben. Dabei werden gegensätzliche Positionen vertreten, indem einerseits die Notwendigkeit einer stärkeren politischen Positionierung von Evaluation im Kontext von Gleichstellungspolitiken aufgezeigt wird und andererseits die Vorteile des vergleichsweise neutraleren Gender Mainstreaming Ansatzes betont werden.

Ziel der Session ist es, ausgehend von der Einführung in die feministische Evaluation und den beiden Inputs eine breite Diskussion über die Relevanz feministischer Evaluationsansätze aus der Sicht der TeilnehmerInnen vor dem Hintergrund der jeweiligen Arbeitssituationen und Evaluationskontexte zu führen. Dabei stehen u.a. folgende Fragen im Vordergrund: Inwiefern wird durch die Wahl des Ansatzes das Evaluationsdesign beeinflusst? Ergeben sich mit der Wahl des Ansatzes spezifische Anforderungen im Hinblick auf Transfer, Nutzen und Nutzung von Evaluationsergebnissen?

Beteiligte AkteurInnen

Dr.ⁱⁿ Maria Gutknecht-Gmeiner, Impulse Evaluation und Organisationsberatung, Wien: Kurze Einführung in die feministische Evaluation

Dr.ⁱⁿ Birgit Buchinger, Solution Sozialforschung & Entwicklung, Salzburg: Input für die Diskussion

Dr.ⁱⁿ Irene Pimminger, defacto Sozialwissenschaftliche Forschung & Beratung, Schlierbach/Berlin (angefragt): Input für die Diskussion

Dr.ⁱⁿ Angela Wroblewski, Institut für höhere Studien, Wien: Moderation

Systemische Ansätze erfahren nicht nur in den Bereichen der Organisationsberatung und
-entwicklung und im Coaching einen Boom, sondern sind auch bei Evaluationen zunehmend gefragt. Der besondere Wert dieser Ansätze besteht darin, Evaluationen direkt mit Entwicklungsprozessen in Organisationen oder Projektteams zu verbinden, indem Strukturen von Systemen, Beziehungen und Wechselwirkungen sichtbar, ansprechbar und damit gemeinsam bearbeitbar werden. In verschiedenen Arbeitskreisen der DeGEval wird dieses Thema schon seit längerem diskutiert und bearbeitet. Im Rahmen der Session steht nun die Weiterentwicklung und Anwendung solcher Ansätze in Programmen und Projekten der Kultur und Kulturpolitik im Mittelpunkt.

Im ersten Beitrag von Tina Lierheimer werden zunächst einige systemische Merkmale von Kultur und Kulturpolitik vorgestellt, d.h. das Zusammenspiel von verschiedenen Akteuren und Kontextfaktoren kurz erläutert. Auf dieser Basis werden Ansprüche und Erwartungen an und in Evaluationen aus den verschiedenen Perspektiven, exemplarisch auch seitens des Goethe-Instituts, verdeutlicht.

Anschließend beleuchtet Birgitt A. Cleuvers aus Sicht einer Evaluatorin verschiedene Aspekte einer systemischen Herangehensweise an eine Evaluation von Programmen und Projekten in Kultur und Kulturpolitik. Die systemisch orientierten Ansätze werden am Beispiel ausgewählter Erhebungen während der Prozessevaluation des Projekts „Identity.move!“ des Warschauer Goethe-Instituts veranschaulicht und bewertet.

den Vortrgen schließt sich eine moderierte Diskussion zu Möglichkeiten, Grenzen und dem Mehrwert des Einsatzes systemischer Ansätze und Interventionen, Methodenauswahl und Partizipation sowie Zweck- und Zielorientierung zwischen prozessorientierter, kreativer Offenheit und Produktionsorientierung in der Kultur an.

Vorträge:

• Systemische Grundlagen in Kultur und Kulturpolitik – Ansätze für Evaluation: Tina Lierheimer (Referentin für Strategie und Evaluation am Goethe-Institut München)
• Eckpunkte systemischer Ansätze in Evaluationen – Beispiele in der Prozessevaluation „Identity.Move!: Birgitt A. Cleuvers (freie Wissenschaftlerin, Evaluatorin, Mediatorin, Coach)

• Moderation: Tülin Engin-Stock, Sprecherin des AK Kultur- und Kulturpolitik (uzbonn – Gesellschaft für empirische Sozialforschung und Evaluation GmbH)

Die Erfassung und Bewertung langfristiger Folgen stellt Politik und Verwaltung nicht erst seit der Berücksichtigung des Leitbilds einer nachhaltigen Entwicklung in politischen Entscheidungsprozessen vor große Herausforderungen. In allen Politikfeldern und auf allen Verwaltungsebenen sind Politik und Verwaltung angehalten, ihre Entscheidungen an den Prinzipien einer nachhaltigen Entwicklung zu orientieren. Seit der Verabschiedung der Agenda 21 in Rio im Jahr 1992 sind in Deutschland einige Anstrengungen unternommen worden, politisches Handeln an den Prinzipien einer nachhaltigen Entwicklung auszurichten. So wurde auf Bundesebene u.a. eine Nationale Nachhaltigkeitsstrategie erarbeitet, ein Rat für nachhaltige Entwicklung eingerichtet und das Instrument der Nachhaltigkeitsprüfung eingeführt. Im Zusammenhang mit der Überprüfung der Auswirkungen politischer Maßnahmen auf die nachhaltige Entwicklung ergeben sich jedoch eine Reihe wichtiger Fragen:

- Welche Instrumente stehen zur Verfügung, um die langfristigen Auswirkungen politischer Maßnahmen zu erfassen?

- Wie ist das Verhältnis von Nachhaltigkeitsprüfungen/Nachhaltigkeits-Checks zu Evaluationen?

- Wie werden die mit Hilfe dieser Instrumente gewonnenen Ergebnisse in politischen Entscheidungsprozessen berücksichtigt?

- Wie werden Zielkonflikte zwischen einzelnen Handlungsfeldern aufgelöst?

- Welche Institutionellen Voraussetzungen müssen gegeben sein, um langfristige Auswirkungen adäquat berücksichtigen zu können?

Diesen und weiteren Fragen widmet sich die diesjährige Session des AK Verwaltung.

Vorträge:

• Feigenblatt oder nützliches Instrument? – Die Nachhaltigkeitsprüfung in Deutschland (Axel Piesker),

• Nachhaltige Umweltverwaltung? Die Evaluation von Reformen der Umweltverwaltung und die Nachhaltigkeit von Reformdefiziten (Prof. Dr. Falk Ebinger/Prof. Dr. Stephan Grohs,/Simon Bogumil)

Das Format soll Nachwuchswissenschaftlerinnen und -wissenschaftlern sowie Nachwuchsevaluatorinnen und –evaluatoren einen Überblick über zentrale Veröffentlichungen im Bereich Evaluationspraxis und Evaluationsforschung geben und einen inhaltlichen Austausch mit Autorinnen und Autoren ermöglichen. Zu diesem Zweck werden ausgewählte Autorinnen und Autoren zu der Veranstaltung eingeladen, zunächst im Plenum ihre Publikation vorstellen und dann an separaten Tischen zum Gespräch bitten. Die Gespräche sollen für den Nachwuchs die Möglichkeit bieten, sich mit erfahrenen Evaluatorinnen und Evaluatoren zu eigenen Themen, Fragen und Herausforderungen auszutauschen. In diesem Rahmen sollen auch Fragen im Zusammenhang mit dem Tagungsthema (Nutzung, Einfluss, Wirkung und Nachhaltigkeit von Evaluation) ausgehend von den Bedürfnissen des Nachwuchses diskutiert werden.

Folgende Autorinnen und Autoren stellen ihre Bücher vor und stehen für ein anschließendes Gespräch zur Verfügung:

• Lars Balzer: evaluiert: Planungsbuch für Evaluationen im Bildungsbereich Taschenbuch – 24. August 2015, gemeinsam mit Wolfgang Beywl
• Susanne Giel/Katharina Klockgether/ Susanne Mäder (Herausgeber): Evaluationspraxis: Professionalisierung Ansätze Methoden Broschiert – 8. September 2015
• Wolfgang Meyer: Evaluation. Eine Einführung Broschiert – 19. Februar 2014, gemeinsam mit Reinhard Stockmann
• Stefan Rädiker (Autor): Evaluation Online: Internetgestützte Befragung in der Praxis (German Edition) Taschenbuch – 5. Januar 2012, gemeinsam mit Udo Kuckartz, Thomas Ebert, Claus Stefer

Die Jahrestagung 2016 der DeGEval widmet sich zum einen dem Thema „Nachhaltigkeit“. Hier wird unter anderem die Frage gestellt, wie sich bestimmen lässt, ob die SDG erreicht werden und ob die verfügbaren Monitoring- und Evaluationssysteme hierfür bereits geeignet sind.

Zum anderen wird im Call for Proposals das Thema der „Nutzung von Evaluation“ angesprochen. Damit Evaluationsergebnisse jedoch genutzt werden können, müssen diese vorerst bekannt gemacht und rezipiert werden – im Zusammenhang mit den SDG auch durch die allgemeine Öffentlichkeit.

Beide Themen sollen in der Session des AK Entwicklungspolitik anhand von zwei Vorträgen diskutiert werden.

Der erste Vortrag durch Dr. Judith Müller-Gerold widmet sich der Frage, wie die GIZ ihren Beitrag zur Erreichung der SDGs messen kann. Um hier jedoch Aussagen treffen zu können, die über die Wirkung einzelner Projekte hinausgehen und sich also auf projekt- und länderübergreifende Wirkungen beziehen, müssen die Daten der GIZ auf geeignete Weise erhoben und aggregiert werden. Die GIZ nutzt dazu Aggregationsindikatoren, deren Verwendung vorgestellt und diskutiert wird. Zudem steht im Fokus, wie diese Wirkungsnachweise verständlich aufbereitet und kommuniziert werden, um diese einen breiteren Öffentlichkeit zugänglich zu machen.

Der zweite Vortrag bezieht sich darauf, wie die Erreichung der SDGs in Deutschland gemonitort werden kann. Dazu wird in einem Vortrag von Claudia Schwegmann oder ihrer Kollegin Johanna zum Felde von der Open Knowledge Foundation Deutschland dargestellt, wie 2030-watch die Umsetzung der SDG in Deutschland überwacht. Hierbei werden u.a. die herangezogenen Indikatoren und die verfügbaren Daten diskutiert. Darüber hinaus visualisiert 2030-watch den Umsetzungstand der Ziele und versucht durch anschauliche Darstellung die interessierte Öffentlichkeit zu erreichen.

In der anschließenden Diskussion werden u.a. die jeweils genutzten (Aggregations-)Indikatoren und Vorgehensweisen diskutiert. Zudem wird über Möglichkeiten gesprochen, wie relevante Ergebnisse aufbereitet werden können und welche Rolle dies für eine informierte und aufgeklärte Öffentlichkeit spielt.