2015 hat die Generalversammlung der UNO mit den „Sustainable Development Goals. SDG“ einen Aktionsplan für die nächsten 15 Jahre verabschiedet. Die SDGs greifen neben den drei klassischen Nachhaltigkeitsaspekten der sozialen, wirtschaftlichen und ökologischen Entwicklung Anliegen wie Frieden und Sicherheit, Rechtstaatlichkeit und gute Regierungsführung auf. Alle Länder sollen einen Beitrag zum Erreichen der Ziele leisten. Die Ziele sind anspruchsvoll und der Zeitrahmen von 15 Jahren ist kurz bemessen. Dies stellt auch besondere Anforderungen an die Evaluation.

Umwelt- und Nachhaltigkeitsfragen erfordern häufig Ursachenforschung auf einer grossräumigen oder gar globalen Ebene. Wirkungszusammenhänge können daher sehr hohe Komplexitätsgrade aufweisen, auch wenn bloss kleinräumige Effekte beobachtet und dokumentiert werden sollen. Auch der Einbezug von Stakeholdern mit stark divergierenden Wertvorstellungen und Interessen ist oft unabdingbar. Zudem ist es oft schwierig, belastbare und vergleichbare Daten zu erhalten, Dies erfordert manchmal zwischenstaatliche Vereinbarungen. Andererseits wird in weiten Teilen auf bestehende Instrumente zurückzugreifen sein, denn dies erlaubt es, in der kurzen Zeit auch auf regionaler und lokaler Ebene zu messbaren Resultaten zu gelangen. Damit ist aber auch die Frage der Vergleichbarkeit von unterschiedlichen Herangehensweisen angesprochen.

Mit all dem verbunden ist das Risiko, dass Evaluationen nicht sehr aussagekräftig werden und ihre Ergebnisse wenig zu einer besseren Praxis beitragen.

Die Session soll anhand praktischer Beispiele einen Anstoss geben zur Diskussion über folgende Fragen:

• Wie lässt sich die Wirkung von Evaluationen von Massnahmen im Bereich der SDGs erfassen?

• Was ist erforderlich, damit die Erreichung der SDGs einzeln und in ihrer Gesamtheit aussagekräftig evaluiert werden kann?

• Braucht es Anpassungen bestehender Monitoringsysteme?

• Sind die heute verwendeten Methoden und Modelle ausreichend?

• Was ist nötig, damit sichergestellt werden kann, dass diese Evaluationen Nutzen stiften?

Der Arbeitskreis Entwicklungspolitik und der Arbeitskreis Berufliche Bildung veranstalten auf der 19. DeGEval-Jahrestagung 2016 in Salzburg zum Tagungsthema „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“ eine gemeinsame Session.

Die zentrale Fragestellung der Session bezieht sich darauf, inwieweit die Ergebnisse aus Evaluationen im Bereich der Beruflichen Bildung nachhaltige Wirkungen entfalten können. Um sich diesem Thema zu widmen, konnten zwei Referenten gewonnen werden – der eine Referent kommt dabei schwerpunktmäßig aus dem Bereich der Beruflichen Bildung, der andere aus dem Bereich der Entwicklungszusammenarbeit. So kann der Gegenstandsbereich aus zwei verschiedenen Perspektiven beleuchtet werden.

Aus dem Bereich der Beruflichen Bildung konnte Herr Mag. Kurt Schmid vom Institut für Bildungsforschung der Wirtschaft in Wien (ibw) gewonnen werden, der sich u.a. mit der Unterstützung und Begleitung von EU-Ländern des Ostens bei der Etablierung eines nachhaltigen Lehrlingssystems mit „transferablen“ beruflichen Qualifizierungsinhalten beschäftigt. Im Rahmen dieser Begleitung wird der Fortschritt der Projekte auch evaluiert und es stellt sich die Frage, wie man die Ergebnisse der Evaluation idealerweise vermitteln sollte, damit die Ergebnisse angenommen werden und nachhaltige Wirkungen entfalten können. Hierbei werden eigene Lernerfahrungen vorgestellt und diskutiert.

Für den Part Entwicklungspolitik konnte Prof. Dr. Reinhard Stockmann gewonnen werden. Dieser hat bereits im Jahr 1999 eine Evaluation von Projekten der Beruflichen Bildung der Hanns-Seidel-Stiftung in China durchgeführt. Dabei strebt die Hanns-Seidel Stiftung in China u.a. an, bedarfsgerechte Berufsbildungsgänge in China zu etablieren und die höhere Berufsbildung zu fördern. Im Jahr 2016, nach 17 Jahren, wurde eine Art „Follow-up-Evaluation“ zum gleichen Gegenstand durchgeführt. Im Rahmen dieser langfristigen Wirkungsstudie werden dabei auch die Wirkungen, die die Evaluation selbst vor allem im Bezug auf die Beruflichen Bildungszentren in China entfalten konnte, herausgearbeitet sowie die Nachhaltigkeit dieser Wirkungen untersucht. Lessons-Learned werden dargestellt.

Im Anschluss werden beide Beiträge diskutiert.

Die Standards für Evaluation der DeGEval formulieren zentrale Ansprüche an Evaluationen in den vier Kriteriendimensionen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Sie sind ein zentrales Dokument für das professionelle Selbstverständnis der in der DeGEval versammelten Fachpersonenn. Die 2002 erstmals verabschiedeten Standards wurden in einem mehrjährigen und mehrstufigen Revisionsprozess überarbeitet und sollen – bei einem positiven Votum der Mitgliederversammlung – ab Herbst 2016 disseminiert und zur Anwendung gebracht werden.

In dieser Session sollen einerseits die wesentlichen Änderungen und Neuerungen der Revisionsfassung vorgestellt und zur Diskussion gestellt werden. Zum zweiten sollen Umsetzungstand und Zukunft der Standards aus der Sicht einiger exemplarischer Handlungsfelder beleuchtet werden. Leitfragen sind dabei u.a.:

• Wie anwendbar sind die Standards im Handlungsfeld allgemein und in Bezug auf dort typische Evaluationsvarianten und –verfahren?
• Welchen Bekanntheitsgrad haben die Standards im jeweiligen Handlungsfeld und wie kann dieser gesteigert werden?
• Welche Unterstützung benötigt die Evaluationspraxis bei der Anwendung der Standards?
• Inwiefern gibt es im Handlungsfeld in Bezug auf diese Fragen Unterschiede zwischen Evaluierenden, Auftraggebenden und anderen Stakeholdergruppen?

Teilnehmerinnen und Teilnehmer der Session sind:

• Arbeitsgruppe Standards: Prof. Dr. Wolfgang Böttcher, Prof. Dr. Alexandra Caspari, Prof. Dr. Jan Hense, Dr. Michael Kalman, PD Dr. Wolfgang Meyer
• Handlungsfeld Hochschule: Prof. Dr. Philipp Pohlenz, Universität Magdeburg
• Handlungsfeld Forschungs-, Technologie- und Innovationspolitik: Klaus Schuch/Kati Varta, ftval (angefragt)
• Handlungsfeld Soziale Dienstleistungen: NN
• Handlungsfeld Schule: Monika Renz, Landesinstitut für Lehrerbildung und Schulentwicklung (angefragt)

Hochschulen sind in den vergangenen drei Jahrzehnten zunehmend zu einem Gegenstand systematisierter Qualitätssicherung geworden. Hintergrund sind nicht zuletzt die quantitative Ausdehnung des Hochschulbildungsbereichs seit den 1960er Jahren, eine damit einhergehende Ausdifferenzierung des Hochschulwesens sowie in jüngerer Zeit eine stärkere Wettbewerbsorientierung der Hochschulen. In den letzten beiden Dekaden wurden in Deutschland und Österreich zahlreiche Instrumente und Verfahren erprobt. Für eine Gesamtschau der Hochschule sind hier vor allem die Systemakkreditierung in Deutschland und die Auditierung in Österreich zu nennen. In dieser Session werden die bisherigen Erfahrungen mit diesen Instrumenten systematisch aufbereitet und diskutiert.

Am Anfang halten Günter Wageneder, Christine Fahringer, Thomas Guggenberger und Christoph Schwarzl einen Impulsvortrag mit dem Titel „Kritische Reflexion von an drei österreichischen Universitäten durchgeführten Qualitätsaudits“. Im Rahmen dieser im siebenjährigen Rhythmus stattfindenden Audits muss das Funktionieren des universitären Qualitätssicherungssystems durch eine im EQAR-Register verzeichnete Agentur nachgewiesen werden. Die AutorInnen reflektieren systematisch die Erfahrungen, die an den drei österreichischen Universitäten (Uni Innsbruck, Uni Salzburg, Uni für Bodenkultur) mit dem Audit gemacht wurden, vergleichen die Vor- und Nachteile der einzelnen Verfahren und schließen mit zahlreichen Verbesserungsvorschlägen.

Danach folgt eine Podiumsdiskussion unter der Moderation von Philipp Pohlenz (Universität Magdeburg) bei der die Wirkungen der beiden Qualitätssicherungsinstrumente von

- Anke Rigbers (Stiftungsvorstand Evalag)

- Susan Haris-Hümmert (wiss. Mitarbeiterin Universität Speyer)

- Oliver Vettori (Wirtschaftsuniversität Wien, Programmmanagement und Lehr-/Lernsupport)

- Lukas Mitterauer (Universität Wien, Qualitätssicherung)

debattiert werden. Besonderes Augenmerk wird auf fördernde bzw. hindernde Aspekte in den einzelnen Verfahrensschritten gelegt. Zu den zu diskutierenden Verfahrensschritten zählen jedenfalls die Konsolidierung des Qualitätssicherungssystems, die Auswahl der Agentur, die inneruniversitäre Kommunikation, die Erstellung des Selbstberichts, die Auswahl der GutachterInnen und der Vor-Ort-Besuch. Die Zusammensetzung des Podiums (Agenturvertreterin, QM-Beauftragte, Wissenschaftlerin) erlaubt es, die Thematik aus unterschiedlichen Blickwinkeln zu beleuchten.

In jüngerer Zeit werden Evaluationen wiederholt mit systemischen Ansätzen oder Perspektiven in Verbindung gebracht und diesbezüglich diskutiert. Evaluationsprojekte, welche explizit unter Rückgriff auf systemische Sicht- und Herangehensweisen geplant und durchgeführt werden sind im deutschen Sprachraum noch kaum bekannt. In der Session des AK Professionalisierung soll daher zunächst das Themenfeld ergründet und ansatzweise umrissen werden. Dies soll vor dem Hintergrund von Professionalisierung, d.h. mit der Intention der Weiterentwicklung und Verbesserung von Evaluationspraxis geschehen. Das Tagungsthema, wie Evaluationen in Systemen wirken, möchten wir aufgreifen indem wir zum einen die Evaluation und deren Einfluss aus systemischer Sicht betrachten, und zum anderen über die Konsequenzen für die Planung und Durchführung von Evaluationen reflektieren. Die Einzelvorträge gehen folgenden Fragestellungen nach:

• Wie kann der Evaluationsprozess sowie dessen potentieller Nutzen aus systemischer Sicht beschrieben werden? Was bedeutet das für die praktische Umsetzung von Evaluationen, u.a. für Auftragsklärung, Rolle(n) von Evaluierenden im Evaluationsprozess oder Bewertung(en) von Evaluationsergebnissen?
• Welche Lernprozesse können in organisationalen Systemen durch Evaluation angestoßen werden?
• Welche Anregungen für die Planung und Durchführung von Evaluationen können wir aus systemischen Perspektiven gewinnen?

Die Referenten bringen praktische Erfahrungen aus Evaluationsprojekten und -verfahren sowie aus der Organisationsentwicklung zusammen mit theoriebasierten Reflexionen in die Session ein. Sie stellen zur Diskussion und laden zum Weiterdenken ein.

Wie werden Evaluationen von ihren Adressaten genutzt? Welchen Einfluss nehmen Evaluationsergebnisse auf Organisationsentwicklung, -ziele und -strategien? Wie können mittels Evaluationen die Voraussetzungen für Lern- und Steuerungsprozesse geschaffen werden? Welchen Voraussetzungen bedarf es für eine erfolgreiche Verwertung von Evaluationen und ihren Ergebnissen? Diesen und weiteren damit verbundenen Fragen soll im Rahmen von drei praktischen Fallstudien aus unterschiedlichen Arbeitsfeldern auf den Grund gegangen werden. Ziel der Session ist es, die erheblichen Nutzungspotentiale von Evaluationen aber auch die damit verbundenen Herausforderungen zu veranschaulichen und mit den Teilnehmer/inn/en zu diskutieren. Als Querschnittsthemen werden dabei u.a. organisatorische Rahmenbedingungen (Stichwort: ‚Evaluative Thinking’), methodische und organisatorische Herangehensweisen bei der Evaluationsdurchführung sowie die Vermittlung von Evaluationsergebnissen und der daraus abgeleiteten Empfehlungen erörtert.

Der Beitrag ist als Vortrags- und Podiumssession konzipiert, bei der die Referenten zunächst in einem jeweils ca. 15 bis 20-minütigen Kurzvortrag ihr Fallbeispiel vorstellen und anschließend in einer ca. 30 bis 40-minütigen Podiumsdiskussion den Teilnehmer/inn/en zu den o.g. Leitfragen Rede und Antwort stehen. Als Moderator der Session ist Herr Dr. Stefan Silvestrini vorgesehen.

Fallbeispiel 1: Programmatische Veränderungen durch Wirkungen von Evaluationen am Beispiel von Fairtrade International

Referent: Martin Schüller, Entwicklungspolitischer Referent, TransFair e.V. (Fairtrade Deutschland)

Fallbeispiel 2: Nutzen und Nutzung von Evaluationen in der Projektarbeit von World Vision – Ergebnisse einer organisationsweiten Befragung

Referenten: Thorsten Bär, Referent für Planung, Monitoring und Evaluation, World Vision Deutschland e.V.; Sophie Wannemacher, wissenschaftliche Mitarbeiterin, CEval

Fallbeispiel 3: Baseline-Studie Myanmar – Schaffung von Voraussetzungen zur Wirkungsmessung und Programmsteuerung in Myanmar

Referent/inn/en: Dr. Stefanie Krapp, Abteilungsleiterin, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit; Dr. Stefan Silvestrini, Geschäftsführer, CEval GmbH

Subventionen - d.h. Finanzhilfen und Steuervergünstigungen - sowie subventionsähnliche Transfers sind zentrale Instrumente, mit denen der Staat feinsteuernd in wirtschaftliche und soziale Prozesse eingreifen kann. Auch als Instrument zur Herstellung politischer Kompromisse spielt das flexible und niedrigschwellige Subventionsinstrumentarium mitunter eine wichtige Rolle. Die hohe Steuerungspotenz, die Subventionen innewohnt, verlangt auch eine anspruchsvolle Governance, um die Stärken des Instruments schützen und zugleich den Missbrauchsgefahren vorzubeugen.

Ziel der vorgeschlagenen Session ist es, die drei Perspektiven Bundesregierung, Rechungshof und Wissenschaft im öffentlichen Diskurs zusammenzubringen und mit den weiteren Teilnehmern der Session zu erörtern. Entlang der aktuellen Entwicklungen und potenzieller Zukunftstrends der Subventionsevaluation – Stichworte: Nachhaltigkeitsprüfung, Evaluationsverstetigung für Subventionen/Steuerver­gün­sti­gun­gen, Implementation von Evaluierungsbefunden – sollen drei erfahrene Akteure aus BMF, Rechnungshof und angewandter Subventionsforschung pointierte Kurzvorträge halten und auf deren Basis miteinander und mit dem Sessions-Teilnehmer die interessantesten/strittigsten Punkte in der Debatte vertiefen.

Die drei Session-Anbietenden eint ihr hohes Interesse an einer aktivierenden Weiterentwicklung der Subventions-Governance in Deutschland, ebenso ihre mehr- bis langjährige Erfahrung in diesem Bereich. Der Umstand, dass alle drei die gleichen Themen aus institutionell sehr unterschiedlichen Perspektiven bearbeiten, wird für produktive „Reibung“ bei hohem fachlichem Niveau sorgen.

Rita Schutt Leiterin der Unterabteilung I B; Bundesministerium der Finanzen, zuständig u.a. für Subventionsberichterstattung, Grundsatzfragen der Evaluation bei Subventionen und ähnlich gelagerten staatlichen Interventionen sowie Berichte zur Tragfähigkeit der öffentlichen Finanzen.

Thomas Steinkamp Bundesrechnungshof, Prüfer in der Abteilung Steuern (auch: Steuervergünstigungen)

Michael Thöne Geschäftsführer des Finanzwissenschaftlichen Forschungsinstituts an der Universität zu Köln (FiFo Köln). U.a. Leiter der größten durchgeführten Subventionsevaluation 2007-09 („Große Steuervergünstigungen“, Volumen: 18 Mrd. Euro), Berater zur institutionellen Verbesserung von Transparenz und Wirksamkeit von Subventionen (2014-15).

Die Session „Zwischen Schema F und Innovation“ möchte eine politikfeldübergreifende Diskussion über Evaluationsmethoden und methodische Herangehensweisen innerhalb der DeGEval ermöglichen. VertreterInnen unterschiedlicher Arbeitskreise der DeGEval werden in der leitfadengestützten Fishbowl-Diskussion Evaluationsmethoden und methodische Trends in ihren jeweiligen Politikfeldern vorstellen und gemeinsam mit dem Publikum diskutieren. Die Session möchte somit zur Nutzung der Potentiale der methodischen cross-fertilisation über die Grenzen von Politikfeldern hinweg beitragen.

Die vorliegende Session ermöglicht eine moderierte und nach Leitfragen strukturierte Diskussion zwischen VertreterInnen einzelner Politikfelder. Hierfür werden die VertreterInnen der Arbeitskreise gebeten, einen Überblick über „typische“ Evaluationsmethoden innerhalb ihres jeweiligen Politikfelds darzustellen, offene Fragestellungen zu benennen und zu diskutieren. Davon ausgehend sollen Mindest- bzw. Qualitätsstandards innerhalb der Politikfelder diskutiert werden. Schlussendlich soll ein Ausblick auf methodische Innovationen innerhalb der jeweiligen Politikfelder diskutiert werden.

Um im Rahmen der Session ein möglichst breites und diverses Spektrum von Politikfeldern abdecken zu können, nehmen VertreterInnen möglichst unterschiedlicher Arbeitskreise an der Diskussion teil.

DiskutantInnen:

• Dr. Sonja Sheikh (AK Forschungs-, Technologie- und Innovationspolitik),
• Susanne von Jan (AK Entwicklungspolitik),
• Dr. Vera Hennefeld (AK Kultur und Kulturpolitik).

Moderation:

• Prof. Alexandra Caspari und Dr. Tobias Polak (AK Methoden in der Evaluation)

Die Diskussionsrunde wird nach der Methode der Fishbowl-Diskussion (Innen-/Außenkreis-Methode) geführt, bei der drei vortragende VertreterInnen der Arbeitskreise den inneren Kreis und die Teilnehmende den Außenkreis bilden. Eine interaktive Einbindung der Interessierten findet durch das Anbieten von freien Plätzen im inneren Kreis statt.

Arbeiten der Evaluationstheorie und –forschung ebenso wie Standards für Evaluation sind von der Grundhypothese getragen, dass eine Nutzung von Evaluationen umso wahrscheinlicher wird, je stärker Evaluationen in ihrer Planung, Durchführung und Präsentation Gestaltungsmerkmale aufweisen, die ihnen Qualitäten der Nützlichkeit zusprechen lassen. Unübersehbar ist zugleich, dass eine tatsächliche Entstehung von Evaluationsnutzen durch weitere Einflussfaktoren mitbedingt wird, die im Rahmen der Gestaltung eines Evaluationsprojekts nicht beeinflusst werden können. Steht die Erzielung bestmöglichen Evaluationsnutzens zur Debatte, so geht es also einerseits um einen Verantwortungsbereich der Evaluierenden, den sie mit spezifischen Vorgehensweisen ausfüllen können. Andererseits stehen Merkmale des institutionellen Arrangements zur Diskussion, in dem die Evaluationsfunktion verankert ist und das in konkreten Evaluationen angelegte Nutzungspotenzial realisiert wird. Die Session besteht aus folgenden Beiträgen, die einzelne dieser Herausforderungen beleuchten:

1) Was sind die Leistungen der Plattform fteval und zu was hat sie es gebracht? Katharina Warta (technopolis |group| Austria, fteval)

2) Programmevaluationen als Stärkung der Wissensbasis des FTI-politischen Governancesystems? Befunde der Untersuchung von zwölf Jahren Evaluationspraxis in Österreich. Günther Landsteiner (unabhängiger Forscher-Berater und Evaluator)

3) Akteure, Institutionen und die Rolle von FTI-Evaluation. Jürgen Streicher (Joanneum Research - Policies)

Moderation: AK FTI