März 2022: Position des Vorstandes der DeGEval zur geschlechtergerechten Sprache

März 2022

Im Laufe des Sonntag, den 27.02.2022, erreichte uns als Vorstand der Gesellschaft für Evaluation ein Aufruf der Ukrainischen Evaluationsgesellschaft, den wir auf unsere Homepage gestellt haben. Sie können ihn hier abrufen:

Official appeal of the Ukrainian Evaluation Association to all evaluation communities (PDF)

Unsere Gedanken und Gebete sind bei den Kolleg:innen in der Ukraine. Wir sind entsetzt und empört über den völkerrechtswidrigen Angriff auf ihr Land. Wir sind zutiefst beunruhigt, wenn wir an die zahlreichen Opfer dieser Geschehnisse denken.

Das Schicksal der Ukraine und ihrer Menschen betrifft uns aber nicht nur als Bürger:innen Europas, auch unser Berufsfeld Evaluation ruft uns hier in die Verantwortung. Denn nach unserem Verständnis ist Evaluation kein neutrales unpolitisches Werkzeug, das unter allen gesellschaftlichen und historischen Bedingungen funktionieren kann. Die Idee einer objektiven, wissenschaftlich fundierten Wirkungsmessung und einer sachgerechten Bewertung politischer Maßnahmen ist nur in einem Umfeld umsetzbar, in dem grundlegende Institutionen demokratischer Ordnung und die Herrschaft des Rechts geachtet werden. Werden diese Institutionen zerschlagen, ersetzt schließlich Ideologie und Propaganda jeden Versuch einer ernsthaften Evaluation.

Wir begreifen es deshalb als unsere fortdauernde Aufgabe, einzutreten für eine freiheitliche Gesellschaftsordnung und die Normen des Völkerrechts und den Opfern von staatlichem Terror und Gewaltherrschaft beizustehen.

Der Vorstand der DeGEval
Prof. Dr. Udo Kelle, Dr. Angela Wroblewski, Dr. Sonja Kind, Prof. Dr. Manfred Rolfes, Stefan Schmidt, Jutta Wolff

 

November 2020

Die vergangenen Monate haben die Gesellschaft und die Verantwortlichen in Politik, Verwaltung und Institutionen vor große Herausforderungen im Hinblick auf die Findung geeigneter Strategien und Maßnahmen zum Umgang mit Risiken und Folgen der andauernden Corona-Pandemie gestellt.

Als maßgeblicher Fachverband für Evaluation in Deutschland und Österreich begrüßt die DeGEval - Gesellschaft für Evaluation e.V. ausdrücklich die Rolle, die wissenschaftlich gestützte Evidenz als Grundlage für die Diskussion und Entscheidungsfindung über diese Maßnahmen einnimmt. Wir möchten alle am öffentlichen Diskurs beteiligten Kräfte in der Auffassung bestärken, Entscheidungen soweit möglich unter Einbezug der bestmöglichen Erkenntnisgrundlage zu treffen.

Gleiches gilt nach unserer Auffassung für die Diskussion und Bewertung der Sinnhaftigkeit, praktischen Umsetzbarkeit, Effektivität und Effizienz getroffener Maßnahmen. Auch sie sollten möglichst evidenzbasiert erfolgen, was eine systematische wissenschaftlich gestützte Untersuchung und eine Bewertung auf Basis transparenter Kriterien und unter Berücksichtigung von intendierten und nicht intendierten Folgen voraussetzt.

Wir unterstützen daher alle diesbezüglich bereits unternommenen Anstrengungen zur Evaluation von Maßnahmen und ermuntern alle verantwortlichen Entscheidungsträgerinnen und Entscheidungsträger zur systematischen Verankerung und Verknüpfung von Evaluation mit neu beschlossenen Maßnahmen. Besonders da immer noch viele Entscheidungen unter Zeitdruck und auf unsicherer Entscheidungsgrundlage gefällt werden müssen, ist es für den transparenten demokratischen Diskurs, die Herstellung von Legitimität und das Lernen aus den bisherigen Erfahrungen unerlässlich, möglichst fundierte Informationen über die Umsetzung und Wirkungen von Maßnahmen bereit zu stellen.

Evaluation ist ein wissenschaftsgestütztes Verfahren zur systematischen und transparenten Bewertung von Maßnahmen, Strategien und anderen Sachverhalten. Gemäß den von der Gesellschaft für Evaluation vertretenen Standards für Evaluation sind gute Evaluationen fair, umsetzbar, genau und vor allem nützlich für eine besser informierte Entscheidungsfindung auf allen Ebenen. Richtig eingesetzt, sind sie ein wichtiges Instrument zur Unterstützung transparenter und demokratischer Aushandlungsprozesse und zur Stärkung einer offenen Gesellschaft.

Auch über die aktuelle Krise hinaus vertritt die Gesellschaft für Evaluation daher die Forderung, dass öffentliches Handeln systematisch und in angemessener Art und Weise von transparenten Evaluationsmaßnahmen, die sich an den Standards guter Evaluation orientieren, flankiert werden sollte.

Wilhelm-Theodor-Römheld-Straße 20, D-55130 Mainz
Tel. +49 (0) 6131 / 2173887
info@degeval.org

 

November 2020-Stellungnahme des Vorstands zur Rolle von Evaluationen im Kontext der aktuellen pandemiebedingten Herausforderungen.pdf

November 2017

Die 20. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V. stand unter dem Motto „Evaluation (in) der Zukunft“. Die Jubiläumstagung wurde genutzt für einen Blick zurück auf 20 Jahre DeGEval, in der die Gesellschaft ihren Teil zur jüngeren Erfolgsgeschichte der Evaluation im deutschsprachigen Bereich beigetragen hat. Gleichzeitig zeigte der Blick nach vorn, dass eine Fortsetzung dieser Erfolgsgeschichte kein Selbstverständnis ist, obwohl gute Evaluation mehr denn je in verschiedensten gesellschaftlichen Handlungsfeldern gebraucht würde.

Der DeGEval-Vorstand greift in den folgenden Positionen die Diskussionen und Ergebnisse der Tagung auf.

Evaluation und Zivilgesellschaft

• In jüngerer Zeit werden bewusste Fehlinformationen in bisher nicht gekanntem Ausmaß als Instrument der öffentlichen Auseinandersetzung genutzt. Gleichzeitig wird von Teilen der Öffentlichkeit wissenschaftliche Evidenz in substanziellem Ausmaß nicht mehr nur skeptisch hinterfragt, sondern grundsätzlich abgelehnt und durch selbstrekursiv erzeugte „Wirklichkeiten“ ersetzt. Als Fachgesellschaft für Evaluation beobachten wir diesen Trend mit großer Aufmerksamkeit und Sorge.
• Wir setzen dagegen, dass gute Evaluation ein starkes Werkzeug für mehr Transparenz staatlichen und nicht-staatlichen Handelns sein kann. Durch die systematische Überprüfung von Maßnahmen gelangt sie in nachvollziehbarer Weise zu fundierten Bewertungen der Planung, Umsetzung und Wirkung von Maßnahmen. Evaluation verstehen wir somit als ein wichtiges Instrument zur Stärkung der zivilgesellschaftlichen Auseinandersetzung und Entscheidungsfindung.
• In diesem Sinne fordern wir alle, die gleichermaßen an einer Stärkung der Zivilgesellschaft interessiert sind, dazu auf, verstärkt die Evaluation öffentlichen Handelns einzufordern und zu unterstützen. Dazu gehört
  • Politik, Verwaltung, öffentliche Institutionen, Stiftungen und andere Akteure staatlichen und nicht-staatlichen Handelns nach der nachweisbaren Fundierung von Entscheidungsprozessen zu fragen,
  • zu verlangen, dass Maßnahmen auf Wirkungen und Wirkweise hin überprüft werden und
  • dass vorhandene Evidenz grundsätzlich in politischen Entscheidungsprozessen berücksichtigt wird.

 

Politik und Verwaltungen

• In der Politik zeigt sich in den vergangenen Jahren eine stetige Zunahme der Verwendung des Evaluationsbegriffs, beispielsweise in der parlamentarischen Arbeit. Dieser Zuwachs verbleibt bisher allerdings vorwiegend im Nominellen, da eine gewachsene Nachfrage nach Evaluationen etwa aus den Parlamenten bisher kaum zu verzeichnen ist. Für die Evaluation in der Politik ist also nach wie vor ein Umsetzungsdefizit zu konstatieren.
• Gleiches gilt für die Verwaltung. Auch wenn in der Bundeshaushaltsordnung festgeschrieben ist, dass Zielerreichungs-, Wirkungs- und Wirtschaftlichkeitskontrollen durchzuführen sind, wird dies keineswegs flächendeckend und kontinuierlich umgesetzt. Es mangelt an einer systematischen Vorbereitung, an der Definition messbarer Ziele, an Ressourcen und Kompetenzen zur Durchführung von Effektivitäts- und Effizienzbetrachtungen. Der Bundesrechnungshof weist in seinen jährlichen Gutachten regelmäßig auf dieses Manko hin.
• Auch die Politik ist also dazu aufgefordert, Evaluation stärker als bisher im politischen Prozess zu nutzen. Insbesondere kann Evaluation hier im Zuge der parlamentarischen Kontrolle zur Überprüfung von Maßnahmen hinsichtlich ihrer Umsetzung und Wirkungen dienen. Durch ihre explizite Bewertungsperspektive ist sie nur beschreibend angelegten Steuerungsinstrumenten wie Auditing und Monitoring hierbei überlegen.

 

Evaluation in Organisationen und Institutionen

• Viele öffentliche, nichtkommerzielle und privatwirtschaftliche Organisationen und Institutionen nutzen Evaluation. Zu ihnen gehören etwa Verwaltungen, Bildungs- und Gesundheitseinrichtungen, Stiftungen oder Unternehmen, die ihre Aktivitäten und Maßnahmen intern evaluieren oder Evaluationen extern als Dienstleistung beauftragen.
• In Zukunft ist hier mit einer wachsenden Bedeutung interner Evaluationen zu rechnen, bei denen Untereinheiten der Organisation Evaluationsaufgaben wahrnehmen. Wichtig ist, dass auch diese den professionellen Ansprüchen guter Evaluation unterliegen, wie sie in den Standards für Evaluation der DeGEval formuliert sind.
• In verschiedenen Bereichen, wie etwa dem Hochschulsektor, wird die Sinnhaftigkeit und der Nutzen insbesondere von verstetigten Evaluationssystemen immer wieder kritisch hinterfragt. Wir halten dieses Hinterfragen für legitim, da die Standards für Evaluation Nützlichkeit als erstes Kriterium guter Evaluation definieren.
• In Organisationen und Institutionen kann die Nützlichkeit von Evaluationen am ehesten gewährleistet werden, wenn Evaluation eng in organisationale Strukturen und Prozesse eingebettet ist. Dies kann am besten durch eine Evaluation Policy gewährleistet werden. Diese klärt für einen bestimmten Geltungsbereich, zu welchen Zwecken, wann, wie oft, von wem was evaluiert wird und legt Ort und Verantwortung für die Verwendung der Ergebnisse vorab fest; gleichzeitig sorgt sie für einen bewussten Ressourceneinsatz und beugt ritualisierten Evaluationsformen vor.
• Wir ermuntern alle Organisationen und Institutionen, die Evaluation nutzenbringend einsetzen wollen, zur Entwicklung einer Evaluation Policy in diesem Sinne.

 

Evaluation und Wissenschaft

• Es ist als Erfolg zu werten, dass Evaluation zunehmend als akademisches Forschungsfeld vertreten ist. Dies äußert sich u.a. in einer Vielzahl von Professuren, die Evaluation als Teil ihrer Denomination tragen, oft in Ergänzung zu Forschungsmethoden oder etwa fachspezifischen Themenfeldern.
• Wie u.a. die Standards für Evaluation der DeGEval belegen, hat Evaluation aber eine eigene transdisziplinäre Fachlichkeit. Diese lässt sich nicht alleine auf methodische Aspekte reduzieren, denn gute Evaluation besteht nicht alleine in der Anwendung sozialwissenschaftlicher Methoden.
• Für eine Weiterentwicklung der Evaluation ist daher die Einrichtung dezidierter Professuren für Evaluation an Hochschulen in Deutschland und Österreich erforderlich, die dieser transdisziplinären Fachlichkeit Rechnung tragen. Diese sind auch eine wichtige Voraussetzung, damit die vielen Nachwuchsforscherinnen und -forscher, die sich im Bereich der Evaluation qualifizieren, dieses Forschungsfeld auch als expliziten Karriereweg weiterverfolgen können.
• Wie andere Tätigkeitsfelder auch, ist Evaluation auf eine empirische Wissensbasis für ihr professionelles Handeln angewiesen. Bisher erfolgt die entsprechende Forschung allerdings meist im Rahmen fachbezogener Untersuchungen (z. B. Nutzung von Evaluationsergebnissen in Schulen), was zu einer fragmentierten Wissensbasis führt. Notwendig ist daher eine verstärkte explizite Forschung über Evaluation, die sich transdisziplinär versteht und den Austausch zur Evaluationsforschung in verschiedenen Handlungsfeldern sucht.

 

Professionalisierung der Evaluation

• Evaluation ist ein ungeschützter Begriff. In der Praxis werden viele sehr unterschiedliche Aktivitäten Evaluation genannt. Da das Feld der Evaluation noch relativ jung ist und dynamischen Veränderungen unterliegt, erscheinen uns Bemühungen zu einer Schließung des Zugangs zur Tätigkeit in der Evaluation als verfrüht.
• Dieser offene Zugang sollte aber nicht als Freifahrtschein zur Beliebigkeit missverstanden werden. Wichtigster fachlicher Bezugspunkt für Evaluation sind professionelle Standards guter Evaluation. Die Standards der DeGEval fordern, dass gute Evaluationen sich nicht auf ein reines Messen beschränken, sondern nützlich, fair, durchführbar und genau sein sollen. Wir rufen alle auf, die Evaluationen durchführen und diese als Dienstleistung anbieten, sich der Einhaltung der DeGEval-Standards für Evaluation zu verpflichten.
• Ebenso sind auch jene, die Evaluationen ausschreiben und in Auftrag geben, aufgerufen, sich ihrer Verantwortung für die Ermöglichung guter Evaluationen bewusst zu sein. Auch Auftraggebende von Evaluationen können durch realistische Erwartungshaltungen, rechtzeitige Beauftragungen und angemessene Ausstattung zur Qualität von Evaluationen beitragen.

 

Evaluationspraxis

• Die Evaluation hat als junge, fächerüberspannende Disziplin bisher nur in Ansätzen eine einheitlich akzeptierte, eindeutige Fachterminologie herausgebildet. Für die Professionalisierung einer Tätigkeit ist die Entwicklung einer eindeutigen Fachsprache eine wichtige Voraussetzung der internen und externen Verständigung. Mit den neu revidierten Standards für Evaluation hat die DeGEval ein Glossar zentraler Evaluationsbegrifflichkeiten verabschiedet, das im Zweifel als Bezugspunkt für die Klärung von terminologischen Fragen herangezogen werden sollte.
• Bei zunehmend eingesetzter Evaluation, wie sie in wenigen Bereichen bereits beobachtet werden kann, ist darauf hinzuwirken, dass keine negativen Sättigungseffekte eintreten. Evaluation „von der Stange“ läuft Gefahr, zum gut ausgebauten Monitoring zu werden und den Blick auf das Nicht-intendierte, das Ungewöhnliche zu behindern. Dieses Risiko speist sich sowohl aus Routineevaluationen der Evaluierenden als auch aus detaillierten und umfangreichen Leistungsbeschreibungen auf der Seite von Auftraggebenden für Evaluation.

Die Diskussionen und Debatten der 20. Jahrestagung der DeGEval zeigten auch, dass Werkzeuge und Methoden für eine Evaluation der Zukunft zur Verfügung stehen. Entwicklungen lassen sich systematisch extrapolieren, es lassen sich Szenarien entwickeln, Trendbrüche identifizieren und mit Wahrscheinlichkeiten des Eintretens hinterlegen. Die beste Voraussetzung, die Zukunft aktiv zu gestalten, besteht darin, gemeinsam über Vergangenes und Bestehendes zu debattieren und Wünsche und Ansprüche auszuformulieren. Hierzu wird die DeGEval auch in den kommenden Jahren beitragen, indem sie durch Newsletter, Zeitschrift, Tagungen und Workshops die Möglichkeit bietet, in Austausch zu treten. Dazu sind alle an Evaluation Interessierten herzlich eingeladen: externe und interne Evaluatorinnen und Evaluatoren, Auftraggebende von Evaluation, Betroffene von Evaluation und Entscheidungsträger in Verwaltung und Politik. Wir würden uns freuen, wenn Sie das vorliegende Positionspapier zum Anlass nehmen, mit uns ins Gespräch zu kommen!

DeGEval-Vorstand
Prof. Dr. Jan Ulrich Hense, Vorstandsvorsitzender
Dr. Christiane Kerlen, stellvertretende Vorstandsvorsitzende
Dr. Marianne Lück-Filsinger
Dipl.-Soz.-Arb. Stefan Schmidt
Dr. Sonja Sheikh

 

---

November 2017- Positionspapier des Vorstands_Zukunft der Evaluation als pdf

Januar 2017

Auf die zunehmende Bedeutung von Evaluation wird immer wieder hingewiesen. Evaluation will dabei häufig Wirkungen untersuchen, aber hat sie selbst in ausreichendem Maße Wirkung? Können Evaluationsergebnisse Gesellschaft oder Teile der Gesellschaft in intendierter Richtung verändern? Mit der Frage nach dem Nutzen von Evaluation ist die erste Kriteriengruppe der Standards für Evaluation angesprochen, die die DeGEval – Gesellschaft für Evaluation soeben in einer Überarbeitung vorgelegt hat (vgl. www.degeval.de). Dieser Standard der Nützlichkeit von Evaluation bezieht sich aber nur auf die Konzeption des Evaluationsprojektes, die Frage, inwieweit alle Beteiligten und Betroffenen einbezogen wurden und die Zwecke der Evaluation bestimmt wurden. Ob diese aber dann wirklich umgesetzt werden, das betrifft die hier angesprochene Frage des Nutzens und der Nachhaltigkeit von Evaluation.
Die langfristige Wirkung von Evaluationen in unterschiedlichen sozialen Systemen ist Gegenstand einer intensiven Debatte, die wir anlässlich der 19. Jahrestagung der Gesellschaft für Evaluation in Salzburg vom 21. bis 23. September 2016 aufgenommen hatten. Die Bandbreite erstreckte sich dabei von Fragen zu den Voraussetzungen und Bedingungen für eine gewinnbringende Nutzung von Evaluation, also die Verwendung oder den Gebrauch von Evaluation durch die Stakeholder in einem geplanten Sinne, bis hin zu direkten und indirekten Einflüssen und Wirkungen von Evaluationen. Mit dem Begriff der Nachhaltigkeit wird verbunden, dass durch die Nutzung von Evaluationen und ihren Ergebnissen eine langfristig positive Wirkung entfaltet wird. Dabei sollen gesellschaftliche, ökologische und ökonomische Aspekte gleichermaßen Berücksichtigung finden. Die Jahrestagung hat Nutzung, Einfluss, Wirkung und Nachhaltigkeit von Evaluation mit übergreifenden Fragestellungen in den unterschiedlichen Systemen Bildung, Politik, Kultur, Gesundheitswesen, Wirtschaft und Verwaltung sowie aus unterschiedlichen Perspektiven beleuchtet.

Es haben sich dabei große bereichsspezifische Unterschiede gezeigt, je nachdem wie stark Evaluation im Praxisbereich verankert ist. Lassen Sie uns in exemplarische Bereiche genauer hineinsehen:

• Im Bildungsbereich, der aufgrund des Gastgebers der Jahrestagung, der School of Education der Universität Salzburg, diesmal im Vordergrund stand, ist in vielen Bereichen Evaluation und die Umsetzung der Evaluationsergebnisse fest verankert. An Schulen wurden zunächst Selbstevaluationsmodelle eingeführt. Die Teilnahme war vorwiegend freiwillig, so dass die Durchführung zum großen Teil auf dem Engagement, dem Willen zur Selbstvergewisserung und Kompetenzerweiterung der beteiligten Lehrerinnen und Lehrer aufbauen konnte und dadurch zu nachhaltigeren Wirkungen führen konnte. In den letzten Jahren wurde an Schulen verstärkt durch Kompetenzmessungen der Schülerinnen und Schüler evaluiert, was zwar zu aufrüttelnden Ergebnissen führte („Pisaschock“), nicht immer aber zu Veränderungen im Schulsystem beitragen konnte. Im Hochschulbereich sind in vielen Ländern Evaluationen gesetzmäßig verankert. In Österreich müssen beispielsweise Universitäten ihr Qualitätsmanagementsystem regelmäßig einer externen Überprüfung unterziehen, die zu Auflagen führen kann, die dann erfüllt werden müssen.
• Im Wirtschaftsbereich sind evaluative Maßnahmen, auch wenn das nicht immer als vollwertige Evaluation zu verstehen ist, vor allem im Bereich von Qualitätsmanagement zu finden. In aller Regel sind sie fest verankert in der Institution. Aufgrund ökonomischer Erwägungen hat das Unternehmen hier ein Interesse, die Ergebnisse direkt in Optimierungsaktivitäten münden zu lassen und damit Wirkung und Nachhaltigkeit sicherzustellen.
• Im Gesundheitsbereich wiederum sind feste Formen von Evaluationen (experimentell quantitative Studien in Form von ‚Randomized Controlled Studies‘) gesetzmäßig gefordert zur Zulassung von Medikamenten und Heilbehandlungen. Damit ist die Praxiswirksamkeit festgelegt. In anderen Bereichen wie beispielsweise der Evaluation von Gesundheitspräventionsmaßnahmen sind die Verfahren weniger verpflichtend und die Methodik ‚weicher‘ (z.B. Quasiexperimente). So bleibt hier der langfristige Nutzen der Maßnahmen oft im Unklaren.

Was lernen wir daraus? Wir denken, dass Nutzen, Einfluss und Nachhaltigkeit vor allem durch zwei Ansätze verstärkt werden können: Zum einen verstärken partizipative Elemente in der Evaluation deren langfristige Nützlichkeit. Die Beteiligten fühlen sich ernst genommen, formulieren selbst ein Interesse an den Evaluationsergebnissen, setzen die Evaluationsmethodik dort an, wo eigener Bedarf ist und können deshalb direkt an der Umsetzung der Ergebnisse arbeiten. Zum anderen wird langfristiger Nutzen von Evaluationen dann erleichtert, wenn die Evaluation im Praxisbereich fest verankert ist, zum Beispiel durch gesetzliche Verpflichtungen. Hier muss aber nicht nur die Durchführung der Evaluation, sondern auch die Umsetzung der Ergebnisse festgelegt werden.

Beide Ansätze sind durchaus gegensätzlich, oft nicht vereinbar, stellen damit unterschiedliche Wege dar, die in verschiedenen Praxisfeldern mehr oder weniger vielversprechend sein können. Beide Ansätze tragen aber zur stärkeren Verankerung von Evaluation in der Gesellschaft bei.

 

---

Januar 2017- DeGEval Vorstand Positionspapier Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen? als PDF

Evaluation und Wissensgesellschaft

April 2016

Positionspapier des Vorstandes der DeGEval – Gesellschaft für Evaluation

Der Wandel zur „Wissensgesellschaft“ hat spätestens mit Daniel Bells Arbeiten in den frühen 1970er Jahren breite öffentliche und wissenschaftliche Aufmerksamkeit erfahren. Wissen und seine Rolle in der Gesellschaft sind im Zusammenhang mit Wissenspolitik und Wissensökonomie vielfältig analysiert worden. Nicht zufällig fällt die Entwicklung der Wissensgesellschaft mit der steigenden Bedeutung der Evaluation zusammen. Evaluation ist für sich genommen ein Verfahren zur Generierung von Wissen.

Auf ihrer Jahrestagung im September 2015 nahm sich die DeGEval - Gesellschaft für Evaluation e.V. in Speyer Zeit, das Thema „Evaluation und Wissensgesellschaft“ in seinen unterschiedlichen Facetten zu diskutieren.

•  Evaluation erfüllt einen Bedarf, der sich aus dem Wandel zur Wissensgesellschaft speist
   

Gesellschaftliche Steuerungsprozesse wie auch individuelles Handeln stützen sich heute vermehrt auf die Ressource Wissen, verstärkt durch neue technologische Entwicklungen der Datenverarbeitung und Digitalisierung, wie Wolfgang Böttcher in seinem Grußwort zum Kongress betonte. Dies gilt sowohl auf Ebene von Organisationen als auch  für gesellschaftliche Teilbereiche oder ganze Gesellschaften. Modernisierungskonzepte wie „Better bzw. Smarter Regulation“ sowie „Open Government“ sind ohne eine spezifische Form der Wissensgenerierung, -aufbereitung und -nutzung kaum denkbar.

• Evidenz aus Evaluation entsteht durch vielfältigen Methodeneinsatz
   

Evaluationen stellen Evidenz im weitesten Sinne dar, die theorie- und methodenkritisch gerahmt werden muss. Stefan Kuhlmann hat hier in seiner den Kongress eröffnenden Keynote betont, dass man dabei nicht vorschnell von einer Hierarchie „guter“ oder „schlechter“ Evidenz,  „guten“ oder „schlechten“ Wissens sprechen könne. Gerne wird in der Forderung nach Evidenzbasierung den quantitativen randomisierten kontrollierten Studien nach dem experimentellen Design der Vorrang gegeben. Das übersieht, dass eine ganze Reihe von alternativen Evaluationsdesigns auch zu dieser Wissensbasis beitragen können. Viel näher liegt es, verschiedene Evidenzen zum selben Gegenstand im Sinne einer Evidenztriangulation zusammenzutragen.

·         Anschlussfähigkeit des durch Evaluation produzierten Wissens sicherstellen

Eine wichtige Funktion von Evaluationen in der Wissensgesellschaft ist die Aufbereitung von Wissen in einer Form, die Anschlussfähigkeit und Nutzung ermöglicht. Die Ergebnisse von Evaluationsprojekten sollten nicht in Schubladen verschwinden, sondern zu einem Wissensbestand über Wirkungen von Maßnahmen in den verschiedenen Feldern zusammengefügt werden. Dieses neu generierte Wissen soll dabei anschlussfähig an die Diskurse in verschiedenen Feldern oder Systemen sein – also beispielsweise zu einer Vermittlung von im Wissenschaftssystem generiertem Wissen und deren Verarbeitung in der Politik beitragen. Evaluation erfüllt damit die Rolle einer „Übersetzerin“ zwischen den auf allgemeine Zusammenhänge zielenden wissenschaftlichen Erkenntnissen auf der einen Seite und den konkreten Handlungsanforderungen von Akteuren in spezifischen Settings auf der anderen. Evaluation kann helfen, allgemeines Wissen in konkrete Kontexte zu übersetzen und anzupassen.

·         Ziel: Beitrag zur offenen Debatte, Stärkung von Demokratisierungsprozessen

Solche aus Evaluationen gespeisten Wissensbestände können für gesellschaftliche Entscheidungsprozesse in den verschiedensten Bereichen genutzt werden. Zeitgemäße Evaluation entwickelt sich zu einer wissensbasierten, auf multipler Evidenz ruhenden Erforschung spezifischer Fragestellungen, die das Nutzungsinteresse der Auftraggebenden in den Mittelpunkt rückt. Evaluation kann insofern durch das in zunehmendem Umfang bereitgestellte Wissen führen und Akteure bei der Gestaltung ihrer Handlungen unterstützen. Wo es um den Einsatz öffentlicher Gelder geht, ist hiermit auch immer die Gesamtgesellschaft gemeint. Die Professionalisierung der Evaluatorinnen und Evaluatoren läuft dabei über ein immer stärker gesichertes Theorie- und Methodenverständnis und kann so auch das emanzipatorische Versprechen der Wissensgesellschaft einlösen.

_______________________________________________________________
April 2016- DeGEval Vorstand Positionspapier Evaluation und Wissensgesellschaft  als PDF
 

Januar 2014

Komplexität ist ein Charakteristikum menschlichen Handelns und prägt insbesondere moderne Gesellschaften: Die großen und kleinen Herausforderungen und Probleme des menschlichen Zusammenarbeitens können meist nur im Zusammenwirken unterschiedlich stark differenzierter und spezialisierter Systeme oder Personen gelöst werden. Die sich wandelnden und entwickelnden Interaktionsbeziehungen sind mitverantwortlich für die Leistungsfähigkeit der Gesellschaft, konstituieren aber auch ihre Komplexität. Komplexität kann zwar insgesamt die Problemlösungsfähigkeit erhöhen und eröffnet dem Einzelnen Entfaltungsspielräume – allerdings um den Preis der Ungewissheit sowie ständiger Koordinations- und Abstimmungsanforderungen. Evaluation, die ja unter anderem versucht, kausalen Einflussbeziehungen – Aktivitäten und deren erwünschten oder nicht-gewollten Handlungswirkungen – nachzuspüren, steht vor diesem Hintergrund vor besonderen Herausforderungen. Auf ihrer Jahrestagung 2013 hat sich die DeGEval-Gesellschaft für Evaluation daher mit dem Thema „Komplexität und Evaluation“ auseinandergesetzt.

Evaluation unterstützt Verstehen

Handeln in sozialen Kontexten ist unter den Bedingungen der Komplexität durch ständige und vielfältige Zusammenhänge und Interdependenzen geprägt. Globalisierung, Beschleunigung, Vernetzung und technologische Innovationen treiben diese Entwicklungen voran. Dies begrenzt die Möglichkeiten, klare Kausalitäten greifen zu können. Wirkungsbeziehungen zu erfassen erfordert je nach Gegenstand und Kontext der Evaluierung genau zugeschnittene Designs, angemessene Methoden und hohe Qualität der Datenverarbeitung und -analyse sowie kompetente Durchführung des Evaluierungsprozesses. Nichtlinearität, Emergenz, aber auch unterschiedliche Interpretationen und Wertungen erschweren die Erfassung von Wirkungsbeziehungen. Evaluation kann helfen zu verstehen und zu erklären, wie Interaktionen vonstatten gehen, welche Veränderungen sich ereignen, wie sie ablaufen und welche Ergebnisse sie hervorbringen. Evaluation unterstützt kompetentes und von Evidenzen informiertes Handeln.

Evaluation ist Methodenvielfalt

Die Methoden, mit denen sich Evaluation ihrem Gegenstand – wie beispielsweise einem Arbeitsmarktprogramm – nähert, können unter diesen Bedingungen nicht nur quantitativer Art sein. Insbesondere können sie nicht nur auf die Erfassung „harter“ Kausalität ausgerichtet sein, wie etwa experimentelle Kontrollgruppendesigns. Beides – Kontrollgruppenansätze, aber auch quantitative Methoden im weiteren Sinne – ist für die Evaluierung unverzichtbar. Ihre volle Leistungsfähigkeit wird Evaluierung aber nur dann entfalten können, wenn sie in Abhängigkeit von ihrem konkreten Gegenstand und der konkreten Fragestellung ein kontextspezifisch gewähltes mehr oder weniger breites Spektrum von Methoden zum Einsatz bringt und kombiniert. Qualitative Methoden, insbesondere solche, die in der Lage sind, divergierende Sichtweisen und Einschätzungen beteiligter Akteure aufzugreifen und in die Bewertung einzuspeisen, sind unerlässlich. Evaluation nutzt und kombiniert ein breites Spektrum an Methoden.

Evaluation ist Kommunikation

Die Durchführung von Evaluierungen komplexer Programme stellt besondere Herausforderungen. Zum einen ist ein gewisses Maß an Kenntnissen über den Kontext, die jeweiligen Kulturen unerlässlich, um Komplexität angemessen fassen zu können. Zum anderen gewinnt der Prozess der Evaluation selbst besondere Bedeutung. Die Einbeziehung aller relevanten Akteure, ihrer Sichtweisen und Bewertungen in den Prozess ist für eine wirklich gelungene Evaluation unerlässlich. Der Umgang mit Komplexität reicht von Partizipation, über Verhandlungen, Visualisierungen, Verständlichkeit bis hin zum Co-Management und umreißt die Herausforderungen, vor denen die Evaluierenden in der Praxis stehen. Die DeGEval-Standards für Evaluation können hilfreiche Hinweise geben, wie der Evaluierungsprozess erfolgreich gestaltet werden kann.

Evaluation erfordert angemessene Kompetenzen und Ressourcen

Für die Evaluierung unter Bedingungen der Komplexität ist eine dem Evaluationsgegenstand und der -fragestellung angemessene Planung und Durchführung von zentraler Bedeutung. Auf Seiten der Evaluierenden wie auch derjenigen, die die Evaluierung steuern und begleiten, sind dazu umfassende Kompetenzen erforderlich. Neben der Beherrschung der jeweils angemessenen Ansätze zur Planung und zum Design, zur Auswahl und Umsetzung der passenden Methoden und zur Kommunikation während des Evaluierungsprozesses sind dabei auch gute Kenntnisse des jeweiligen Feldes unerlässlich. Nur die Kombination all dieser Fähigkeiten und Kenntnisse kann die volle Leistungsfähigkeit der Evaluierung zur Entfaltung bringen. Voraussetzung dafür ist auch die Bereitstellung ausreichender Ressourcen. Die Ressourcenverfügbarkeit bezieht sich nicht nur auf Geld, sie schließt insbesondere auch die Verfügbarkeit über ausreichend qualifiziertes Personal mit ein – und das auf Seiten der Evaluierenden ebenso wie auf Seiten derjenigen, die die Evaluierung steuern und begleiten.

Evaluation schafft Orientierung

Konzepte der modernen Politik- und Verwaltungssteuerung, wie generell des Organisationsmanagements setzen häufig auf Evidenzorientierung. Für das Management und die Steuerung spielen in diesen Ansätzen oft Verfahren eine wichtige Rolle, bei denen Informationen aus der Umwelt über eine begrenzte Anzahl von Indikatoren und Kennziffern gewonnen und rückgespiegelt werden. Die Konzentration auf wenige ausgewählte Kennzahlen kann der Komplexität der sozialen Realität in den allermeisten Fällen nicht gerecht werden. Wer dennoch – ausschließlich oder überwiegend – nach Kennzahlen steuert, ohne die Kennzahlenauswahl kontinuierlich zu überprüfen und anzupassen, blendet Komplexität aus. Damit verbunden ist das Risiko der Fehlsteuerung und Ressourcenverschwendung. Evaluation kann dem entgegenwirken. Evaluation kann helfen, Komplexität soweit zu verstehen und gegebenenfalls zu reduzieren, dass trotz einer nie ganz aufzuhebenden Ungewissheit zielgerichtetes Handeln in sozialem Kontext möglich wird. Das gilt für Politik genauso wie für Entscheidungen in einzelnen Organisationen. Evaluation ist in der Lage, die Transparenz hinsichtlich der Veränderungen sowie der beteiligten Akteure und Strukturen zu erhöhen. Bildlich gesprochen kann Evaluation dazu beitragen, Politik oder Organisationen bei der Navigation in ihrer zunehmend unübersichtlichen Umwelt zu unterstützen – ohne jedoch zu viel von dieser Umwelt zu ignorieren.

Evaluation und Komplexität sind eng miteinander verknüpft. In dem Maße, in dem Evaluation es leisten kann, Muster und Regelmäßigkeiten im sozialen Umfeld von Organisationen und Politiken zu erhellen, kann sie dazu beitragen, mit Komplexität umzugehen. Nutzung von Evaluation in diesem Sinne bedeutet auch, ein Verständnis für den Kontext zu entwickeln. Evaluation unterstützt die Akteure, die in Politik und Organisationen handeln, dabei, sich in ihrer Umwelt zu orientieren. In diesem Sinne hilft Evaluation zu verstehen, ob und wenn ja, wie zielgerichtete Interventionen in einem gegebenen Setting überhaupt denkbar sind. Es sind also nicht vorrangig konkrete Hinweise und detaillierte Entscheidungsempfehlungen, die durch Evaluation bereitgestellt werden. Evaluation hat ihre Stärke darin, zur „Erleuchtung“, zur „Aufklärung“ von Politikerinnen und Politikern und Verantwortlichen beizutragen. Wenn ihr dies gelingt, hat sie ihren Beitrag zum Umgang mit Komplexität geleistet und gesellschaftliche Weiterentwicklung im Sinne angestrebter Ziele unterstützt.

Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsgegenstände können z. B. Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nach den DeGEval Standards nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen. Rund 750 Personen und Institutionen, die im Bereich der Evaluation tätig sind, vorwiegend aus Deutschland und Österreich, haben sich in der DeGEval – Gesellschaft für Evaluation e.V. zusammengeschlossen. Die Ziele der DeGEval sind Information und Austausch über Evaluation, die Zusammenführung unterschiedlicher Perspektiven der Evaluation sowie die Professionalisierung von Evaluation. Neben der Arbeit in 14 thematisch gegliederten Arbeitskreisen sind die Jahrestagungen ein wichtiger Ort für diesen Austausch. Die Jahrestagung 2013 stand unter dem Motto „Komplexität und Evaluation“. Die Jahrestagung 2014 wird gemeinsam mit der Schweizer Evaluationsgesellschaft SEVAL ausgerichtet und findet vom 10. bis 12. September in Zürich zum Thema „Professionalisierung in und für Evaluationen“ statt.

---

Januar 2014- DeGeval Vorstand Positionspapier_ Komplexität und Evaluation als PDF

April 2013

Die DeGEval- Gesellschaft für Evaluation hat auf ihrer Jahrestagung 2012 mit „Evidenz und Evaluation“ ein Thema diskutiert, das in Politik und Praxis aktuell sehr bedeutsam ist. Entscheidungen zur Einführung oder Umsetzung von politischen Programmen sollen wissensbasiert sein. Der Zusammenhang von Evidenz und Evaluation ist naheliegend, soll letztere doch wesentliche Informationen für die rationale Gestaltung und Steuerung von Programmen und Organisationen erzeugen. Entscheider und Durchführende von Evaluationen erwarten wissenschaftlich basierte Erkenntnisse, die das eigene Handeln absichern helfen. Anders als im Alltag, in dem ein Verweis auf „Evidentes“ häufig synonym für „selbstverständlich“ oder „offensichtlich“ steht, meint Evidenz im Kontext von Evaluation „Beleg“ oder „Beweis“, damit gut informierte – und möglichst robuste – Entscheidungen getroffen werden können.

Noch vor wenigen Jahren fanden Gespräche im Vorfeld von Evaluationen auf relativ einfachem Niveau statt: Wie erkläre ich den Evaluierten, was eine Evaluation ist? Wie erkläre ich den Auftraggebenden, was eine Evaluation leisten kann? Heute hingegen stellen Evaluatorinnen und Evaluatoren immer häufiger ein entwickeltes Verständnis und vertieftes Wissen über Evaluation fest. Eine Reife im Umgang mit Evaluationen ist inzwischen weit verbreitet.

In der Vergangenheit waren Evaluationen thematisch breit aufgestellt: Sie prüften grundlegend den Bedarf für Projekte oder Programme, bewerteten ihre Sinnhaftigkeit und Struktur, es gab ein starkes Interesse daran, Maßnahmen durch Evaluation zu begleiten und kontinuierlich in Zusammenarbeit mit Evaluierten zu entwickeln. Verbunden damit war ein großes Spektrum eingesetzter Methoden.

Das breite thematische und methodische Spektrum von Evaluation wird angesichts eines zunehmenden (Kosten-)Drucks auf Durchführende und Initiatoren von politischen Programmen in dem Sinne reduziert, dass nunmehr von Evaluationen immer häufiger erwartet wird, Evidenzen – im Sinne von robusten Belegen – für die Wirksamkeit von Interventionen zu liefern. Das Eintreten von angestrebten Effekten soll möglichst sicher belegt sein.
Innerhalb der sozialwissenschaftlichen Methodendebatten dominiert aktuell die Vorstellung, dass Evidenzen für Wirkungen von Programmen lediglich durch den methodischen „Goldstandard“ garantiert werden können: Wirkungen können – etwas vereinfacht ausgedrückt – demnach nur bewiesen werden, wenn ein systematischer Vergleich von wenigstens zwei statistisch identischen Gruppen, von denen die erste eine „Intervention“ erhält und die zweite nicht, eine signifikante Differenz ergibt. Dazu muss die Intervention kontrolliert sein, sie muss also in einer exakt vorgeschriebenen Art und Weise durchgeführt werden und demnach wiederholbar sein.

Ein solches randomisiertes und kontrolliertes Experiment ist allerdings aufgrund einer Vielzahl von Gründen in sozialen Kontexten nur schwer umsetzbar: In sozialen oder politischen Programmen lassen sich die den Erfolg beeinflussenden Variablen kaum isolieren, Programme sind in der Regel kaum in mechanischem Sinn durchführbar, vielen Programmen fehlt ein logisches Wirkmodell, Kontrollgruppen sind aus ethischen und praktischen Gründen kaum festzulegen, quantitative Studien benötigen große Stichproben.

Darüber hinaus ist auch zu fragen, was quantitative Effektstärken von Programmen inhaltlich aussagen. Der Blick auf Effekte verstellt – insbesondere bei unterfinanzierten Evaluationen – zudem allzu leicht den Blick auf nicht beabsichtigte oder sogar negative Effekte von Programmen.

Die Erwartung von Wirkungsbelegen ist gut nachvollziehbar. Wirkungsevaluationen waren auch in der Vergangenheit immer wesentliches Element der Arbeit von Evaluatoren. Aber die Dominanz der Forderung nach Evidenzen für Wirkungen übersieht, dass die Qualität eines Programms nicht zureichend durch Effektmessungen zu bewerten und vor allem nicht weiter zu entwickeln ist. Mit dieser Verschiebung bzw. Verengung ändert sich zunehmend die Funktion von Evaluation: sie dient weniger der Optimierung, sondern mehr der Legitimation eines Programms bzw. einer Maßnahme.

Ein Blick aus anderer Perspektive: Für eine Evaluation, die Evidenzen belegt hat, ist es enttäuschend, wenn Entscheider oder Praktiker dann nicht den Belegen entsprechend handeln. Evaluierende müssen verstehen lernen, dass Entscheidungen durch Evidenzen zwar fundiert werden können, sie aber immer auch von anderen Variablen mitbestimmt werden. Evidenzen determinieren nicht bestimmte Entscheidungen. Handeln ist immer auch an Kontexten und Normen orientiert, die jenseits von Beweisen liegen. Entscheidungen können zwar durch Evidenzen informiert sein, sich aber dennoch an anderen Maßstäben als gemessene Belege orientieren. Handeln in politischen, sozialen oder pädagogischen Kontexten ist nicht auf „Vermessbares“ im Sinne einer normativ neutralen Währung reduzierbar.

Im Austausch zwischen Evaluierenden und Auftraggebenden sollte die – plausible – Forderung nach Erzeugung von Evidenzen die Schwierigkeiten im Blick behalten, die mit einem solchen Anspruch verbunden sind. Evidenzen sollen auch dazu dienen, Programme zu verbessern, ihren Nutzen zu steigern und die Menschen zu stärken –, nicht nur messbare Effekte zu belegen. Hierzu sind Rückkopplungs-Schleifen und deren Auswertung im Sinne von strukturierten Lernprozessen nötig. Auch erfordert ein solcher Ansatz multimethodische Zugriffe. Das geht nicht ohne einen angemessenen Aufwand und damit verbundene Kosten.

Vorstellungen von schlichten und unproblematischen Wirkungsevaluationen sind unrealistisch und reduzieren das Potenzial von Evaluationen. Der Hauptredner der DeGEval-Konferenz 2012, Professor Geert Biesta (nunmehr Universität Luxemburg), machte deutlich, dass die Mächtigkeit der Idee der Evidenz die Tendenz erzeugt, dass Entscheidern nur noch als bedeutend erscheint, was in seinen Wirkungen messbar ist. Stattdessen sollte umgekehrt gefragt werden, was uns – politisch, gesellschaftlich, pädagogisch, ökologisch – wichtig ist. Ob das Wichtige messbar ist, ist dann erst die zweite Frage.

---

April 2013-DeGEval Positionspapier_ Evidenz und Evaluation als PDF

Januar 2012

Partizipation – nichts außergewöhnliches

Partizipation ist heute ein zentraler Bestandteil von vielen Evaluationen. Aktive Beteiligung und Teilhabe an Evaluationsprozessen sind häufig eine wichtige Voraussetzung für das Gelingen eines Evaluationsvorhabens. Die Mitwirkung an Evaluationen – indem Betroffene und Beteiligte einen Einfluss erhalten auf die Fragestellungen einer Evaluation, verwendete Kriterien, die Interpretation der Ergebnisse oder die Erarbeitung von Bewertungen und Handlungsempfehlungen – führt zu einer höheren Akzeptanz und letztlich besseren Nutzung der Evaluationsergebnisse. Damit wird die Qualität von Evaluationen bedeutend verbessert.

Was bedeutet Partizipation

Partizipation ist die aktive Einbeziehung der Auftraggebenden und der von einer Evaluation Betroffenen an der Durchführung der Evaluation. Partizipation kann von der Beteiligung nur der direkt Betroffenen bis zur Einbeziehung aller Gruppen mit einem legitimen Interesse reichen. Der Evaluationsprozess einer partizipativen Evaluation kann entscheidend von den Evaluierenden gesteuert werden oder die Beteiligten selbst erhalten einen hohen Einfluss auf den Verlauf. Partizipation kann zudem in ihrer Tiefe von der angemessenen Berücksichtigung der Blickwinkel der Beteiligten bis beispielsweise hin zur Mitwirkung an der Interpretation der Evaluationsergebnisse reichen. Eine klassische Unterscheidung von partizipativen Evaluationen zielt auf deren Veränderungsanspruch ab. Partizipative Evaluationen können dem Zweck dienen, bessere Entscheidungsgrundlagen für die Bewertung und Fortführung von Projekten und Programmen zu erhalten. Partizipative Evaluationen können aber auch mit dem Anspruch verfolgt werden, durch die Einbeziehung der Betroffenen soziale Veränderungen zu initiieren.

Warum Partizipation

Partizipation begründet sich aus einem grundsätzlich demokratischen und demokratiefördernden Grundverständnis von Evaluation. Systematische und wertende Einschätzungen können nur im jeweiligen Kontext der an Handlungen Beteiligten angemessen getroffen werden. So ist die Einschätzung von Arbeitsmarktprogrammen ohne die Berücksichtigung des Blicks von Arbeitssuchenden ebenso verfehlt wie die Bewertung von Hochschullehre ohne die Einbeziehung der Perspektive von Studierenden.
Zugleich kann Partizipation auch einen wesentlichen Baustein des praktischen Evaluationshandelns darstellen. Die zentralen Standards von Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit lassen sich nur mit jeweils angemessenen Beteiligungsverfahren erreichen. Partizipative Verfahren ermöglichen es, fachlich fundierte und zudem hilfreiche Ergebnisse einer Evaluation zu erzielen.

Partizipation – wie?

Wird Partizipation als wesentlicher Bestandteil des Evaluationshandelns verstanden, ist die frühzeitige und nachvollziehbare Beteiligung grundlegend. Hierzu sind vorab alle Betroffenen und zu Beteiligenden zu identifizieren. Nur dann ist es möglich, Problem- und Fragestellungen adäquat zu formulieren und „blinde Flecken“ oder einseitige Zuweisungen zu vermeiden.
Notwendig sind dabei diplomatisches Vorgehen und Fingerspitzengefühl. Dies betrifft einerseits die Kooperation mit den Auftraggebenden der Evaluation. Ebenso wichtig ist andererseits der integrative, faire und transparente Umgang mit den Personen, die – direkt oder indirekt – von Evaluationsergebnissen betroffen sind. Die dazu möglichen Verfahren sind vielfältig und hängen von der jeweiligen Zielsetzung und dem jeweiligen Ablauf ab.
Von zentraler Bedeutung ist es, die unterschiedlichen Sichtweisen von Beteiligten und Betroffenen auf den Evaluationsgegenstand sowie auf die Ergebnisse der Evaluation einzubeziehen und darzustellen. Die Berücksichtigung verschiedener Perspektiven erhöht die Präzision der Evaluationsergebnisse. Perspektivenvielfalt sowohl im Hinblick auf Zielvorstellungen als auch auf Bewertungsmaßstäbe ist beispielsweise für eine Programmdurchführung positiv, denn der langfristige Erfolg von Programmen, z.B. zum Stadtumbau, hängt nicht nur vom Votum der Experten ab, sondern auch von der Einschätzung der Bewohnerinnen und Bewohner vor Ort. Hier entscheidet sich, was „ankommt“.
Zugleich ermöglicht eine frühzeitige Einbeziehung unterschiedlicher Akteure auch gegenseitiges Lernen und die schrittweise Weiterentwicklung von Kenntnissen und Fähigkeiten. Nicht nur Programme und ihre Evaluationen profitieren von Partizipation. Durch gemeinsam initiierte, bewertete, reflektierte und weiterentwickelte Veränderungsprozesse können alle beteiligten Akteure ihre Kompetenzen erweitern. Im Bildungsbereich können so schrittweise neue Qualitäten für Schule und Hochschule entwickelt werden und zu neuen Lernkulturen führen.

Herausforderungen bei der Partizipation

Mit der Partizipation tauchen auch immer wieder grundsätzliche wie speziell evaluationsbezogene Probleme auf. Prinzipiell stellt sich die Frage: Wer darf teilnehmen, warum darf jemand teilnehmen und wie weit geht die Einbeziehung? Und wer entscheidet im Zweifelsfall?
Und speziell für Evaluationen stellt sich die Frage, wann grundlegende Prinzipien der Evaluation wie beispielsweise die Fundierung mit empirischen Forschungsmaßstäben in Frage gestellt werden. Wie weit ist die umfassende Mitwirkung mit wissenschaftlichen Gütekriterien vereinbar, die sichern, dass Evaluation mehr ist als bloßes Feedback oder interessengeleitete Meinungsbekundung? Wie weit sind bei einer Vielfalt von Akteuren die Kriterien der Handhabbarkeit und Effizienz noch zu gewährleisten? Einfache Antworten gibt es hier nicht. Die methodischen Fragen sind jeweils abhängig vom Zweck der Evaluation zu beantworten. Ohne ein gewisses Maß an Partizipation geht es jedoch in der Regel kaum.

Qualität dauerhaft sichern

Entscheidend für eine partizipative Evaluation ist ein gemeinsam vereinbarter Einstieg in den Evaluationsprozess. Hier gilt es, zusammen die Möglichkeiten und Notwendigkeiten zu bestimmen und auszuhandeln. Neben dem Grundverständnis für Möglichkeiten, Grenzen und Kosten der Partizipation auf allen Seiten sind auch die Methodenkompetenzen und Fähigkeiten der Prozessorganisation von Evaluatorinnen und Evaluatoren von entscheidender Bedeutung. Ihre Qualität ist zentral. Entsprechend gilt es, diese Kompetenzen und Fähigkeiten bei allen Evaluationsbeteiligten aufzubauen und dauerhaft sicherzustellen.

Die DeGEval – Gesellschaft für Evaluation e.V. hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, zur Aus- und Weiterbildung in Evaluation sowie Empfehlungen für Auftraggebende veröffentlicht, die auch Informationen zum Thema Partizipation enthalten.

---

Januar 2012- DeGEval Positionspapier_Partizipation in der Evaluation als PDF

Dezember 2010

Evaluationen analysieren und bewerten das Erreichen von Zielen und die Wirkungen von Maßnahmen. Unabhängig von ihrem Umfang, ihrer finanziellen Ausstattung und ihrem zeitlichen Horizont kann die Evaluation Entschei-dungsträger und Praxis dabei unterstützen, die Zielgenauigkeit und Wirksamkeit von Maßnahmen, Strategien und anderen Gegenständen objektiv zu überprüfen und systematisch zu verbessern. Eine häufige Frage dabei ist, welche methodischen Ansprüche unter praktischen Bedingungen zu erfüllen sind, damit Evaluation diese Aufgaben seriös und kompetent wahrnehmen kann. Das vorliegende Positionspapier versteht sich als eine Zusammenfassung zentraler Antworten auf diese Frage. Es richtet sich ins-besondere an Personen und Institutionen, die Evaluationen beauftragen, verantworten oder ihre Ergebnisse aufnehmen und nutzen wollen, sowie an die interessierte Öffentlichkeit.

1. Was kennzeichnet Evaluationsmethoden?

Evaluationsmethoden stammen vielfach aus dem Repertoire der empirischen Sozialforschung. Doch darüber hinaus bedient sich die Evaluation weiterer methodischer Zugänge. So sind z.B. die Delphi-Methode, Grup-pendiskussionen oder auch Kosten-Nutzwert-Analysen Instrumente, die an der Schnittstelle zwischen Datenerhebung (qualitativ und/oder quantitativ) und Bewertung anzusiedeln sind. Evaluationen zeichnen sich häufig durch einen Methoden-Mix aus. Sie kombinieren unter dem Begriff der Triangulation verschiedene methodische Verfahren, um unterschiedliche Perspektiven angemessen berücksichtigen zu können.

2. Gibt es richtige und falsche Methoden?

Anders als die Grundlagenforschung muss die meist auftragsbasierte Eva-luation klug ausbalancieren zwischen hohen methodischen Standards und einer ökonomisch vertretbaren, pragmatischen, häufig unter Zeitdruck ste-henden methodischen Herangehensweise. Es gibt daher kein einfaches „richtig oder falsch“ bei der Methodenwahl, sondern bestenfalls ein „richtig und falsch“ hinsichtlich der Angemessenheit an den jeweiligen Evaluations-gegenstand. Allerdings gibt es fast nie nur eine Methode der Wahl, sondern verschiedene, deren Auswahl begründet werden soll.
Für bestimmte Evaluationsanliegen sind jedoch bestimmte methodische Zugänge besonders hervorzuheben. Wenn es um Wirkungsanalysen geht, sind dies – soweit es die Praxis erlaubt – insbesondere
(quasi-)experimentelle Designs mit der Möglichkeit, Vergleichsgruppen hin-reichend zu berücksichtigen. Sofern die Zuteilung zu den Vergleichsgruppen durch Selbstselektion erfolgt, sollte der dadurch möglicherweise entstehende Störfaktor z.B. durch entsprechende statistische Methoden (matching) oder andere Erhebungsdesigns ausgeglichen werden.

3. Über welche Methodenkompetenz sollten Evaluierende verfügen?

Evaluierende müssen über ein breites Methodenspektrum verfügen. Zwar kommt in keiner Evaluation das gesamte Methodenspektrum zum Einsatz. Doch die Evaluierenden müssen über genügend methodische Kenntnisse verfügen, um Potenziale und Grenzen der eingesetzten Verfahren und Zu-gänge einschätzen zu können sowie deren Anwendung entsprechend be-gründen zu können; was die Kenntnis alternativer Verfahren voraussetzt.

4. Welche Konsequenzen ergeben sich für Auftraggebende?

Angemessene Methoden und eine hohe Qualität der Evaluation liefern eine fundierte Basis für die Nutzung von Evaluationsergebnissen; sie erzeugen allerdings auch Kosten. Die Auftragsvergabe einer Evaluation darf daher nicht nur nach ökonomischen Gesichtspunkten erfolgen. Inhaltliche und qualitative Kriterien müssen im Vordergrund stehen.

Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professio-neller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht, die auch weiterführende Informationen zu Fragen der Evaluationsmethoden bieten.

---

Dezember 2010-DeGEval Positionspapier_ Methoden der Evaluation als PDF

Februar 2010

1. Welche Relevanz und Funktion hat Evaluation für die Gesellschaft?

Evaluation leistet einen substanziellen Beitrag zur Bewertung von Projekten, Programmen und Organisationen. Ein zentrales Anwendungsfeld von Evaluation sind (politisch initiierte) öffentliche Programme. Somit steht die Bewertung ‚öffentlichen‘ Handelns im Vordergrund. Waren es zunächst Programme im Bildungs-, Sozial- und Gesundheitsbereich, so hat sich das Anwendungsspektrum von Evaluation mittlerweile auf alle Bereiche öffentlichen Handelns ausgeweitet. Mit zunehmender Autonomie und Selbststeuerung politischer Teilbereiche und Organisationen (wie z.B. Universitäten) wächst die Legitimationspflicht gegenüber politischen Entscheidungsträgern und der Öffentlichkeit. Die Aufgabe von Evaluation ist es dabei, Wirkungen politischer und administrativer Entscheidungen zu überprüfen und fundierte, sachliche Informationen zu öffentlichen und politischen Debatten bereitzustellen. Evaluation hat in diesem Sinne eine aufklärerische Funktion und ermöglicht eine wissensbasierte Entscheidungsfindung. Evaluation dient zudem der Legitimation und Transparenz innerhalb einer Organisation. Sie unterstützt Prozesse der Qualitätssicherung und -entwicklung und soll Organisationen in ihren Lernprozessen fördern.

2. Wie viel Evaluation braucht die Gesellschaft?

Einer langen Tradition von Evaluation öffentlicher Programme in den Vereinigten Staaten steht eine vergleichsweise kurze europäische Geschichte der Evaluation gegenüber. Bewertungsverfahren werden in Europa mittlerweile in vielen Feldern gesellschaftspolitischen Handelns regelmäßig eingesetzt. Sie entsprechen jedoch oft nur eingeschränkt professionellen Standards der Evaluation und sind häufig unterfinanziert. Sollen Evaluationen jedoch für die Ausrichtung künftiger Politik wissensbasierte Hinweise liefern, so müssen sie professionell durchgeführt und adäquat finanziert werden. Dabei gilt es, die Befunde bereits durchgeführter Evaluationen stärker zu nutzen sowie den Fokus zukünftiger Evaluationen vermehrt auf die nachhaltige Wirkung von Maßnahmen und Programmen für die Gesellschaft zu richten. Im Fokus steht nicht die Quantität von Evaluationen, sondern deren Relevanz und Beitrag zum Erkenntnisgewinn.

3. Soll Evaluation gesellschaftspolitisch Position beziehen?

Evaluation ist nicht bloßes Messen, sondern stets auch Bewerten. Evaluationen sollen daher unterschiedliche und gegenläufige Wertpositionen möglichst unparteiisch berücksichtigen und die zugrundeliegenden Bewertungskriterien explizit und transparent machen. Eine so verstandene Evaluationspraxis kann aufklären, unterstützen und Vertrauen fördern. Evaluation bezieht somit in aller Regel nicht selbst eine gesellschaftspolitische Position, sondern macht vielmehr unterschiedliche Wertpositionen sichtbar.

4. Wie können Evaluationsergebnisse Eingang in die gesellschaftliche Praxis finden?

Evaluation kann zur Transparenz gesellschaftspolitischer Prozesse und damit zum Dialog beitragen. Beteiligung gesellschaftlicher Akteure im Prozess der Evaluation sowie Klarheit in der Berichterstattung fördern den Nutzen von Evaluationen. Nicht nur positive Ergebnisse von Evaluationen zählen, auch das ‚Scheitern‘ eines Programmes stellt eine wichtige Erkenntnis dar und ist hilfreich für die weitere gesellschaftliche Entwicklung. Inwieweit Evaluationsergebnisse in politische Prozesse eingehen und damit Wirkung erzielen, hängt wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab. Dies setzt voraus, dass Politik und Praxis bereit sind, aus Evaluationsergebnissen zu lernen. Gleichzeitig sollte die Öffentlichkeit daran interessiert sein, Evaluation als Maßnahme zur öffentlichen Rechenschaftslegung einzufordern.

Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht.

---

Februar 2010-DeGEval-Positionspapier_Evaluation und Gesellschaft als pdf

Dezember 2008

Moderne Gesellschaften sind geprägt durch komplexe Steuerungsprozesse, in denen Wirtschaft, Politik, Bildung, Sozialsystem und weitere Akteurinnen und Akteure vielfältige, zum Teil gegenläufige Interessen mit unterschiedlichen Handlungslogiken verfolgen. Die Globalisierung von Märkten führt zu weiteren Anforderungen an die Steuerungsprozesse, wie nicht zuletzt die aktuelle Finanzkrise zeigt. Diese komplexe Beziehung von Steuerung und Evaluation war Thema der 11. Jahrestagung der DeGEval – Gesellschaft für Evaluation in Klagenfurt.

Evaluationen haben in den vergangenen Jahren in allen Politik- und Praxisfeldern an Bedeutung gewonnen. Sie können fundierte Informationen für die Gestaltung von Politik, die Verbesserung von Abläufen in Organisationen und für die Weiterentwicklung der Fachpraxis bereitstellen. Dies ist aus Sicht der DeGEval – Gesellschaft für Evaluation Chance und Gefahr zugleich: Chance insofern, als Evaluationen durch gesichertes Wissen und transparente Bewertung Steuerungsprozesse verbessern können; Gefahr insoweit, als Evaluationen zur bloßen Legitimation politischer Entscheidungen verwendet werden und ihnen – bei wachsendem Bedarf und oft geringen Budgets – die notwendigen Qualitätsstandards fehlen können.
Aus Perspektive der DeGEval ist die Koppelung von Evaluationen an Entscheidungsprozesse eine notwendige Bedingung, um in Politik, Wirtschaft und anderen Handlungsfeldern zu einer reflexiven Haltung bei Entscheidungsträgerinnen und -trägern beizutragen, Steuerung sachlich zu fundieren und Wirkungen abzuschätzen. Damit tragen Evaluationen zu einer evidenz-basierten Politik und Praxis bei.

Der Vorstand der DeGEval appelliert an Entscheidungsträgerinnen und -träger in Politik und anderen Handlungsfeldern, angemessene Voraussetzungen zu schaffen, um die Verwendung von Evaluation für eine rationale Steuerung zu stärken. Insbesondere sind hierbei folgende Aspekte von Bedeutung:

1. Die Unterstützung von Steuerungsprozessen durch Evaluation bedarf der verbindlichen Vereinbarung über die Form und Transparenz der Ergebnisverwendung. Unklare oder fehlende Verwendungsvereinbarungen ohne Orientierung am Bedarf potentieller Nutzerinnen und Nutzer schmälern die Steuerungsrelevanz von Evaluationen.
2. Für die Durchführung von Evaluationen muss ein dem Zweck angemessener Zeitrahmen definiert werden, um methodische und feldspezifische Standards einhalten zu können. Insbesondere sollten Evaluatorinnen und Evaluatoren frühzeitig in die Zielexplikation und Ausgestaltung der Instrumente von Programmen, Strategien und Institutionen eingebunden sein, um die Realisierbarkeit bestimmter Evaluationsdesigns gemeinsam mit den Auftraggebenden zu erörtern.
3. Für Evaluationen müssen angemessene Ressourcen zur Verfügung stehen. Die DeGEval sieht mit Sorge, dass einerseits die Anzahl der Evaluationen enorm zunimmt, andererseits die für eine qualitativ angemessene Evaluation notwendigen finanziellen Mittel häufig nicht zur Verfügung stehen.
4. Insgesamt sollte die Vergabe von Evaluationen professionellen Standards entsprechen, die neben den bereits angeführten Aspekten auch das Verhältnis zwischen Auftraggebenden und Evaluatorinnen und Evaluatoren sowie den Ablauf der Evaluation definieren.
5. Von den Evaluatorinnen und Evaluatoren ist zu fordern, dass sie über angemessene Methoden- und Feldkenntnisse, Evaluationserfahrung, Sozialkompetenzen sowie über Kenntnisse zu Evaluationsansätzen und -modellen verfügen. Denn die Ergebnisse von Evaluationen sind in der Regel nur dann nützlich, wenn diese professionell durchgeführt werden.
6. Evaluationen sollten daher national und international anerkannten Standards entsprechen, auf die sich die beteiligten Akteurinnen und Akteure verbindlich verständigen.

Die DeGEval – Gesellschaft für Evaluation hat als größte Fachgesellschaft für Evaluation in Europa zur Unterstützung der Beteiligten in Evaluationsprozessen mehrere hilfreiche Produkte entwickelt. Neben den europaweit verbreiteten DeGEval-Standards für Evaluation sind dies insbesondere Empfehlungen für Auftraggebende sowie Empfehlungen für die Aus- und Weiterbildung von Evaluatorinnen und Evaluatoren.

---

Dezember 2008-DeGEval-Positionspapier_"Steuerung braucht Evaluation als pdf