Zunehmend wird die Evaluation zum Gegenstand der Forschung. Immer zahlreicher zeigen uns wissenschaftliche Befunde auf, welche Ursprünge, Formen und Bedeutungen Evaluationen in verschiedensten Zusammenhängen aufweisen. Diese Reflexion vermag der Weiterentwicklung der Evaluation wirkmächtige Impulse zu geben. Zudem bietet die Perspektive der Forschung über Evaluation wertvolle Gelegenheit zu feldübergreifenden, evaluationsfachlichen Diskursen.

Deswegen sind die drei Beiträge im Rahmen dieser Veranstaltung aus den Bereichen Soziale Arbeit und Bildung nicht nur für Personen aus diesen Feldern von Interesse, sondern richten sich gleichermassen an Personen, die sich für fundamentale Fragen etwa nach der Nutzung von Evaluationen interessieren.

Gegenüberstellung des Erkenntnisgewinns und Nutzens evaluativer und analytisch-deskriptiver Forschungszugänge im Bereich der sozialwissenschaftlichen Qualitätsforschung

Sandra Biewers Grimm, Research Institute on Generations and Family, Youth Research, Universität Luxemburg

Der Beitrag befasst sich mit dem Zusammenhang und den Abgrenzungsmerkmalen evaluativer und deskriptiv-analytischer Forschungsmethoden im Rahmen der Qualitätsforschung.

Im aktuellen Qualitätsdiskurs zu sozialen Dienstleistungen wird meist ein evaluatives Qualitätsverständnis hervorgehoben, bei dem Ansprüche, Zielsetzungen und Maßstäbe durch evaluative Ansätze überprüft und je nach Erkenntnisinteresse bewertet werden. Demgegenüber bezeichnet Qualität aus einer analytisch-deskriptiven Perspektive die „Eigenart“ einer untersuchten Leistung. Diese Perspektive scheint besonders dann instruktiv, wenn von einem relationalen Qualitätsverständnis auszugehen ist, d.h. wenn unterschiedliche Interessen und Erwartung an die Qualität einer Leistung gebunden sind und ineinanderfließen. Mit einem analytisch-deskriptiven Ansatz können diese Erwartungen als Wesenszüge der Qualität rekonstruiert werden.

Wie beide Ansätze zusammenwirken und sich voneinander abgrenzen lassen, wird in einem laufenden Dissertationsprojekt behandelt, welches das Passungsverhältnis externer Qualitätserwartungen und „angewandter Qualitätspraxis“ in der Offenen Jugendarbeit in Luxemburg untersucht. Das Projekt bezieht sich u.a. auf die in Luxemburg gängige Evaluationspraxis in der Offenen Jugendarbeit und reflektiert die Evaluationsergebnisse vor dem Hintergrund unterschiedlicher Qualitätsinteressen der Stakeholder.

Ziel des vorliegenden Beitrages ist es der Frage nachzugehen, in welcher Form sich das Erkenntnisinteresse, die Ergebnisstrukturen und die Nachhaltigkeit einer evaluativen und einer deskriptiv-analytischen Qualitätsforschung unterscheiden und welchen Input ggf. die dokumentarische Evaluationsforschung als „Vermittlerin“ zwischen beiden Komponenten leisten kann.

Evaluation im Bildungssystem der Schweiz: Eine empirische Bestandsaufnahme und kritische Einordnung

Björn Neuhaus, Eidgenössisches Hochschulinstitut für Berufsbildung EHB, Zollikofen, Schweiz

Ausgehend von den gesetzlichen Grundlagen zur Evaluation auf eidgenössischer und kantonaler Ebene, werden die Evaluationsaktivitäten unterschiedlicher staatlicher und nicht staatlicher Akteure in der Beruflichen Bildung dargelegt. Diese ist auch in der Schweiz schwerpunktmäßig „dual“ angelegt, d.h. mit betrieblichen und schulischen Anteilen.

Am Beispiel zweier „systemischer Evaluationen“, die von der „Parlamentarischen Verwaltungskontrolle“ und der „Eidgenössischen Finanzkontrolle“ durchgeführt wurden, wird deren systemische Ausrichtung, Methodik und Wirkung untersucht. Ähnlich angelegte Evaluationen haben in der Vergangenheit lebhafte Debatten ausgelöst. Evaluationen sind also in der Lage, Systeme zu stimulieren. Aber sind sie auch in der Lage, sie (nachhaltig) zu beeinflussen? Und worauf kommt es dabei an?

Die Auseinandersetzung mit der Schweiz bietet sich an, weil sie ähnlich wie Deutschland und Österreich über ein föderales politisches System verfügt. Die Evaluation hat in den vergangenen zwei Jahrzehnten jedoch einen zentralen Platz im politisch-administrativen Prozess erhalten. Aufgrund seiner relativ überschaubaren Größe, aber auch inneren Vielfalt, ist die Schweiz zudem ein idealer Forschungsgegenstand. Das Bildungssystem bietet sich aufgrund seiner Skalierbarkeit und des persönlichen Bezugs des Publikums gut als Beispiel für systemische Analysen an. Die Erkenntnisse lassen sich teilweise verallgemeinern und auf andere Politikfelder und Themen übertragen.

Was passiert nach der externen Evaluation? Schulische Verarbeitungsmuster im Vergleich

Carsten Quesel, Sara Mahler, Andrea Höchli und Kirsten Schweinberger, Pädagogische Hochschule, Fachhochschule Nordwestschweiz, Windisch, Schweiz

Externe Evaluationen sollen Aufschluss über die Schulqualität geben und zur Schulentwicklung beitragen. Der Beitrag behandelt die Frage nach den Strategien der innerschulischen Verarbeitung von Resultaten externer Schulevaluation anhand von qualitativen Fallstudien in vier Schweizer Kantonen. In der längsschnittlichen Begleitung treten vier Verarbeitungstypen hervor, die sich zum einen hinsichtlich der Steuerungsverfahren und zum anderen hinsichtlich der Gegenstandsbereiche der getroffenen Massnahmen unterscheiden. Die Befunde weisen darauf hin, dass Strategien, bei denen das Kollegium frühzeitig in den Entwicklungsprozess einbezogen wird, die besten Perspektiven für weitreichende und nachhaltige Veränderungen bieten. Es zeigt sich zudem, dass die Wahl der Verarbeitungsstrategien von politisch-administrativen Rahmenbedingungen und der Organisationskultur der Schule beeinflusst wird.

Im Rahmen der Präsentation werden zunächst theoretisch-konzeptionelle Bezugspunkte und das Untersuchungsdesign skizziert. Sodann wird die Typologie der Verarbeitungsmuster vorgestellt und anhand qualitativer Daten illustriert. Abschliessend wird die Frage nach den Grenzen der Entwicklungswirksamkeit von externen Schulevaluationen erörtert.

Schlagwörter: Forschung über Evaluation, Evaluationsnutzung, Jugendarbeit, Qualitätsmanagement, evidenzbasierte Schulentwicklung, externe Evaluationen, Berufsbildung, Einfluss von Evaluationen, Luxemburg, Schweiz