Kuper, H. (2005) Evaluation im Bildungssystem: Eine Einführung. 1. Auflage. Stuttgart: Kohlhammer.

ISBN: 3-17-0118206-4 Preis: 17,80 Euro (unverbindliche Preisangabe) Rezensiert von Dr. Stefan Bauernschmidt, Januar 2013 Verlag

Zusammenfassung der Inhalte


Das als Einführung ausgewiesene Buch von Harm Kuper thematisiert die Evaluation im Bildungssystem. Nach einer kurz gehaltenen Einleitung (Kapitel 1), die unter anderem auf den Anspruch und die Systematik dieses Einführungsbandes eingeht, werden theoretische Positionen (Kapitel 2), methodische Verfahrensweisen (Kapitel 4) und die Nutzung von Evaluationsbefunden im Rahmen von Entscheidungsfindungsprozessen (Kapitel 3) behandelt sowie das Zusammenspiel von Evaluations- und Bildungsforschung (Kapitel 5). Mit zwei Fallstudien endet diese Einführung (Kapitel 6). Getragen wird dieser Band „von der Idee (...), verschiedene Antworten zu der Frage des Verhältnisses von empirischer Forschung, Beurteilung und Entscheidung in der Evaluationsforschung darzustellen und auf ihre Bedeutung für Evaluationsstudien im Bildungssystem hin fortzuentwickeln." (S.8)

Im zweiten Kapitel (S.13-62), Positionen und Begriffe der Evaluationsforschung, werden grundlegende Begriffe der Evaluation – z.B. formative, summative, responsive Evaluation, Wert und Normativität – erläutert. Wichtig ist für den Autor, dass die Evaluationsforschung multiparadigmatisch angelegt ist und sich die Paradigmen, die sich während der ‚paradigm wars' als diametral entgegengesetzte theoretische Positionen gebärdet haben, langsam an Trennschärfe verlieren. Exemplarisch werden für die jeweilige Position ein Vertreter behandelt: Michael Scriven steht für eine rationalistische, empirisch-analytische Evaluationsforschung und Robert E. Stake für eine naturalistische, handlungsorientierte Evaluationsforschung. Im weiteren Verlauf des Kapitels wird des Weiteren der Frage nachgegangen, inwieweit Evaluation eine eigenständige wissenschaftliche Disziplin sein kann, oder ob Evaluation einer gänzlich anderen als der wissenschaftlichen Logik folgt (Evaluation als Politik, Evaluation als Ökonomie). Mit Ausführungen zur erziehungswissenschaftlichen Evaluationsforschung endet dieses zweite Kapitel.
Im dritten (und zugleich umfangreichsten) Kapitel (S.63-119), Evaluation und Entscheidung, geht es um die Nutzung von Evaluationsbefunden im Rahmen Risiko-behafteter Prozesse der Entscheidungsfindung. Nach einer Reflexion von Entscheidungsstrukturen im Bildungssystem werden sachliche und soziale Dimensionen von Entscheidungen identifiziert und expliziert (Sachdimension: Entscheidung und Rationalität, Sozialdimension: Entscheidung und Demokratie). Rücken bei rationalen Entscheidungen Fragen nach der Kontrolle von Handlungen und Handlungsfolgen in den Vordergrund, so sind es bei demokratischen Entscheidungen Fragen der Legitimität und Akzeptanz. In diesem Zusammenhang wird dann näher das Problem der Nutzung – der heilige Gral der Evaluation (Henry 2000) – beleuchtet; auch kommen hier die Themen Professionalisierung und Evaluationsstandards zum Zug, da diese zu einer Risikoreduktion beitragen können.
Im vierten Kapitel (S.120-158), Methoden der Evaluationsforschung, werden standardisierte und interpretative Verfahren vorgestellt sowie die Triangulation als Möglichkeit der Kombination verschiedener methodischer Prozeduren innerhalb einer Evaluationsstudie.
Im fünften Kapitel (S.159-173), Evaluation und Bildungsforschung, wird auf die Chance hingewiesen, Large-Scale-Assessments (z.B. PISA, TIMSS) – als prominente Forschungsvariante der Bildungsforschung – mit den enger umgrenzten Evaluationsstudien zu verbinden und mittels dieser Verbindung von Beobachtungen auf der Mikro- und Makro-Ebene ein adäquateres Bild schulischer Leistungen zu erhalten.
Im Schlusskapitel (S.174-202), Fallstudien – Beispiele aus der Evaluationspraxis, werden zwei Evaluationen skizziert, die den Anspruch verfolgen, „die Entstehung einer Fragestellung, die Auseinandersetzung mit den Informationsbedürfnissen von Praktikern und die methodische Durchführung der Evaluation exemplarisch darzustellen." (S.174) Diese Beispiele aus der Evaluationspraxis liefern am Schluss des Textes einen entsprechenden materialreichen Input, um über die Ausführungen der vorangegangenen fünf Kapitel nochmals substantiell nachzudenken.

Das Buch eignet sich für

Geeignet ist dieses Buch m.E. für Studentinnen und Studenten der Pädagogik/Erziehungs-wissenschaft, die einen ersten Eindruck davon gewinnen wollen, was es mit Evaluation theoretisch, methodisch-methodologisch und substantiell im Bereich der Bildung auf sich hat. Aber auch Praktiker (hier ist zu denken an Lehrerinnen und Lehrer), konfrontiert mit Evaluation, können diesen Text zur Hand nehmen, um sich eine erste Orientierung im Gebiet der erziehungswissenschaftlichen Evaluation zu verschaffen. Jedoch sollte die Lektüre dieses Bandes stets flankiert werden durch die Lektüre von Standardwerken zur Evaluation (wie z.B. Rossi, Freeman & Lipsey, 2004, Evaluation; Fitzpatrick, Sanders & Worthen, 2012, Program Evaluation).

Stärken und Schwächen

Das Buch ist als Einführung ausgewiesen. Der Schreibstil des Buches ist definitiv eine zentrale Stärke. Dieser ist eingängig und dadurch kann man dem Gedankenfluss über weite Strecken gut folgen. Jedoch sind in der Architektonik des Textes so manche Passagen irritierend: Das Buch endet sehr abrupt mit den beiden Fallbeispielen. Ein kurz gehaltener Schluss (im Umfang und Ton ähnlich der Einleitung), der nochmals die wesentlichen Punkte resümiert, hätte dem Buch gut gestanden. Irritierend ist auch die lange Passage zu Experimenten im dritten Kapitel (S.80ff); dies hätte ich als Leser des Buches eher bei den methodischen Ausführungen im Methodenteil des Buches erwartet. Eine weitere Schwäche betrifft die Erörterungen zentraler Begrifflichkeiten. Neben der sehr allgemeinen Bestimmung des Begriffs der „Evaluation" („Bewertung einer Handlung bzw. der Folgen einer Handlung", S.7) hätte man sich neben der Explikation verschiedener Evaluationstypen (summative, formative, responsive Evaluation, Input-, Prozess- und Output-Evaluation) doch noch eine etwas spezifischere Definition gewünscht. Zudem wäre gerade bei einem Einführungstext ein Glossar dieser zentralen Begrifflichkeiten hilfreich. Dem arbeitet aber dann die Angabe von weiterführender Literatur ein wenig entgegen. Insgesamt ist die Beurteilung des Buches angesichts der Stärken, die es besitzt, wie auch der Schwächen, die es aufweist, Janus-köpfig. Auf der einen Seite wird das Thema Evaluation schön in den Erziehungs- bzw. Bildungswissenschaftlichen Kontext eingebettet und wichtige Dimensionen der Evaluation angesprochen und in den Text eingebaut, auf der anderen Seite vermisst man in den Ausführungen Punkte, die zum Verständnis definitiv beigetragen hätten (z.B. Erläuterungen zum Begriff „Evaluation" selbst, ein Glossar oder auch (explizit gemachte) Auswahlkriterien hinsichtlich ausgewählter theoretischer Positionen und Modelle sowie zu Guter letzt einen eindeutigeren Titel – im Band geht es ja nur um einen Ausschnitt (Schulwesen) aus einem sehr viel facettenreicheren Bildungssystems).

Besonderheiten

Der Einbezug und die Einbettung der Evaluation in den bildungs- bzw. erziehungs-wissenschaftlichen Kontext ist wohl die zentrale Besonderheit dieses Textes. Indem Evaluation in unmittelbare Nähe zum pädagogischen Handeln gerückt wird (S.14), birgt der Text auch (implizit) Lösungsansätze für das Spannungsverhältnis zwischen Theorie und Praxis in der Evaluationsforschung. Umgekehrt hebt der Autor hervor, dass auch die Evaluationsforschung eine Antwort für das Problem der Theorie-Praxis-Vermittlung bietet: „Ihr Ansatzpunkt für die Vermittlung von Theorie und Praxis liegt in der Erhebung und Auswertung empirischer Daten nach theoretischen Gesichtspunkten, um für praktisch relevante Entscheidungen Informationen bereitstellen zu können." ( S.14)

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind: