26. Jahrestagung der DeGEval – Gesellschaft für Evaluation vom 13. bis zum 15. September 2023 an der Otto-von-Guericke-Universität Magdeburg.

Valide Daten - rationale Entscheidungen - akzeptierte Steuerung?

Eine rationale und wissensbasierte politische Steuerung setzt nicht auf unkritisierbare Vorannahmen, Vorurteile und dogmatische Setzungen, sondern zieht zur Entscheidungsfindung immer wieder auch empirische Daten heran, die mit wissenschaftlichen Verfahren methodisch kontrolliert erhoben wurden. Im Idealfall können solche Daten auch zu Korrekturen und Revisionen bisheriger Entscheidungen führen, die Rationalität politischer Entscheidungen steigern sowie die Akzeptanz der Ergebnisse und darauf basierender Entscheidungen bei den Betroffenen erhöhen.

Hierbei kann es aber auch zu Zielkonflikten zwischen den Erfordernissen wissenschaftlich seriöser Datenerhebung und -analyse einerseits und politischen Handlungszwängen andererseits kommen, weil die gesellschaftlichen Teilsysteme Wissenschaft und Politik nach jeweils unterschiedlichen Logiken arbeiten: die Qualität wissenschaftlicher Forschung und ihrer Ergebnisse ist abhängig von der kritischen Haltung der jeweiligen scientific community -  die Bereitschaft zu systematischer Fehlersuche und eine stets wache Skepsis gegenüber Daten und Befunden fördern deren beständige strenge Prüfung und erhöhen auf diese Weise letztendlich deren Validität. Dies hat zur Folge, dass auch lange bewährte Glaubenssätze und allgemein akzeptierte Erkenntnisse durch neue Daten in Frage gestellt und revidiert werden können. Prozesse beständiger Fehlersuche und Nachprüfung, so nutzbringend sie auch immer sein mögen, können jedoch erhebliche zeitliche und personelle Ressourcen beanspruchen. Dem wiederum können Handlungszwänge politischer Systeme entgegenstehen, wo mit begrenzten Ressourcen gearbeitet werden muss und, bspw. im Angesicht nicht zu tolerierender Missstände oder drohender schwerer Schäden, unter Zeitdruck Abhilfe hiergegen geschaffen werden soll. Politische Entscheidungen erfolgen dementsprechend oft unter Unsicherheit über die tatsächlichen Ursachen eines Problems oder über reale Wirkungen und Nebenwirkungen von Maßnahmen.

Das hier beschriebene Spannungsfeld zwischen Wissenschaft und Politik spielt auch für die Praxis der Evaluation eine Rolle: Der Bedarf an abgesicherter Evidenz stellt eine Herausforderung für die zu evaluierenden Programme und Maßnahmen dar, wenn etwa Daten erst während der Umsetzung einer Maßnahme erhoben werden können und die für die Umsetzung vorhandenen knappen Ressourcen einschränken. Eingeschränkte zeitliche und finanzielle Ressourcen wiederum können eine wissenschaftlich seriöse Vorgehensweise erschweren und die Unsicherheit darüber, wie und wofür Daten verwendet werden, kann die Bereitschaft der im Prozess Beteiligten zu Transparenz und Informationsbereitstellung einschränken. Unterschiedliche Handlungslogiken in den Feldern Wissenschaft, Evaluationspraxis und Politik, bei denen relevante regulative Zielideen (etwa Genauigkeit und Verlässlichkeit von Daten, praktische Umsetzbarkeit von methodischen Anforderungen oder Ressourcenschonung und rasche Problemlösung) in Konflikt geraten, können zahlreiche Friktionen und Spannungen in Evaluationsprozessen erzeugen. Zudem können hierdurch Akzeptanzprobleme entstehen, wenn etwa Kritiker:innen bestimmter Maßnahmen eine im Wissenschaftssystem legitime Skepsis im Hinblick auf Datenqualität zur Verfolgung eigener ökonomischer und politischer Interessen nutzen: mit dem Argument, dass Annahmen über problemrelevante Faktoren noch keinesfalls bis ins letzte Detail wissenschaftlich gesichert seien, können bspw. Akteur:innen, die von bestimmten Interventionen Nachteile zu erwarten haben, diese als wissenschaftlich nicht begründbar zu desavouieren suchen.

Im Rahmen der 26. Jahrestagung der DeGEval möchten wir eine Reihe von Herausforderungen diskutieren, die aus Spannungen und Friktionen zwischen den Handlungslogiken in Wissenschaft, Praxis und Politik entstehen und die für die Evaluationspraxis relevant sind:

• Herausforderungen, die aus der Notwendigkeit entstehen, die Validität von Daten und der aus ihnen abgeleiteten Befunde durch aufwändige methodische Verfahren zu sichern und mögliche Fehlerquellen zu identifizieren,
• Fragen der Qualität von Evaluationen, der in ihnen erhobenen Daten und der aus ihnen abgeleiteten Befunde, die mit beschränkten Ressourcen und hohem Zeitdruck in politischen Entscheidungsprozessen zusammenhängen
• Fragen zur Relevanz wissenschaftlich seriöser Vorgehensweisen für Evaluationen sowie zu Überschneidungen und Abgrenzungen zwischen (angewandter) Wissenschaft und Evaluation
• Probleme und Konflikte, die bei der Abwägung zwischen den Zielen Validität von Daten und Befunden einerseits und praktischer Umsetzbarkeit, Ressourcenschonung und politischer Problembearbeitung andererseits entstehen,
• Fragen der Validität von Daten und Datenanalysen sowie der Rationalität politischer Entscheidungen, die sich bei der Vermittlung von Evaluationsergebnissen an Betroffene und Beteiligte ergeben,
• Fragen der Methodenwahl - welche methodischen Zugänge oder Evaluationsdesigns haben sich in diesem Spannungsfeld bewährt? Welche Rolle spielen qualitative und quantitative Daten hierbei.
• Probleme der Akzeptanz von Steuerungsmaßnahmen und Evaluationsempfehlungen, bei denen Argumente bezüglich der Qualität von Daten und der Rationalität von Entscheidungen eine Rolle spielen,
• typische Konflikte, die aus der Spannung zwischen diesen Anforderungen entstehen können, wie die Vorwegnahme von Ergebnissen, selektive Bereitstellung bzw. Wahrnehmung von Daten und Befunden, fehlende oder unzureichende Berücksichtigung von Zielgruppen, die Diskreditierung von Ergebnissen usw., sowie
• die Suche nach angemessenen Strategien für die Bearbeitung und die Lösung dieser Konflikte: Wie unterscheiden sich solche Konflikte bei verschiedenen Akteur:innen und in unterschiedlichen Evaluationsfeldern? Wie lassen sie sich konstruktiv bearbeiten? Welche Strategien im Umgang mit ihnen haben sich bewährt? Wie kann man aus solchen Konflikten (und Fehlern) lernen?

Der Vorstand der DeGEval – Gesellschaft für Evaluation möchte alle Initiativen zur Thematisierung relevanter Fragen der Praxis und Theorieentwicklung im Bereich Evaluation aus unserer Mitgliedschaft und den Arbeitskreisen fördern und stärken. Deshalb laden wir explizit dazu ein, nicht nur Beiträge, die die oben thematisierten Aspekte im Spannungsfeld zwischen wissenschaftlicher Qualität und politischen Handlungszwängen aufgreifen, sondern auch Vorschläge einzureichen, die andere Bezüge zu einem Themenbereich im Feld der Evaluation herstellen.