Am 30. Juni und 1. Juli trafen sich rund 30 Personen an der Bundesanstalt für Agrarwirtschaft und Bergbauernfragen in Wien, um in einem hybriden Veranstaltungsformat über aktuelle Fragen und „Dauerbrenner“ in der Evaluation von EU-Förderpolitiken zu diskutieren.

„Mitnahmeeffekte: Oft besungen, kaum gemessen?“ war das Thema des ersten Blocks. Andrea Pufahl vom Thünen-Institut für Lebensverhältnisse in ländlichen Räumen stellte den Umgang mit der Thematik „Mitnahme“ im Rahmen der Evaluierung von ELER-Programmen vor. Drei Praxismethoden zur Erhebung von Mitnahmen wurden vorgestellt. Für die Strukturfonds wurden von Thorsten Lübbers von Ramboll ebenfalls drei Praxismethoden vorgestellt.

• Vortrag Andrea Pufahl
• Vortrag Thorsten Lübbers

Der zweite Block beschäftigte sich mit der Frage der Messung von Effizienz. Am Beispiel von ELER-Programmen stellte Regina Grajewski empirische Befunde und methodische Herausforderungen vor, sowohl bezogen auf Umsetzungs- wie auch Fördereffizienz. Stefan Meyer legte in seinem Beitrag den Fokus auf die Maßnahmenwirtschaftlichkeit, die als Anforderung aus der Bundeshaushaltsordnung ein Thema bei Evaluationen von Bundesprogrammen darstellt.

• Vortrag Regina Grajewski
• Vortrag Stefan Meyer

In den Interna des Arbeitskreises wurden die beiden Sprecher:innen Stefan Meyer und Regina Grajewski für weitere zwei Jahre von den Anwesenden bestätigt. Andreas Resch aus Wien wurde als neuer Sprecher gewählt, als Nachfolger von Isabel Naylon. Andreas Resch arbeitet als freier Evaluator vor allem im Kontext des EFRE und des ELER. Er hat schon die letzten beiden Online-Veranstaltungen mit organisiert.

Zum Ausklang des ersten Tages gab es zwei parallele Sitzungen, zum einen von Vertreter:innen der Ministerien und zum anderen zum Austausch bezüglich der Erfahrungen in der Ex-ante-Bewertung der GAP-Strategiepläne für den Förderzeitraum 2023 bis 2027. Eine verpflichtende Ex-ante-Bewertung war für den kommenden Förderzeitraum nur noch für die GAP vorgesehen, nicht mehr für die EU-Strukturfonds. Franz Sinabell vom WIFO gab einen Überblick über die Ex-ante-Bewertung in Österreich. Die Ex-ante-Bewertung war vorrangig formativ angelegt; dies gilt gleichermaßen für Deutschland. Die Ex-ante-Bewertungen werden die Grundlage für eine Synthese auf EU-Ebene bilden.

• Vortrag Franz Sinabell

Der Freitag begann mit zwei parallelen Sitzungen, zu den Themen LEADER und transformativer Strukturpolitik. LEADER wird als Förderansatz schon seit den 1990er Jahren angeboten, mit einem verpflichtenden Mitteinsatz in den ELER-Programmen. Kim Pollermann vom Thünen-Institut für Lebensverhältnisse in ländlichen Räumen stellte Ergebnisse der laufenden Evaluierung in vier deutschen Bundesländern vor. Diese Ergebnisse sind Teil eines länderübergreifenden Berichts (https://www.eler-evaluierung.de/fileadmin/eler2/Publikationen/Projektberichte/5-Laender-Bewertung/2022/5_2022_LEADER_4-Laender-Bericht_FINAL.pdf) und fokussieren besonders auf die Stellschrauben, die in der Gestaltung der Umsetzungsbedingungen liegen. Michael Fischer vom ÖAR stellte die Überlegungen für ein wirkungsorientiertes LEADER-Monitoring vor.

• Vortrag Kim Pollermann
• Vortrag Michael Fischer

Der Green Deal verändert auch die Anforderungen an die „klassischen“ EU-Förderpolitiken. Mehr Geld soll in Klimaschutz und -anpassung fließen. Die Förderinstrumente sind auf Klimaverträglichkeit zu überprüfen. Elona Goma von M&E factory gab einen Überblick über klimarelevante EU-Instrumente. Die Förderarchitektur ist insgesamt komplexer geworden, mit hohen Anforderungen an die umsetzenden Stellen in den Mitgliedstaaten. Nils Biermann, Referent im nordrhein-westfälischen Umweltministerium stellte die Rolle der Umweltministerien bei der Umsetzung des Green Deals vor.

• Vortrag Goma
• Vortrag Biermann

Im Anschluss erfolgte eine Session zu der Rolle von Programmtheorien/Wirkungslogiken in der Evaluierung. Peter Kaufmann von KMU Forschung Austria gab zwei Beispiele für theoriebasierte Evaluierungen. Kim Pollermann stellte vor, wie das Konzept des akteursorientierten Institutionalismus nutzen lässt, um Bausteine für die LEADER-Evaluierung abzuleiten. Stefan Meyer von kovalis stellte ein Wirkungsmodell für eine EFRE-Evaluierung in Berlin vor. Andreas Resch von M&E factory stellte die Rekonstruktion einer Theory of Change für die Förderung von „Kurzen Versorgungsketten“ vor. In der Diskussion wurde verwiesen auf den Übersichtsartikel von Hense und Traut in der Zeitschrift für Evaluation (https://www.degeval.org/fileadmin/ZfEv/Heft_2/2021/02_Hense___Taut.pdf).

• Folien Kaufmann
• Folien Pollermann
• Folien Meyer
• Folien Resch

Der letzte Block beschäftigte sich mit Neuerungen und ersten Überlegungen zum Evaluationsdesign in der kommenden Förderperiode. Lucien Luca stellte die Überlegungen der DG Regio vor, Andrea Wallner den Stand und die Planungen im IBW/EFRE und dem JTF-Programm vor. Francesco Gianola gab einen Überblick über die Evaluierungsvorgaben für die GAP-Strategiepläne. Hannes Wimmer stellte den Evaluierungs-Helpdesk für die Gemeinsame Agrarpolitik vor sowie ein neues Instrument zur Bewertung von Evaluierungen aus den Mitgliedstaaten als Feedback-Instrument.

• Vortrag Luca
• Vortrag Wallner
• Vortrag Gianola
• Vortrag Wimmer

Am 22. Oktober trafen sich 34 Personen im virtuellen Raum, um sich über die aktuallen Entwicklungen auf EU-Ebene und die Nutzung bzw. den Nutzen von Evaluationen und Evaluationsergebnissen in den derzeit laufenden Programmerstellungen auszutauschen.

Dr. Peter Becker von der Stiftung für Wissenschaft und Politik hielt ein Impulsreferat mit dem Titel "Zeichen von Kontinuität und Wandel im neuen Mittelfristigen Finanzrahmen 2021-2027"  (zum Herunterladen hier). Frau Schreckenberger vom Bundeswirtschaftsministerium ergänzte die aktuellen Entwicklungen im Bereich der Strukturfonds aus deutscher Perspektive.

Im Anschluss gab es eine Abfrage zur Nutzung von Evaluationen und Evaluationsergebnissen in der derzeitigen Programmierung. Die meisten gaben an, Evakautionen partiell zu nutzen, vor allem für die Begründung von Maßnahmen oder Strategien. Der Nutzen bzw. die Nutzung von Evaluationen hängt stark von der zeitlichen Passfähigkeit ab. Des Weiteren sollten die Empfehlungen  hinreichend konkret sein, um in einen Programmerstellungsprozess einfließen zu können.

Die Vorgaben für die Durchführung von Evaluationen in der kommenden Förderperiode bleiben weitgehend bestehen, mit entsprechend großen Freiheitsgraden für die Programmbehörden in der Ausgestalltung (ein kurzer Überblick hier).

Das nächste physische Treffen ist für Oktober 2021 in Wien geplant.

Die Frühjahrstagung 2019 fand mit rund 40 TeilnehmerInnen am 27./28. Juni in Berlin mit Unterstützung der Verwaltungsbehörde EFRE in den Räumlichkeiten der Senatsverwaltung für Wirtschaft, Energie und Betriebe statt. Es war ein breiter Kreis von TeilnehmerInnen anwesend: EvaluatorInnen, MitarbeiterInnen aus Ministerialverwaltungen, Wirtschafts- und Sozialpartner. Die TeilnehmerInnen kamen aus Deutschland und Österreich sowie von der EU-Ebene.

 

Die Tagung gliederte sich in vier Blöcke mit Vorträgen und Diskussion:

Block I: Ergebnisorientiert und einfacher ab 2021 – Ein Blick in die neue Förderperiode

• Aus Sicht des Europäischen Rechnungshofes
• Aus Sicht der Generaldirektion Landwirtschaft
• Aus Sicht eines Bundeslandes

Block II: Die neue Dachverordnung – Beitrag zu einer wirksameren und wirtschaftlicheren Kohäsionspolitik

• Aus Sicht des Europäischen Rechnungshofes
• Aus Sicht der Wirtschafts- und Sozialpartner
• Aus Sicht des Bundeswirtschaftsministeriums

Block III: Regional Governance – Vom Versuch, einen Pudding an die Wand zu nageln

• Regional Governance – Operationalisierungen und Wirkungspfade zu einem aner-kannt uneindeutigem Begriff
• Das ELER-Maßnahmenspektrum wird sozialer – passen Strukturen und Formen der Zusammenarbeit in Österreich? Erfahrungen aus der Evaluierung der Priorität 6 „Ländliche Entwicklung“ in Österreich
• LEADER-Evaluierungsansätze und Ergebnisse aus vier ländlichen Entwicklungsprogrammen in Deutschland
• Evaluierung von integrierten Stadtentwicklungsansätzen - Erfahrungen aus der Evaluierung der Prioritätsachse 4 "Nachhaltige Stadtentwicklung" des EFRE-Programms des Landes Berlin

Block IV: Evaluationskapazität ausbauen

• Inhalt und Prozess der Ex-ante Bewertung

 

Mit über 30 TeilnehmerInnen fand am 14./15. Juni 2018 am Thünen-Institut in Hamburg-Bergedorf der Frühjahrsworkshop des Arbeitskreises Strukturpolitik statt. Es waren EvaluatorInnen und MitarbeiterInnen aus Ministerialverwaltungen aus Deutschland und Österreich anwesend, die inhaltlich die verschiedenen EU-Fonds vertreten.

Der erste Tag startete mit zwei parallelen Blöcken zu Evaluierungsdesigns und Evaluierungen.

Block I

Alle EU-finanzierten Programme sollen einen Beitrag zum Klimaschutz leisten. Dafür sind spezifische Maßnahmen vorzusehen, und Klimaschutz ist auch als Querschnittsziel in den Programmen verankert. Wolfgang Roggendorf vom Thünen-Institut für Ländliche Räume stellte in seinem Beitrag die methodischen Herausforderungen in der Evaluierung von Klimaeffekten im ELER dar. Dominik Jessing vom Institut für Energie- und Umweltforschung Heidelberg (IFEU) stellte ergänzend das Vorgehen für die Messung von Klimaeffekten im EFRE vor - anhand von Praxisbeispielen aus Nordrhein-Westfalen.

Block II

Der Europäische Hilfsfonds für die am stärksten benachteiligten Personen (EHAP) ist ein neues Instrument der EU und erfordert aufgrund seiner Ausgestaltung und Zielgruppen auch ein spezifisches Evaluierungsdesign, das auch in der Lage ist, kurzfristig Ergebnisse an die Verantwortlichen für Programmanpassungen zurückzukoppeln. Dr. Gerd Walter von SÖSTRA stellte das Design der begleitenden Evaluierung vor. Andreas Resch von METIS aus Österreich gab einen Einblick in die programmbegleitende Evaluierung des grenzüberschreitenden Kooperationsprogramms des Freistaates Sachsen und der Tschechischen Republik 2014 bis 2020.

Alles Neu machen Mai und Juni? Eine erste Einschätzung der Kommissionsvorschläge für die Förderperiode 2021 bis 2027

Im Mai und Juni hat die Europäische Kommission sowohl einen Vorschlag für den Mittelfristigen Finanzrahmen als auch die Vorschläge für die Sektorverordnungen veröffentlicht. Der Finanzrahmen steht unter den Auswirkungen des BREXIT und einer deutlichen Aufwertung von "neuen" Politikfeldern. Seitens der ArbeitskreissprecherInnen wurde ein grober Überblick über den Stand gegeben. Anschließend stellten Frau Schumacher (BMEL) und Frau Schreckenberger (BMWi) ihre ersten Einschätzungen zu den vorgelegten Entwürfen vor. Mit dem Gemeinsamen GAP-Strategieplan, der sowohl die 1. und 2. Säule der Gemeinsamen Agrarpolitik umfassen und auf Ebene des Mitgliedstaates programmiert wird, ergeben sich strukturell-organisatorisch für den ELER wesentlich größere Änderungen im Vergleich zum EFRE. Allerdings, so zeigte die Diskussion, müssen erst die nun beginnenden Ratsarbeitsgruppen auf EU-Ebene abgewartet werden, um tiefergehende Einschätzungen zu gewinnen, da Erläuterungen und Klarstellungen der Kommission zu wesentlichen Aspekten fehlen, z.B. zur Ausgestaltung des Leistungsrahmens in den ESI-Fonds.

Am zweiten Tag wurde die Diskussion mit einem Vortrag zum ESF von Frau Schäff vom BMAS und Herrn Ehlert vom nordrhein-westfälischen Arbeits- und Sozialministerium fortgesetzt. Beim ESF wird eine inhaltliche Ausweitung erfolgen, indem vormals eigenständig umgesetzte Programme integriert werden. Größeren Diskussionsbedarf gibt es noch zur Frage der Indikatorik, vor allem hinsichtlich der verbindlich an die EU zu liefernden Indikatoren.

Erfahrungen mit dem Bewertungsplan

Bewertungspläne sind ein neues Instrument, das in den Verordnungen vorgegeben ist und den Rahmen für Evaluierungen sowohl für Auftraggeber als auch EvaluatorInnen stärker strukturieren und zu Qualitätssicherung beitragen soll. Im ELER waren die Bewertungspläne schon Teil des Programmplanungsdokuments und daher sehr allgemein gefasst. Konkretisiert wurden sie im Nachgang durch Feinkonzepte. Sebastian Elbe vom Monitoring- und Evaluierungsnetzwerk Deutschland (MEN-D) gab einen Einblick in die ELER-Bewertungspläne. Vorgestellt wurden des Weiteren Vor- und Nachteile von Bewertungsplänen im Vergleich im EFRE/ESF auf der Grundlage von Einschätzungen von Carla Harnischfeger von Ramboell.

Europäische Vorgaben - Beitrag zur Qualitatsverbesserung

Die Europäische Kommission ist seit vielen Jahren bemüht, einen Beitrag zum Kapazitätsaufbau in der Evaluierung zu leisten. Daher finanziert sie sogenannte Evaluation Helpdesks, deren Aufgabe u.a. ist, mit Workshops und methodischen Leitfäden die nationalen Evaluierungsteams zu unterstützen.  Für den ELER stellte Hannes Wimmer den Leitfaden vor, der die Beantwortung der Bewertungsfragen in den erweiterten Durchführungsberichten des Jahres 2019 unterstützen soll (und auch für die Ex-post-Bewertung 2024 den Rahmen gibt). In der Diskussion wurde angemerkt, dass das Gewicht zu stark auf quantitativen Methoden liegt und die Leitungsfähigkeit von qualitativen Methoden oder Mixed-Methods zu wenig Beachtung findet.

Für den Europäischen Meeres- und  Fischereifonds (EMFF) wurde in einem Leitfaden der Ansatz verfolgt, die im Monitoring erfassten Daten sehr strukturiert für Evaluierungsfragen einzusetzen und modular durch weitere empirische Erhebungen zu ergänzen. Das Handbuch ist in starkem Maße auf Praktiker zugeschnitten und mit der bestehenden umfangreichen Datenbank verknüpft. Christine Hamza von FAME stellte das Handbuch vor.

Das Sprecherteam dankt noch mal allen ReferentInnen für die Beiträge und allen TeilnehmerInnen für die rege Diskussion.

Wir freuen uns auf den Workshop 2019 mit hoffentlich klareren Rahmenbedingungen für die kommende EU-Förderperiode.

Regina Grajewski

Isabel Naylon

Stefan Meyer

 

 

Der Frühjahrsworkshop des AK-Strukturpolitik 2015 wurde gemeinsam mit dem österreichischen Bundesministerium für Land- und Forstwirtschaft, Umwelt und Wasserwirtschaft veranstaltet und fand vom 2. bis 3. Juli in Wien statt.

Zwei Tage lang haben rund 60 TeilnehmerInnen Konzepte einer theoriebasierten Evaluation diskutiert und sich die Frage gestellt, wieviel und welche Theorie in ihren Evaluationen steckt.

Im Folgenden stehen die Vorträge zum download bereit.

Anne Margarian (Thünen-Institut für ländliche Räume): Nichts ist so praktisch wie eine gute Theorie. Kritische Politikbewertung jenseits der Evidenz

Andreas Resch (Metis): Programme-theory-"based" evaluation method - Anwendung im Bereich investiver Fördermaßnahmen

Dr. Jan-Philipp Kramer, Anja Breuer (prognos): Theoriebasierte Evaluation am Beispiel Großunternehmensförderung

Michael Fischer (ÖAR Regionalberatung): Prozessorientierte Ansätze für Monitoring und Evaluierung

Christine Hamza (Metis): Erfahrungen und Methoden aus den Ex-post-Evaluierungen von ESF und EFRE 2007-2013

Isabel Naylon (Metis): ESF/EFRE 2007-2013 Ex-post-Evaluationen

Achim Sander (entera): Biodiversitätswirkungen - Methodische Herausforderungen, Lösungsansätze und Ergebnisse

Inge Fiala (BMLFUW): Ansätze der Biodiversitätsbewertung im Vergleich

Petra Raue, Kim Pollermann, Gitta Schnaut (Thünen-Institut für Ländliche Räume): Herausforderungen multivariater Analysen zur Bewertung regionaler Entwicklungsprozesse am Beispiel LEADER - ein Werkstattbericht

Franz Sinabell (WIFO): Modellgestützte Programmbewertung - Theoretischer Ansatz und Ergebnisse

Peter Kaufmann (KMU Forschung Austria): Erfahrungen mit TBE in der Evaluation von FTI-Programmen

Hannes Wimmer (metis) und Franz Sinabell (WIFO): Methoden investiver Maßnahmen im Vergleich

Arbeitsgruppe EFRE/ESF: Diskussionsergebnisse

 

Am 20. und 21. März 2014 fand in Salzburg der Frühjahrsworkshop des AK Strukturpolitik statt. 30 TeilnehmerInnen aus Deutschland und Österreich diskutierten vor dem Hintergrund der bisherigen Evaluationserfahrungen die neuen Vorschläge der EU-Kommission, für die Förderperiode 2014 bis 2020 die Erstellung von Evaluationsplänen allen Programmverantwortlichen verbindlich vorzugeben.

Den Anfang machte Stefan Meyer, der in das Thema einführte und einen Überblick über das Programm der beiden Tage gab (Vortrag_Meyer).

Als Vorbereitung für den Frühjahrsworkshop des AK-Strukturpolitik wurde von den beiden AK-SprecherInnen eine Online-Befragung zum Thema Evaluationsplan durchgeführt, die auch die wesentlichen Ergebnisse vorstellten (Vortrag_Grajewski_Meyer).

Im Anschluss stellten die Gastgeber des Frühjahrsworkshops das Design und die bisherigen Aktivitäten der ESF-Bewertung in Österreich vor und gaben Empfehlungen zum Evaluationsdesign in der kommenden Förderperiode (Vortrag_Ainz_Kripgans). Annegret Bödel von Ramboell berichtete von ihren Erfahrungen in der EFRE-Evaluation am Beispiel von zwei Bundesländern. Sie hob vor allem auf organisatorische Herausforderungen in der Evaluation ab (Vortrag_Boetel).

Zweimal wurde im Folgenden über den Tellerrand geschaut: einmal über die Grenzen nach Tschechien und einmal über die Grenzen des Politikfeldes in die Forschungsförderung. Marie Kaufmann schilderte die ambivalenten Erfahrungen mit den bisherigen Evaluationsplänen in Tschechien (Vortrag_Kaufmann). Sabine Mayer stellte die Evaluationsaktivitäten der österreichischen Forschungsfördergesellschaft vor (Vortrag_Mayer).

Der Freitag startete mit einem Vortrag von Margarethe Schima-Tripolt vom Lebensministerium Österreich. Sie stellte den Entwurf des Evaluationsplans für den Entwicklungsplan für den ländlichen Raum 2014 bis 2020 vor, der anderes als beim EFRE/ESF schon mit dem Programmplanungsdokument bei der EU zur Genehmigung einzureichen ist (Vortrag_Schima). Rolf Bergs (PRAC) stellte die komplexen Prozesse in der Erstellung von Evaluationsplänen im ELER in Deutschland vor (Vortrag_Bergs). Der Europäische Meeres- und Fischereifonds ist im Kontext der EU-Fonds eher ein Exot. Er unterliegt aber den gleichen Vorgaben wie die anderen finanzstarken Fonds für Monitoring und Evauierung. Die Herausforderungen, ein geeignetes Evaluationssystem aufzusetzen, sind also vergleichbar. Suitbert Schmüdderich (Cofad) stellte die wesentliche Eckpunkte heraus (Vortrag_Schmüdderich).

 

 

Kai Stryczynski von der Evaluierungsabteilung der DG Region nutzte die Chance, den Entwurf eines Leitfadens zur Erstellung und zu den Inhalten eines Evaluationsplans für den EFRE und ESF vorzustellen und mit den TeilnehmerInnen zu diskutieren (Vortrag_Stryczynski). Die DG Regio setzt einen Fokus auf Wirkungsevaluationen und eröffnet den Mitgliedstaaten große Freiräume, diese Wirkungsevaluationen umzusetzen (z.B. in Kooperation mit Forschnungseinrichtungen, durch Rückgriff auf Daten der Vorperioden, durch gemeinsame Evaluationen mit anderen Programmen). Oliver Schwab (IfS) stellte erste Überlegungen eines künftigen Evaluationsdesigns für das Berliner EFRE-Programm vor (Vortrag_Schwab).

 

 

Rund 50 VertreterInnen aus Evaluation, Wissenschaft und Verwaltung diskutierten zwei Tage lang über die künftigen Herausforderungen an die Programmplanung und Ex-ante-Evaluation für den Förderzeitraum 2014 bis 2020. Der erste Block beschäftigte sich mit Fragen der Programmerstellung.

Dietmar Welz von bonneval stellte unter dem Titel "SWOT, Bedarfsanalyse und Förderschwerpunkte der ländlichen Entwicklung im Spannungsfeld zwischen ELER und GSR" die spezischen Herausforderungen der ELER-Programmierung dar.

01-Welz.pdf

Claudia Klaerding vom Ziel-2-Sekretariat beschäftigte sich mit dem Beteiligungs- und Programmierungsprozess in Nordrhein-Westfalen (Von der Wunschliste zum konzentrierten Programm - Der Beteiligungs- und Programmierungsprozess in NRW)

02-Klaerding-Schulte.pdf

Der zweite Block am Nachmittag drehte sich vor allem um die Frage der strategischen Programmierung und der Rolle der Indikatoren. Indikatoren sollen neben anderen Instrumenten in der zukünftigen Programmsteuerung und Evaluierung eine wesentliche Rolle spielen.

Das Beispiel aus der DG Agri zeigt einen sehr stark auf Vergleichbarkeit ausgerichteten Ansatz mit EU-weit gemeinsamen Indikatoren.

03-Sauvaget.pdf

Kai Stryczynski von der DG Regio gab praktische Hinwesie zum künftigen Leistungsrahmen und der Rolle der Indikatoren.

04-Stryczynski-1.pdf

Oliver Schwab beleuchtete aus wissenschaftlicher Sicht die Rolle von Indikatoren für Steuerungsprozesse (Aus Daten Sinn machen - Übersetzungsprobleme im Performancemangement).

05-Schwab.pdf

Der zweite Tag beschäftigte sich wesentlich stärker mit den Herausforderungen an die künftige Evaluation auf der Grundlage der bisherigen Erfahrungen mit Evaluierung. Den Anfang machte Tasso Brandt vom IfS mit einem Überblick über die begleitenden Bewertungen in den deutschen EFRE-Programmen (Begleitende Bewertungen in den EFRE-Programmen - Versuche einer Einordnung).

06-Brandt.pdf

Die beiden anschließenden Vorträge bezogen sich inhaltlich auf den ELER. Hannes Wimmer vom Evaluation Help desk gab einen Überblick über die bisherigen EU-weiten Erfahrungen mit der laufenden Bewertung im ELER, während Oliver Köhn von der ELER-Verwaltungshörde seine Anforderungen an die künftige Evaluierung skizzierte.

07-Wimmer.pdf

08-Koehn.pdf

Den Vortragblock abschließend gab Kai Stryczinski einen Überblick über die Erwartungen der DG Regio an künftige Wirkungsevaluationen.

09-Stryczynski-2.pdf

In einer Abschlussrunde fassten Ignaz Knöbl (ELER-Verwaltungsbehörde Österreich), Susanne Stegmann (bonneval) und Claudia Klaerding (Ziel-2-Sektretariat) die drei Blöcke zusammen.

 

 

 

 

 

 

 

Am 26. und 27. April 2012 veranstaltete der Arbeitskreis Strukturpolitik im Bundesministerium für Ernährung, Landwirtschaft und Verbraucherschutz (BMELV) seinen diesjährigen Frühjahrsworkshop  zum Thema

Monitoring und Evaluierung 2014+: Gegenwärtige Erfahrungen und zukünftige Entwicklungen

Über 50 TeilnehmerInnen von EU, Bund und Ländern, aus verschiedenen EU-Mitgliedstaaten, AuftraggeberInnen und AuftragnehmerInnen haben zwei Tage intensiv und kontrovers über gegenwärtige Erfahrungen und die Vorschläge der EU für das zukünftige Monitoring- und Evaluierungssystem diskutiert.

Das Protokoll gibt einen kurzen Überblick über die Vorträge und die anschließenden Diskussionen und kann im Folgenden heruntergeladen werden:

Protokoll_WS2012.pdf

Folgende Vorträge können im Folgenden heruntergeladen werden:

Monitoringsysteme im EFRE/ESF - Ein guter Grundstock für eine laufende Bewertung von Ralph Rautenberg (prognos) und Nebejsa Djordjevic (Steria Mummert Consulting)

01_Prognos_Steriamummert_Monitoring.pdf

Monitoringsysteme im EFRE/ESF - Erfahrungen der EFRE/ESF-Verwaltungsbehörde in Berlin von Dorit Drost (EFRE-Verwaltungsbehörde Berlin)

02_EFRE_Begleitsystem_Berlin.pdf

Monitoringsysteme im ELER - ein Bananenprodukt? Ein Überblick und Erfahrungen eines Bundeslandes von Regina Grajewski (vTI Braunschweig) und Franz Geberth (LEL Baden-Württemberg)

03_Monitoring-ELER.pdf

Monitoring und Evaluierung 2014+: Gegenwärtige Erfahrungen und zukünftige Entwicklungen - Ergebnisse einer Online-Befragung bei Fondsverwaltungen und Verwaltungenbehörden von Regina Grajewski (vTI) und Stefan Meyer 

04_Online-Befragung-Monitoring.pdf

Einführung und aktueller Stand des Projekts eCohesion bei der zukünftigen EU-Strukturpolitik von Ulrike Schreckenberger (BMWi)

05_VortragZukunftECohesion2012.pdf

Monitoring und EVALUATION 2014+ - Ergebnisse der Befragung der EU-Verwaltungsbehörden von Stefan Meyer

06_Befragung_Evaluation.pdf

Wettbewerb der Systeme? EFRE-Evaluierungen 2007 bis 2013 und Ausblick von Oliver Schwab (Institut für Stadtforschung und Strukturpolitik)

07_Wettbewerb_der_Systeme.pdf

Evaluierungssystem im ELER - Viel hilft viel? von Sebastian Elbe (sprint)

08_ELER-Evaluierung.pdf

Verhandlungsposition Deutschlands zu den Legislativvorschlägen der KOM und Stand der EU-Beratungen von Gerhard Thissen (BMELV)

09_Vortrag-BMELV.pdf

Evaluation 2014+: Qualität, Kontinuität, Experimente (EFRE,CF) von Kai Stryzcinski (DG Regio)

10-EFRE-Evaluierung2014ff.pdf

Künftiger Rahmen für die Evaluierung im ELER von Hannes Wimmer (EU-Helpdesk)

11_ELER-Evaluierung2014ff.pdf

Regina Grajewski

Stefan Meyer

Die Strukturpolitik und insbesondere die europäischen Struktur- und Agrarfonds sind seit jeher durch komplexe Programme gekennzeichnet: Die auch finanziell umfassenden Programme bündeln viele Politikbereiche und politische Interessen. Die Programme erfordern einen gemeinsamen Rahmen, ein gemeinsames Zielsystem und eine gemeinsame Strategie für die verschiedenen Politikbereiche. Im Laufe der Entwicklung sind unterschiedliche Politikfelder integriert– oder besser ergänzt – worden, wie etwa der nachsorgende Umweltschutz, die integrierte Stadt- und Regionalentwicklung oder jüngst der Klimaschutz. Die Komplexität der Programme ist damit weiter gewachsen. Dabei werden bestehende Zielkonflikte und Förderkonkurrenzen in der Regel nicht benannt oder aufgelöst, sondern an die Programme bzw. deren Umsetzung und auch die Evaluierung delegiert. 

Gitta Schnaut vom Thünen-Institut für Ländliche Räume beleuchtete die spezifischen Probleme und Lösungsansätze bei der Evaluation von LEADER, einem bottom-up-Ansatz zur ländlichen Entwicklung, der im Prinzip ein Programm in einem Programm darstellt.

Schnaut_Regional-Entwicklungsprozesse.pdf

Guido Zinke von Ramboell Management thematisierte eine weitere Herausforderung, nämlich die Evaluation von umweltbezogenen Querschnittszielen, am Beispiel eines vereinfachten Scoring-Modells.
20130912__Vortrag_Ramboll_AK_Strukturpol_Umweltindikatorik_2.pdf

„Regionale Entwicklung durch Kooperation und Netzwerke? Regionale und lokale Entwicklungskonzepte und –prozesse  und ihre Evaluierung“ war der Titel des Frühjahrsworkshops des AK Strukturpolitik der DeGEval in Coesfeld im Münsterland am 5. und 6. Mai 2011. Stefan Meyer führte als AK-Sprecher in den Workshop ein (01_Einleitung.pdf ) Nach einem Einführungsvortrag von Guido Nischwitz  (02-Nischwitz-neu.pdf)               über grundlegende Herausforderungen und Handlungsfelder der Regionalentwicklung wurden Ergebnisse aus abgeschlossenen und laufenden Evaluationsvorhaben vorgestellt. Zwei Vorträge am ersten Tag beschäftigten sich inhaltlich mit LEADER, einem von der EU mitfinanzierten Ansatz der Regionalentwicklung, der seit 2007 integraler Bestandteil der Politik der 2. Säule der Gemeinsamen Agrarpolitik ist (03_Raue.pdf , 04_Welz.pdf).

Die Vorträge am zweiten Tag hatten vor allem methodische Ansätze der Netzwerkanalyse zum Thema. Judith Elbe stellte Methoden der quantitativen Netzwerkanalyse vor und berichtete von ihren Erfahrungen im Rahmen der Begleitforschung zu Bioenergie-Regionen (05_JudithElbe.pdf). Netzwerkanalysen kommen aber nicht nur im Rahmen von Evaluationen zum Einsatz; vielfach werden sie als regionalökonomischer Analyseansatz (z. B. im Rahmen von Standortuntersuchungen) eingesetzt (06_Dickow.pdf). Ein weiteres Anwendungsbeispiel im Rahmen der Evaluation eines ESF-Programms, stellten Kripgans und Ainz vor, die Territoriale Beschäftigungspakte (TEPs) in Österreich unter Nutzung einer sozialen Netzwerkanalyse bewerteten (07_Ainz_Kripgans.pdf ). Institutionalisierte Netzwerke auf EU-Ebene und in den Mitgliedstaaten zum Austausch von Informationen und zur verbesserten Praxis der ländlichen Entwicklung waren Gegenstand des Vortrags von Doris Marquardt, die Anspruch und Wirklichkeit dieses Politikinstruments untersuchte (08_Marquardt.pdf ).

Der Frühjahrsworkshop des Arbeitskreises Strukturpolitik findet dieses Jahr am

statt.

Thema

Thema sind dieses Jahr regionale und lokale Entwicklungsprozesse, ihre Bedeutung, ihre Initiierung und Unterstützung, ihre Wirksamkeit und ihre Evaluierung.

Grundsätzlich rekurrieren Instrumente wie die Soziale Stadt, LEADER, Regionalmanagements, die Förderung von Netzwerken (wie z. B das maritime Cluster in MV), „Regionen Aktiv“ oder eine (teil)regionalisierte Strukturpolitik auf die regionale Verankerung, die räumliche Nähe und Vernetzung ihrer Akteure.

Von der regionalen Einbettung der Prozesse wird erwartet, dass sie die Problemwahrnehmung erleichtert und zu passgenaueren Lösungen mit hoher Akzeptanz führt. Die räumliche und soziale Nähe schafft Vertrauen, welches die Grundlage von kooperativen Prozessen ist.

Grundsätzlich zeichnen sich die lokalen und regionalen Ansätze durch zwei Merkmale aus: Es werden integrative Ansätze verfolgt oder zumindest angestrebt. Und sehr häufig wird auf Netzwerke und Kooperation gesetzt, um Entwicklungsprozesse vornzubringen.

In der Evaluierung werden zwei unterschiedliche Ebenen betrachtet, zum einen die Prozesse und zum anderen deren Wirkungen im Hinblick auf Regionalentwicklung. Das eingesetzte Methodenspektrum ist daher sehr vielfältig, wobei es aufgrund der Singularität der Prozesse häufig schwierig ist, belastbare Ergebnisse und darauf aufbauend Empfehlungen für die Politik zu generieren.

Zum Download:

Tagungsprogramm

Anmeldeformular

Der Arbeitskreis Strukturpolitik der DeGEval führte am 27. und 28. Mai 2010 in der Räumen der Bremischen Bürgerschaft seinen Frühjahrsworkshop zum Thema „Zukunft der Strukturfonds und der Gemeinsamen Agrarpolitik“ durch.
An zwei Tagen diskutierten rund 30 TeilnehmerInnen den aktuellen Stand der Diskussionen zur Ausrichtung der EU-Strukturfonds nach 2013 sowie die mögliche Ausrichtung der Gemeinsamen Agrarpolitik (GAP).

Peter Becker (Stiftung Wissenschaft und Politik) übernahm mit seinem Vortrag die generelle Einführung in das Thema. Im Zentrum stand dabei die Aussage, dass vor dem Hintergrund der Wirtschafts- und Euro-Krise der europäische Mehrwert, Subsidiarität sowie die Legitimation und Sinnhaftigkeit aller europäischen Politiken den Kern der zukünftigen Diskussionen über die Ausrichtung auch der EU-Strukturfonds bilden.
>> Der Vortrag als Download. <<

Der Vortrag von Franz Sinabell (Österreichisches Institut für Wirtschaftsforschung) lenkte den Fokus auf die Agrarpolitik. Die Darstellung der Netto-/Bruttozahlerpositionen in der EU, Anteil ländlicher Räume und Einkommen der landwirtschaftlichen Betriebe nach FADN (Europäisches Testbetriebsnetz) setzte den Rahmen für den eigentlichen Kern des Vortrags.
>> Der Vortrag als Download. <<

Werner Kleinhanß (vTI, Institut für ländliche Räume) berichtet die Ergebnisse aus einer vor kurzem für das EU-Parlament erstellten Studie. Die Studie basiert auf agrarökonomischen Modellrechnungen, mit denen die Verteilung und Verteilungswirkung der verschiedenen Ausgestaltungsvarianten nach 2013 berechnet wurde (Bureau, Witzke et al. (2010): The single payment scheme after 2013: New approach - new targets. Study for European Parliaments’s Committee on Agriculture and Rural Development).
>> Der Vortrag als Download. <<

Holger Bornemann (Prognos AG) stellte die Ergebnisse einer Studie im Auftrag des BMWi zur Fortsetzung der RWB-Förderung vor.
>> Der Vortrag als Download. <<

Melanie Hoffrath (Senator für Wirtschaft und Häfen, Bremen) und Ralph Rautenberg (Prognos AG) stellten die Ergebnisse einer Studie zur Untersuchung des Beitrags der Strukturfonds zur Förderung regionaler Innovationssysteme am Beispiel des Kompetenzfeldes „Umwelt- und Energietechnik, insb. Windenergie“ vor.
>> Der Vortrag als Download. <<

Oliver Schwab (Institut für Stadtforschung und Strukturpolitik) stellte abschließend seine Einschätzung zum aktuellen Stellenwert der Evaluierung und einen Ausblick auf die Zukunft der laufenden Bewertung im EFRE nach 2013 entlang von sechs Thesen vor.
>> Der Vortrag als Download. <<

Der Frühjahrsworkshop 2009  des Arbeitskreises Strukturpolitik fand vom 18. bis 19. Juni 2009 in Wiesbaden statt. Gastgeber war die ELER-Fondsverwaltung des Hessischen Ministeriums für Umwelt, Energie, Landwirtschaft und Verbraucherschutz (HMUELV). Rund 35 TeilnehmerInnen aus Forschungseinrichtungen, Beratungsbüros, Verwaltung und Politik aus Deutschland, Österreich und der EU beschäftigten sich zwei Tage mit unterschiedlichen methodischen Ansätzen quantitativer Wirkungsanalysen und unterzogen diese einer kritischen Reflektion.Regina Grajewski als Teil des SprecherInnenteams des AK Strukturpolitik gab eine kurze Einführung in die Thematik. 01_Einfuehrung.pdf

Kai Stryczynski erläuterte die neuesten Entwicklungen in der Evaluierungseinheit der DG Regio, die diese dazu veranlasst hat, verschiedene Studien seitens der KOM in Auftrag zu geben, die methodische Ansätze des Rigourous Impact Assessment exemplarisch anwenden sollen. Aus seiner Sicht entziehen sich viele Förderbereiche (z. B. Forschung und Entwicklung, Großprojekte) solchen Ansätzen. Schätzungsweise können Wirkungen von ca. 20 % des Förderspektrums mit solchen quantitativen Methoden erfasst werden.

02_Impact_Evaluation_STRYCZINSKI_GD_REGIO.pdf

Im Anschluss stellte Ulf Rinne vom Forschungsinstitut zur Zukunft der Arbeit (IZA) ein typisches Anwendungsbeispiel von Matching-Verfahren in der Wirkungsanalyse arbeitsmarktpolitischer Maßnahmen vor. Untersucht wurden zwei Instrumente zur Förderung von Existenzgründungen, nämlich die sog. „Ich-AG“ und das Überbrückungsgeld.

03-Rinne_Wiesbaden_v02.pdf

Neben dem Matching-Ansatz existieren noch weitere quantitative Ansätze, die im Vergleich zu dem Kontrollgruppenansatz weniger umfangreiche Daten erfordern, allerdings in ihren Ergebnissen stark von den getroffenen Ansätzen abhängen. Andrea Pufahl vom Institut für Ländliche Räume des Johann Heinrich von Thünen-Instituts gab einen Überblick über parametrische und nicht-parametrische Verfahren in der quantitativen Wirkungsanalyse und stellte verschiedende Anwendungsbeispiele aus dem Bereich der ländlichen Entwicklungsförderung vor.

04-Pufahl_quantitative-Methoden.pdf

Der Freitag vormittag stand im Zeichen makro-ökonomischer Ansätze zur Wirkungsanalyse.

Karl Ortner, der die Evaluation des ländlichen Entwicklungsplans 2007 bis 2013 in Österreich koordiniert und an der Bundesanstalt für Agrarwirtschaft beschäftigt ist, stellte ein partielles dynamisches Modell vor, mit dem die sozio-ökonomischen Wirkungen des ländlichen Entwicklungsprogramms ex ante abgeschätzt werden sollten.

05-ortner-EPLROesterreich.pdf

Bei Oliver Fritz vom Österreichischen Institut für Wirtschaftsforschung hingegen ging es nicht um eine Ex-ante-Schätzung, sondern um eine Ex-post-Betrachtung der Wirkungen von 12 Jahren EFRE in Österreich. Eingesetzt und weiterentwickelt wurde in dieser Studie im Auftrag der Österreichischen Raumordnungskonferenz das Input-Output-Modell MultiREG.

06-fritz-multireg.pdf

Last but not least stellte Anne Margarian vom Institut für Betriebswirtschaft des Johann Heinrich von Thünen-Instituts die Frage nach der theoretischen Fundierung der Analysen im Rahmen von Evaluationen, d. h. das Stellen der richtigen Fragen und die Wahl der geeigneten Methoden und leitete so über zu der Abschlussdiskussion mit allen ReferentInnen.

07-Margarian-theoriebasierte_Wirkungsanalyse.pdf

Rund 45 TeilnehmerInnen aus Verwaltung und Evaluationspraxis, aus Deutschland und Österreich, von EU-Kommission, Bund und Ländern diskutierten in Düsseldorf zwei Tage über die Chancen und Probleme des neuen Begleitungs- und Bewertungsansatzes für die EU-Förderprogramme 2007 bis 2013. Neben Übersichtsvorträgen beschäftigten sich viele Beiträge mit der Umsetzung der Ansätze in die Praxis.

Hier finden Sie alle Vorträge des Workshops

"Laufende Bewertung als neuer Ansatz - Was bringt das neue Begleit- und Bewertungskonzept der EU-Förderprogramme 2007 -2013?":

Oliver Schwab (IfS) - Begleitende Bewertung

Regina Grajewski (vTI) - Begleitung und laufende Bewertung im Rahmen der ELER-Programme 2007 bis 2013

Oliver Schwab (IfS) - Begleitung und laufende Bewertung des EFRE 2007 bis 2013

Regina Grajewski (vTI) - Planung und Umsetzungsstand der Begleitung und Bewertung 2007 bis 2013 - Ergebnisse der ad-hoc Befragung in den Ministerien

Daniela Glimm-Lükewille (Ziel-2-Sekretariat NRW) - Begleitung - "Fundament" der Bewertung

Franz Geberth (LEL) - Laufende Bewertung, Monitoring und andere Prozessketten - Abgrenzungen, Berührungspunkte und Überschneidungen, Beispiele aus der Praxis für ELER: Maßnahme- und Entwicklungsplan Ländlicher Raum Baden-Württemberg 2007-2013 (MEPL II)

Karl M. Ortner (AWI) - Das Begleit- und Bewertungssystem des LE 07-13 in Österreich

Richard Hummelbrunner (ÖAR) - Steuerung und Abläufe der laufenden Bewertung von EFRE - Programmen in Österreich - Erfahrungen und Ausblick

Holger Bornemann (PROGNOS) - Wie läuft die laufende Bewertung? - Steuerung und Abläufe während der Evaluierung: Das Beispiel der Begleitforschung der EFRE-Programme Konvergenz und RWB in Niedersachsen

Michael Ridder (MR Regionalberatung) - Wie läuft die laufende Bewertung? - Steuerung und Abläufe während der Evaluierung dargestellt am "Ziel-2-Programm NRW 2007-2013 (EFRE)"

Jörg Schramek (ifls) - Wie läuft die laufende Bewertung? - Steuerung und Abläufe während der Evaluierung, Erfahrungen aus Baden-Württemberg

Andreas Maier (OEROK) - Monitoring, Begleitung, Bewertung im Rahmen der OPs 2007-2013 in Ö (mit Fokus auf OPs der Ziele Konvergenz/P.O. & RWB/EFRE)

Am 15. und 16. März fand in Basel eine internationale Konferenz zur Evaluation statt. Im Dreiländervergleich wurde der Stand der Evaluierung und der Evaluierungskultur in Deutschland, Österreich und der Schweiz dargestellt.

Hier werden die Präsentationen zum Themenfeld "Raumentwicklungspolitik" zur Verfügung gestellt:

Einleitung ins Themenfeld - Richard Hummelbrunner, Andreas Maier, Oliver Schwab, Alain Thierstein

Länderbeitrag Österreich - Richard Hummelbrunner, Andreas Maier

Länderbeitrag Deutschland - Oliver Schwab

Länderbeitrag Schweiz - Alain Thierstein

Die Ergebnisse der Konferenz werden in einem Tagungsband dokumentiert, der im Herbst 2007 erscheinen soll.

Am 1. und 2. März fand bei der FAL in Braunschweig die Frühjahrstagung zum Thema "Ex-Ante-Evaluierung - Lehren für die Programmerstellung und Evaluation?"

Programm 

Hier stehen Ihnen die Präsentationen der Referenten zur Verfügung

Erfahrungen aus den Ex-Ante-Evaluierungen von ELER, EFRE und ESF - Regina Grajewski, FAL

Methoden zur Ex-Ante-Evaluierung

Scoring - Möglichkeiten und Grenzen als Ex-Ante-Evaluierungsmethode - Stefan Meyer, MR Regionalberatung / Oliver Schwab, IfS

Makroökonomische Modellrechungen - Rolle im Rahmen von Evaluierungen - Oliver Schwab, IfS

Ex-Ante-Evaluierung und Programmerstellung - Methoden und Erfahrung

ELER-Ex-Ante-Evaluierung in Österreich - Klaus Wagner, Bundesanstalt für Agrarwirtschaft, Wien

Strategie und Programme - Beitrag der Evaluierung?

Impulsstatement - Ronny Zienert, Sächsisches Staatsministerium für Wirtschaft und Arbeit

Politikmodell und Evaluierbarkeit

Beurteilung zielloser Maßnahmen - Anne Magarian, FAL

Ein aktuelles und "heiß" diskutiertes Thema ist momentan die Strategische Umweltbewertung für Programme der neuen Förderperiode der Strukturfonds 2007-2013.

Wir haben für Sie ein Handbuch zu diesem Thema gefunden, das wir Ihnen empfehlen möchten. Es entstand im Rahmen des Interreg IIIC-Projektes "GRDP - Greening regional development programmes" und wurde im Februar 2006 in englischer Sprache veröffentlicht.

Link zum GRDP-Projekt: www.grdp.org

Vorwort der Europäischen Kommission zum Handbuch  (pdf)

Download des Handbuchs (pdf)

Workshop 20./21.6.2005 in Magdeburg

Vom Wissen zum Handeln: Evaluation im Spiegel Ihrer Nutzung

Am 20./ 21. Juni fand in Magdeburg der Workshop des Arbeitskreises Strukturpolitik statt. Es nahmen ca. 40 Evaluatoren und Vertreter von Verwaltungen auf Landes- und Bundesebene teil. Der diesjährige Workshop der Analyse widmete sich  weiterer Funktions- und Leistungsbedingungen des Evaluationssystems im Bereich der Strukturfonds in Deutschland. Rege diskutiert wurden die Rolle von Monitoring und Evalueriung und ihr erfolgreiches Zusammenspiel. Am zweiten Tag stand der Nutzen von Evaluierungen im Vordergrund.

 Hier finden Sie das Programm (pdf) und die Beiträge der Referentinnen und Referenten zum Download (pdf):

Norbert Heller: Der Weg vom Einzelprojekt zu Wachstum und Beschäftigung (Beitrag bitte bei den Sprechern des AK anfordern)

Lars Balzer: Wie werden Evaluationsprojekte erfolgreich?

Michael Ridder: Erfahrungen aus dem Monitoring von Strukturfondsprogrammen: Konsequenzen für die zukünftige Förderperiode

Kai Stryczynski: Monitoring in der neuen Förderperiode: Weniger Indikatoren, aber besser?

Oliver Schwab / Kathleen Toepel: Nutzung von Evaluierungen - Ergebnisse der Befragung

Josef Efken: Evaluation: Summativ - partizipativ - formativ .... und suboptimal

Regina Grajewski: "Das wussten wir doch alles schon!"

Annegret Bötel: Vom Wissen zum Handeln? Information, Evaluation und ihre Nutzung

Der Arbeitskreis Strukturpolitik beteiligte sich mit zwei gut besuchten Workshops am Programm der Jahrestagung in Wien.

1) Evaluierung von Arbeitsmarktpolitik am Beispiel EQUAL Österreich
Dieser Workshop stand im Zeichen der Evaluierung von Arbeitsmarktpolitik. Der Themenschwerpunkt der Jahrestagung zur Evaluierung der Qualität von Reformen wurde in Hinblick auf das innovative arbeitsmarktpolitische Programm EQUAL Österreich aufgegriffen. Die Gemeinschaftsinitiative EQUAL zielt darauf ab, Menschen mit Problemen in Zusammenhang mit der Integration am Arbeitsmarkt zu unterstützen und die Entwicklung neuer Methoden und Ansätze zur Bekämpfung aller Arten von Diskriminierung im Hinblick auf den Arbeitsmarkt zu fördern. Die KMU FORSCHUNG AUSTRIA stellte die aktuellen Ergebnisse der EQUAL-Programmevaluierung vor. Zudem präsentierten einige EvaluatorInnen von EQUAL-Partnerschaften die internen Evaluierungen ihrer EQUAL-Aktivitäten.

Moderation des Workshops: Dr. Sonja Sheikh und MMag. Eva Heckl (KMU FORSCHUNG AUSTRIA)

Übersicht der ReferentInnen:

ReferentInnen	Organisation	Thema der Präsentation
Mag. Andrea Dorr Mag. Andrea Egger	KMU FORSCHUNG AUSTRIA abif (analyse beratung und interdisziplinäre forschung)	Highlights aus dem 2. Zwischenbericht der Programmevaluierung EQUAL Österreich
Fr. Kornelia Hagen	Deutsches Institut für Wirtschaftsforschung (DIW)	Evaluierung des Ziels Verbesserung der Beschäftigungsfähigkeit
Mag. Gabriela Maurer	Innovationszentrum für EU-Projekte, ÖGB Oberösterreich	Evaluationskonzepte der Entwicklungspartnerschaft „Miteinander arbeiten und leben“
Mag. Petra Wetzel	L&R Social Research	Entscheidungsgesteuerte Evaluation der Entwicklungspartnerschaft „ways to work“
Hr. Manfred Saurug	Institut für Arbeitsmarkt-betreuung und –forschung Steiermark	Begleitforschung der Entwicklungs­partnerschaft „styria integra“

2) Evaluierung - hart an der Grenze

Ausgangspunkt dieses Workshops war die Zwischenevaluierung der grenzüberschreitenden Programme aus Interreg IIIA und Phare CBC an der (ehemaligen) österreichischen Außengrenze (mit Slowenien, Ungarn, der Slowakei und Tschechien). Diese Evaluierung wurde – ebenso wie die gesamte Programmkonzeption und –abwicklung - in enger Zusammenarbeit mit den Verwaltungsbehörden der Nachbarländern durchgeführt. EvaluatorInnen des INTERREG-Programmes aus Österreich arbeiteten mit ExpertInnen aus den Nachbarländern zusammen. Die „Pflicht“ der Halbzeitevaluierung wurde dabei mit der „Kür“ einer begleitenden Evaluierung verbunden. Anhand der Erfahrungen im Zuge der Evaluierung wurden in diesem Workshop die unterschiedlichen Zugangsweisen und Interessen an der Evaluierung von Seiten der AuftraggeberInnen, der EvaluatorInnen und der umsetzenden Sekretariate herausgearbeitet.

Moderation: Herta Tödtling-Schönhofer (ÖIR Managementdienste GmbH, Wien) Referent: Richard Hummelbrunner (Evaluator; ÖAR): Evaluierung an der Grenze: ein Überblick über die Schwierigkeiten und Möglichkeiten.

Die Halbzeitbewertung der Strukturfonds - Eine Bestandsaufnahme

Ende 2003 wurde der Zyklus der Halbzeitbewertungen dieser Förderperiode für die Strukturfonds abgeschlossen. Eine Vielzahl von Halbzeitevaluierungen sind in den letzten Jahren durchgeführt worden. Die Teilnehmer selbst haben entweder Evaluierungen durchgeführt oder als Auftraggeber begleitet.

Eine Bestandsaufnahme der dabei gesammelten Erfahrungen kann alle direkt Beteiligten, von der Europäischen Kommission, über die Verwaltungen von Bund und Ländern bis zu den Evaluierenden dabei unterstützen, Evaluierung zukünftig besser zu nutzen und effizienter durchzuführen.

Stärken und Schwächen der im deutschsprachigen Raum durchgeführten Halbzeitbewertungen standen daher – gemeinsam mit internationalen Erfahrungen - im Mittelpunkt des Frühjahrsworkshops des AK Strukturpolitik der DeGEval.

Wir haben für den Frühjahrsworkshop Beiträge gesucht, die vor dem Hintergrund der aktuellen Halbzeitbewertungen Erfahrungen aufgreifen, systematisieren und analysieren. Die Beiträge der beiden Tage greifen Aspekte aus den folgenden Themenfeldern auf:

 

1. Evaluations-Management: Steuerung der Evaluierung, Verhältnis zwischen Auftraggeber und Auftragnehmer, Beteiligung anderer Partner und Berücksichtigung der stakeholder-Perspektive
2. Evaluations-Design: Evaluierung komplexer Programme, Schwerpunktsetzungen der Evaluierung, Fragen der Zusammenfassung unterschiedlich gelagerter Maßnahmen, fondsübergreifende Evaluierung
3. Evaluations-Kultur und Evaluations-System: Nutzen der Evaluierung, Lernfähigkeit von Evaluatoren und Verwaltungen / Implementationssystemen, "Nachfrage" nach Evaluationen

 

Ausgewählte Beiträge sind auch in der Zeitschrift für Evaluation 1/2005 veröffentlicht worden.

Pieter van Run: Halbzeitbewertung Ziel 2 in den Niederlanden

Annegret Boetel / Florian Niedlich: Flankierung des Programmstarts durch Evaluierung?

Birgit Koch: Erfahrungsbericht der 6-Länder-Halbzeitbewertung - Fallstricke und Überraschungen des neuen Organisationsansatzes

Bernhard Forstner: Zentrale Evaluation - Synergieeffekte oder "Bewertung von der Stange"?

Sebastian Elbe: Evaluierung im Spannungsfeld zwischen Kontrolle und Lernprozess

Kai Stryczynski: Der Prozess der Halbzeitbewertung in der EU

Wolfgang Jaedicke: Bilanz der deutschen Halbzeitbewertungen zum ESF - Ist der Sprung nach vorn gelungen?

Douwe Grijpstra: Assessment of the ESF Mid Term Evaluations in Austria, Flanders, Greece and the Netherlands

Der AK Strukturpolitik gestaltete auf der Jahrestagung der Degeval in Hamburg zwei Workshops:

1) Evaluierung mit qualitativen Methoden zur Bewertung weicher Faktoren

 Ausgangspunkt unserer Überlegung für die Themenwahl war, dass über die "harten" Fakten hinaus bei der Umsetzung des Strukturfonds oder anderer Fördermaßnahmen auf der lokalen Ebene auch solche struktur- und organisationsbezogenen Faktoren eine Rolle spielen können, die sich nur schwer abbilden lassen. Fallstudien dienen u.a. dazu, regionale Besonderheiten und unterschiedliche Gestaltungsmöglichkeiten "vor Ort" bei der Evaluation angemessen berücksichtigen zu können.

Beiträge von:

- Petra Müller und Werner Schuler, IAB Nürnberg: Qualitative Aspekte der dezentralen Implementation des ESF-BA-Programms: Untersuchungsansatz und Ergebnisse der Begleitforschung

- Andrea Dorr, KMU FORSCHUNG AUSTRIA Wien und Andrea Egger abif Wien:Evaluierung der Gemeinschaftsinitiative EQUAL Österreich - Vorgehensweise und Methodik unter besonderer Berücksichtigung qualitativer Analyseverfahren

2) Die Wirtschafts- und Sozialpartner in der Strukturfondsförderung - Bewertung ihrer Beteiligung

Die Evaluierung des Prinzips "Partnerschaft" bezieht sich auf die europäischen Strukturfonds, insbesondere Artikel 8, 15-18 und 35 der Allgemeinen Verordnung. In dem Beitrag von Frau Saeed ging es um die Einbeziehung von Wirtschafts- und Sozialpartnern in die Umsetzung, Planung und Evaluierung der Förderung am Beispiel einer Kontaktstelle in Berlin. In dem Beitrag von Herrn Efken stand die horizontale Partnerschaft zwischen Europäischer Kommission und Mitgliedstaat im Mittelpunkt.

Beiträge von:

- Josef Efken, FAL Braunschweig: Das Prinzip Partnerschaft - Spektrum und Messbarkeit

- Sandra Saeed, ISA-Consult GmbH Berlin: Erfahrungen und Erwartungen aus Berlin an die Partnerschaft

Netzwerke als Brücke zwischen Projekt und Programm - Wie kann Evaluierung den Anforderungen von vielschichtigen Programmen gerecht werden?

Der AK Strukturpolitik der Deutschen Gesellschaft für Evaluation veranstaltete am 26./27. Februar 2003 an der FAL in Braunschweig seinen zweiten Frühjahrsworkshop. Es nahmen rund 50 EvaluatorInnen und Auftraggeber teil.

Im Mittelpunkt des ersten Tages stand das Thema "Evaluierung von Netzwerken" in den verschiedenen Politikfeldern. Im Moment sind ja Netzwerke als Politikmodell sehr in Mode und damit auch die Probleme mit der Evaluierung solcher Förderprogramme. Verschiedene Evaluatoren und Auftraggeber solcher Programme (z.B. Lernende Regionen, Leader, Equal, InnoRegio u.a.) unterschiedlicher Politikfelder kamen zum Austausch zusammen. Der Focus der Beiträge lag auf dem methodischen Vorgehen und Probleme bei der Umsetzung des Evaluierungsdesigns für solche netzwerkorientierten Programme.

Am zweiten Tag dieser Veranstaltung wurde die Diskussion um die Evaluierung von Querschnittsthemen in der Strukturfondsförderung fortgeführt. Die ersten Beiträge auf der Jahrestagung in Mainz im Oktober 2002 zu diesem Thema ließen noch einige Dimensionen des Themas offen, die auf dem Workshop vor allem hinsichtlich praktischer Aspekte der Evaluierung von Chancengleichheit und Nachhaltigkeit vertieft werden konnten.

Programm und vorliegende schriftliche Beiträge (pdf)

Der Arbeitskreis Strukturpolitik gestaltete auf der Jahrestagung in Mainz insgesamt drei Workshops, deren Themenstellungen mit Teilnehmerzahlen von bis zu 70 Personen ein überwältigendes Interesse fanden. Sie finden die meisten Beiträge der Referentinnen und Referenten auf dieser Seite zum Download.

1) Standards zur Qualitätsentwicklung? - Die Halbzeitbewertung der Strukturfonds

Im Rahmen der Diskussion wurde anhand der Erfahrungen mit der Halbzeitbewertung der Strukturfonds 2000-2006 der Frage nachgegangen, inwiefern die Standards als Dialoginstrument und Leitfaden zur Selbstbindung taugen. Dabei wurden die folgenden Aspekte betrachtet:

 

• Ausschreibungsverfahren
• Steuerung der Evaluation
• Auswahl der Methoden

 

Wir haben dazu ein Podium aus Vertretern von Europäischer Kommission, Bund, Ländern und Evaluatoren zusammengestellt (Jochen Lang - Bundesministerium für Verkehr, Alexandra Schubert - Finanzministerium Brandenburg, Dietmar Braun - Europäische Kommission, Regine Grajewski, FAL).

2) Evaluation von Querschnittsthemen in der Strukturpolitik: Gender-Mainstreaming und Nachhaltigkeit

In der neuen Förderperiode der Strukturfonds 2000-2006 haben einige Querschnittsthemen, die gleichermaßen in allen Fonds von Bedeutung sind, an Gewicht gewonnen. Dazu gehören vor allem die Chancengleichheit und die Nachhaltigkeit. Die Evaluation dieser Themen stellt auch die Evaluatoren vor neue Herausforderungen. Im Mittelpunkt dieses Workshops stand daher der fondsübergreifende Austausch über Methoden und Ansätze zur Evaluation dieser Querschnittsthemen.

 

• Barbara Fährmann (FAL Braunschweig): Ein Bündel voller Ziele und Instrumente - Zum Umgang mit der themenbezogenen Querschnittsbewertung von Entwicklungsprogrammen für den ländlichen Raum
• Benno Savioli / Thomas Mirbach / Henni Meseke (Feedback Bremen, Lawaetz-Stiftung, Compass Bremen): Evaluieren Sie Gender Mainstreaming! - Von der Kunst, einen Pudding an die Wand zu nageln.
• Daniela Glimm-Lükewille (TU Darmstadt): Nachhaltigkeit, öffne dich! - Methodische Ansätze einer thematischen Evaluation der EU-Strukturfonds (pdf1 - pdf2)

 

3) Methodik, Durchführung und Ergebnisse von Vergleichsgruppenanalysen

Um im Rahmen einer umfassenden Wirkungsanalyse alle im Zusammenhang mit einer Fördermaßnahme stehenden Wirkungen bestimmen zu können, ist streng genommen die Simulation einer Situation ohne die Fördermaßnahme notwendig, um diese mit der tatsächlichen Entwicklung mit der Maßnahme vergleichen zu können. Die Differenz ist der Förderung als Nettowirkung zurechenbar. Ein Weg dazu sind so genannte Vergleichsgruppenverfahren, deren Methodik an Hand von praktischen Beispielen diskutiert wurde.

 

• Marco Puxi (ISG Dresden): Vergleichsgruppenanalysen in der berufsbegleitenden Qualifizierung in Sachsen
• Axel Deeke / Thomas Kruppe (beide IAB Nürnberg): Inhaltliche und methodische Aspekte von Vergleichsgruppenanalysen in der Evaluation des ESF-BA-Programms (pdf)
• Lukas Mitterauer (Universität Wien, Zentrum für Evaluation und Controlling): Was kostet die aktive Arbeitsmarktpolitik? - Eine Vergleichsgruppenanalyse mittels Sozialversicherungsdaten (pdf)

 

Der erste Workshop des AK "Strukturpolitik" fand am 7./8.3.02 an der Fachhochschule für Verwaltung und Rechtspflege in Berlin-Lichtenberg statt (Programm & Vorträge). Die Resonanz war nicht nur unter den Evaluatoren, sondern auch unter den Fondsverwaltern und Verwaltungen, die für Förderprogramme im Bereich der Strukturpolitik verantwortlich sind, sehr groß. Es nahmen insgesamt 37 Personen aus Verwaltung, Wissenschaft und Beratungsunternehmen teil.

Auf der Jahrestagung der DeGEval in Speyer im Oktober 2001 wurde auf einem ersten Treffen Interessierter beschlossen, einen AK Strukturpolitik der DeGEval zu gründen. Auf diesem Workshop hat sich dieser AK nun auch offiziell konstituiert.

Als künftige Arbeitsgebiete des Arbeitskreises wurden diskutiert:

 

• Bestandsaufnahme: Grundlage der weiteren Arbeiten ist eine Bestandsaufnahme über Umfang und Art der durchgeführten Evaluationen in den einzelnen Bereichen der Strukturpolitik, sowie die dort eingesetzten Methoden, Verwendung der Ergebnisse, etc. Daraus kann eine dauerhafte Internet-Plattform für den Informationsaustausch zu Evaluationen im Bereich Strukturpolitik (Ausschreibungen, Methodendiskussionen, etc.) erwachsen. Auf der Basis der DeGEval-Webseite soll ein erster Entwurf von möglichen Inhalten für eine solche Internet-Plattform entwickelt werden.
• Leitlinien zu Aufgaben und Leistungsfähigkeit von Evaluationen. Ein zweiter Arbeitsbereich des Arbeitskreises besteht darin, Erwartungen, Aufgaben und Leistungsfähigkeit von Evaluationen zu diskutieren. Dies schließt Aspekte wie die Definition der Evaluationsfragestellung, die Gestaltung von Ausschreibungen, Qualität von Evaluationsmethoden und -ergebnissen, aber auch unterschiedliche Erwartungen über die Funktion und Leistungsfähigkeit der Evaluation mit ein. Ergebnis dieses Arbeitsschrittes könnten am Evaluationsprozess ausgerichtete Leitlinien zur Qualitätssicherung sein.
• Auf der Grundlage der Klärung der eigenen Erwartungen bezüglich Leistungsfähigkeit und Aufgaben der Evaluation beteiligt sich der Arbeitskreis an der Erarbeitung von fachgebietsübergreifenden Standards der Evaluation.
• Beiträge des Arbeitskreises für die 5. DeGEval-Jahrestagung im Oktober 2002 in Mainz: "Evaluation - Kompetenzen entwickeln und nutzen". Vorläufig ausgewählt wurden bisher:

   

  •  Evaluierung von Querschnittsthemen (Chancengleichheit, Informationsgesellschaft, nachhaltige Entwicklung u.a.) in den Strukturfondsprogrammen

   

   

  • Datenbeschaffung und Indikatoren in der Halbzeitevaluierung der Strukturfonds, Verhältnis von Evaluierung und Monitoring

   

   

  • Reflexion über die Rolle des Evaluators und die Standards der DeGEval

   

 

Vorträge des Workshops

Michaela Gensheimer, Senator für Wirtschaft und Häfen Bremen
Definition aussagefähiger und erfassbarer Kontextindikatoren bei der Evaluierung von Maßnahmen der Stadtentwicklung (pdf)     

Regina Grajewski / Birgit Koch, FAL Braunschweig
Prof. Dr. Schrader (FAL), Prof. Dr. Seyfried (FHVR), Gerald Wagner (isw)
Zur Abstimmung zwischen Monitoring und Evaluation (Vortrag und Folien als pdf)   
Diskussionsrunde zum Thema: „Standards für Evaluation im Bereich der Strukturpolitik“ (pdf)    

Heinz Wendt u.a., FAL Braunschweig
Datenbeschaffung für die Evaluation von Fördermaßnahmen im Bereich der Marktstrukturverbesserung (pdf)    

Michaela Gensheimer, Senator für Wirtschaft und Häfen Bremen
Erhebung von Indikatoren für mehrere Förderprogramme (pdf)

Petra Wagner / Angelika Zartl, ARC Seibersdorf
Einsatzmöglichkeiten von bibliometrischen Methoden für die Bewertung von komplexen Förderprogrammen (pdf)    

Rolf Bergs, Planung & Forschung, Bad Soden
Ziele und Grenzen von SWOT-Analysen in den Strukturfondsprogrammen (pdf)    

Peter Frankenfeld, Universität Bremen   
Schafft regionale Strukturpolitik eigentlich Arbeitsplätze? Sinn und Unsinn der Messung von Beschäftigungseffekten (pdf)