Am 21.05.2016 fand bei der Gesellschaft für Internationale Zusammenarbeit (GIZ) das Forschungs- und Praxiskolloquium des Nachwuchsnetzwerks statt. Die Veranstaltung schloss sich an die Frühjahrstagung des AK Methoden zum Thema „Zur Qualität qualitativer Sozialforschung in der Evaluation – Möglichkeiten und Grenzen“ an.
Das Forschungs- und Praxiskolloquium wurde zum fünften Mal in Folge angeboten und war mit ca. 25 Teilnehmenden sehr gut besucht (mehr zum Konzept in der Zeitschrift für Evaluation (ZfEv), Heft 2/2016 im Beitrag von Mäder/Burfeind/Gehre/Pierobon/Ulrich).
In diesem Jahr wurden ein Praxisprojekt, zwei Masterarbeiten und ein Habilitationsprojekt vorgestellt und diskutiert. Im Folgenden werden die Beiträge inhaltlich kurz vorgestellt (wie die Referentinnen das Kolloquium erlebt haben, lesen Sie in der im bereits benannten Artikel in der ZfEv).
Angela Ulrich stellte als Praxisprojekt das Projekt PraeLab (Praevention von Lehrabbrüchen) vor, das seit 2010 in Kooperation mit der Bundesagentur für Arbeit von der Hochschule der Bundesagentur für Arbeit (HdBA) durchgeführt wird. PraeLab hat das Ziel, durch ein „Frühwarnsystem“ Ausbildungsabbruchtendenzen von Auszubildenden zu erkennen. Dies geschieht, indem Azubis nach dem Ende der Probezeit (etwa nach vier Monaten) in ihren Berufsschulen eine Online-Befragung zu überfachlichen Kompetenzen und zur Ausbildungszufriedenheit durchlaufen. Auf diese Weise werden Azubis mit Abbruchrisiko identifiziert. Diesen Jugendlichen wird eine speziell entwickelte Beratung angeboten. Im Rahmen einer Evaluation soll nun überprüft werden, ob PraeLab wirkt und das Abbruchrisiko bei Azubis, die PraeLab durchlaufen und nach der Methode beraten wurden, geringer ist. Als zentrale Schwierigkeit bei der Befragung der Auszubildenden stellte sich die Erreichbarkeit der Jugendlichen heraus. Diskutiert wurde daher im Rahmen des Kolloquiums, welche Formen der Ansprache wie online, SMS oder E- Mail sich bei der Zielgruppe eignen. Außerdem ergab die Diskussion, dass neben diesen individuellen Ansprachestrategien auch Befragungen während der Schulzeit (aufgrund der besseren Erreichbarkeit) eine sinnvolle Strategie wären. Generell bestanden Bedenken seitens der Teilnehmenden, die Befragung auf lediglich eine Frage („Besteht die Ausbildung noch?“) zu reduzieren, um so die Rücklaufquote zu erhöhen.
Nachfolgend präsentierte Annekatrin Gehre von der Universität Augsburg das methodische Vorgehen und ausgewählte Ergebnisse einer Wissenssoziologischen Diskursanalyse zur Erfolgseinschätzung von Entwicklungsprojekten in Evaluationsberichten der GIZ und der KfW. In Rahmen ihrer Masterarbeit unternimmt sie damit den Versuch, von einer kritischen Analyse der Erfolgs- und Wirksamkeitsbewertung innerhalb von Ex-post Evaluationsberichten zu einem konstruktiven Beitrag für die deutsche Evaluationspraxis bzw. Entwicklungszusammenarbeit zu kommen. Die Arbeit untersucht das Wissen, das durch Evaluationsberichte an die Gesellschaft kommuniziert wird. Im Fokus steht dabei, wie Erfolgs- und Misserfolgseinschätzungen sprachlich vermittelt werden und welche narrative Struktur sich als Verständnisangebot aus den analysierten Ex-Post-Kurzberichten ergibt. Aus Sicht der Teilnehmenden wird deutlich, dass die DAC-Kriterien (Relevanz, Effektivität, Entwicklungspolitische Wirkungen, Effizienz und Nachhaltigkeit) in den Berichten offensichtlich anders als intendiert verstanden und genutzt werden. Außerdem wird angemerkt, dass die Ex-Post-Kurzberichte vor allem der Rechenschaftslegung dienen und daher weniger Erklärungen und vertiefende Informationen enthalten. Ein Einbezug weiterer Berichte würde demgemäß ein verändertes Ergebnis ergeben. Die Referentin verweist an dieser Stelle nochmals darauf, dass es bei einer wissenssoziologischen Analyse nicht darum geht, das richtige Verständnis zu suchen, sondern die zur Verfügung stehenden Informationen zu analysieren. Die Ex-Post-Berichte werden dabei als ein öffentliches Wissensprodukt verstanden, das sich an jede Bürgerin/ jeden Bürger richtet und somit für sich steht und damit auch isoliert betrachtet werden kann.
Dr. Chiara Pierobon von der Universität Bielefeld präsentierte ihr Forschungsprojekt über die Bedeutung der EU-Förderung für die Stärkung der Zivilgesellschaft in Kasachstan, Kirgistan und Tadschikistan. Im Besonderen werden die Auswirkungen der Förderung zivilgesellschaftlicher Organisationen analysiert, welche im Rahmen des „European Instrument for Democracy and Human Rights“ (EIDHR) und des thematischen Programmes „Non-State Actors and Local Authorities in Development“ (NSA-LA) seit 2007 stattfindet. Die Besonderheit dieser Forschung besteht darin, die Auswirkungen der EU-Maßnahmen im Hinblick auf Sozialkapital und dessen drei Dimensionen - die kognitive, die relationale und die strukturelle - zu bemessen. Die Präsentation konzentrierte sich auf die Ergebnisse der ersten Erhebungswelle, die 2014 in Kasachstan durchgeführt wurde und stellte die Verwendung des Sozialkapitals als analytisches Instrument für die Analyse zivilgesellschaftlicher Förderungsmaßnahmen zur Diskussion. Seitens der Teilnehmenden wird darauf hingewiesen, dass sich die theoretische Konzeption von Sozialkapital innerhalb der Arbeit nicht mit den Vorstellungen der EU deckt. Zudem wurde diskutiert, inwieweit es sich bei diesem Projekt um Forschung oder Evaluation handelt. Seitens der Wissenschaft wird das Projekt laut der Referentin mehr der Evaluation zugeordnet, weshalb sie die Einschätzung der Evaluationscommunity zu dieser Frage interessiert.
In der zweiten Masterarbeit, von Miriam Burfeind von der Universität Osnabrück vorgestellt, wird der Effekt spielerischer Auseinandersetzung mit Lerninhalten auf den Lernerfolg untersucht. Hierfür wurde die Lern-Simulation von Simdustry® genutzt. Im Fokus der Arbeit steht, inwieweit der haptische Aspekt wie „Anfassen und Bewegen“ die Lernprozesse verbessert. Dies wird mittels eines einfaktoriellen Designs mit Experimental- und Kontrollgruppe untersucht. Dabei wurden 60 Versuchspersonen einer Kontroll- und einer Experimentalgruppe zugewiesen. In der Kontrollgruppe besteht die Arbeitsaufgabe darin, einen Lehrtext zu lesen, die Handlungen in ihrer Vorstellung nachzuvollziehen und im Anschluss Bilanzen und eine Gewinn- und Verlustrechnung zu erstellen. In der Experimentalgruppe erhalten die Versuchspersonen den gleichen Text und die gleiche Aufgabe und zusätzlich die Aufforderung, die Handlungen auf dem Spielbrett nachzuvollziehen. Erhoben werden im Anschluss die Akzeptanz, die Benutzerfreundlichkeit, der Spaß, der Flow und der subjektive Lernerfolg (zur Erfassung der Reaktion der Teilnehmenden) sowie mittels eines Kurztests der Lernerfolg auf Seiten der Versuchspersonen. Auch das Transferwissen (Verhalten) wird mittels eines kurzen Tests abgefragt. Hypothetisch wird davon ausgegangen, dass Akzeptanz, Lernerfolg und Transferwissen bei der Gruppe mit Simulation der Lerninhalte höher ist als bei der Gruppe ohne Simulation. Seitens der Referentin besteht vor allem das Interesse alternative Erklärungen für den Fall zu eruieren, dass sich die Hypothesen nicht bestätigen. Im Kolloquium werden folgende Ideen gesammelt: So könnten die Probanden durch das Spiel auch von der eigentlichen Aufgabe abgelenkt werden oder ggf. zu viel Zeit mit dem Spiel verbringen. Weiterhin könnte es unterschiedliche Vorerfahrungen und Affinitäten gegenüber Brettspielen geben und ggf. könnten auch die unterschiedlichen Lerntypen auf Seiten der Versuchspersonen das Ergebnis beeinflussen.
