Dr. Melvin M. Mark

Impact evaluation has a central place in the history and practice of evaluation. Early in this keynote, I discuss why and when impact evaluation is more (and less) appropriate. Past debates about evaluation methods might have been less intense if the question of why and when to do impact evaluation had been emphasized. The primary focus of this keynote is on asking the question why within an impact evaluation. Beyond asking whether and by how much a program makes a difference, for example, this would involves asking why the program did (or did not) make a difference. Various approaches and terms have been used to advocate for attention to this “why” question in evaluation, including: theory-based evaluation, realist evaluation, generative mechanisms, mediational analyses, and identifying a program’s “secret sauce.” I will discuss reasons for asking why a program does (or does not) make a difference. I will also discuss when it makes most (and least) sense to emphasize the why question within an impact evaluation.

 

---

 

Dr. Melvin M. Mark is Professor and Head of Psychology at the Pennsylvania State University. He has served as president of the American Evaluation Association (AEA) and as editor of the American Journal of Evaluation. He has received AEA’s Lazarsfeld Award for Evaluation Theory and has published numerous papers and chapters on the theory, design, and consequences of evaluations. Among his books are Evaluation: An integrated framework for understanding, guiding, and improving policies and programs (with Gary Henry and George Julnes), the SAGE Handbook of Evaluation (with Ian Shaw and Jennifer Greene), Social Psychology and Evaluation (with Stewart Donaldson and Bernadette Campbell), and Credible and Actionable Evidence: The Foundation for Rigorous and Influential Evaluations (with Stewart Donaldson and Tina Christie).

Dr. Anke Lipinsky

Die europäischen Institutionen behandeln das Problem der Geschlechterungerechtigkeit im Rahmen ihrer Menschenrechts-, Sozial- und Arbeitsmarktpolitik seit 1957. Eingang in die europäische Wissenschafts- und Innovationspolitik fand das Thema erst kurz vor der letzten Jahrtausendwende. Seither fördern die europäischen Forschungsrahmenprogramme Frauen bzw. die Einführung von Gleichstellungspolitik in Wissenschaftseinrichtungen. In einigen EU-Ländern werden parallel dazu nationale Gleichstellungsförderprogramme implementiert. Mein Vortrag skizziert die Einführung und Konsolidierung von Indikatoren und Steuerungsmechanismen in die Wissenschaftspolitik der Europäischen Kommission hinsichtlich ihrer Wirksamkeit auf europäische und nationale Interventionen. Der Schwerpunkt liegt dabei auf der Beziehung zwischen der rechtlich-politischen Ausgestaltung eines Politikfeldes und seinen Indikatoren. Es zeigt sich, dass Wirkungen normativer Politiken, z. B. die Erreichung einer Geschlechterquote in Führungsgremien, nachvollziehbar durch eine Impact-Evaluation aufgezeigt werden können, jedoch prozedurale Instrumente politischer Steuerung weitaus komplexere Anforderungen an die Evaluation ihrer Wirkungen stellen.

 

---

 

Dr. Anke Lipinsky arbeitet als Senior Researcher am GESIS-Leibniz Institut für Sozialwissenschaften, Center of Excellence Women and Science in Köln. Ihre Arbeitsschwerpunkte liegen auf Wissenschafts- und Geschlechterpolitik in der Europäischen Union. Sie ist Mitglied der Horizont 2020 -Beratungsausschüsse für „Gender“ und „Wissenschaft für die und mit der Gesellschaft“. Sie ist seit über zehn Jahren als Koordinatorin und Partnerin an diversen EU-Projekten in diesem Themenfeld beteiligt, evaluiert Gleichstellungspolitik und berät die EU-Kommission, Ministerien, Forschungsfördereinrichtungen und Hochschulen.