Abstract [de]: Esther Duflo und Abhijit Banerjee vom MIT in Boston konnten durch großangelegte wissenschaftliche Studien wirkungsstarke Maßnahmen für die Entwicklungshilfezusammenarbeit identifizieren. Solch randomisierte Kontrollstudien mit Vergleichsgruppen könnten auch im deutschen Bildungs- und Sozialsektor wertvolle Informationen liefern, wie Unterstützung effektiver erbracht werden kann sowie mehr argumentative Klarheit in politisch aufgeladene Debatten bringen.
November 2012
Wirksamkeitsprüfung und Projektcontrolling im Sozial- und Bildungsbereich.
Forschungsimpulse aus der Entwicklungszusammenarbeit
1 Einleitung
Esther Duflo und Abhijit Banerjee vom MIT in Boston konnten durch großangelegte wissenschaftliche Studien wirkungsstarke Maßnahmen für die Entwicklungshilfezusammenarbeit identifizieren. Solch randomisierte Kontrollstudien mit Vergleichsgruppen könnten auch im deutschen Bildungs- und Sozialsektor wertvolle Informationen liefern, wie Unterstützung effektiver erbracht werden kann sowie mehr argumentative Klarheit in politisch aufgeladene Debatten bringen.
Einem kurzen Problemaufriss in diesem Artikel folgt die Vorstellung der erwähnten Wirksamkeitsstudien. Darauf aufbauend werden Ansätze skizziert, wie ähnliche Studien die Arbeit im Bildungs- und Sozialbereich unterstützen können. Einer Abgrenzung zu anderen Überprüfungsmechanismen schließt sich ein kurzes Fazit an.
2 Mangel an Daten zur Wirksamkeitsprüfung von Sozial- und Bildungsmaßnahmen
Defizite in der deutschen Bildungs- oder Sozialpolitik sind oftmals klar aufzuzeigen: An den Ergebnissen von Pisa & Co erkennen die wenigsten keinen Handlungsbedarf, dass die soziale Schere sich beständig öffnet ist statistisch leicht zu erfassen und sorgt für wenig Widerspruch. Die Positionen in der Gesellschaft gehen aber weit auseinander, wenn es darum geht, konkrete Lösungen aufzuzeigen.
Hier kommt die Politik ins Spiel. Abgeleitet von politischen Grundsatzpositionen werden Lösungsvorschläge präsentiert, die zwar der groben ideologischen Linie gehorchen, aber nicht immer für sich beanspruchen können, die Sachverhalte auch wirklich verstanden zu haben. Die konkrete Situation der jeweiligen Menschen, deren Leben von den zu beschließenden Veränderungen betroffen sein wird, gerät aus dem Blickfeld. Zu groß ist der Drang nach einfachen Lösungen.
Populäre Beispiele sind Debatten zur Eindämmung von Jugendgewalt: Die eine Seite sieht die Antwort im Wort „wegsperren“, die andere Seite bei ganz anderen, „weicheren“ und präventiveren Erziehungsmaßnahmen. Schnell dominiert eine Konsequenz die Debatte, deren Radikalität in unterschiedlichen politischen Weltanschauungen ihren Grund hat. Ähnliche Beobachtungen macht man beim Diskurs über „Multikulti“: „Multikulti“ ist entweder tot oder wird nur noch nicht konsequent verfolgt.
Dass jenseits aller großen politischen Konzepte oft kleine Stellschrauben sehr wirkmächtig sind, wird oft vergessen. Es machen sich auch zu wenige Leute die Mühe, diese Stellschrauben überhaupt zu identifizieren. Das hat zur Folge, dass nicht das Effektivste getan wird, um die konkreten Probleme zu beheben: Politische Scharmützel werden im Endeffekt – bei aller guten Absicht – auf dem Rücken deren ausgetragen, die eigentlich die Unterstützung benötigen. Ein zentraler Grund für diese Politisierung von konkreten Problemen liegt in der Unkenntnis der Wirksamkeit von unterschiedlichen Lösungsstrategien.
3 Erfolgreiche Wirksamkeitsstudien in der Entwicklungszusammenarbeit
Großer Schauplatz für politische Grabenkämpfe ist seit je her die Entwicklungshilfe: Während die einen die Entwicklungshilfe vervielfachen wollen,[1] sehen die anderen sie am liebsten abgeschafft und bezeichnen sie als schädlichen Entwicklungshemmer.[2] Abseits dieser Grundsatzdiskussionen gibt es auch Wissenschaftler, die jenseits politischer Diskussionen konkret an Lösungen arbeiten und Expertise liefern, wie Programm effektiver sein können, unabhängig von ideologischen Überzeugungen.
Esther Duflo und Abhijit Banerjee vom Abdul Latif Jameel Poverty Action Lab am MIT in Boston sind bekannt dafür, der Wirksamkeit von Entwicklungshilfemaßnahmen auf den Grund zu gehen. In ihrem Buch „Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty“ ist ihr zentraler Ausgangspunkt aller entwicklungspolitischen Überlegungen die Absicht, die jeweils Bedürftigen in ihrem Handeln und ihren Motiven zu verstehen und nicht nur abstrakt von „den Armen“ zu sprechen, so Duflo: „To progress, we have to abondon the habit of reducing the poor to cartoon characters and take the time to really understand their lives, in all their complexity and richness.“[3]
Um diesem Anspruch gerecht zu werden, prüfen Teams aus Wissenschaftlern die Wirksamkeit von Hilfsprojekten auf der ganzen Welt und entwickeln Lösungen für eine höhere Effektivität. Um zum Beispiel die Ernteerträge von kenianischen Landwirten zu erhöhen, gingen sie der Frage nach, warum so wenige Bauern regelmäßig ihre Felder düngen. Sie fanden heraus, dass Wissen um die Wirksamkeit des Düngers da war, auch die Bereitschaft diesen zu kaufen. Nur wenn der Dünger zu Beginn der nächsten Saison angeboten wurde, fehlten zwei Drittel der kaufwilligen Bauern das Kapital diesen zu erwerben. Wurden aber am Ende der Saison direkt nach der Ernte Gutscheine verkauft, so stieg die Anzahl der Düngewilligen um die Hälfte.[4] Ohne ein intensives Bemühen um das Verstehen der Situation wäre kein Erfolg möglich gewesen.
Grundlage dieses Verstehens sind breit angelegte randomisierten Kontrollstudien mit vergleichbaren Kontrollgruppen, ähnlich wie in der Wirksamkeitsprüfung von Medikamenten.[5] Ohne die dadurch gewonnenen Daten wären die Ergebnisse nicht so belastbar, wie sie es sind und nur Objekt der Spekulation.
Ohne ein Zuhören der Armen und dem Nachvollziehen der Entscheidungsmuster wären viele Projekte nicht effektiv, weil nicht an der richtigen Stelle die Hebel angesetzt würden. In einer ihrer Studien fand ein Team des MIT eine Frau in Indien, die sich für 24% Zinsen Geld bei einer Bank für Mikrokredite lieh um es dann direkt für 4% Zinsen auf ein Sparbuch einzuzahlen. Der Grund für dieses vordergründig irrationale Handeln lag in der Aussteuer, die in zwei Jahren für die Tochter zu entrichten sein. Durch das Sparbuch war sicher, dass das nötige Geld in zwei Jahren zur Verfügung stehen würde und nicht vorher ein Bedarf dafür gefunden wird, der zu dem Zeitpunkt als wichtiger empfunden würde.[6]
Die deutsche Entwicklungshilfe hat die Notwendigkeit der wissenschaftlichen Begleitung und Evaluation von Projekten erkannt. Axel Bormann und Reinhard Stockmann haben 2009 eine großangelegte Studie zur Evaluation in der Entwicklungszusammenarbeit durchgeführt.[7] Es gibt in den untersuchten 20 Entwicklungsorganisationen große Bemühungen den Mehrwert der Evaluationsinstrumente zu nutzen, Defizite werden dabei aber in der organisatorischen Unabhängigkeit der Evaluationseinheiten gesehen. Auch werden die Ergebnisse nicht immer den lokalen Partnern und fast nie der Öffentlichkeit zugänglich gemacht, so dass das Potential an möglichem Nutzen nicht voll ausgeschöpft wird.
4 Übertragung der Erfahrungen auf den deutschen Sozial-und Bildungssektor
Die Erfahrungen aus der Entwicklungszusammenarbeit auf den deutschen Sozial- und Bildungssektor zu übertragen, bedeutet die empirische Sozialforschung zu stärken und sich konsequent darauf zu konzentrieren, Sozial- und Bildungsmaßnahmen wissenschaftlich zu begleiten, zu evaluieren und diese Forschungsergebnisse möglichst vielen nutzbar zu machen. Je höher die wissenschaftlichen Standards sind, desto belastbarer die Ergebnisse und desto geringer der politische Interpretationsspielraum. Zu oft wird im öffentlichen Diskurs pauschal von „den Hartz IV-Empfängern“ geredet und Anreizstrukturen geschaffen, die nicht zielführend sind. Zu wenig ist darüber bekannt, warum Schulschwänzer nicht zur Schule gehen und es gibt zu wenig Erkenntnisse darüber, welche konkreten Schritte helfen, die Anzahl der Schulschwänzer zu verringern.
In indischen Dörfern konnte die Impfquote von 6% auf 38% erhöht werden; ausschlaggebend dafür war nur ein Kilogramm Linsen als Prämie für jeden Impfgang und ein Satz Blechteller zum Abschluss des Projektes.[8] Zu dieser Erkenntnis kam man aber nur, weil unzählige andere Möglichkeiten ausprobiert wurden, die alle wissenschaftlich evaluiert und bewertet wurden.
Ein erster Schritt im bundesdeutschen Kontext, den Nutzen von Evaluationen zu erhöhen, könnte im Streben nach besserer Beschreibung der Kontexte in unterschiedlichen Bundesländern liegen. Wenn zum Beispiel in der Bildungspolitik in jedem Bundesland klar vergleichbare Daten nach denselben Standards erhoben werden würden, so könnten die verschiedenen Wege der einzelnen Bundesländer in der Bildungspolitik besser gegenüber gestellt werden. Es wäre möglich, mit mehr Gewissheit bestimmte Instrumente zur Bildungsförderung zu bewerten. Verantwortlich müsste dafür eine zentrale und unabhängige Stelle sein, die die Bewertungsziele definiert und die Versuchsanordnungen bestimmt. Die dadurch gewonnenen Erkenntnisse könnten dann allen Bundesländern zur Verbesserung ihrer eigenen Bildungslandschaft zur Verfügung gestellt werden.
Zweiter Schritt wäre dann die Konzeption und Durchführungen von vergleichenden Wirksamkeitsstudien, bei denen die Konsequenzen bestimmter Maßnahmen genau unter die Lupe genommen werden.
Der politische Wille dazu scheint aber nicht flächendeckend zu bestehen. Das mag zum einen an der Transparenz liegen, die solche Untersuchungen mit sich bringen. Zum anderen wird der erhebliche Aufwand kritisiert, den solche Untersuchungen mit sich bringen würden und vor „Evaluitis“ gewarnt. Solange das Kosten-Nutzen-Verhältnis zwischen dem Evaluationsaufwand und dem Erkenntnisgewinn aber stimmt, sind solche Befürchtungen von der Hand zu weisen.
Daneben wird der falsche Eindruck erweckt, es sollten durch solche Studien nur öffentliche Rankings erstellt werden, deren Aussagekraft gering und Signalwirkung schädlich sei. Die populären und stark kritisierten Uni-Rankings als Beispiel sind in ihrer Systematik aber keineswegs mit der wissenschaftlichen Begleitung der anfangs beschriebenen Wirkungsstudien des MIT vergleichen. Es geht den Unirankings nur um eine Beschreibung des Status Quo der Leistungsfähigkeit der Hochschule an einigen exemplarisch herangezogenen Faktoren wie zum Beispiel die Anzahl der Promotionen.
5 Abgrenzung von Wirksamkeitsstudien zu Evaluation, Controlling und Monitoring
Um Missverständnisse zu vermeiden, sind grundsätzliche Begrifflichkeiten zu klären. Rankings sind Rangfolgen, bei denen mehrere Objekte nach bestimmten Kriterien verglichen werden. Ziel ist die Hilfe der Kunden bzw. der Öffentlichkeit beim Treffen einer Auswahl. Großer Wert wird auf die Unabhängigkeit der Ranking-Ersteller gelegt, da die einzelnen Objekte in einer Konkurrenzsituation gesehen werden.
Rankings können Ergebnis eines Evaluierungsprozesses sein, bilden dabei aber nur eine Teilfacette. Evaluation kann deutlich mehr Nutzer hervorbringen als ein bloßes Ranking: Wenn Projekte evaluiert werden, können die Erkenntnisse nicht nur der Öffentlichkeit einen Überblick zur Zielerreichung geben, sondern vor allem den Mitarbeitenden im Projekt Verbesserungsvorschläge für zukünftige Arbeiten liefern und hilfreiche Impulse für andere Organisationen bereitstellen, die an ähnlichen Projekten arbeiten (best-practise-Ansätze, typische Fehler etc.).
Abzugrenzen ist die Evaluation vom Controlling und Monitoring. Controlling ist ein Service für die Leitungsebene der Organisation und stellt Rückkopplungsinformationen zur gegenwartsbezogenen und zukunftsorientierten Steuerung bereit. Hier werden steuerungsrelevante Informationen gesammelt und aufbereitet. Je detaillierter ein Controllingsystem aufgebaut ist, desto besser können die Daten für Evaluationen genutzt werden.
Unter Monitoring wiederum versteht man die laufende Beobachtung von Umsetzungsprozessen samt ständigem Vergleich mit den angestrebten und vorgegebenen Zielen. Beschränkt ist das Monitoring auf die deskriptive Darstellung der Informationen und auf die Erfassung des Ist-Zustandes. Im Rahmen einer prozessbegleitenden Evaluation kann das Monitoring somit wichtig sein. Projektcontrolling und –monitoring sind interne Instrumente, die eine erfolgreiche Projektdurchführung unterstützen sollen.
Die vom Abdul Latif Jameel Poverty Action Lab am MIT in Boston durchgeführten großangelegten Wirkungsstudien gehen in ihrer Zielsetzung aber weit über die von Monitoring, Controlling und auch Evaluation hinaus. Hier werden ganz neue Hilfsansätze entwickelt und überprüft.
6 Fazit
Die vorgestellten Wirkungsstudien vom MIT zeigen auf, wie Unterstützung wirklich effektiv geleistet werden kann. Der Aufwand dafür ist nicht zu unterschätzen, die Ergebnisse aber sehr wertvoll für die gesamte Entwicklungszusammenarbeit und auch die Sozial- und Bildungspolitik in den jeweiligen Ländern. Vorstellbar ist, dass auch im nationalen Kontext der Sozial- und Bildungspolitik über den bereits üblichen Evaluationen hinaus ähnliche Studien durchgeführt werden können, um innovative Ansätze zu konzipieren und effektive Unterstützungsmaßnahmen zu entwickeln. Dadurch könnte auch mehr Licht in allzu grundsatzpolitische Debatten gebracht werden.
7 Literatur
James Shikwati: „Streicht diese Hilfe.“ – Interview mit dem kenianischen Wirtschaftsexperten James Shikwati. In: Der Spiegel, 27/2005, Online verfügbar unter www.spiegel.de/spiegel/print/d-40952573.html
Banerjee, Abhijit; Duflo, Esther: Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. 2012 (reprint). New York 2011. (Auch verfügbar in deutscher Übersetzung.)
Bormann, Axel; Stockmann, Reinhard: Evaluation in der deutschen Entwicklungszusammenarbeit. Münster 2009.
Dworschak, Manfred: Helfer im Härtetest. In: Der Spiegel 42/2011. S. 138-142
MIT (Hg.): „How High are Rates of Return to Fertilizer? Evidence from Field Experiments in Kenya“ (Studiendokumentation) Online verfügbar unter http://economics.mit.edu/files/3751
MIT (Hg.): „Improving immunisation coverage in rural India: clustered randomised controlled evaluation of immunization campaigns with and without incentives “ Online verfügbar unter http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2871989/pdf/bmj.c2220.pdf
MIT (Hg.): “The miracle of microfinance? Evidence from a randomized evaluation“ (Studiendokumentation) Online verfügbar unter http://economics.mit.edu/files/4162
Sachs, Jeffry: Das Ende der Armut. Ein ökonomisches Programm für eine gerechtere Welt. München 2005.
[1] Vgl. zum Beispiel den einflussreichen Ökonomen Jeffry Sachs in Das Ende der Armut. Ein ökonomisches Programm für eine gerechtere Welt. München 2005.
[2] Vgl. zum Beispiel das Interview mit dem kenianischen Entwicklungsexperten James Shikwati im Spiegel (27/2005), online verfügbar unter www.spiegel.de/spiegel/print/d-40952573.html
[3] Banerjee, Abhijit; Duflo, Esther: Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. 2012 (reprint). New York 2011. S. viii (Auch verfügbar in deutscher Übersetzung.)
[4] Vgl. die Dokumentation der Studie „How High are Rates of Return to Fertilizer? Evidence from Field Experiments in Kenya“ unter http://economics.mit.edu/files/3751
[5] Vgl. dazu auch Dworschak, Manfred: Helfer im Härtetest. In: Der Spiegel 42/2011. S. 138-142
[6] Vgl. die Dokumentation der Studie „ The miracle of microfinance? Evidence from a randomized evaluation“ unter http://economics.mit.edu/files/4162
[7] Vgl. Bormann, Axel; Stockmann, Reinhard: Evaluation in der deutschen Entwicklungszusammenarbeit. Münster 2009.
[8] Vgl. die Dokumentation der Studie „Improving immunisation coverage in rural India: clustered randomised controlled evaluation of immunization campaigns with and without incentives “ unter http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2871989/pdf/bmj.c2220.pdf
Alle Rechte vorbehalten.
Abdruck oder vergleichbare Verwendung von Arbeiten des Instituts für Sozialstrategie ist auch in Auszügen nur mit vorheriger schriftlicher Genehmigung gestattet.
Publikationen des IfS unterliegen einem Begutachtungsverfahren durch Fachkolleginnen und -kollegen und durch die Institutsleitung. Sie geben ausschließlich die persönliche Auffassung der Autorinnen und Autoren wieder.