EvaluierungsinstitutGut gemacht oder nur gut gemeint?
Seite 2/3:

"Wir wollen nicht nur Misserfolge, sondern auch positive Erfahrungen evaluieren"

ZEIT: Wie wollen Sie die Wirkung unserer Hilfe denn nun bemessen?

Asche: Nehmen wir ein klassisches Wasserversorgungsprojekt: Da werden Brunnen gebohrt, Leitungen gelegt und Genossenschaften gefördert, die sich um die Instandhaltung kümmern. Durch den Vergleich mit einer Nachbarregion können wir feststellen: Hat der Geber etwas bewirkt? Mit so einer Kontrollgruppe hat man ein experimentelles Design – wie in den Testlaboren der Pharmaindustrie.

ZEIT: Nun ja, ob der Brunnen versandet ist oder die Leitungen nach fünf Jahren noch liegen, ließe sich doch mit bloßem Auge erfassen, oder?

Asche: Uns interessiert auch die soziale Wirkung: Können Mädchen und Frauen zur Schule gehen oder arbeiten, weil sie nicht mehr so viel Wasser schleppen müssen? Oder: Hat sich die Qualität des Wassers verbessert? Das passiert nämlich – Überraschung! – keineswegs immer. Wenn das Brunnenwasser in den Hütten mit Wasser aus anderen Quellen zusammengekippt wird und die Menschen mit schmutzigen Händen hineingreifen, dann sind wieder so viele Kolibakterien drin wie im nächstgelegenen Tümpel. Dann hat am Projektdesign ganz klar etwas gefehlt. Das zeigt eine Studie der BMZ-Evaluierer in Benin, und von solchen Erfahrungen wollen wir lernen.

Reform der Hilfe

Am 6. November stellt Entwicklungsminister Dirk Niebel das neue Deutsche Evaluierungsinstitut für Entwicklungszusammenarbeit (DEval) vor. Die Einrichtung ist neben der Fusion dreier Entwicklungshilfeorganisationen zur Gesellschaft für Internationale Zusammenarbeit (GIZ) eines der wichtigsten Reformprojekte des FDP-Ministers. Niebel will in der Entwicklungspolitik mehr Transparenz und Effizienz erreichen.

Das DEval soll »Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit« staatlich geförderter Entwicklungsprojekte überprüfen – und zwar unabhängig. Bislang stellten sich die Entwicklungshelfer ihre Zeugnisse weitgehend selbst aus.

Seinen Sitz hat das DEval in Bonn, es verfügt über ein Budget von 5,2 Millionen Euro im Jahr und 38 Mitarbeiter. Vergleichbare Institute gibt es bislang nur in England und Schweden.

ZEIT: Entwicklungspolitik fördert immer öfter ganze Regierungsprogramme. Da ist die Wirkung der Hilfe doch noch viel schwerer zu erfassen als bei Einzelprojekten.

Asche: Aber auch bei landesweiten Programmen können wir Wirkungsketten bemessen. In Ruanda wollen wir studieren, was dreißig Jahre deutsche Entwicklungshilfe im Gesundheitssektor gebracht haben. Unter anderem wurde dort ein Krankenversicherungssystem aufgebaut, das es sonst in Entwicklungsländern meist nur für Staatsbeamte oder in großen Unternehmen gibt. Es gilt international als erfolgreich, und theoretisch kann man die Tatsache nutzen, dass die Versicherung schrittweise eingeführt wurde. Aus den Bezirken, die später drangekommen sind, kann man die Kontrollgruppe bilden und schauen: Hat sich die Gesundheit der Menschen in den Pionierbezirken schneller verbessert?

ZEIT: Wie frei waren Sie bei der Auswahl dieses ersten Projekts? Es klingt so schön positiv, und das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) ist Ihr Gründer und Gesellschafter.

Asche: Wir wollen nicht nur Misserfolge, sondern auch positive Erfahrungen evaluieren. Und wir reagieren auch auf Nachfrage – ob aus dem Bundesministerium, den Organisationen vor Ort oder dem Parlament. In Ruanda war es so: Deutschland zieht sich dort aus dem Gesundheitssektor zurück und konzentriert sich auf die Wirtschaftsförderung. Denn die Regierung in Kigali möchte, dass nicht mehr alle Geber alles machen. Daraufhin fragte das BMZ: Wenn wir die große Abschlussveranstaltung haben, welche Bilanz können wir ziehen? Das fanden wir spannend, auch im Blick auf Lehren für andere Länder.

ZEIT: Lohnt sich der Aufwand? Viele Gutachten der »Evaluierungsindustrie« bestätigen schlicht Bedenken, die es von Anfang an gab.

Asche: Auch das werden wir analysieren: Warum sind kritische Fragen politisch nicht aufgegriffen worden? Wenn wir die Ursachen dafür öffentlich machen, wird das einen ganz anderen Stellenwert haben als hausinterne Gutachten. Genau da sehe ich unsere Stärke im Lernprozess.

ZEIT: Aber was können Evaluationen bewirken?

Asche: Illusionen mache ich mir da nicht. Es wäre ein seltsames Politikverständnis, zu glauben, dass Regierungshandeln in erster Linie auf wissenschaftlicher Evidenz aufbaut.

Leserkommentare
  1. Lausige Evaluierung VOR einem Projekt=lausig arbeitendes Projekt.

    Gibt es keinen klaren und wahrheitshaltigen Aufschluß darüber, was am designierten Projektort/-region/-land vorhanden/nicht vorhanden ist, ist bereits die Planung schräg und die EZler vor Ort verschwenden unendliche Zeit und Energie darauf, zwischen den Büros der Geberorganisation und der Realität vor Ort zu vermitteln.

    Ich las z.B. vor einigen Jahren die Planungs-Evaluierung einer deutschen Organisation in Sri Lanka, in der wichtige Teile 1:1 aus einem veralteten Lonely Planet übernommen waren. Das Projekt wurde nie umgesetzt, weil der Konflikt im Nord-Osten kurz danach noch einmal aufflammte, aber da zog's mir wirklich die Schuhe aus. Es mag ein Extrem-Beispiel sein, aber unsachgemäße Evaluierung zu jedem Zeitpunkt von Projekten sind in D eher die Regel als die Ausnahme.

    Insofern: good luck, Helmut Asche! Sie werden hoffentlich ein paar überbezahlte Nieten arbeitslos machen. Ich kann auch kaum fassen, daß Dirk Niebel mal wirklich vernünftige Entscheidungen getroffen, das Institut gegründet und auch noch einen kompetenten Leiter dafür ernannt hat!
    Selbst die taz titelt 'Dirk Niebels beste Wahl' http://bit.ly/yiuTUN

  2. "Als Berater in Afrika tätig" - Ja genaun als GTZler nämlich. Wo da die Unabhängigkeit ist, wenn ein GTZler die GIZ evaluiert, dass ershcließt sich mir noch nicht ganz. Und wer finanziert das gleich nochmal? Genau...

    Reaktionen auf diesen Kommentar anzeigen

    "Wir evaluieren uns selbst, oder wie jetzt?
    Als Berater in Afrika tätig" - Ja genaun als GTZler nämlich. Wo da die Unabhängigkeit ist, wenn ein GTZler die GIZ evaluiert, dass ershcließt sich mir noch nicht ganz. ."

    Das klingt plausibel, verkennt aber die dezentrale Struktur der GIZ - oder in anderen Worten: Wer mal in der Außenstruktur Projekte gestemmt hat, hat deswegen noch keineswegs lebenslänglich seine intellektuelle Integrität eingebüsst.

    Andersrum wird ein Schuh draus: Wer das Feld nicht auch aus eigener (Projektverantwortungs-)Erfahrung kennt, verliert sich schnell in wissenschaftlichen Fragestellungen und Methoden, die für die Projektpraxis - im günstigen Fall - wenig relevant sind.

    Außerdem evaluiert das BMZ keineswegs "sich selbst", sondern - als Autraggeber - die Arbeit seiner Auftraggnehmer. Und woher sonst sollen die Mittel für Evaluieungen kommen, wenn nicht aus dem öffentlichen Haushalt des jeweiligen Sektors (sprich: Ministeriums).

    Zuguterletzt: Evaluierung ist nicht in erster Linie ein Kontroll-, sondern ein Lerninstrument.. Soll heißen: Unabhängigkeit ist wichtig, aber als MIttel zum Zweck. Noch wichtiger ist eine institutionelle Verankerung, die systeminternes Lernen ermöglicht.. Ein an das BMZ angedocktes, aber eben nicht in die BMZ-Struktur integriertes Institut , ist da schon eine ziemlich gute Lösung. Mit einer ziemlich guten Besetzung an der Spitze.

    • Bahamut
    • 11. November 2012 8:47 Uhr

    Was daran schlimm sein soll, dass ein Evaluator selbst praktische Erfahrung in der Tatigkeit hat, die er evaluieren soll, kann ich nicht nachvollziehen. M.E. ist das im Gegenteil geradezu eine fast unabdingbare Voraussetzung!

    Uebrigens scheinen Sie ein etwas unrealistisches Bild der Personen zu haben, die bei der GIZ arbeiten. In der Regel handelt es sich dabei um hochqualifizierte und eigenstaendig denkende Persoenlichkeiten mit hoher Motivation. Und da es bei der GIZ in der Regel keine Lebensstellungen gibt (jedenfalls nicht im operativen Geschaeft) hat der typische "GIZ'ler" in der Regel ein breites Erfahrungsspektrum auch ausserhalb der GIZ.

    Wenn man Ihren Beitrag liest, gewinnt man allerdings den Eindruck, dass Sie glauben, jeder der mal bei der GIZ ein Projekt umgesetzt hat, wurde einer Gehirnwaesche unterzogen, die ihn ein ganzes Leben zwingt, irgendwelche ferngesteuerten Befehle auszufuehren. Weiter entfernt von der Realitaet als Sie in diesem Fall kann man kaum sein.

    Wuenschenswert waere uebrigens, wenn das neue Evaluierungsinstitut sich auch mit der Evaluierung von GIZ-Projekten befassen wuerde, die nicht aus Bundesmitteln finanziert werden (also z.B. EU, Weltbank usw.).

  3. Warum fragt man eigentlich die Afrikaner nicht mehr was sie von den Projecten denken und was sie für sinnfoll halten ?

    Ach ja ...... dann sagen sie noch das sie Einfursteuern auf Importirte Produkte bräuchten damit ihre eigene Industrie überhaupt eine chanse hat, und das wir keine Hänchenteile mehr dorthin schiken sollten so das wir dort die Viewirtschat nicht ruiniren.

    Oder noch schlimmer .. sie schlagen vor das wir aufhören sollten mit Korrupten Regirungen zusammenzuarbeiten und unsere Firmen dazu bringen sollten ernsthaft Gehälter zu zahlen, oder die Wasserquellen wieder kostenlos zur verfügung zu stellen, oder ihre Fischfangrecht nicht mehr zu missachten ...

    Da ist es beser zu sehen was wir wo noch machen müssen um im endeffect nichts zu erreichen da alle guten Masnahmen wieder von anderen Überschattet werden.

    SATIRE

  4. Die grundsätzliche Frage, wollen wir wirklich helfen die Armut in den EZA-Ländern zum verschwinden zu bringen. Wo ist unsere Definition für Armut. Sollen sie genügend zu essen haben, sollen sie ihren Kindern ein sorgenfreies Leben (was ist das) ermöglichen, oder ist die Definition sie sollen mindestens 1/3 oder 1/2 unseres durchschnittlichen Einkommens haben. Wie können wir dann unseren “Standard” halten wenn die “Armen” bald soviel haben wie wir. Diese Fragen sollte der Volkswirt und Soziologe auch in der weiteren Einbinden der Investmentbanken und unserer Pensionsvorsorge, die Gesamtsystemrelevant sind in die EZA-Arbeit einfließen lassen. Die Antwort wäre interessant.
    Gerhard Karpiniec
    Laxenburg/Österreich

  5. Es werden jedes Jahr eine Menge Altkleider in Deutschland gesammelt
    und was in Afrika daraus wird ,zeigt die Dokumentation von NDR und ARD

    www.youtube.com/watch?v=d...

  6. "Wir evaluieren uns selbst, oder wie jetzt?
    Als Berater in Afrika tätig" - Ja genaun als GTZler nämlich. Wo da die Unabhängigkeit ist, wenn ein GTZler die GIZ evaluiert, dass ershcließt sich mir noch nicht ganz. ."

    Das klingt plausibel, verkennt aber die dezentrale Struktur der GIZ - oder in anderen Worten: Wer mal in der Außenstruktur Projekte gestemmt hat, hat deswegen noch keineswegs lebenslänglich seine intellektuelle Integrität eingebüsst.

    Andersrum wird ein Schuh draus: Wer das Feld nicht auch aus eigener (Projektverantwortungs-)Erfahrung kennt, verliert sich schnell in wissenschaftlichen Fragestellungen und Methoden, die für die Projektpraxis - im günstigen Fall - wenig relevant sind.

    Außerdem evaluiert das BMZ keineswegs "sich selbst", sondern - als Autraggeber - die Arbeit seiner Auftraggnehmer. Und woher sonst sollen die Mittel für Evaluieungen kommen, wenn nicht aus dem öffentlichen Haushalt des jeweiligen Sektors (sprich: Ministeriums).

    Zuguterletzt: Evaluierung ist nicht in erster Linie ein Kontroll-, sondern ein Lerninstrument.. Soll heißen: Unabhängigkeit ist wichtig, aber als MIttel zum Zweck. Noch wichtiger ist eine institutionelle Verankerung, die systeminternes Lernen ermöglicht.. Ein an das BMZ angedocktes, aber eben nicht in die BMZ-Struktur integriertes Institut , ist da schon eine ziemlich gute Lösung. Mit einer ziemlich guten Besetzung an der Spitze.

    • Bahamut
    • 11. November 2012 8:47 Uhr

    Was daran schlimm sein soll, dass ein Evaluator selbst praktische Erfahrung in der Tatigkeit hat, die er evaluieren soll, kann ich nicht nachvollziehen. M.E. ist das im Gegenteil geradezu eine fast unabdingbare Voraussetzung!

    Uebrigens scheinen Sie ein etwas unrealistisches Bild der Personen zu haben, die bei der GIZ arbeiten. In der Regel handelt es sich dabei um hochqualifizierte und eigenstaendig denkende Persoenlichkeiten mit hoher Motivation. Und da es bei der GIZ in der Regel keine Lebensstellungen gibt (jedenfalls nicht im operativen Geschaeft) hat der typische "GIZ'ler" in der Regel ein breites Erfahrungsspektrum auch ausserhalb der GIZ.

    Wenn man Ihren Beitrag liest, gewinnt man allerdings den Eindruck, dass Sie glauben, jeder der mal bei der GIZ ein Projekt umgesetzt hat, wurde einer Gehirnwaesche unterzogen, die ihn ein ganzes Leben zwingt, irgendwelche ferngesteuerten Befehle auszufuehren. Weiter entfernt von der Realitaet als Sie in diesem Fall kann man kaum sein.

    Wuenschenswert waere uebrigens, wenn das neue Evaluierungsinstitut sich auch mit der Evaluierung von GIZ-Projekten befassen wuerde, die nicht aus Bundesmitteln finanziert werden (also z.B. EU, Weltbank usw.).

  7. Die Evaluierung von Entwicklungshilfe, vor und nach der Finanzierung, macht einen guten Teil des Erfolgs aus und fördert die Mobilisierung von neuen Mitteln. Evaluierungsmethoden sind heute ausgereift und basieren auch auf einer von der deutschen Entwicklungshilfe geschaffenen Methodik (ZOPP, logframe). Ein Problem ist, dass die Kosten der Evaluierung wegen der zeitraubenden Datenbeschaffung und –auswertung hoch sind und dass der Enderfolg des Projekts, z.B., nachhaltige Einkommenssteigerungen, oft erst lange nach Ende der Finanzierungsphase ermittelt werden kann (Zwischenziele, etwa termingerechte Mittelverwendung oder physische Fertigstellung von Infrastruktur sind eher kurzfristiger Natur). Ex-post Evaluierungen leiden darunter, dass das Interesse von Gebern und Empfängern im Lauf der Projektdurchführung abnimmt und dass knappe Geldmittel und Expertenzeit lieber für neue Projekte als für Evaluierungen eingesetzt werden. Wenn sich die Rahmenbedingungen stark geändert haben, wird die Evaluierung sogar oft als verzichtbar angesehen. Wenn DEval finanziell unabhängig ist, den nötigen Einfluss hat volle Einsicht in Projektdaten zu bekommen, lokalen Experten Anreize zur Mitarbeit gibt (Trainingfunktion), sich bei der Evaluierung deutscher Hilfsprojekte die Erfahrungen anderer Evaluierungsinstitutionen zunutze macht, könnte das neue Institut einen sinnvollen Beitrag zur Vorbereitung von künftiger Hilfe, auch durch die Begünstigten selbst, leisten.

    Reaktionen auf diesen Kommentar anzeigen

    Sie schreiben viel Richtiges - außer dass es sich bei vielen mit "WENN" versehenen Aussagen längst um Fakten handelt. Nur ein paar Beispiele:

    a) Ex-Post-Evaluierungen setzen sich auch jetzt schon zunehmend durch. In der GIZ etwas weniger systematisch als in der KfW, aber dennoch mit positiver Tendenz. Eine der Abteilungsleitungen des BMZ-Instituts ist außerdem mit einer "Pionierin" der Ex-Post-Evauierung besetzt, die das schon einforderte und selbst umsetzte, als das in den EZ-Institutionen noch ein Fremdwort war.

    b) Volle Einsicht in die Projektdaten bekommt auch ohne Evaluierungsinstitut jeder Evaluierer. Oder anders ausgedrückt: Mir wurde volle Akteneinsicht noch nie verwehrt. Allerdings sei erwähnt, dass (Wirkungs-)Evaluierungen nicht in erster Linie auf Aktenstudium basieren.

    c) Es gibt nicht nur "Anreize zur Mitarbeit" für lokale Experten, sondern ganze Entwicklungsvorhaben zur Stärkung von Evaluierungskapazitäten in Partnerländern. Das Evaluierungsinstitut muss hier nicht das Rad neu erfinden, kann aber natürlich die Steuerung und Qualitätssicherung verbessern.

    (P.S.: ZOPP gibt's in der GIZ seit knapp über 10 Jahren schon nicht mehr - aktuelle Planungs- und Evaluierungsinstrumente sind zum Glück um einiges dynamischer)

Bitte melden Sie sich an, um zu kommentieren

  • Artikel Auf einer Seite lesen
  • Schlagworte Entwicklungspolitik | Entwicklungshilfe | Afrika | Hilfsorganisation
Service