Evaluierungsinstitut : Gut gemacht oder nur gut gemeint?
Seite 2/3:

"Wir wollen nicht nur Misserfolge, sondern auch positive Erfahrungen evaluieren"

ZEIT: Wie wollen Sie die Wirkung unserer Hilfe denn nun bemessen?

Asche: Nehmen wir ein klassisches Wasserversorgungsprojekt: Da werden Brunnen gebohrt, Leitungen gelegt und Genossenschaften gefördert, die sich um die Instandhaltung kümmern. Durch den Vergleich mit einer Nachbarregion können wir feststellen: Hat der Geber etwas bewirkt? Mit so einer Kontrollgruppe hat man ein experimentelles Design – wie in den Testlaboren der Pharmaindustrie.

ZEIT: Nun ja, ob der Brunnen versandet ist oder die Leitungen nach fünf Jahren noch liegen, ließe sich doch mit bloßem Auge erfassen, oder?

Asche: Uns interessiert auch die soziale Wirkung: Können Mädchen und Frauen zur Schule gehen oder arbeiten, weil sie nicht mehr so viel Wasser schleppen müssen? Oder: Hat sich die Qualität des Wassers verbessert? Das passiert nämlich – Überraschung! – keineswegs immer. Wenn das Brunnenwasser in den Hütten mit Wasser aus anderen Quellen zusammengekippt wird und die Menschen mit schmutzigen Händen hineingreifen, dann sind wieder so viele Kolibakterien drin wie im nächstgelegenen Tümpel. Dann hat am Projektdesign ganz klar etwas gefehlt. Das zeigt eine Studie der BMZ-Evaluierer in Benin, und von solchen Erfahrungen wollen wir lernen.

ZEIT: Entwicklungspolitik fördert immer öfter ganze Regierungsprogramme. Da ist die Wirkung der Hilfe doch noch viel schwerer zu erfassen als bei Einzelprojekten.

Asche: Aber auch bei landesweiten Programmen können wir Wirkungsketten bemessen. In Ruanda wollen wir studieren, was dreißig Jahre deutsche Entwicklungshilfe im Gesundheitssektor gebracht haben. Unter anderem wurde dort ein Krankenversicherungssystem aufgebaut, das es sonst in Entwicklungsländern meist nur für Staatsbeamte oder in großen Unternehmen gibt. Es gilt international als erfolgreich, und theoretisch kann man die Tatsache nutzen, dass die Versicherung schrittweise eingeführt wurde. Aus den Bezirken, die später drangekommen sind, kann man die Kontrollgruppe bilden und schauen: Hat sich die Gesundheit der Menschen in den Pionierbezirken schneller verbessert?

ZEIT: Wie frei waren Sie bei der Auswahl dieses ersten Projekts? Es klingt so schön positiv, und das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) ist Ihr Gründer und Gesellschafter.

Asche: Wir wollen nicht nur Misserfolge, sondern auch positive Erfahrungen evaluieren. Und wir reagieren auch auf Nachfrage – ob aus dem Bundesministerium, den Organisationen vor Ort oder dem Parlament. In Ruanda war es so: Deutschland zieht sich dort aus dem Gesundheitssektor zurück und konzentriert sich auf die Wirtschaftsförderung. Denn die Regierung in Kigali möchte, dass nicht mehr alle Geber alles machen. Daraufhin fragte das BMZ: Wenn wir die große Abschlussveranstaltung haben, welche Bilanz können wir ziehen? Das fanden wir spannend, auch im Blick auf Lehren für andere Länder.

ZEIT: Lohnt sich der Aufwand? Viele Gutachten der »Evaluierungsindustrie« bestätigen schlicht Bedenken, die es von Anfang an gab.

Asche: Auch das werden wir analysieren: Warum sind kritische Fragen politisch nicht aufgegriffen worden? Wenn wir die Ursachen dafür öffentlich machen, wird das einen ganz anderen Stellenwert haben als hausinterne Gutachten. Genau da sehe ich unsere Stärke im Lernprozess.

ZEIT: Aber was können Evaluationen bewirken?

Asche: Illusionen mache ich mir da nicht. Es wäre ein seltsames Politikverständnis, zu glauben, dass Regierungshandeln in erster Linie auf wissenschaftlicher Evidenz aufbaut.

Verlagsangebot

Der Kult ums gesunde Essen

Nahrung soll Energie und Freude bringen. Doch immer mehr Lebensmittel werden zum Problem gemacht: Vom Salz bis zum Fleisch. Warum eigentlich? Jetzt in der neuen ZEIT.

Hier lesen

Kommentare

9 Kommentare Seite 1 von 2 Kommentieren

Mir fehlt ein wichtiger Punkt

Lausige Evaluierung VOR einem Projekt=lausig arbeitendes Projekt.

Gibt es keinen klaren und wahrheitshaltigen Aufschluß darüber, was am designierten Projektort/-region/-land vorhanden/nicht vorhanden ist, ist bereits die Planung schräg und die EZler vor Ort verschwenden unendliche Zeit und Energie darauf, zwischen den Büros der Geberorganisation und der Realität vor Ort zu vermitteln.

Ich las z.B. vor einigen Jahren die Planungs-Evaluierung einer deutschen Organisation in Sri Lanka, in der wichtige Teile 1:1 aus einem veralteten Lonely Planet übernommen waren. Das Projekt wurde nie umgesetzt, weil der Konflikt im Nord-Osten kurz danach noch einmal aufflammte, aber da zog's mir wirklich die Schuhe aus. Es mag ein Extrem-Beispiel sein, aber unsachgemäße Evaluierung zu jedem Zeitpunkt von Projekten sind in D eher die Regel als die Ausnahme.

Insofern: good luck, Helmut Asche! Sie werden hoffentlich ein paar überbezahlte Nieten arbeitslos machen. Ich kann auch kaum fassen, daß Dirk Niebel mal wirklich vernünftige Entscheidungen getroffen, das Institut gegründet und auch noch einen kompetenten Leiter dafür ernannt hat!
Selbst die taz titelt 'Dirk Niebels beste Wahl' http://bit.ly/yiuTUN

@2 johannakaroline

"Wir evaluieren uns selbst, oder wie jetzt?
Als Berater in Afrika tätig" - Ja genaun als GTZler nämlich. Wo da die Unabhängigkeit ist, wenn ein GTZler die GIZ evaluiert, dass ershcließt sich mir noch nicht ganz. ."

Das klingt plausibel, verkennt aber die dezentrale Struktur der GIZ - oder in anderen Worten: Wer mal in der Außenstruktur Projekte gestemmt hat, hat deswegen noch keineswegs lebenslänglich seine intellektuelle Integrität eingebüsst.

Andersrum wird ein Schuh draus: Wer das Feld nicht auch aus eigener (Projektverantwortungs-)Erfahrung kennt, verliert sich schnell in wissenschaftlichen Fragestellungen und Methoden, die für die Projektpraxis - im günstigen Fall - wenig relevant sind.

Außerdem evaluiert das BMZ keineswegs "sich selbst", sondern - als Autraggeber - die Arbeit seiner Auftraggnehmer. Und woher sonst sollen die Mittel für Evaluieungen kommen, wenn nicht aus dem öffentlichen Haushalt des jeweiligen Sektors (sprich: Ministeriums).

Zuguterletzt: Evaluierung ist nicht in erster Linie ein Kontroll-, sondern ein Lerninstrument.. Soll heißen: Unabhängigkeit ist wichtig, aber als MIttel zum Zweck. Noch wichtiger ist eine institutionelle Verankerung, die systeminternes Lernen ermöglicht.. Ein an das BMZ angedocktes, aber eben nicht in die BMZ-Struktur integriertes Institut , ist da schon eine ziemlich gute Lösung. Mit einer ziemlich guten Besetzung an der Spitze.

Was soll daran schlimm sein?

Was daran schlimm sein soll, dass ein Evaluator selbst praktische Erfahrung in der Tatigkeit hat, die er evaluieren soll, kann ich nicht nachvollziehen. M.E. ist das im Gegenteil geradezu eine fast unabdingbare Voraussetzung!

Uebrigens scheinen Sie ein etwas unrealistisches Bild der Personen zu haben, die bei der GIZ arbeiten. In der Regel handelt es sich dabei um hochqualifizierte und eigenstaendig denkende Persoenlichkeiten mit hoher Motivation. Und da es bei der GIZ in der Regel keine Lebensstellungen gibt (jedenfalls nicht im operativen Geschaeft) hat der typische "GIZ'ler" in der Regel ein breites Erfahrungsspektrum auch ausserhalb der GIZ.

Wenn man Ihren Beitrag liest, gewinnt man allerdings den Eindruck, dass Sie glauben, jeder der mal bei der GIZ ein Projekt umgesetzt hat, wurde einer Gehirnwaesche unterzogen, die ihn ein ganzes Leben zwingt, irgendwelche ferngesteuerten Befehle auszufuehren. Weiter entfernt von der Realitaet als Sie in diesem Fall kann man kaum sein.

Wuenschenswert waere uebrigens, wenn das neue Evaluierungsinstitut sich auch mit der Evaluierung von GIZ-Projekten befassen wuerde, die nicht aus Bundesmitteln finanziert werden (also z.B. EU, Weltbank usw.).

Waru nicht fragen ?

Warum fragt man eigentlich die Afrikaner nicht mehr was sie von den Projecten denken und was sie für sinnfoll halten ?

Ach ja ...... dann sagen sie noch das sie Einfursteuern auf Importirte Produkte bräuchten damit ihre eigene Industrie überhaupt eine chanse hat, und das wir keine Hänchenteile mehr dorthin schiken sollten so das wir dort die Viewirtschat nicht ruiniren.

Oder noch schlimmer .. sie schlagen vor das wir aufhören sollten mit Korrupten Regirungen zusammenzuarbeiten und unsere Firmen dazu bringen sollten ernsthaft Gehälter zu zahlen, oder die Wasserquellen wieder kostenlos zur verfügung zu stellen, oder ihre Fischfangrecht nicht mehr zu missachten ...

Da ist es beser zu sehen was wir wo noch machen müssen um im endeffect nichts zu erreichen da alle guten Masnahmen wieder von anderen Überschattet werden.

SATIRE

Grundsätzliche Fragen

Die grundsätzliche Frage, wollen wir wirklich helfen die Armut in den EZA-Ländern zum verschwinden zu bringen. Wo ist unsere Definition für Armut. Sollen sie genügend zu essen haben, sollen sie ihren Kindern ein sorgenfreies Leben (was ist das) ermöglichen, oder ist die Definition sie sollen mindestens 1/3 oder 1/2 unseres durchschnittlichen Einkommens haben. Wie können wir dann unseren “Standard” halten wenn die “Armen” bald soviel haben wie wir. Diese Fragen sollte der Volkswirt und Soziologe auch in der weiteren Einbinden der Investmentbanken und unserer Pensionsvorsorge, die Gesamtsystemrelevant sind in die EZA-Arbeit einfließen lassen. Die Antwort wäre interessant.
Gerhard Karpiniec
Laxenburg/Österreich