Bei den 261 Vorhaben wurden insgesamt 19 Fremdevaluierungen durchgeführt, 15 davon im Rahmen des Zentralen Evaluierungsprogramms (ZEP) des BMZ, die übrigen vier im Rahmen des Fremdevaluierungsprogramms der GTZ, das 2005 eingeführt wurde (siehe hierzu auch Frage 8).
Alle Fremdevaluierungen wurden von unabhängigen externen Gutachterinnen und Gutachtern durchgeführt, die zuvor zu keiner Zeit in das zu evaluierende Vorhaben involviert waren. In die Gutachterteams waren regelmäßig neben den entsandten auch unabhängige lokale Gutachterinnen und Gutachter eingebunden.
Die Federführung lag jeweils bei der Leiterin bzw. dem Leiter des Gutachterteams.
Evaluierungen im Rahmen des ZEP
Infolge der Verlagerung der Verantwortung für die Evaluierung von einzelnen Projekten auf unabhängige, d. h. vom operativen Bereich getrennte, Evaluierungseinheiten von GTZ (und KfW), führt das BMZ nur noch vereinzelt Projektevaluierungen durch, meist im Zusammenhang mit größeren Evaluierungsvorhaben. Darüber hinaus wurde als Übergangsregelung den Durchführungsorganisationen die Möglichkeit eingeräumt, im Rahmen des ZEP unter Mitwirkung des BMZ Evaluierungsreferats Projektevaluierungen durchzuführen. In den beiden nachfolgenden Tabellen sind die Vorhaben aus der Querschnittsanalyse aufgelistet, die im Rahmen des ZEP evaluiert wurden.
A. Evaluierungen im Auftrag des BMZ-Evaluierungsreferats:
B. Evaluierungen im Auftrag der GTZ-Gruppe Evaluierung:
C. Evaluierungen im Rahmen des Fremdevaluierungsprogramms der GTZ
Im Jahr 2005 hat die GTZ begonnen, ein eigenes Fremdevaluierungsprogramm einzuführen. Das Programm wird von der neu eingerichteten und direkt der Geschäftsführung unterstehenden Stabsstelle Evaluierung initiiert und gesteuert. Die Durchführung der Evaluierungen wird an unabhängige Forschungsinstitute vergeben. Von den in der Querschnittsanalyse erfassten Vorhaben wurden in den folgenden vier Ex-post-Fremdevaluierungen durchgeführt.
Ergebnisse der Fremdevaluierungen:
Die Ergebnisse der BMZ- bzw. GTZ-Fremdevaluierungen lassen sich mit denen der GTZ-Querschnittsanalyse nicht direkt vergleichen, da unterschiedliche Bewertungsschemata zugrunde liegen. Im Folgenden werden wesentliche Aussagen aus den Evaluierungsberichten zusammengefasst.
A. Ergebnisse der Evaluierungen im Auftrag des BMZ:
1. Institutionelle Unterstützung der madagassischen Forstverwaltung (DEF) bei der Umsetzung der neu formulierten Forstpolitik
Das Vorhaben wurde 2003 im Rahmen einer BMZ-Sektorevaluierung des Schwerpunkts „Umweltpolitik und nachhaltige Nutzung natürlicher Ressourcen“ untersucht. Die Evaluierung empfahl, das Vorhaben, dessen Projektverlauf zum damaligen Zeitpunkt weitgehend der Planung entsprach, im Zuge der angestrebten Programmbildung in Richtung auf eine Politikberatung für den gesamten Umweltbereich weiterzuentwickeln und die Möglichkeiten zur Gestaltung der Rahmenbedingungen im Umweltbereich auf nationaler Ebene verstärkt zu nutzen.
2. Randzonenentwicklung Nyika National Park und Vwaza Mash Wildlife Reserve (Malawi)
Die Überprüfung des Vorhabens erfolgte in 2001 im Rahmen einer umfassenden BMZ-Serienevaluierung des EZ-Instruments „Kooperationsvorhaben“. Die Evaluierung konstatierte Schwächen bei der Planung des Vorhabens, u. a. aufgrund der unzureichenden Berücksichtigung der Rahmenbedingungen. Die Arbeit mit der regionalen und lokalen Trägerstruktur wurde infolge der institutionellen Schwächen und strukturellen Veränderungen im Zuge der Dezentralisierung in Malawi als nur bedingt erfolgreich eingeschätzt. Die Projektzielerreichung wurde trotz guter Teilresultate als insgesamt gering eingeschätzt. Die Evaluierung empfahl, zur nachhaltigen Sicherung der Schutzgebiete das Vorhaben über 3 Jahre fortzuführen und dabei die Aktivitäten zu fokussieren und auf die Randzonengebiete zu beschränken.
3. Unterstützung des Distriktgesundheitswesens Machinga und Zomba (Malawi)
Die TZ-Maßnahmen wurden 2001 im Rahmen einer BMZ-Evaluierung von Kooperationsvorhaben im malawischen Gesundheitssektor überprüft. Diese Evaluierung ihrerseits war Teil der Instrumentenevaluierung „Kooperationsvorhaben“. Die Evaluierung kam zu dem Ergebnis, dass die beiden als Kooperationsvorhaben mit der FZ angelegten TZ-Maßnahmen partiell die angestrebten Zielsetzungen erreichten. Die Möglichkeiten, die entwicklungspolitische Wirksamkeit von TZ-Maßnahmen im Rahmen von KV-Vorhaben zu erhöhen, wurden aufgrund defizitärer gemeinsamer Planung und Operationalisierung jedoch nur in Ansätzen genutzt.
4. Ländliche Wasserversorgung Maradi (Niger)
Die im Rahmen der Instrumentenevaluierung „Kooperationsvorhaben“ 2001 durchgeführte Evaluierung stellte fest, dass das Vorhaben, das gemeinsam mit einer FZ-Maßnahme als Kooperationsvorhaben durchgeführt wurde, sein Projektziel im Wesentlichen erreicht hat. Es leistet einen Beitrag zur unmittelbaren Armutsminderung und Grundbedürfnisbefriedigung und hat wichtige Ansätze zur Stärkung der Leistungsfähigkeit der Zielgruppen sowie zur breitwirksamen Verbesserung Trinkwasserversorgung in der Region entwickelt. Der mögliche Entwicklungsbeitrag des Vorhabens wurde allerdings aufgrund konzeptioneller Schwächen (unzureichende Einbettung in einen regionalen Ansatz) und Abstimmungsproblemen in der Planungs- und Durchführungsphase nicht voll ausgeschöpft. Die Evaluierung empfahl eine Reihe von Maßnahmen zur Sicherung der Nachhaltigkeit der Entwicklungsmaßnahme und zur Verbesserung des Schnittstellenmanagements im Rahmen von Kooperationsvorhaben.
5. Ressourcenschutz im Departement Tillaberi Nord (Niger)
Die in 2001 durchgeführte BMZ-Evaluierung war ebenfalls Teil der Instrumentenevaluierung „Kooperationsvorhaben“. Das gemeinsam mit der FZ als Kooperationsvorhaben durchgeführte TZ-Vorhaben hat trotz Schwächen in der Planungs- und Durchführungsphase beeindruckende Ergebnisse bei der großflächigen Umsetzung von Ressourcenschutzmaßnahmen erreicht und in erheblichem Maße zur Mobilisierung lokaler Ressourcen im landwirtschaftlichen Bereich und der Stärkung der Selbsthilfefähigkeit der Zielgruppen beigetragen. Das Kosten-Nutzen-Verhältnis des Vorhabens wurde als kritisch bewertet. Abgesehen von Schlussfolgerungen zur künftigen Ausgestaltung von Kooperationsvorhaben, speziell auch im Bereich des Ressourcenschutzes, empfahl die Evaluierung, das Vorhaben bis zu seiner Beendigung auf Flächenkonsolidierung und die Stärkung der Selbsthilfeorganisationen auf Zielgruppenebenen zu konzentrieren und rechtzeitig geeignete Nachbetreuungsmaßnahmen zur Sicherung der Nachhaltigkeit einzuleiten.
6. Ländliche Entwicklung in der Provinz Bokeo (Laos)
Die Untersuchung des Vorhabens in 2000 erfolgte im Rahmen der Länderprogrammevaluierung Laos. Diese hatte das Ziel, das gesamte Spektrum der bilateralen EZ mit Laos zu bewerten und ggf. Vorschläge für neue entwicklungspolitische und sektorale Schwerpunkte entwickeln. Die Evaluierung des Vorhabens verdeutlichte die Schwierigkeiten, einen multi-sektoralen, integrierten Ansatz in die Praxis umzusetzen. Die Untersuchung empfahl, das Vorhaben und insgesamt das deutsche Engagement im Bereich der ländlichen Entwicklung fortzusetzen und nach Möglichkeit auszubauen. Gleichzeitig wurden Empfehlungen ausgesprochen, um das Vorhaben konsistenter in die laotische Entwicklungsplanung und das deutsche EZ-Engagement zu integrieren.
7. Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro (Brasilien)
Die in 2000 durchgeführte Evaluierung zeigte, dass aufgrund einer realistischen Planung und effizienter Zusammenarbeit der Projektpartner das angestrebte Ziel, brasilianische Klein- und Mittelunternehmen Rio de Janeiros zur rationellen Energieverwendung zu befähigen, im Wesentlichen erreicht wurde. Das Gutachten empfahl eine Reihe von Maßnahmen, um die im Rahmen der ersten Phase des Vorhabens identifizierten Lösungsansätze zur rationelleren Energieverwendung auf Unternehmensebene breitenwirksamer, insbesondere im Nordosten Brasiliens, anzuwenden.
8. Modernisierung des Steuersystems (Dominikanische Republik)
Die Evaluierung des TZ-Vorhabens zur Modernisierung des dominikanischen Steuersystems in 2003 war Teil der BMZ-Serienevaluierung „Steuersysteme und Einnahmenverwaltung in Entwicklungs- und Transformationsländern als Instrument der Armutsbekämpfung“. Das Gutachten stellte fest, dass durch eine Förderung der zentralstaatlichen Steuerverwaltung eine Unterstützung der Gemeinden nicht erreicht wurde. Die Evaluierung sprach sich daher dafür aus, die Aktivitäten gezielt auf die Gemeinden zu konzentrieren und mittelfristig die Beratungsleistungen im Bereich der Fiskaldezentralisierung in ein übergeordnetes Programm, das Politikberatung in allen fiskalischen Aspekten umfasst, einzubinden.
9. Modernisierung der Steuerverwaltung (Nicaragua)
Die Evaluierung des TZ-Vorhabens zur Modernisierung des nicaraguanischen Steuersystems in 2003 war ebenfalls Teil der BMZ-Serienevaluierung „Steuersysteme und Einnahmenverwaltung in Entwicklungs- und Transformationsländern als Instrument der Armutsbekämpfung“. Planung, Steuerung und Durchführung des Vorhabens wurden positiv eingeschätzt. Das Projektziel der 1. Phase wurde erreicht. Defizite bei den steuerpolitischen Beratungsleistungen begrenzten laut Evaluierung jedoch die entwicklungspolitische Wirksamkeit des Vorhabens. Das Gutachten empfahl u. a., das Projekt für die Restlaufzeit in den vereinbarten Arbeitsschwerpunkten weiterzuführen.
B. Ergebnisse der Evaluierungen im Auftrag der GTZ im Rahmen des ZEP:
10. KV-Tropenwaldschutz Gran Sumaco (Ecuador)
Die 2002 gemeinsam mit der KfW durchgeführte Evaluierung des FZ/TZ Kooperationsvorhabens kam zu dem Ergebnis, dass das Projekt mit der Schaffung des kommunen- und organisationsübergreifenden Koordinationskomitees des Biosphärenreservats, der Einrichtung des Nationalparks und der Erklärung des Biosphärenreservats wichtige Voraussetzungen und Rahmenbedingungen für nachhaltige Wirkungen im Ressourcenschutz geschaffen hat. Positiv hervorgehoben wurde die gute Interaktion des Vorhabens mit den wesentlichen Akteuren und seine Bedeutung für die Region. Die Zeitverschobene Bereitstellung der TZ- und FZ-Beiträge führte zeitweilig zu Problemen, mit denen aber konstruktiv und pragmatisch umgegangen wurde. Die Gutachter empfahlen eine gemeinsame Projektstruktur, -planung und -evaluierung für TZ- und FZ-Komponenten sowie eine Kooperationsvereinbarung, zwischen KfW, GTZ und DED, die eine klare Aufgabenverteilung beinhaltet.
11. Nationale Ressourcenschutzstrategie (Paraguay)
Dem 2002 überprüften Projekt wurde bescheinigt, wesentlich zur Gestaltung der neuen Strukturen im Umweltsektor Paraguays beigetragen zu haben. Kritisch bewertet wurden die Projektplanung und -durchführung, die aufgrund der unzureichenden Berücksichtigung der politischen und institutionellen Instabilitäten Paraguays zu anspruchsvoll und durch einen zu hohen Mangel an Kontinuität gekennzeichnet waren. Die Gutachter empfahlen eine stärkere Vernetzung der Maßnahmen von GTZ und BGR, die beide die gleiche Partnerorganisation unterstützen.
12. CEPREDENAC/Katastrophenvorsorge (Zentralamerika)
Die Gutachter des 2001 evaluierten Vorhabens stellten fest, das das Engagement der deutschen TZ im Katastrophenrisikomanagement (KRM) der Region von hoher entwicklungspolitischer Relevanz ist. Ferner wurde konstatiert, dass sich die Wirkungen des Vorhabens vorrangig auf die Entwicklung von Strukturen zur Etablierung von Frühwarnsystemen und auf die Sensibilisierung der Katastrophenschutzorganisation beziehen. Bei der Entwicklung von Strategien zur Integration von gemeindeorientierten KRM-Aspekten in der Region und in Sektorstrategien waren keine tiefer gehenden Wirkungen festzustellen. Die in diesem Zusammenhang erwarteten Wirkungen wurden als zu ambitioniert und kaum erreichbar gewertet. Zur nachhaltigen Verankerung der KRM-Maßnahmen empfahlen die Gutachter im gesamten zentralamerikanischen Raum die Integration des Themas in Vorhaben zur Dezentralisierung und Gemeindeentwicklung.
13. Unterstützung der Umweltbehörden (CPCB und SPCBs) bei der Überwachung und Sicherung der Umweltqualität (Indien)
Die 2001 durchgeführte Evaluierung kam zu dem Ergebnis, dass das Vorhaben zwar eine Reihe von Erfolgen zu verbuchen hat, jedoch keinen signifikanten Beitrag zum Oberziel erzielen konnte (Qualität der Umwelt ist verbessert). Dies wurde u. a. auf eine zu ambitionierte Projektplanung (Überfrachtung des Projektes, unzureichende Ressourcen) und auf Mängel in der Kooperation mit staatlichen und privatwirtschaftlichen Partnern zurückgeführt. Für die zukünftige Projektarbeit empfahlen die Gutachter eine intensivere Vernetzung der Projektaktivitäten mit Interessensgruppen und Verbänden und eine aktivere Geberkoordinierung. Der Schwerpunkt künftiger Arbeit sollte im Bereich der Organisationsentwicklung liegen und institutionell breiter angelegt werden.
14. Förderung der Klein- und Mittelunternehmen (Peru)
Die 2001 durchgeführte Evaluierung beurteilte die Ziele des Vorhabens als den entwicklungspolitischen Notwendigkeiten Perus in hohem Maße angemessen und in Übereinstimmung mit den makroökonomischen Zielen des Landes. Die angestrebte Verbesserung der Wettbewerbsfähigkeit der KMU in Peru konnte einer repräsentativen Befragung von 28 Unternehmen zufolge erreicht werden. Demgegenüber erzielten die Maßnahmen zur Verbesserung der Rahmenbedingungen/Sektorpolitik nur begrenzte Erfolge was u. a. auf die sehr ambitionierte Zielsetzung zurückgeführt wurde. Die Gesamtsteuerung des Programms sowie der Programmbildungsprozess und seine Ergebnisse wurden positiv bewertet. Damit konnte eine sehr hohe Signifikanz des Programms erreicht werden. Die Evaluierung empfahl, die Zusammenarbeit des Vorhabens mit dem Regierungsprogramm „A Trabajar“ zu intensivieren.
15. Ländliche Regionalentwicklung Bondoc (Philippinen)
Die 2001 durchgeführte Evaluierung kam zu dem Ergebnis, dass das Vorhaben bei der direkten Armutsbekämpfung, bei der Umsetzung der Agrarreform und bei der Unterstützung des Gesundheitswesens beachtenswerte Erfolge erzielt hat. Positiv hervorgehoben wurden die Leistungen bei der inneren Befriedung der Halbinsel, der Stärkung des „Empowerment“ der Bevölkerung und bei der partizipativen Dorfentwicklungsplanung. Kritisch bewertet wurden die Erfolge bei der Kleingewerbeförderung und der Unterstützung kleinbäuerlicher Landwirtschaft. Die Gutachter empfahlen die Umsetzung der Agrarreform verstärkt politisch zu unterstützen. Für die restliche Projektlaufzeit wurde die Forcierung praxisrelevanterer Maßnahmen in den Bereichen Landwirtschaft und Kleingewerbeförderung empfohlen.
C. Ergebnisse der GTZ- Evaluierungen im Rahmen des Fremdevaluierungsprogramms
16. Förderung nachhaltiger Prozesse lokaler Entwicklung/PRORENDA, Rio Grande do Sul (Brasilien)
Das Vorhaben wurde 2005, zwei Jahre nach seiner Beendigung, ex-post evaluiert. Insgesamt wurde dem Vorhaben eine zufrieden stellende Wirksamkeit bescheinigt. Die größte Stärke des Vorhabens war, die zentralen Probleme der Armutsbekämpfung und der politischen Kultur in Brasilien in den Mittelpunkt gestellt zu haben (Relevanz). Hier wurden beachtliche Wirkungen erzielt. Für die Ziele Armutsminderung, partizipative Entwicklung und gute Regierungsführung konnten der Evaluierung zufolge beispielhafte Lösungen aufgezeigt und eine Erhöhung der Kompetenzen in diesen Bereichen bewirkt werden. Unterschiedlich stellte sich die „Ownership“ bei den Trägern auf der politischadministrativen Ebene dar. Bei den nicht- oder halbstaatlichen Organisationen auf Bundes- und Landesebene ließ sich eine dauerhafte Institutionalisierung nicht realisieren.
17. Beratung bei der Stadtentwicklung (Kenia)
Das Vorhaben wurde 2005, eineinhalb Jahre nach seiner Beendigung im Rahmen einer Ex-post-Evaluierung überprüft. Den Evaluierungsergebnissen zufolge trug das Vorhaben wesentlich zur Lösung von Problemen der Stadtentwicklung Kenias bei. Obwohl die Nutzung der Projektleistungen durch die Partner unterschiedlich war, konnten die Lebensbedingungen der Bewohner in den ausgewählten Siedlungen nachhaltig verbessert werden. Das Vorhaben hat entscheidend zur Stärkung des Gemeindeverbands beigetragen. Bei den strukturellen Wirkungen und der Breitenwirkung des Vorhabens wurden (mit Ausnahme des Finanzmanagements) Einschränkungen gesehen (z. B. unzureichende Planungs- und Managementkompetenz der Städte und Gemeinden). Die Maßnahmen zur Veränderung der rechtlichen Rahmenbedingungen konnten keine konkreten Ergebnisse vorweisen. Die Gutachter empfahlen daher Maßnahmen zur Förderung der Stadtentwicklung künftig noch stärker auf die Rahmenbedingungen und den politischen Veränderungswillen abzustellen.
18. Slum Upgrading Nagpur (Indien)
Das Vorhaben wurde 2005 evaluiert, zwei Jahre nachdem es aufgrund veränderter gesetzlicher Rahmenbedingungen und einer neuen Schwerpunktsetzung in der indisch-deutschen Zusammenarbeit vorzeitig beendet worden war. Das Vorhaben wurde als nicht erfolgreich eingestuft, obwohl es seine Ziele bis zum Förderende erreicht hatte. Der vorzeitige Abbruch, aber auch die Tatsache, dass die FZ-Komponente für das ursprünglich als TZ/FZ-Kooperation geplante Vorhaben nie durchgeführt wurde, wurden als die wesentlichen Ursachen für die mangelnde Nachhaltigkeit der Wirkungen identifiziert. Die Evaluierung empfahl, Vorhaben nicht aufgrund projektexterner Faktoren frühzeitig zu beenden, sondern mit einer Konsolidierungsphase die bereits erzielten Wirkungen nachhaltig zu verankern.
19. TZ/FZ-Kooperationsvorhaben Wildbewirtschaftung Selous Wildreservat
In dem Kooperationsvorhaben wurde 2005, knapp zwei Jahre nach Abschluss, eine gemeinsam von GTZ und KfW gesteuerte Ex-post-Evaluierung durchgeführt. Der TZ-Komponente wurde zufrieden stellende entwicklungspolitische Wirksamkeit bescheinigt. Der FZ-Komponente wurden insgesamt nicht mehr ausreichende Wirkungen attestiert. Das Gesamtvorhaben wurde deshalb als nur bedingt erfolgreich eingestuft. Die entwicklungspolitische Wirksamkeit beim Schutz des Wildreservats wurde – trotz Defiziten bei der Beteiligung der Anrainer – durchgängig positiv beurteilt. Grundlagen für Einkommenssteigerungen der Anrainerbevölkerung wurden geschaffen, eine nachhaltige Verbesserung der Lebenssituation der Anrainerbevölkerung insgesamt konnte daraus aber nicht unmittelbar abgeleitet werden. Die Nachhaltigkeit der Wirkungen auf Partnerseite wurde nur bedingt positiv beurteilt, da eine Reihe von Maßnahmen und Strukturen nach Beendigung der Förderung nicht wie bisher bereitgestellt werden konnten. Die Evaluierung betonte, dass die voneinander unabhängigen Maßnahmenpakete der TZ und FZ nicht zu einem gemeinsamen Vorhaben hätten zusammengeführt werden sollen, da hierdurch das gemeinsame Zielsystem zu abstrakt und ein praktikables Monitoring erschwert wurde. Die Evaluierung empfahl für FZ/TZ-Vorhaben, die Aufgaben und Verantwortlichkeiten von GTZ und KfW klar voneinander abzugrenzen.