Don Bosco Mondo leistet professionelle Hilfe für junge Menschen in Not. Der effiziente Einsatz der Mittel ist oberstes Gebot – damit Projekte die größtmögliche Wirkung entfalten. Deshalb evaluieren wir regelmäßig die Umsetzung und Wirkung unserer Projekte. Grundlage für die erfolgreiche Wirkungsmessung sind international anerkannte Kriterien und unabhängige Evaluatorinnen und Evaluatoren. Dazu gehört Rusudan Kardava. Die geschäftsführende Partnerin bei DEPA Consulting hat mit ihrem Team unser Berufsbildungsnetzwerks Don Bosco ONE TVET Philippines untersucht.
Frau Kardava, welches Ziel hatten Sie mit der Evaluation?
Wir haben 2023 bis 2024 die zweite Phase dieses langfristig angelegten Projekts evaluiert. Es ist ein sehr vielschichtiges Projekt, das Ausbildung als Schlüssel zu Teilhabe und Armutsbekämpfung versteht – insbesondere für benachteiligte Jugendliche. Die Evaluation liefert dabei wichtige Impulse, um den Ansatz weiter zu schärfen und nachhaltig wirksam zu machen. Wir haben die Evaluation auf drei Ebenen durchgeführt und anhand der OECD/ DAC-Kriterien bewertet:
- Mikroebene: Wirkung auf die Jugendlichen
- Mesoebene: Qualität der Berufsschulen
- Makroebene: Politischer Einfluss Don Boscos im Berufsbildungssektor der Philippinen
Wie läuft eine solche Evaluation ab?
Evaluationen laufen immer in drei Phasen ab: Vorbereitung, Datenerhebung und Analyse. Wir starten am Schreibtisch und klären die Erwartungen, sichten Projektdokumente, Sekundärdaten und entwickeln daraufhin Methoden und Instrumente. Das Auswertungsteam bereitet dann die Datenerhebung, z.B. Interviews, vor.
Wie haben Sie sich methodisch auf die Vielschichtigkeit des Projekts eingestellt?
Die hohe Zahl an verschiedenen Fokusgruppen und Interviews war eine komplexe, aber sehr schöne Herausforderung! Dafür haben wir qualitative und quantitative Methoden kombiniert. Für die Absolventinnen und Absolventen nutzten wir den Outcome-Harvesting-Ansatz, um herauszufinden, welche Veränderungen das Projekt für sie bewirkt hat. Diese Gespräche mit der Zielgruppe sind ungemein wichtig und natürlich wird dabei alles anonymisiert! Für die Fokusgruppe „Mitarbeitende und Ausbildende“ haben wir von den 18 philippinischen Don Bosco Berufsschulen fünf sehr unterschiedliche ausgewählt und dort Interviews geführt. Das ist im Fall von Don Bosco besonders spannend! Denn die Vielfalt reicht von hochmodernen Standorten in Großstädten bis hin zu sehr abgelegenen und rudimentär ausgestatteten Berufsschulen. Hier mussten wir also gute Maßstäbe anlegen, um die Vielfalt vergleichbar zu machen.
Durch Evaluationen wollen wir:
- lernen
- Rechenschaft ablegen
- transparent informieren
- unsere Arbeit messen
- adaptiv managen
- Programme und Projekte steuern
Gab es bei der Evaluation etwas, was sie besonders überrascht hat?
Ja, der Enthusiasmus der Don Bosco Schwestern. Formal waren sie nicht Teil des Projekts. Sie sind aber ebenso ein Anbieter von Berufsbildung für ähnliche Zielgruppen und wurden von uns auf der Makroebene miteinbezogen mit dem Ziel, Don Bosco auf politischer Ebene sichtbarer zu machen. In den Gesprächen zeigten sie sich sehr offen, reflektiert und motiviert. Ein paar Monate nach unserer Evaluation sehe ich dann bei Facebook – ich folge dort den Don Bosco Schwestern – dass sie diese Kooperation selbstständig vorantreiben. Das hat mich sehr gefreut!
Welche Empfehlungen sollten Ihrer Meinung nach ernst genommen werden?
Die Informationen aus den Berufsschulen waren sehr aktivitätenbasiert. Hier wäre es für eine strukturellere Wirkungsmessung gut, die beabsichtigen Ergebnisse und Veränderungen in den Fokus zu nehmen. Wichtig ist es auch, die Berufsschulen langfristig finanziell unabhängiger zu machen – etwa durch den Ausbau gemeinsamer Ressourcen, zusätzlicher Einnahmequellen und gezielter Kapazitätsentwicklung. Dafür kann Don Bosco noch enger mit der staatlichen Einrichtung TESDA (Technical Education and Skills Development Authority) zusammenarbeiten.
Was ist Ihr Wunsch für die Zukunft des Netzwerks?
Dass das Netzwerk die Empfehlungen als Impuls nimmt, um sich weiter zu professionalisieren und so noch mehr Jugendlichen den Weg aus der Armut zu eröffnen.
Vielen Dank für das Interview!
