Wie werden Evaluationsprojekte erfolgreich?
Lars Balzer
„Wie werden Evaluationsprojekte erfolgreich?“
Die Beantwortung dieser Frage steht im Mittelpunkt des vorliegenden Buches.
Dabei gibt es in der vergangenen und aktuellen Evaluationsdiskussion viele Ideen darüber, welche Aspekte dazu beitragen können und welche erfüllt sein müssen, damit ein Evaluationsprojekt erfolgreich ablaufen kann. Ist jemand mit der Notwendigkeit der Durchführung eines Evaluationsprojektes konfrontiert, so kann er dafür eine ganze Reihe von einschlägiger Evaluationsliteratur zu Rate ziehen.
Bei einer solchen Literatursuche stößt er unweigerlich auf eine große Anzahl von Evaluationsmodellen, -theorien und -ansätzen (vgl. im Überblick z. B. Shadish, Cook & Leviton, 1991; Stufflebeam, Madaus & Kellaghan, 2000; Stufflebeam, 2001; Alkin, 2004), die sich sehr stark in ihrem Abstraktionsgrad, in ihrem Praxisbezug und in ihren Anwendungsbereichen unterscheiden. Manche Ansätze sind sehr theoretisch, manche haben pragmatischen ’Kochbuchcharakter’ und wieder andere heben einzelne Aspekte eines Evaluationsprojektes und seines Verlaufes hervor. Nachdem zu Beginn – chronologisch betrachtet – die methodischen Voraussetzungen von Evaluation die theoretische Auseinandersetzung mit dem Thema bestimmt haben, rückten danach zunehmend praktische Aspekte, wie die Wertorientierung in einem Evaluationsprojekt, die Bewertung eines Evaluationsgegenstandes sowie die Nutzung der Evaluationsergebnisse, in den Mittelpunkt des Interesses. Bei dieser Vielfalt an Material besteht allerdings ein Problem für die alltägliche Evaluationsarbeit: „Während die Modelle in den theoretischen Schriften in ’reiner’ Form vorkommen, werden sie in der Evaluationspraxis vielfach kombiniert und gemischt“ (Beywl, Speer & Kehr, 2004, S. 76) und in ihrer Anwendung an die jeweiligen Rahmenbedingungen angepasst (Posavac & Carey, 2003, S. 24). Die aktuelle Diskussion um Evaluationsstandards und -richtlinien geht in diese theorieübergreifende Richtung. Dort werden aber eher Richtlinien formuliert und der Prozesscharakter von Evaluationen rückt in den Hintergrund.
Auch ein weiterer Diskussionsstrang erreicht die aktuelle Debatte erst sehr zögerlich: Ebenso entscheidend für ein erfolgreiches Evaluationsprojekt sind die in das Projekt involvierten Akteure. Darüber besteht weitestgehend Einigkeit. Einige Fragestellungen sind bisher jedoch kaum empirisch untersucht: Welche Bedürfnisse, Erwartungen und Interessen an ein erfolgreiches Evaluationsprojekt haben direkt am Evaluationsprojekt beteiligte Personen (die so genannten Beteiligten)? Welche Bedürfnisse, Erwartungen und Interessen haben weitere, von der Evaluation und ihrer Ergebnisse betroffene Personen (die so genannten Betroffenen)? Gibt es empirisch fassbare Unterschiede zwischen den beiden Gruppen? Wenn ja, wie sehen sie aus? Was bedeutet es, wenn in der Praxis recht einseitig z. B. Auftraggeber- oder Evaluatorenbedürfnisse beachtet werden?
Die unterschiedlichen Bedürfnisse, Erwartungen und Interessen verschiedener Beteiligten- und Betroffenengruppen empirisch näher zu beschreiben und zu quantifizieren, ist erst in neuster Zeit zum Gegenstand empirischer Forschung geworden (Balzer, 2004). Die konsequente Beachtung der Ergebnisse solcher empirischer Forschungsansätze dürfte aber sowohl von theoretischer als auch praktischer Relevanz sein und damit einen nicht unerheblichen Einfluss auf theoretische Evaluationsansätze sowie auf die Gestaltung von Evaluationsprojekten haben.
Was demjenigen fehlt, der vor der Planung und Durchführung eines erfolgreichen Evaluationsprojektes steht, der aus der Vielfalt vorhandener Evaluationstheorien, -modelle und -ansätze auswählen bzw. integrieren soll und der das zuvor Gesagte bezüglich der unterschiedlichen Ansichten, Bedürfnissen und Interessen verschiedener Beteiligten- und Betroffenengruppen beachten will, ist ein Evaluationsansatz, der die Erkenntnisse der verschiedenen, sich teilweise ergänzenden und teilweise widersprechenden theoretischen Ansätze integriert und diese mit den Bedürfnissen, Erwartungen und Interessen der in einem Evaluationsprojekt involvierten unterschiedlichen Personen und Personengruppen zusammenführt.
Dies zu leisten ist das Ziel der vorliegenden Arbeit.
Zu diesem Zweck werden in einem ersten Schritt theoretische Evaluationsansätze, -modelle und -theorien beschrieben und auf ihren Beitrag bezüglich der Fragestellung, wie Evaluationsprojekte erfolgreich ablaufen können, analysiert.
In einem zweiten Schritt werden die Sichtweisen, Interessenlagen und Bedürfnisse der in ein Evaluationsprojekt involvierten Personengruppen empirisch untersucht. Hierfür wird unter Berücksichtigung von nationalen und internationalen Expertenmeinungen mit Hilfe einer Online-Delphi-Studie ermittelt, wo die Disziplin ’Evaluation’ aktuell steht, wo unterschiedliche Bedürfnisse und Sichtweisen liegen und welche Kriterien für den Evaluationserfolg zu beachten sind (der Theorie der Delphi-Methode ist dabei ein ausführlicher Exkurs gewidmet).
Abschließend werden die theoretischen und empirischen Befunde in einem integrierenden Ansatz über den Evaluationsprozess zusammengefasst und ausgearbeitet. Dabei interessiert die Frage, welche Etappen innerhalb des Evaluationsprozesses existieren und wie diese zu einem erfolgreichen Evaluationsprojekt führen können. Damit soll der integrierende Ansatz besonders für die Planung und Durchführung, aber auch für die Bewertung eines Evaluationsprojektes hilfreich sein. Dies geschieht aber nicht in dem Sinn, dass Etappe an Etappe gereiht wird, von denen jede einzelne im Detail durchlaufen werden muss, um zum Ziel ’erfolgreiches Evaluationsprojekt’ zu kommen. Vielmehr wird ein großer Bogen gespannt über alle Etappen eines Evaluationsprozesses, die je nach Kontext und Situation mal eine größere, mal eine kleinere oder auch gar keine Bedeutung haben. Die einzelnen Etappen eines erfolgreichen Evaluationsprojektes werden detailliert dargestellt und theoretisch und empirisch begründet. Damit soll der Leser in die Lage versetzt werden, angepasst an seine Bedürfnisse begründete Entscheidungen über das eigene Evaluationsprojekt treffen zu können. Dieses Buch ersetzt also nicht die Denkarbeit eines Evaluationsverantwortlichen, aber es soll eine Fundgrube an Ideen und Richtlinien sein, aus der jeder, der sich auf den Evaluationsweg macht, schöpfen kann.
Damit folgt der vorzustellende integrierende Ansatz der Forderung von Alkin (2004, S. X): „We are of the view that it is best to have a defining structure: a basic model or theory that one adheres to but is potentially adaptable.”
