Die Bedeutung von Soft Skills für Evaluationsnutzungen: Eine komparative Analyse

Mary Sandermann Die Bedeutung von Soft Skills für Evaluationsnutzungen

Mary Sandermann

Die Bedeutung von Soft Skills für Evaluationsnutzungen Eine komparative Analyse

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

Diese Arbeit wurde 2010 unter dem Titel „Evaluation als sozialer und interpersoneller Prozess. Die Bedeutung der Interaktionsperspektive für Programmevaluationsnutzungen – Eine komparative Analyse“ als Dissertation an der Freien Universität Berlin eingereicht. Die Publikation wird gefördert durch: Ernst-Reuter-Gesellschaft e.V.

1. Auflage 2011 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011 Lektorat: Dorothee Koch | Sabine Schöller VS Verlag für Sozialwissenschaften ist eine Marke von Springer Fachmedien. Springer Fachmedien ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-531-17887-5

Danksagung

5

Danksagung

Die vorliegende Arbeit entstand zu Teilen während meiner Tätigkeit am Arbeitsbereich empirische Erziehungswissenschaft der FU Berlin unter Leitung von Prof. Dr. Hans Merkens und im Rahmen von Promotionsstipendien des DAAD und des Evangelischen Studienwerks. An erster Stelle danke ich ganz herzlich meinem Erstbetreuer Prof. Dr. Hans Merkens für die stete fachliche und motivierende Unterstützung. Prof. Dr. Harm Kuper danke ich für die Bereitschaft, sich als Zweitgutachter zur Verfügung zu stellen. Prof. Dr. Felicitas Thiel, Prof. Dr. Frédéric Varone und Dr. Nicole Bellin-Mularski danke ich für das Interesse an meiner Arbeit und die Teilnahme an der Promotionskommission. Ohne die informativen Gespräche mit Programmleiter(inne)n, Angestellten und Evaluator(inn)en der Mentoringprogramme, wäre diese Arbeit nicht möglich gewesen. Für Ihre Offenheit und Ihr Vertrauen möchte ich mich herzlich bedanken. Beim „Forum Mentoring: Bundesweite Dachorganisation der MentoringProgramme an Hochschulen“ und insbesondere bei Christine Kurmeyer bedanke ich mich für die kooperative Zusammenarbeit im Rahmen der Vorbereitung einer Kurzbefragung zur Schaffung eines Überblicks über die Datenbasis für diese Arbeit. Ein spezieller Dank geht an Prof. Dr. Frédéric Varone und das „Département de Science Politique“ der Universität Genf für die kollegiale Aufnahme, den interdisziplinären Austausch und die vielen fachlichen und methodischen Anregungen. Dem Fachbereich Erziehungswissenschaft und Psychologie der Freien Universität Berlin danke ich für die Bereitstellung von Geldern für die Interviewkandidat(inn)en. Johannes Gerschewski und Patrick Mello danke ich für die zahlreichen Hinweise zu Fuzzy-QCA-Fragen und insbesondere für den hilfreichen „FuzzyDiskussionsabend“, der der methodischen Vorgehensweise und den Ergebnissen dieser Arbeit gewidmet war. Weiterhin möchte ich den Mitarbeiterinnen am Arbeitsbereich für die zahlreichen wertvollen Gespräche danken, insbesondere Nicole Bellin-Mularski und Fanny Tamke. Darüber hinaus bedanke ich mich für das akribische Lesen und zahlreiche Korrekturhinweise bei Andrea Renner. Bei Christoph Creutzburg

6

Danksagung

bedanke ich mich für die Unterstützung bei der Lösung angefallener Softwareprobleme. Schließlich gilt mein besonderer Dank Philipp Sandermann, meiner Familie und meinen Freund(inn)en, die mir durch ihren Zuspruch immer wieder die nötige Unterstützung gegeben und maßgeblich zum Gelingen dieser Arbeit beigetragen haben.

7

Inhalt

Inhalt

Abbildungverzeichnis ...................................................................................... 11 Tabellenverzeichnis ......................................................................................... 13 Einleitung ......................................................................................................... 15 1

Zielsetzung und Fragestellung ............................................................. 19

2

Konzeptueller Rahmen zur Generierung des Untersuchungsmodells: Systematisierungsversuche im Evaluationsfeld ...................................................................................... 23

2.1 Der Evaluationsbegriff............................................................................ 23 2.1.1 Von der Problematik des (mindestens) sechsgeteilten Begriffsverständnisses ............................................................................ 23 2.1.2 Evaluation vs. Evaluationsforschung: Ein Systematisierungsversuch ohne Erfolg.............................................................................................. 25 2.2 Der Evaluationsnutzungsbegriff.............................................................. 26 2.2.1 Hinweise auf Evaluationsnutzungen in ausgewählten Evaluationsstandards............................................................................... 32 2.2.2 Evaluationsnutzungstypen ...................................................................... 35 2.2.3 Entwicklungsphasen der Interaktionsperspektive in der Nutzungsforschung 1971 – 2009 ............................................................ 39 2.2.4 Ableitungen für das Untersuchungsmodell: vier Dimensionen von Nutzungen in Programmevaluationen..................................................... 55 2.3

Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale: Hintergründe, Ansätze und Begrifflichkeiten ........... 60 2.3.1 Soziale Kompetenzen – ein multidisziplinäres Konstrukt....................... 61 2.3.2 Soziale Interaktionsgestaltung .............................................................. 104 2.3.3 Umfeld- und Prozessmerkmale ............................................................. 108

8

Inhalt

2.4

Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte im deutschsprachigen Evaluationsfeld.... 111 2.4.1 Curriculare Verankerung von sozialen und interpersonellen Kompetenzen in Aus- und Weiterbildungsgängen der Evaluation ....... 114 2.5

Anmerkungen zum Status Quo – ein Zwischenfazit zur Evaluationsnutzungsforschung und zu sozialen und interpersonellen Einflüssen.............................................................................................. 118

2.6

Untersuchungsmodell............................................................................ 120

3

Empirisches Vorgehen ........................................................................ 125

3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme ................. 125 3.1.1 Exkurs: Qualitätssicherung für Mentoringprogramme.......................... 129 3.2

Datengrundlage ..................................................................................... 131

3.3

Beschreibung der untersuchten Programmevaluationen ....................... 133

3.4 Erhebungsinstrumente........................................................................... 138 3.4.1 Interviews.............................................................................................. 138 3.4.2 BIP: Das Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung ................................................................. 139 3.5 Auswertungsmethoden.......................................................................... 143 3.5.1 Textdatenbanksystem und Testauswertung........................................... 143 3.5.2 Fuzzy-Set Qualitative Comparative Analysis (fsQCA), Two-Step-Ansatz und Kalibrierung der Daten...................................... 143 3.6

Operationalisierung der Komponenten des Untersuchungsmodells...... 147

3.7

Kritische Diskussion der Vorgehensweise ............................................ 153

4

Auswertung.......................................................................................... 159

4.1 4.1.1 4.1.2 4.1.3 4.1.4 4.1.5

Deskriptive Auswertung der Fallstudien............................................... 159 Zeitliche und Inhaltliche Dimensionen von Nutzungen........................ 160 Soziale Kompetenzen der Involvierten ................................................. 169 Endogene Merkmale sozialer Interaktionsgestaltung............................ 172 Umfeld- und Prozessmerkmale ............................................................. 176 Die deskriptive Auswertung im Überblick............................................ 181

4.2 Komparative Analyse der Daten mittels fsQCA ................................... 183 4.2.1 One-Step Analyse ................................................................................. 183

Inhalt

9

4.2.2 Two-Step-Analyse von proximalen und distalen Bedingungen für Evaluationsnutzungen ........................................................................... 191 5

Ergebnisse und Ausblick .................................................................... 205

5.1

Ergebnisse der empirischen Untersuchung ........................................... 205

5.2

Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis ................................................................ 209

Literaturverzeichnis ...................................................................................... 215 Anhang............................................................................................................ 235 A A.1 A.2 A.3

Erhebungsinstrumente........................................................................... 236 Begleitanschreiben zum Kurzfragebogen ............................................. 236 Kurzfragebogen..................................................................................... 237 Interviewleitfaden ................................................................................. 242

B

Rohdaten ............................................................................................... 244

C C.1

Kalibrierung der Daten für die Fuzzy-Set Analyse ............................... 246 Auswertungskategorien und Kalibrierungsschlüssel für direkte und indirekte Nutzungen....................................................................... 246 Soziale Kompetenzen............................................................................ 247 Auswertungskategorien und Kalibrierungsschlüssel für soziale Interaktionsgestaltung ........................................................................... 248 Auswertungskategorien und Kalibrierungsschlüssel für Umfeldund Prozessmerkmale ........................................................................... 249

C.2 C.3 C.4

Abbildungsverzeichnis

11

Abbildungverzeichnis

Abbildung 1: Sequentielle Informationskette (adaptiert nach Bauler 2007) ... 38 Abbildung 2: Weiss’ Prozess-Modell für Entscheidungsfällung nach Johnson 1998: 96 ...................................................................... 42 Abbildung 3: Pattons explizites Nutzungsmodell (Synthese der von Johnson 1998: 99 und Stamm 2003a: 148 entwickelten Modelle)........................................................ 44 Abbildung 4: Evaluationsnutzung (Cousins/Leithwood 1986: 348) ............... 48 Abbildung 5: Theoretisches Modell zur Nutzung von Evaluationen (Johnson 1998: 104).................................................................. 50 Abbildung 6: Metatheoretisches Modell von Stamm (2003: 153), Ovale= unabhängige Variablen, Rechtecke = abhängige Variablen...... 51 Abbildung 7: Mechanismen, durch die Evaluation Einfluss produziert (Henry/Mark 2003a: 298) ......................................................... 53 Abbildung 8: Vier Dimensionen von Evaluationsnutzungen .......................... 56 Abbildung 9: Dimensionen sozialer Kompetenz (Kanning 2002: 158) .......... 65 Abbildung 10: Kompetenzfelder der Aus- und Weiterbildung in der Evaluation (DeGEval 2008b: 26).............................................. 91 Abbildung 11: Untersuchungsmodell: Nutzungsbeeinflussende Bedingungen ........................................................................... 121 Abbildung 12: Die Dimensionen des BIP (Hossiep/Paschen 2003: 20).......... 141 Abbildung 13: xy-Plot direkte Nutzungen (USEDIR) und Umfeld- und Prozessmerkmale (UMALL), Konsistenz: 1.0, Abdeckung: .73 ....................................................................... 187 Abbildung 14: Prozentuale Anteile der Vergleichsgruppen in den Normstufen, 9-stufige Normierungsskala, Normstichprobe waren 6869 berufstätige Fach- und Führungskräfte (vgl. Hossiep/ Paschen 2003: 133).......................................... 247

Tabellenverzeichnis

13

Tabellenverzeichnis

Tabelle 1: Tabelle 2: Tabelle 3: Tabelle 4: Tabelle 5: Tabelle 6: Tabelle 7: Tabelle 8: Tabelle 9: Tabelle 10: Tabelle 11: Tabelle 12: Tabelle 13: Tabelle 14: Tabelle 15: Tabelle 16:

Berufliche Identität/ Grundeinstellungen/ Berufsverständnis und deren Einfluss auf die Nutzungen von Evaluationen............. 85 Soziale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen.......................................................................... 86 Kommunikative Fähigkeiten/ Kommunikationsaktivitäten und deren Einfluss auf die Nutzungen von Evaluationen.................... 88 Weitere Charakteristika und deren Einfluss auf die Nutzungen von Evaluationen.......................................................................... 89 Kompetenzen für Programmevaluator(inn)en und deren Entsprechung in den Joint Commitee Standards (vgl. Stevahn et al. 2005: 49ff) ........................................................................... 93 Kalibrierung des Outcomes direkte Nutzungen.......................... 144 Übersicht über das Outcome und die Bedingungen und deren Kalibrierung...................................................................... 152 Übersicht über Häufigkeiten der Nennungen für Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) ........ 160 Nennungen für direkte Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) .......................................... 164 Nennungen für indirekte Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen............................................ 166 Selbsteinschätzungen zu sozialen Kompetenzen, E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen), kablibrierte Werte....................................................................... 170 Einschätzungen zur Interaktionsgestaltung, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) ........ 173 Umfeld- und Prozessmerkmale im Überblick ............................ 176 Übersicht über die Bedingungen und die Outcomes (kalibriert) 182 Idealtypen bzw. logisch mögliche Kombination von Bedingungen............................................................................... 185 Analyse der notwendigen Bedingungen für direkte Nutzungen (USEDIR) und das nicht-Vorhandensein von indirekten Nutzungen (~useind) .................................................................. 186

14

Tabellenverzeichnis

Tabelle 17: Konsistenztest der distalen Bedingungen für direkte Nutzungen (cut-off: .71)............................................................. 193 Tabelle 18: Konsistenztest der proximalen Bedingungen für direkte Nutzungen (cut-off: .85)............................................................. 195 Tabelle 19: Hinreichende Pfade zu direkten Nutzungen unter Einbezug aller Fälle (cut-off: .85) .............................................................. 196 Tabelle 20: Hinreichende Pfade zu direkten Nutzungen unter Ausschluss der Hauptinteraktionspartner(innen) (cut-off: .99, Abdeckung .63, Konsistenz 1.0).................................................................... 199 Tabelle 21: Konsistenztest der distalen Bedingungen für das Nicht-Auftreten von indirekten Nutzungen (~useint) (cut-off: .88) ............................................................................... 201 Tabelle 22: Hinreichende Pfade zum nicht-Auftreten von indirekten Nutzungen (intermediäre Lösung, cut-off: 81.).......................... 202 Tabelle 23: Rohdaten gesamt ........................................................................ 244 Tabelle 24: Rohwerte sozialen Kompetenzen anhand des BIP (Hossiep, Paschen, 2003), E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen), 9-stufige Normierung ....... 245 Tabelle 25: Auswertungskategorien für wahrgenommene direkte und indirekte Nutzungen (inhaltliche Ebene).................................... 246 Tabelle 26: Kalibrierungsschlüssel für direkte Nutzungen (USEDIR).......... 247 Tabelle 27: Kalibrierungsschlüssel für indirekte Nutzungen (USEIND) ...... 247 Tabelle 28: Kalibrierungsschlüssel für die einzelnen sozialen Kompetenzen.............................................................................. 248 Tabelle 29: Auswertungskategorien für Interaktionsgestaltung .................... 248 Tabelle 30: Kalibrierungsschlüssel für soziale Interaktionsgestaltung (INACT) ..................................................................................... 249 Tabelle 31: Auswertungskategorien für Umfeld- und Prozessmerkmale ...... 249 Tabelle 32: Kalibrierungsschlüssel Umfeld- und Prozessmerkmale (UMALL) ................................................................................... 250

Einleitung

15

Einleitung

Evaluation scheint als selbstverständlicher Teil professioneller Programme zunehmend Raum zu gewinnen. Seit den neunziger Jahren lassen sich in diesem Zusammenhang strukturelle Ansätze einer Professionalisierung des Evaluationsfeldes in Deutschland beobachten, wobei die Rahmenbedingungen und Voraussetzungen einer weitergehenden Institutionalisierung und Professionalisierung als verbesserungswürdig eingeschätzt werden (Brandt 2009: 95). Von der Deutschen Gesellschaft für Evaluation (DeGEval) sind in diesem Zuge Standards für die Durchführung von Evaluationen (DeGEval 2008a) und Empfehlungen für die Aus- und Weiterbildung von Evaluator(inn)en (DeGEval 2008b) erarbeitet worden. Vieles deutet somit darauf hin, dass sich Evaluation als Maßnahme zur Kontrolle und Optimierung von Programmen im deutschsprachigen Raum weiter durchsetzen wird. Gleichwohl bleiben trotz der Etablierung von Evaluation zur Qualitätssicherung Widerstände gegen Evaluation wirksam, insbesondere ob des Sinns und der Konsequenzen von Evaluation. Einige Forscher(innen) gehen sogar soweit zu behaupten: „Usually, to experience a program evaluation is to experience a conflict.“ (Stevahn/King 2005: 415). Da sich in der Regel vielfältige Interessen mit dem Einsatz von Evaluationsverfahren in Programmzusammenhängen verknüpfen, ist diese Widerständigkeit und Konflikthaftigkeit verständlich. Umso interessanter erscheint angesichts der zunehmenden Professionalisierung des Feldes einerseits, und der bestehenden Widerstände andererseits, die Frage danach, was Evaluationen tatsächlich bewirken. Hieraus hat sich in den letzten Jahren ein spezieller Forschungszweig entwickelt, die sogenannte Evaluationsnutzungsforschung. Als dezidiertes Erkenntnisinteresse dieses Forschungszweigs steht die Frage im Raum, wann und warum Empfehlungen von Programmevaluationen durch die Programmverantwortlichen (nicht) umgesetzt werden. In der Erkenntnis, dass Nutzung von Evaluationen keine logische Folge von methodisch elaborierter Evaluation ist, stimmen die Ergebnisse der wenigen empirischen Untersuchungen (z.B. Weiss/Bucuvalas 1980; Stamm 2003a) überein. Die Gestaltung des Evaluationsprozesses, die Art und Weise der Interaktion zwischen Evaluator(inn)en und der Gruppe der Entscheidungsträger(innen) und die Persönlichkeit der Evaluator(inn)en werden dabei häufig als unkontrollierbare Faktoren (Alkin 1975: 205), die eine Evaluation und deren Nutzung maßgebM. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_1, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

16

Einleitung

lich beeinflussen können (vgl. z.B. Crandall 1989: 91ff; Morabito 2002: 322f), benannt. Es besteht jedoch ein Forschungsdefizit bezüglich der Frage, wie genau diese „soften Faktoren“ den Grad und die Art und Weise einer Evaluationsnutzung beeinflussen. Dieser Frage nimmt sich die vorliegende Arbeit an. Die Diskrepanz zwischen der gestiegenen Bedeutung von Evaluationen einerseits und den fehlenden Analysen, insbesondere im Hinblick auf interpersonelle Faktoren, die Evaluationsnutzungen beeinflussen können andererseits, ist Ausgangspunkt dieser Arbeit. Die Arbeit ist in einen theoretischen und einen empirischen Teil gegliedert. Der theoretische Teil (vgl. Kapitel 2) verfolgt das Ziel, den Bezugsrahmen der Arbeit bezüglich Evaluationsnutzungen und den hier im Zentrum stehenden Konstrukten soziale Kompetenzen der Beteiligten und Interaktionsgestaltung im Evaluationskontext herzustellen. Umfeld- und Prozessmerkmale von Evaluationen werden als kontrollierende Größe einbezogen. Ausgehend von der Definitionsproblematik in der Nutzungs- bzw. Verwendungsforschung werden Befunde und Theorien der Programmevaluation und Ergebnisse der Nutzungsforschung in einem metatheoretischen Nutzungsmodell integriert (vgl. Kapitel 2.2.4). Anschließend werden die Bedingungen, die in dieser Arbeit untersucht werden sollen, theoretisch präzisiert. Dabei wird geprüft, inwieweit verschiedene Modelle aus unterschiedlichen Disziplinen im Rahmen einer komplementären Betrachtung zu einer Spezifizierung der Beziehung zwischen sozialen Kompetenzen, Interaktionsgestaltung und Evaluationsnutzungen beitragen können. Das Verfahren des Theoretical Sampling (Glaser/Strauss 1967) bzw. Metamodeling (Johnson 1998: 94f) wird dabei mit einer deduktiven Auswahl, auf Basis der bereits vorhandenen einschlägigen Metaanalysen, kombiniert. Den Bezugsrahmen der Arbeit stellen demnach implizit und explizit existierende Modelle. Zusätzlich wird als praxisnaher Bezugsrahmen der aktuellste Diskussionsstand der Professionalisierungsdebatte zum Evaluationsfeld im deutschsprachigen Raum umrissen. Vor dem Hintergrund der zentralen Zielsetzung der vorliegenden Arbeit ist diese Debatte von Relevanz, da der Diskurs neben den Begrifflichkeiten Professionalität, Institutionalisierung und Zertifizierung auch mit Kernkompetenzen von Evaluator(inn)en befasst ist. Im Anschluss an die Literaturanalyse wird ein metatheoretisches Modell generiert, dem die Annahme zu Grunde liegt, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von Evaluationsnutzungen darstellen. Der empirische Teil der Arbeit (vgl. Kapitel 3, 4 und 5.1) beinhaltet einführend die Beschreibung der Datenbasis, die Erläuterung der eingesetzten Erhebungsinstrumente und des statistischen Verfahrens, die Operationalisierung der Komponenten des Untersuchungsmodells und eine kritische Diskussion der Vorgehensweise. Die Auswertung (vgl. Kapitel 4) erfolgt zweigliedrig. Zunächst

Einleitung

17

wird eine deskriptive Auswertung der Fallstudien vorgenommen, um anschließend eine komparative Analyse der Daten mittels fsQCA durchzuführen. Für die empirische Untersuchung war es erforderlich, eine Programmart auszuwählen, bei der ein hoher Übereinstimmungsgrad bezüglich der Rahmenbedingungen und der politischen Brisanz besteht, um eine Vergleichbarkeit zu ermöglichen und andere Variablen, die auch einen Einfluss auf Nutzung haben, weitestgehend kontrollieren zu können. Hierfür schienen Förderungs- bzw. Mentoringprogramme besonders geeignet zu sein. Auf der Basis der theoretischen Erkenntnisse und der empirischen Befunde werden abschließend einige zukunftsweisende Aspekte für die Evaluationsnutzungsforschung und die Evaluationspraxis adressiert (vgl. Kapitel 5.2). Der Abschluss der Arbeit ist demnach eine Synthese der in den vorangegangenen Kapiteln erworbenen Erkenntnisse.

1 Zielsetzung und Fragestellung

19

1 Zielsetzung und Fragestellung

Zentrale Zielsetzung der vorliegenden Arbeit ist es, herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben und wie diese ggf. präzisiert und erklärt werden kann. Umfeld- und Prozessmerkmale werden als kontrollierende Größe einbezogen. Die Forschungsfrage dieser Arbeit lautet damit: Welche Bedeutung haben die Interaktionsgestaltung während einer Evaluation und die sozialen Kompetenzen der Hauptinteraktionspartner(innen) für die Evaluationsnutzungen bei Mentoring-Programmevaluationen? Die vorliegende Untersuchung setzt sich also explizit nicht mit der in der Diskussion angelegten, ebenfalls spannenden Frage nach institutionellen Bedingungen (siehe dazu z.B. Balthasar 2007) und organisationsbezogenen Merkmalen auseinander. Vielmehr stehen ausdrücklich individuelle und interpersonelle Merkmale von Hauptinteraktionspartner(innen) und deren Bedeutung für Evaluationsnutzungen im Zentrum des Interesses.Durch mindestens zwei Argumente lässt sich diese Ausrichtung des Erkenntnisinteresses begründen: Erstens besteht in der Nutzungsforschung ein spezifisches Forschungsdefizit im Hinblick auf die Konstrukte soziale Kompetenzen und Interaktionsgestaltung bzw. interpersonale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen. Es herrscht eine große Diskrepanz zwischen den vielfältigen theoretischen Konzepten über Faktoren, welche einen Einfluss auf Evaluationsnutzungen haben und den wenigen systematischen Studien zu Nutzungen von Evaluationsbefunden, d.h. die Theorie der Evaluationsnutzung übersteigt bei weitem die Empirie (Dickey 1980: 65; Stamm 2003a: 26). Obwohl sich die Evaluationsnutzungsforschung mit Nutzungs- und Aneignungsprozessen auseinandersetzt, stellen soziale und interpersonale Kompetenzen kein explizites Konstrukt dar und dementsprechend gibt es kaum einen differenzierten Blick auf den möglichen Einfluss dieser Faktoren auf die Nutzungen von Evaluationen. Entsprechendes gilt für die Kompetenzen, über die Evaluator(inn)en in diesen Bereichen verfügen sollten. Die Begriffe soziale und interpersonale Kompetenzen werden im Feld der Evaluation hauptsächlich mit zwei Aspekten verknüpft: Zum einen gelten sie als Kompetenzbereiche in der Arbeit von Evaluator(inn)en und zum zweiten werden sie, insbesondere im Rahmen von lernorientierten, interakM. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_2, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

20

1 Zielsetzung und Fragestellung

tionistischen Evaluationstheorien (vgl. z.B. Patton 1997) als Einflussgröße auf die Nutzungen von Evaluationen diskutiert. Beides erfolgt zumeist, ohne dass eine inhaltliche Klärung der Begrifflichkeiten hinreichend erfolgt. Der Bedarf an weiterführenden Ergebnissen zeigt sich daher auch und insbesondere vor der aktuellen Professionalisierungsdebatte im Feld (vgl. Kapitel 2.4) und hier speziell in Bezug auf Kernkompetenzen von professionellen Evaluator(inn)en in Aus- und Weiterbildung. Zum zweiten fehlt bislang ein integratives Nutzungskonzept, das die verschiedenen Dimensionen als komplementäre Teile eines differenzierten Nutzungsbegriffs versteht (Stamm 2003a: 101). Ebenso gibt es kaum innovative Neukonzeptualisierungen von Evaluationsnutzung und Ansätze, die Nutzung unabhängig von den in den 70er und 80er Jahren angestellten theoretischen Überlegungen zu Evaluationsnutzung adressieren (vgl. Kirkhart 2000). Historisch betrachtet, gab es eine Entwicklung von einem einfachen Nutzungsaspekt hin zu einer komplexeren Betrachtungsweise und der Unterscheidung von vier Nutzungstypen. Diese Unterscheidung wird zunehmend kritisch hinterfragt (z.B. Kirkhart 2000; Henry/Mark 2003a). Die Überlegungen zur Rezeption der Theorien in der Evaluationsnutzungsforschung mit Berücksichtigung der Interaktionskomponente (z.B. Cousins/Leithwood 1986, 1993) zeigen, dass bislang kaum eine Integration verschiedener Modelle stattgefunden hat. In vorliegender Arbeit wird ein multi-dimensionales Nutzungsmodell generiert und erprobt (vgl. Abb. 8), ohne dass eine explizite Zuordnung zu den vier Nutzungstypen vorgenommen wird. Im Fokus stehen dabei von den Hauptinteraktionspartner(inne)n konstruierte Informationen. Es wird davon ausgegangen, dass Programmevaluationen sich zu jeder Zeit in einem multi-dimensionalen Entscheidungs- und somit auch Nutzungsraum mit hoher Komplexität befinden (vgl. Abb.11). Zur Beantwortung der Forschungsfrage dieser Arbeit wird zum einen ein historisch-theoretischer Nachweis der gewachsenen Bedeutung der Interaktionsperspektive für Nutzungsprozesse erbracht (vgl. Kapitel 2.2.3) und der bestehende Mangel des Verständnisses der Einflussfaktoren bezüglich der so genannten „soften“ Faktoren zum Ausgangspunkt genommen (vgl. Kapitel 2.3.1). Die Kriterienraster für die einzelnen zu untersuchenden Bedingungen (Interaktionsgestaltung, soziale Kompetenzen und Umfeld- und Prozessmerkmale) und ihren eventuellen Einfluss auf Nutzungen von Evaluation werden durch eine Analyse der bereits vorhandenen einschlägigen Analysen und Metaanalysen auf dem Gebiet mit dem Verfahren des Theoretical Sampling (Glaser/Strauss 1967) generiert und an Stellen explorativ durch das empirische Material präzisiert. Ausgangspunkt für das empirische Vorgehen bildet ein metatheoretisches Modell, dem die Annahme zugrunde liegt, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von

1 Zielsetzung und Fragestellung

21

Evaluationsnutzungen darstellen (vgl. Abb. 11). Das empirische Material (Interview- und Fragebogendaten) wird mit Hilfe der Fuzzy-Set Qualitative Comparative Analysis (fsQCA) ausgewertet. Die Ergebnisse werden abschließend präsentiert (vgl. Kapitel 4) und unter Einbezug der theoretischen Vorarbeiten diskutiert (vgl. Kapitel 5).

2.1 Der Evaluationsbegriff

23

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells: Systematisierungsversuche im Evaluationsfeld 2

Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Zur Entwicklung des geplanten empirischen Zugriffs auf das Untersuchungsfeld bedarf es zunächst einer definitorischen Klärung zentraler, zu nutzender Termini. Im Folgenden werden nacheinander der Evaluationsbegriff, der Evaluationsnutzungsbegriff, der Begriff soziale Kompetenzen, evaluationsrelevante Interaktionsgestaltungsaspekte und Umfeld- und Prozessmerkmale geklärt und zum Ende des Kapitels in ein Untersuchungsmodell überführt. 2.1 Der Evaluationsbegriff 2.1.1 Von der Problematik des (mindestens) sechsgeteilten Begriffsverständnisses Evaluation ist ein „vieldeutiges Wort“ (Weiss 1974: 19), dessen Bedeutungsvielfalt kontinuierlich zugenommen hat (Stockmann 2007: 25). Der Evaluationsbegriff entzieht sich quasi einer Definition (vgl. z.B. King 2003: 57ff; Wottawa/Thierau 2003: 13). Die Gesamtheit aller möglichen Arten von Evaluation lässt sich kaum durch eine einzige Definition umreißen (vgl. z.B. Glass/Ellett 1980; Patton 1988; Westermann 2002). Hinzu kommt, dass für die vielfältigen Praxisfelder von Evaluation spezifische Definitionen formuliert wurden. So etwa in den Feldern (vgl. auch Stamm 2003a): ƒ ƒ ƒ ƒ

Politikforschung (Bussmann et al. 1997; Hellstern/Wollmann 1984) Psychotherapie (Grawe et al. 1993; Petermann 1977) Soziale Arbeit (Heiner 1996) Bildungsforschung (Fend 1982, 1990)

Im Begriff Evaluation treffen entsprechend verschiedene Disziplinen mit vielfältigen Anwendungsgesichtspunkten zusammen. Die Vielfalt der Evaluationspraxis und ihrer Theorie hat dazu geführt, dass sich unterschiedliche Ansprüche an M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_3, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

24

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Evaluationsansätze mit spezifischen Leistungsprofilen herausgebildet haben. Ob dieser Vielfalt der Evaluation kann eine Definition nicht simpel sein. Zudem existieren eine Reihe von mehr oder weniger synonymen Begriffen, so z.B.: Erfolgskontrolle, Effizienzforschung, Begleitforschung, Bewertungsforschung, Wirkungskontrolle, Qualitätskontrolle, Qualitätsprüfung, Qualitätssicherung und Qualitätsentwicklung (vgl. Stamm 2003a). Sowohl der Begriff Evaluation als auch Evaluationsnutzung wurden mehrfach zum Definiendum erhoben. Es kann davon ausgegangen werden, dass trotz verschiedenster Definitionsketten ein gemeinsamer Vorstellungsinhalt ungefähr ausgeprägt ist: „Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“ (Mertens 1998: 219). Evaluation ist demnach zunächst einmal ein Pluralitätsbekenntnis, um den Begriff dennoch zu explizieren, finden sich in der Literatur üblicherweise Vorschläge zur Definition des Begriffs oder eine Auswahl von Definitionen. Bradley Cousins und Kenneth Leithwood (1986) versuchten eine systematische Eingrenzung des Evaluationsbegriffs zu erreichen, indem sie verallgemeinerten, dass man immer dann von Evaluation oder einer Evaluationsstudie spricht, wenn sozialwissenschaftliche Methoden benutzt werden, um Fragen von Entscheidungsträgern zu beantworten (Cousins/Leithwood 1986: 332). In Anlehnung an die Unterscheidung von sechs Definitionstypen (Gephart 1981: 250ff)1 wurden von Michael Patton (1988: 302ff) sechs unterschiedliche Schwerpunkte bei der Definition von Evaluation vorgestellt, die sich darauf beziehen, welche Aspekte die unterschiedlichen Evaluator(inn)en in ihren Arbeiten betonen: (1) Zielerreichende Definitionen: Evaluation ist der Ermittlungsprozess darüber, in welchem Ausmaß die Ziele eines Programms erreicht werden. Vertreter dieser Definition ist Ralph Tyler (1949). (2) Methodenbasierte Definitionen: Evaluation beinhaltet primär die Anwendung quantitativer sozialwissenschaftlicher Methoden und experimentelle Untersuchungsdesigns. Vertreter dieser Definition sind z.B. Rossi et al. (1979). (3) Vergleichende Definitionen: Evaluation ist der Vergleich zwischen zwei oder mehreren Programmen in Bezug auf die Kosten und Leistungen. Vertreter dieser Definition sind Marvin C. Alkin und Fred Ellett (1984) und Alkin (1990). (4) Wertorientierte Definitionen: Ein anderer Schwerpunkt wird von Evaluator(inn)en gelegt, die die Bewertung als Bestandteil von Evaluation hervorheben. Aus dieser Perspektive ist Evaluation der Prozess der Beurteilung des Werts 1

Gephart (1981) unterschied folgende sechs Definitionstypen: Klassifikatorische Definition, Komparative Definition, Operationale Definition, Komponentenbasierte Definition, Veranschaulichende Definition und Antonymbasierte Definition.

2.1 Der Evaluationsbegriff

25

eines Programms. Vertreter sind Egon G. Guba und Yvonna Lincoln (1981, 1989), Blaine R. Worthen und James R. Sanders (1973), Richard Daillak (1982) und Michael Scriven (1991, 1996). (5) Entscheidungsorientierte Definitionen: Der Schwerpunkt dieser Definition liegt - über die wertorientierte Definition hinaus - in der Entscheidungsfällung und Problemlösung. Es soll nicht nur entschieden werden, dass z.B. ein Programm A besser ist als ein Programm B, sondern es soll auch eine Entscheidung in Bezug auf Programm A bzw. B getroffen werden. Vertreterin dieser Definition ist z.B. Carol H. Weiss (1998). (6) Informationsorientierte Definitionen: Diese Definition nimmt die Nutzer(innen) von Evaluationen in den Fokus und dient als Basis für die nutzungsorientierte Evaluation. Vertreter dieser Definition ist Patton (1981, 1988). Forscher(innen), die neue Aspekte von Evaluationen finden, entwerfen häufig Definitionen, die eben diesen einen Aspekt unterstreichen, ohne deren Adäquanz zu prüfen (Glass/Ellett 1980). 2.1.2 Evaluation vs. Evaluationsforschung: Ein Systematisierungsversuch ohne Erfolg Systematisierungsversuche in der Begriffsdiskussion wurden zudem unternommen, indem eine Unterscheidung von Evaluation und Evaluationsforschung vorgenommen wurde; diese haben sich jedoch weder in den USA noch im deutschsprachigen Raum durchgesetzt (Wottawa/Thierau 2003). Dies ist nicht verwunderlich, da die Unterscheidung lediglich die methodischen Aspekte in den Fokus setzt. In diesem Kontext wird Evaluation als Beurteilungsprozess, der nicht notwendigerweise systematische Verfahren oder datengestützte Beweise zur Untermauerung einer Beurteilung erfordert, beschrieben (Wottawa/Thierau 2003). Evaluationsforschung dagegen ist ein Teilbereich der empirischen Forschung (Bortz/Döring 2006: 98ff) und erfordert explizit die Verwendung wissenschaftlicher Forschungsmethoden und –techniken für den Zweck der Durchführung einer Bewertung (Wottawa/Thierau 2003). Jürgen Bortz und Nicola Döring (2006) beschreiben, dass alle forschenden Aktivitäten, bei denen es um Auswirkungen von Wandel in Natur, Kultur, Technik und Gesellschaft und um die Bewertung des Erfolges von gezielt eingesetzten Maßnahmen geht, Evaluationsforschung sind. Genau diese Aktivitäten werden jedoch in anderen Kontexten, die zumeist keine Unterscheidung zwischen Evaluation und Evaluationsforschung vornehmen, als Evaluation bezeichnet (vgl. Westermann 2002; Keiner 2001).

26

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Als Vertreter der Pole dieser Diskussion werden häufig Lee Cronbach auf der Seite der Evaluation und Donald Campbell auf der Seite der Evaluationsforschung genannt (vgl. z.B. Bortz/Döring 2006: 102; Müller 1987: 205; Westermann 2002: 19). Das Beispiel Cronbachs spiegelt jedoch die unzureichende Unterscheidung zwischen Evaluation und Evaluationsforschung im Sinne einer Systematisierung der Begrifflichkeit wider. Während Cronbachs Äußerungen, dass Evaluation eine Kunst ist und es keinen einzigen „besten Plan“ für eine Evaluation gibt (Cronbach 1982: 321) auf der einen Seite dazu führte, dass er als Vertreter einer nicht-wissenschaftlichen, an den Bedürfnissen des Auftraggebers orientierten Evaluation angesehen wurde (Westermann 2002: 19), bezeichnen andere Autor(inn)en ihn, aufgrund seiner außerordentlichen Leistungen für die Weiter- und Neuentwicklungen von Methodologien im Evaluationsfeld, als „methodologischen Giganten“ (Alkin/Christie 2004: 30) der Evaluationsforschung. Interessant scheint hier, dass in der Argumentation wissenschaftliche Evaluation als nicht vereinbar mit einer an den Bedürfnissen der Auftraggeber(innen) orientierten Evaluation angesehen wird. Richtig ist, dass Cronbach nicht an strikten experimentellen Kontrollen festhält, die z.B. Campbell verfocht (ebd.: 31). Er plädierte dafür, dass bei Evaluationsdesignentscheidungen nicht ausschließlich statistische Analysen maßgeblich sind, sondern dass diese einhergehen müssen mit verschiedensten anderen Aspekten (dazu Cronbach 1982)2. Die Begriffe Evaluation, Evaluierung und Evaluationsforschung werden im Folgenden synonym verwendet (zur definitorischen Unterscheidung vgl. Wottawa/Thierau 2003: 13f). 2.2 Der Evaluationsnutzungsbegriff Evaluationsnutzung ist das interessierende Outcome bzw. die Zielvariable der empirischen Untersuchung dieser Arbeit. In folgendem Kapitel werden verschiedene Schwierigkeiten benannt, die sich bei der Diskussion des Evaluationsnutzungsbegriffs ergeben, weiterhin werden die bislang gängigen Arten und Formen von Evaluationsnutzung vorgestellt (vgl. Kapitel 2.2.2) und einige Entwicklungen in der Nutzungsforschung von 1971 – 2009 beleuchtet, um die zunehmende Bedeutung der Interaktionsperspektive in diesem Forschungsfeld herauszuarbeiten (vgl. Kapitel 2.2.3). Abschließend werden Befunde und Theorien der Programmevaluation und Ergebnisse der angewandten Nutzungsforschung in einem metatheoretischen Nutzungsmodell integriert (vgl. Kapitel 2.2.4). 2

Für eine systematische Unterscheidung zwischen Evaluationsforschung und Grundlagenforschung vgl. Evert Vedung 2004: 111-133.

2.2 Der Evaluationsnutzungsbegriff

27

Um Evaluationsnutzungen empirisch zu untersuchen, ist es relevant, sich mit dem Begriff und seinen Inhalten auseinanderzusetzen. In der Fachdiskussion herrscht ein Konsens darüber, dass Evaluation nur dann erfolgreich ist, wenn die Ergebnisse in der Praxis genutzt werden (z.B. Balzer 2005: 84; Clarke/Dawson 1999: 173). Peter H. Rossi und Howard E. Freeman formulieren: „In the end, the worth of evaluations must be judged by their utility“ (Rossi/Freeman 1993: 443) oder auch „ […] your evaluation won’t be worth much if it’s results are not used“ (Hannum/Martineau 2008: 34). Allerdings ist ein Zugang nicht unproblematisch möglich, im Folgenden sollen, bevor auf die bestehende Diskussion des Evaluationsnutzungsbegriffs eingegangen wird, drei Hauptschwierigkeiten dargestellt werden: Zum Ersten muss festgehalten werden, dass im Gesamtergebnis keine einheitliche Definition von Evaluationsnutzung existieren kann. Dies impliziert aber auch, dass mehrere Definitionen von Evaluationsnutzung möglich sind und dass diese je nach Evaluationskontext verhandelt und diskutiert werden müssen. Der Evaluationsbegriff ist, wie im Kapitel 2.1 gezeigt, nicht klar definiert. Evaluationsnutzung schließt an diesen Begriff an. Das hat zur Folge, dass jede Definition von Nutzung auch auf eine Definition von Evaluation rekurieren muss (Stamm 2003a: 38). Als zweite hochproblematische und in diesem Kontext relevante Diskussion gilt die Entscheidung, ob die Nutzung sich tatsächlich auf die Evaluation(sergebnisse) oder auf andere Faktoren bezieht. Diese Situation spitzt sich noch zu, wenn längerfristige Einflüsse der Evaluation berücksichtigt werden sollen. Kausalitäten zwischen Evaluationsgeschehen und Nutzungen sind schwer herzustellen. Monokausalitäten, bei denen sich Nutzungen auf die Evaluation als verursachenden Auslöser zurückführen lassen, sind noch unwahrscheinlicher, vielmehr muss von Multikausalitäten ausgegangen werden, wobei die Auslöser zusammen oder nebeneinander wirken und schwer voneinander abgrenzbar sind. Eine klare Verbindung zwischen den von Evaluator(inn)en rückgemeldeten Informationen und den tatsächlichen durch Programme getroffenen Entscheidungen herzustellen, stellt ein schwer zu lösendes Problem dar und macht die Erbringung von Belegen für Evaluationsnutzung schwierig. Bestehende empirische Studien zur Nutzungsforschung von Evaluationen verwenden zudem unterschiedliche Maßeinheiten für die „Messung“ der Nutzung von Evaluation. Es gibt Studien, die einzelne Prädiktorvariablen in Bezug auf Evaluationsnutzung untersucht haben, so z.B. die Art der Evaluationsberichte3 (Sprache, Stil, Angaben) (vgl. Brown et al. 1978). Andere Studien fokussieren auf Programmverän3

Die Ergebnisse zeigten keine signifikanten Unterschiede in Bezug auf Nutzung der Evaluationsergebnisse.

28

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

derungen als Maßeinheit für Evaluationsnutzung, z.B. Untersuchungen zu sozialen und politischen Kontextfaktoren4 (vgl. Balthasar 2007). Als dritten problematischen Aspekt, auf den in dieser Arbeit noch genauer eingegangen wird, muss die Multidimensionalität des Phänomens Evaluationsnutzung (Shulha/Cousins 1997; Stamm 2003a) genannt werden. Man geht davon aus, dass die Beschreibung von Evaluationsnutzung am ehesten durch die Interaktion verschiedener Dimensionen (vgl. Kapitel 2.2.4) möglich ist. Ein integratives Nutzungskonzept, das die verschiedenen Dimensionen als komplementäre Teile eines differenzierten Nutzungsbegriffs versteht, fehlt, wie eingangs bereits genannt, bislang (Stamm 2003a: 101). Ebenso gibt es kaum innovative Neukonzeptualisierungen von Evaluationsnutzung oder Ansätze, die Nutzung unabhängig von den in den 70er und 80er Jahren angestellten theoretischen Überlegungen zu Evaluationsnutzung betrachten (vgl. Kirkhart 2000). Vor dem Hintergrund der dargestellten Probleme lässt sich Folgendes in Bezug zum Evaluationsnutzungsbegriff festhalten: Im englischsprachigen Raum werden im Evaluationsnutzungszusammenhang unterschiedliche Begriffe wie Utility (Nützlichkeit), Utilization (Nutzbarmachung), Use (Nutzung, Verwendung, Gebrauch) und Influence (Einfluss) unterschieden, wobei die Begrifflichkeiten teilweise synonym verwendet werden. Insbesondere die Unterscheidung von Nutzung und Einfluss spielt in der neueren Diskussion (vgl. Kapitel 2.2) immer wieder eine Rolle (z.B. Cousins/Shulha 2006; Kirkhart 2000; Henry/Mark 2003a). Der Begriff des Einflusses soll dabei auch die nicht intendierten und prozessbezogenen Effekte von Evaluationen als eine Form von Entwicklung und Nutzung berücksichtigen: „The term influence (the capacity or power of persons or things to produce effects on others by intangible or indirect means) is broader than use, creating a framework with which to examine the effects that are multidirectional, incremental, unintentional, and instrumental” (Kirkhart 2000:7).

Gary Henry und Melvin Mark (2003a) schlagen ebenfalls vor, weg von einer Theorie der Nutzung, hin zu einer Theorie des Einflusses zu wechseln. Sie begründen ihre Forderung damit, dass der Begriff Nutzung zu unpräzise sei und zu fokussiert auf die Abschlussphase einer Evaluation verwendet werde. Der Mehrwert einer Theorie des Einflusses liegt Karen Kirkharts Ansicht nach darin, dass drei Aspekte von Evaluationseinfluss identifiziert und somit auch untersucht werden können: Intentionen, Herkunft des Einflusses und der Zeitfaktor (Kirkhart 2000: 6). In Bezug auf die von Kirkhart (2000), Henry und Mark (2003) 4

Soziale und politische Kontextfaktoren haben auf komplexe und interaktive Weise einen Einfluss auf Nutzungs- und Entscheidungsfällungsprozesse (vgl. Alkin et al. 1985).

2.2 Der Evaluationsnutzungsbegriff

29

vertretene Sichtweise könnte man auch argumentieren, dass Einfluss im Sinne von Einfluss ausüben (aktiv und bewusst) und Einfluss haben (passiv), von der Richtung her unterstreicht, dass die Evaluation „etwas mit dem Evaluationsgegenstand macht“. Nutzung hingegen bezeichnet den Gebrauch einer Evaluation durch z.B. die Beteiligten eines Programms, d.h. es geht eher darum, was der jeweilige Evaluationsgegenstand sich aktiv nimmt. Auch die Unterscheidung in erwünschte oder unerwünschte Auswirkungen spricht nicht unbedingt für die Verwendung des Einflussbegriffs. Nutzungen implizieren häufig, dass etwas nützlich und von daher eher erwünscht ist; jedoch können auch unerwünschte Effekte eine Form von Nutzungen darstellen. Die Überprüfung, wie sinnvoll das Hinzufügen zusätzlicher Terminologie in diesem Fall ist und welche Relevanz sich daraus für die Praxis ergibt, steht noch aus. Zudem könnten auch noch andere Begriffe, wie z.B. Umkonstruktionen (vor dem Hintergrund der Ergebnisse von Stamm (2003a)) diskutiert werden. Im deutschsprachigen Raum wird bislang hauptsächlich von Nutzung oder Verwendung gesprochen. Zumeist handelt es sich bei der Evaluationsnutzungsdefinition um konzeptuelle „Weg-zum-ZielBeschreibungen“ im Sinne von: ‚Was muss getan werden, damit eventuell Nutzung stattfindet?’. Es liegen demnach normative Umschreibungen vor, wie z.B. diejenige, in der von Evaluationsnutzung als Verwendung von Evaluationsergebnissen oder Evaluationsprozessen zur Erreichung gesetzter Ziele (Alkin et al. 1985) ausgegangen wird. Die Erkenntnisse über Evaluationsnutzung stammen größtenteils aus der Anwender(innen)praxis und weniger aus der Empirie. Offene Fragen sind beispielsweise, wo Nutzung beginnt und aufhört, wer das entscheidet und wie Nutzung sich gestaltet, ob z.B. bereits das Lesen des Evaluationsberichts5 Nutzung ist oder ob Nutzung bei der Diskussion der Evaluationsergebnisse6 beginnt? Bedeutet Nutzung einen direkten (nachweisbaren) Einfluss der Evaluationsresultate auf einen oder mehrere Entscheidungen oder den schrittweisen, graduellen Einfluss der Evaluation auf programmrelevante Entscheidungen? Schon Alkin et al. (1979) unterschieden entsprechend zwei Formen der Definition von Nutzung, zum einen eine in den 70er Jahren von der Mehrheit der Forscher(innen) vertretene Definition von Nutzung, die nur direkte Einflüsse der Evaluationsergebnisse auf eine gewisse Anzahl von Entscheidungen im Programmkontext berücksichtigt und zum anderen eine heute weitverbreitete Definition, die Ende der 70er Jahre noch als alternative Definition bezeichnet wurde: 5 6

Geschriebene Evaluationsberichte sind die einzigen aber oft nicht die wichtigsten Informationen, die durch Evaluationsteams präsentiert werden (Alkin et al. 1979: 226). Ein wunder Punkt der Evaluationsliteratur ist die Unklarheit über die verschiedenen Ergebnisarten von Evaluation wie z.B: Beschreibungen, Schlussfolgerungen, Bewertungen und Empfehlungen (vgl. dazu Davidson et al. 2005).

30

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

„…the alternative perspective on utilization emphasizes the interactions of people in the evaluation process rather than looking simply at single factors or even at configurations of (fundamentally static) factors.” (Alkin et al. 1979: 26).

Letztere Definition nimmt die indirektere bzw. unintendiertere Nutzung der Ergebnisse in den Fokus. Genutzt werden kann Evaluation neben der Fällung von Entscheidungen auch zur Bekräftigung von vorangegangenen Entscheidungen oder zur Veränderung von Einstellungen (ebd.: 230). In diesem Zusammenhang beschreibt Weiss, dass Entscheidungsfällung in Programmen in den seltensten Fällen Angelegenheit einer Person allein ist; Entscheidungen sind das Resultat von vielfachen Handlungen von verschiedenen Akteuren oder in den Worten von Weiss formuliert: „multiple actions by multiple actors“ (Weiss 1988a: 6). Patton gilt als einer der Hauptvertreter der Nutzungsorientierten Evaluation. Er definiert Nutzung als: „intended use by intended users“ (Patton 1988: 14). Er betont mit dieser Formulierung, dass in jeder Evaluation mehrere Stakeholder mit unterschiedlichen Nutzungsinteressen berücksichtigt werden möchten und dass ein Fokus weg von potenziellen, möglichen und abstrakten Nutzer(inne)n der Evaluationsergebnisse hin zu spezifischen, primären und konkreten Nutzer(inne)n gesetzt werden muss, damit Evaluationsergebnisse genutzt werden (Patton 1997: 20). Pattons Monografie: „Utilization Focused Evaluation“ enthielt in der Erstausgabe (1978) keine Definitionsvorschläge von Nutzung. Die zweite und dritte Auflage (Patton 1986, 1997) korrigierten dies nur partiell. Sein Vorschlag, einen oder mehrere Nutzer(innen) zu identifizieren und mit diesen zusammenzuarbeiten stellt mehr eine Idee für die optimale Unterstützung von der Annahme und Umsetzung von Evaluationsergebnissen dar und ist weniger eine Definition des Begriffs Evaluationsnutzung. Laut Thomas Cook und William Pollard (1977) kann dann von Evaluationsnutzung gesprochen werden, wenn eine ernsthafte Diskussion über die Evaluationsergebnisse eines Programms erfolgt; diese Sichtweise unterstreicht z.B., dass allein das Lesen des Evaluationsberichts noch keine Nutzung darstellt. Weiterhin spricht man von Evaluationsnutzung, wenn Belege vorliegen, dass ohne die Evaluationsergebnisse Entscheidungsträger auf der Programmseite anders gedacht oder gehandelt hätten (Leviton/Hughes 1981). Die Schwierigkeit der Erbringung von Belegen wurde bereits weiter oben diskutiert. Wie die Rezeption des Diskussionsstandes zeigt, gibt es verschiedenste Probleme bei der Definition des Nutzungsbegriffs. Für einen empirischen Zugang ist es jedoch notwendig, den Begriff zu operationalisieren und Nutzung „messbar“ zu machen. In Programmevaluationen ist es dessen ungeachtet in aller Regel nicht die standardisierte Definition, die notwendig für eine gewinnbringende Evaluation ist, sondern die wirklich notwendige Frage vor der Evaluation

2.2 Der Evaluationsnutzungsbegriff

31

sollte sein, was diese spezielle Evaluation leisten kann und an welchen Stellen man diese wie nutzen kann. Die multidimensionalen Einflüsse zwischen Informationen, Aktionen, Prozessen, Verhalten, Einstellungen, Entscheidungen und konkreten Handlungen sind schwierig zu trennen und aufzuzeigen. Dennoch kann man aus unterschiedlichen analytischen Perspektiven valide Aspekte, die zum Verständnis beitragen, gewinnen. Überlegt man sich, dass eine Reihe von unterschiedlichsten Informationen die Entscheidungsträger(innen) und Nutzer(innen) von Evaluationen erreichen: Evaluationsergebnisse, Forschungsergebnisse, andere Rückmeldungen, persönliche Erfahrungen, Intuition und so fort, wird klar, dass im Fokus konstruierte Informationen stehen. Programmevaluation bewegt sich zu jeder Zeit in einem multidimensionalen Entscheidungs- und somit auch Nutzungsraum mit hoher Komplexität. Konsequent weiter gedacht hat insbesondere der Begriff ’instrumentelle Nutzung’ für Programmevaluationen ein eher limitiertes Potenzial als Nutzungsbezeichnung, da die direkte instrumentelle Nutzung von Evaluationsresultaten für Entscheidungsfällungsprozesse eher eine Ausnahme zu sein scheint. Die Enlightment-Dimension mit aufklärerischem Charakter (Weiss 1986b) spielt in der Evaluationsnutzungsforschung bislang nur als möglicher Nebeneffekt eine Rolle und wird weniger, wie z.B. in der Umweltforschung (Gudmundsson 2003: 6), als intendierte bzw. sogar taktische Disseminationsmöglichkeit eingesetzt. Zusammenfassend lässt sich festhalten, dass der Begriff Evaluationsnutzung bislang nur selten ohne Bezug zum Nutzungszweck der Evaluation diskutiert wird. Evaluationsnutzung ist, wie gezeigt wurde, kein einheitliches Konzept und es gibt verschiedene Nutzungen basierend darauf, wozu die Ergebnisse dienen sollen (Leviton/Hughes 1981). Im Fachdiskurs wird unterschieden zwischen verschiedensten Nutzungsformen resp. -typen (vgl. Kapitel 2.2.2) und nutzungsbeeinflussenden Faktoren (vgl. Kapitel 2.2.3), die in den nachfolgenden Kapiteln vorgestellt werden sollen. Bislang vernachlässigt sind Themen wie zweckentfremdete Nutzung bzw. missbräuchliche Nutzung und die Nicht-Nutzung von Evaluationen (vgl. Cousins/Shulha 2006) sowie die Diskussion darüber, wie mit Programmen verfahren werden kann, denen das Potenzial (finanzielle, personelle Ressourcen) zur Umsetzung von Evaluationsempfehlungen fehlt oder bei denen sich die politischen Kontextfaktoren ungünstig gestalten. Hier stellt sich die Frage, inwieweit Evaluationen und/oder die Benennungen von Empfehlungen in einem solchen Kontext überhaupt nützlich sein können.

32

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

2.2.1 Hinweise auf Evaluationsnutzungen in ausgewählten Evaluationsstandards In den USA sind seit Ende der siebziger Jahre verschiedene Kataloge von Standards entwickelt worden (z.B. Joint Standards for Educational Evaluation (1981), Evaluation Research Society (ERS) Standards (1982)), welche hauptsächlich die Anforderungen an Evaluationen definieren und zur Qualitätsförderung und –sicherung beitragen sollen. Durch die American Evaluation Association (AEA) wurde außerdem die Entwicklung von „Guiding Principles for Evaluators“ (1994) angeregt. In Europa wurden zum Ende der 90er Jahre verschiedene Standards publiziert: im deutschsprachigen Raum – basierend auf den Standards des „Joint Committee on Standards for Educational Evaluation, Inc.“ (1981) von der Deutschen Gesellschaft für Evaluation: DeGEval (2008a)7 und der Schweizerischen Evaluationsgesellschaft: SEVAL (2000)8 und in Eigenentwicklung z.B. von der Sociéte française de l’evaluation: SFE (2006)9 oder von der United Kingdom Evaluation Society: UKES (2003)10. Mittlerweile kann von einer Anzahl von 64 Evaluationsgesellschaften weltweit ausgegangen werden11 von denen entweder in Anlehnung an schon existierende Standards oder in Eigenentwicklung Standards publiziert worden sind. Unter Evaluations-Standards werden anerkannte Prinzipien zur Einschätzung der Qualität von Evaluationen verstanden (Ridings/Stufflebeam 1981, Stufflebeam et al. 2000). Vor dem Hintergrund der Fragestellung dieser Arbeit, welche sozialen und interpersonellen Kompetenzen von Hauptinteraktionspartner(inne)n für die Evaluationsnutzungen bei Programmevaluationen bedeutsam sind, sind für die definitorische Klärung des Evaluationsnutzungsbegriffs vor allem zwei Publikationen interessant: (a) die Standards des Joint Committee (1994), die als Basis für die Entwicklung der deutschen Standards dienten12 und (b) die Standards der DeGEval (2008a).

7 8 9 10 11 12

Vierte unveränderte Auflage Download unter: http://www.seval.ch/de/standards/index.cfm [04/2010] Download unter: http://www.sfe-asso.fr/intranet/ckfinder/userfiles/files/charte/SFE_plaquette_ charte.pdf [04/2010] Download unter: http://www.evaluation.org.uk/resources/guidelines.aspx [04/2010] http://www.evaluation.lars-balzer.name/links/societies-groups/ [03/2010] Zur internationalen Übertragbarkeit der „Standards“ vgl. Widmer/Beywl 2006.

2.2 Der Evaluationsnutzungsbegriff

a.

33

Die „Standards for Evaluation of Educational Programs, Projects, and Materials“ des Joint Committee13 (1981) werden aktuell zum dritten Mal überarbeitet. Die zweite Version „The Program Evaluation Standards“ erschien 1994. Ursprünglich waren die Standards ausschließlich für die erziehungswissenschaftliche Evaluationsforschung entwickelt worden, haben aber über das Fachgebiet hinaus eine weite Beachtung gefunden (Widmer 2006). Die American Evaluation Association (AEA) hat keine eigenen Standards entwickelt und auch die Standards ihrer Vorläuferorganisation Evaluation Research Society (ERS) nicht aufgegriffen. Es zeichnet sich immer deutlicher ab, dass die Standards des „Joint Committee“ zu den Standards der amerikanischen Evaluationsforschung avancieren (Patton 1994). Die Standards setzen sich aus vier Gruppen mit insgesamt 33 Einzelstandards zusammen. Die vier Gruppen sind: Nützlichkeitsstandards, Anwendbarkeitsstandards, Korrektheitstandards und Genauigkeitsstandards. Die Wirkung bzw. der Impact einer Evaluation wird in den Program Evaluation Standards des Joint Committee ausdrücklich erwähnt. Unter den Nützlichkeitsstandards (Utility Standards) findet sich der Standard: „U7 Evaluation Impact – Evaluations should be planned, conducted, and reported in ways that encourage follow-through by stakeholders, so that the likelihood that the evaluation will be used is increased.“ (Joint Committee on Standards for Educational Evaluation 1994)14.

In einer noch unveröffentlichten, in Überarbeitung befindlichen Version, finden sich Ideen einer Präzisierung, indem unterschiedliche Informationsbedürfnisse von Stakeholdern und eine über die direkte Nutzung von Ergebnissen hinausgehende Perspektive berücksichtigt werden15. b.

13 14 15 16

Die Standards der DeGEval16 (2008a) wurden als zweite deutsche Version nach den Standards der Schweizerischen Evaluationsgesellschaft (2000) veröffentlicht. Die DeGEval-Standards setzen sich ebenfalls aus vier Gruppen mit insgesamt 25 Einzelstandards zusammen. Die vier Gruppen sind: Nützlichkeitsstandards, Durchführbarkeitsstandards, Fairnessstandards und Genauigkeitsstandards. Hier findet sich als Substandard unter den Nützlichkeitsstandards im Grunde eine 1:1 Überset-

Das Joint Committee wurde 1974 gegründet und 1989 von dem American National Standards Institute (ANSI) akkreditiert. 1981 wurden Personnel Evaluation Standards und 2003 Student Evaluation Standards publiziert. http://www.jcsee.org/program-evaluation-standards [04/2010] http://www.wmich.edu/evalctr/jc/ [08/2008] Die DeGEval wurde 1997 gegründet.

34

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

zung des entsprechenden - weiter oben bereits genannten - Standards des Joint Committees (1994): „N8 – Nutzung und Nutzen der Evaluation: Planung, Durchführung und Berichterstattung einer Evaluation sollen die Beteiligten und Betroffenen dazu ermuntern, die Evaluation aufmerksam zur Kenntnis zu nehmen und ihre Ergebnisse zu nutzen.“ (DeGEval 2008a: 2)17.

Unter der Kategorie Nützlichkeit werden Standards subsumiert, die sich im Wesentlichen auf die inhaltlichen und mehr noch organisatorischen Dimensionen einer Evaluation beziehen. Nutzen stellt hier gewissermaßen eine Subkategorie von Nützlichkeit dar. Dies wirft die Fragen auf: „Wann ist eine Evaluation nützlich?“ und „Wenn sie nützlich ist, heißt das dann auch, dass sie genutzt wird?“18. Durch die Standards erfolgt gewissermaßen eine Umkehr in der Positionierung der Begrifflichkeiten, indem hier Nutzen als Subkategorie der Nützlichkeit einer Evaluation unterstellt wird. Die Standards der DeGEval (2008a) richten sich primär auf die Verbesserung der Qualität von Evaluationen und nehmen nicht Verhalten von Evaluator(inn)en und Stakeholdern in den Fokus (vgl. dazu Beywl/Widmer 2000). Der Blick auf den Beitrag der Evaluationsstandards zur Begriffsklärung bezüglich der Evaluationsnutzung zeigt, dass die meisten Evaluationsstandards eher wenig an Resultaten und der Nutzung orientiert sind (Picciotto 2005: 55f). Idealerweise sollten Evaluationsstandards die institutionellen Gegebenheiten, in denen Evaluationen tatsächlich passieren, mit Hinweisen für gute Praktiken verbinden (ebd.: 48). Robert Picciotto (2005) fordert, dass schon der Prozess der Formulierung und Implementierung als sozialer Lernprozess verstanden werden sollte, d.h. dass möglichst viele Interessengruppen einbezogen werden sollten, da Evaluationsstandards nur dann optimale Resultate hervorbringen, wenn die wechselseitigen Verpflichtungen aller in die Evaluation Involvierten berücksichtigt werden. Die Funktion von Evaluationsstandards als Ratgeber für die Evaluationspraxis ist bislang kaum systematisch untersucht. Es liegen wenige Ergebnisse dafür vor, inwieweit und in welcher Weise Evaluator(inn)en und Stakeholder diese tatsächlich nutzen bzw. für nützlich halten oder in welcher Weise die Be17 18

http://www.degeval.de/index.php?class=Calimero_Webpage&id=9025 [04/2010] Picciotto (2005) beschreibt die Grenzen von Evaluationsstandards und stellt heraus, dass diese häufig verknüpft sind mit linearen Konzeptionen von Gesellschaft, rationalem Verhalten und vorhersagbaren Konsequenzen von öffentlich-politischen Folgen. In der Praxis hingegen finden wir häufig andere Bedingungen vor.

2.2 Der Evaluationsnutzungsbegriff

35

rücksichtigung der Standards zur Nutzung bzw. Verwendung von Evaluationen beiträgt. Die DeGEval selbst konstatierte in einem Newsletter, dass die Umsetzung der Ergebnisse aus Evaluationsstudien oft mangelhaft ist, inwieweit Evaluationsergebnisse Wirkungen erzielen, hänge dabei wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab (DeGEval 2002: 1). Nach einer im Jahr 200419 durchgeführten Online-Befragung der DeGEval, an der 257 Personen20 teilnahmen, kann von einer weitgehenden Vertrautheit mit den Standards gesprochen werden: nur 16% der Befragten haben keinen Zugang zu den Standards der DeGEval. Zum Zweiten wurde die Frage gestellt, in welcher Hinsicht die Standards für die eigene Arbeit nützlich sind. Die fünf häufigsten Nennungen unter einer Vielzahl weiterer Nutzungsmöglichkeiten waren hier, dass die Standards ein Hilfsmittel zur Konzeption von Evaluation und zur Auftragsklärung darstellen (53 Nennungen), ein Element der Qualitätskontrolle sind (51 Nennungen), als phasenübergreifendes Hilfsmittel bei Evaluationsprojekten dienen (46 Nennungen), als Lehrgrundlage (42 Nennungen) und als Argumentationsgrundlage bzw. als Mittel zur Legitimation (41 Nennungen) genutzt werden. 2.2.2 Evaluationsnutzungstypen Im Folgenden werden die bisher gängigen Typisierungen von Nutzungen vorgestellt. Hierdurch soll ein Zugang zur Annäherung an die Evaluationsnutzungsidee geschaffen werden. Die Diskussion um die Nutzungstypen hat viel zu einem Wechsel von einer einfachen Definition, die häufig mit instrumenteller Nutzung gleichgesetzt wurde, zu einem differenzierteren und multidimensionalen Nutzungskonzept beigetragen (Cummings 2002: 2). Instrumentelle, konzeptionelle und symbolische Evaluationsnutzung sind die bekanntesten Arten von Nutzung die unterschieden werden (Johnson 1998). Zusätzlich weisen einige Autor(inn)en (Patton 1997; Kirkhart 2000; Forss et al. 2002; Mark et al. 2006; Weiss et al. 2005) auf die prozessbezogene Nutzung von Evaluation hin. Im Folgenden werden die verschiedenen Arten von Nutzungen vorgestellt und anschließend diskutiert. Vorweggreifend muss angemerkt werden, dass kein Nutzungstyp für eine umfassende Erklärung von Evaluationsnutzung herausgehoben werden kann, jeder Nutzungstyp bietet einen unvollständigen Beitrag zu unserem Gesamtverständnis von Nutzungen im Evaluationsbereich. Die instrumentelle Nutzungsdefinition beinhaltet die Nutzung von Evaluationsergebnissen als eine Basis für Handlungen, d.h. hier münden die Evaluations19 20

vgl. dazu http://www.degeval.de/ [01/2008] Bei der Interpretation ist zu beachten, dass 54,8% der Befragten zum Zeitpunkt der Befragung in einem Mitgliedsverhältnis zur DeGEval standen.

36

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

ergebnisse in unmittelbare Handlungskonsequenzen. Bei der instrumentellen Nutzung handelt es sich um die zuerst in der Evaluationsliteratur auftauchende Nutzungsform (Johnson 1998: 93). Angesprochen wird die konkrete Nutzung von Evaluationsergebnissen für die Veränderungen von Verhalten und/oder Handlungen (Shadish et al. 1991). Rossi und Freeman (1993) bezeichnen diese Form der Nutzung auch als direkte Nutzung. Beispiele für instrumentelle Nutzung wären demnach: die Modifikation des Programmverlaufs auf der Basis von Evaluationsergebnissen, die Absetzung eines ineffektiven Programms oder die Anpassung eines Programms – aufgrund der Evaluationsergebnisse – an eine Zielgruppe. Von konzeptioneller Evaluationsnutzung spricht man, wenn eine Evaluation Einfluss hat auf die kognitiven Prozesse (das Denken) von Entscheidungsträgern über ein existierendes oder bevorstehendes Programm (Owen 1992). Weiss (1988a) spricht auch von Neukonzeptionierung (reconceptualization). Jeffrey Rich (1977) definierte konzeptionelle Nutzung als die Beeinflussung des Denkens eines Entscheidungsträgers über eine Angelegenheit, ohne Evaluationsinformationen spezifisch oder dokumentierbar zu nutzen. Im Vergleich zur instrumentellen Nutzung geht es hier eher um indirekte Veränderung von Überzeugungen und Einstellungen infolge der Evaluationsergebnisse. Margrit Stamm nennt dies auch “erzieherisch-aufklärende Absichten“ (Stamm 2003a: 100). Beispiele für konzeptionelle Evaluationsnutzung wären: durch die Evaluationsergebnisse auf Potenziale des Programms aufmerksam werden, Änderung von Einstellungen und Zugewinn an Wissen zu Evaluationen allgemein und durch Evaluation eine Einstellung zu einem bestimmten Programm gewinnen. Symbolische Nutzung mit legitimatorisch-politischem Charakter tritt auf, wenn Individuen die Evaluationsergebnisse für politische Selbstinteressen nutzen (Johnson 1998: 94) und kein Interesse an den substantiellen Ergebnissen der Evaluation haben. Hier liegen anderweitige Motive für die Durchführung einer Evaluation vor (Clarke/Dawson 1999: 177). Evaluation kann im Sinne dieser Nutzungsform als Symbol verwendet werden, um zu zeigen, dass die Programmverantwortlichen ernsthaft interessiert sind, sich mit der Qualität ihres Handelns auseinanderzusetzen. Konspirative Nutzung (vgl. Huberman 1987) und legitimierende Nutzung sind eng verbunden mit dem Konzept der symbolischen Nutzung (vgl. Stamm 2003a). Ein Beispiel für symbolische Nutzung wäre eine bestimmte Entscheidung durch eine Evaluation zu legitimieren, obwohl diese Entscheidung bereits feststand und in jedem Fall getroffen worden wäre. Die Evaluation wird hier aus taktischen Gründen durchgeführt. Die prozessbezogene Nutzung wird oftmals nicht als eigene Form von Evaluationsnutzung betrachtet, da hier die Nutzung durch den Prozess der Evaluation und somit ein indirekter Effekt der Evaluation entsteht. D.h. allein durch die

2.2 Der Evaluationsnutzungsbegriff

37

Teilnahme am Evaluationsprozess gewinnen die Akteure Einblicke in das Programm, die ihr Verhalten beeinflussen (Vedung 2004). Vier ursprünglich von Patton (1997) vorgelegte Punkte zur prozessbezogenen Nutzung wurden von Kim Forss et al. (2002) erweitert, indem diese fünf Typen von prozessbezogener Nutzung identifizierten: (1) Lernen zu lernen, (2) Netzwerkentwicklung, (3) ein gemeinsames Verständnis erzeugen, (4) Stärkung des Projekts und (5) Förderung der Moral. Instrumentelle, konzeptionelle und auch symbolische Nutzung sind Teile eines differenzierten Nutzungsbegriffs (Stamm 2003a), dessen Grenzen unscharf verlaufen. Evaluationen werden selten jeweils nur symbolisch, konzeptionell, instrumentell oder prozessbezogen genutzt. Kritisch anzumerken ist auch, dass die theoretischen Begriffskonstrukte voraussetzen, dass Evaluationsnutzung dokumentiert wird. Belege für Evaluationsnutzung innerhalb kleinerer Besprechungen oder individuelle Entscheidungen zwischen verschiedenen Alternativen werden jedoch meist nicht dokumentiert (Leviton/Hughes 1981). Historisch betrachtet gab es eine Entwicklung von einem einfachen Nutzungsaspekt hin zu einer komplexeren Betrachtungsweise und der Unterscheidung der genannten vier Nutzungstypen. Man kann von einer generellen Akzeptanz dieser Unterscheidung sprechen. Kirkhart (2000) forderte jedoch ein Um- und Neudenken bezüglich der Formen von Nutzung. Aus ihrer Sicht ist dieses Konzept zu kurz gedacht und baut auf einer unzureichenden Basis auf. Sie kritisiert, dass es nicht adäquat auf unintendierte Resultate reagiert, die mit der Zeit schrittweise zunehmende Nutzung gar nicht beschreibt, und dass die heutige Sicht von Nutzung verkettet ist mit der im historischen Kontext entstandenen Sichtweise der Nutzungsforschung in den USA während der 1960er, 70er und 80er Jahre (Kirkhart 2000: 5f). Sie fasst zusammen, dass es wenig ergiebig ist, bestehende Konzepte von Nutzung umzuformulieren und plädiert für einen Prozess des Umdenkens über den Einfluss von Evaluationen aus einer neuen Perspektive. Henry und Mark unterstreichen, dass ein Fokus weg von der Frage des Nutzens von Resultaten hin zum Einfluss von Evaluationen erfolgen sollte (Henry/Mark 2003a: 295). Weiter oben (vgl. Kapitel 2.2) wurde bereits erwähnt, dass der Einfluss von Evaluationen konzeptuell an die Dimensionen: Intentionen (intendierte und unintendierte Einflüsse), Herkunft des Einflusses (Ergebnis-basierter Einfluss, Prozess-basierter Einfluss) und Zeit (Einflüsse die während, zum Ende oder nach einer Evaluation auftreten) gebunden ist. Einfluss tritt demzufolge nicht-linear, vielfältig und interaktiv auf (Caracelli 2000: 102). Ein interessanter bereichernder Ansatz kommt aus der Umweltwissenschaft: Tom Bauler21 (2007) stellt für seine Dissertation gemeinsam mit Henrik Gud21

Bauler untersuchte in seiner Arbeit den Einfluss von Indikatoren auf nachhaltige, umweltbezogene Veränderungen.

38

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

mundsson (2003) eine sequentielle Informationskette vor, die in folgender Adaption auch auf Evaluation zurückübertragen22 werden kann:

Abbildung 1: Sequentielle Informationskette (adaptiert nach Bauler 2007) Diese nach Bauler (2007) adaptierte Präsentation unterstreicht einerseits, dass die oben genannten Arten von Evaluationsnutzung eher Arten der Einflussnahme sind und stützt somit die neueste Entwicklung in der terminologischen Auseinandersetzung mit dem Begriff Evaluationsnutzung. Henry und Mark (2003a) unterscheiden neben den Einflussformen zudem auch noch verschiedene Einflussebenen (siehe Abb. 7), die in gezeigter Darstellung integriert eher als Impact betrachtet werden können. Zudem schafft die Übersicht Klarheit in Bezug auf den ebenso stark diskutierten Begriff des Impacts23. Impact wird häufig als ein 22 23

Gudmundsson beschäftigte sich in einem Artikel von 2003 mit umweltpolitischen Fragen und Aspekten der Nutzung und des Nutzens von Indikatoren und bezog in seine transdisziplinären Überlegungen Resultate der Evaluationsforschung ein. Für Impact Evaluation existieren verschiedenste Definitionen, von denen hier vier beispielhaft genannt werden sollen: (1) „Impact Evaluationen bemessen die spezifischen Outcomes, die einer bestimmten Intervention oder einem Programm zuzuschreiben sind. Sie tun dies, indem verschiedene Outcomes in Bezug zu einer Vergleichsgruppe gegenübergestellt werden.“ (http://www.worldbank.org/ dime [26.08.2008])

2.2 Der Evaluationsnutzungsbegriff

39

Synonym für Ergebnisse (Outcomes) aller Art verwendet. Der Begriff beinhaltet in der neuesten Diskussion (z.B. Bernstein/Scriven 200724) jedoch nicht nur die gewollten Outcomes, sondern auch unintendierte Effekte (positive und negative Effekte einer Intervention). Eine in der Evaluationsnutzungsforschung wenig betrachtete ‚Nutzungsform’ - bzw. geht man von obigem Modell aus: ‚Einflussform’ – ist die NichtNutzung. Genau genommen müsste man an dieser Stelle von „kein(em) Einfluss durch die Evaluation“ sprechen. Wie viele oder wie wenige Evaluationen unbeachtet bleiben, ohne in irgendeiner Weise genutzt worden zu sein, ist bislang nicht systematisch untersucht. 2.2.3 Entwicklungsphasen der Interaktionsperspektive in der Nutzungsforschung 1971 – 2009 In diesem Unterkapitel werden die Entwicklungslinien der Evaluationsnutzungsforschung im Hinblick auf die Interaktionsperspektive zwischen den Akteuren einer Evaluation nachgezeichnet. Der historische Zugang hat gegenüber der logisch-definitorischen Herangehensweise und der Betrachtung der Nutzungsformen den Vorteil, Entwicklungen zu verdeutlichen, die für den Kontext dieser Arbeit von größter Wichtigkeit sind. Die Kluft, die sich in der jüngeren Evaluationsnutzungsforschung zwischen einer immer differenzierteren Theorieentwicklung auf der einen und der schmal gebliebenen empirischen Basis auf der anderen Seite aufgetan hat, ist trotz jüngster empirischer Untersuchungen zu dem Thema (z.B. durch Stamm 2003a; Balthasar 2007) nicht geschlossen. Der von Barbara Dickey treffende Satz hat demzufolge auch heute noch Gültigkeit:

24

(2) Impact Evaluation ist eine Form von Outcome-Evaluation, die die Effekte eines Programms bemisst, indem die Programm Outcomes mit einer Abschätzung was passiert wäre ohne die Durchführung des Programms verglichen werden. […] Sie bewertet Programmprozesse um zu verstehen, wie Outcomes zustande kommen. (http://citnews.unl.edu/TOP/english/evalprogframe.html [26.08.2008]) (3) Eine Impact Evaluation misst die Programmeffekte und inwieweit die gesetzten Ziele erreicht wurden. (http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/impact_eval_gangs.htm [26. 08.2008]) (4) Bei Outcome (Prüfung der kurzfristigen Veränderungen) und Impact Evaluationen (Erhebung langfristiger und weiterführender Effekte) liegt der Fokus auf Resultaten und wie diese zustande gekommen sind. (http://www.orcmacro.com/Survey/Policy/outcomeimpact.aspx [26. 08.2008]) Diskussionsbeitrag EvalTalk: http://bama.ua.edu/archives/evaltalk.html [18.06.2007]

40

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

„Supporting data are limited, and most of our „theories“ come more from common sense than from research.“ (Dickey 1980: 65).

Da die Diskussion und die verschiedenen bestehenden Untersuchungen zu den Faktoren, die eine Nutzung von Evaluationsergebnissen beeinflussen, komplex und in Teilen widersprüchlich ist, ist es problematisch, die Faktoren auf ein überblickbares Set erfassbarer Variablen zu reduzieren. Die meisten Autor(inn)en geben einen Überblick über die Nutzungsforschung, indem sie einzelne Theoretiker(innen) aufgreifen und deren Arbeitsergebnisse beschreiben (z.B. Alkin 2002). Balthasar (2007) beschreibt in Anlehnung an Barbara Lee (2000) den Stand der Forschung, indem er eine Unterteilung in klassische Verwendungsforschung, interaktionistische Verwendungsforschung und neuere Entwicklungen vornimmt. Von einer chronologischen Darstellung wird häufig abgesehen mit dem Argument, dass die Entwicklung der Disziplin nicht chronologisch verlief, sondern aus unterschiedlichen inhaltlichen Aspekten bestehe, die sich zeitlich überlappend entwickelt haben (vgl. z.B. Balzer 2005: 24). In der vorliegenden Arbeit sollen dennoch, ausgehend von den Anfängen der Nutzungsforschung, die neuesten Entwicklungen beschrieben werden. Dies erfolgt unter Nennung einzelner in der Nutzungsdiskussion immer wieder auftauchender Studien und in Anlehnung an die wenigen Arbeiten, die sich auf metatheoretischer Ebene mit der Thematik beschäftigt haben (Johnson 1995, 1998; Shadish et al. 1991; Stamm 2003a). Der Fokus der Betrachtung liegt dabei auf der Interaktionskomponente und dem damit verbundenen Konstrukt soziale Kompetenzen und den Erkenntnissen zu deren Einfluss auf die Nutzung von Evaluationen. Eine chronologische Unterteilung erscheint in diesem Fall sinnvoll, um aufzuzeigen, wie vielfältig die Nutzungsforschung in Bezug auf soziale Kompetenzen und Interaktionen ist, wie intuitiv mit den Begrifflichkeiten schon seit Bestehen der Nutzungs- bzw. Verwendungsforschung umgegangen wird und wie schwierig dadurch die Identifikation von (Kern-)Faktoren mit Effekten auf die Nutzung ist. Die historische Sichtweise zeigt jedoch auch, dass eine Tendenz hin zur Interaktionsperspektive sukzessive zugenommen hat. Innerhalb der chronologischen Vorgehensweise scheint eine 3-Teilung sinnvoll: 1. 2. 3.

1971-1986: Die Anfänge der Nutzungsforschung und die Entdeckung der Interaktionskomponente als Einflussgröße auf die Nutzungen von Evaluationen 1986-1997: Differenzierung der Ergebnisse und Boom der partizipativen Ansätze 1998-2009: Um- und Neudenken, Evaluation als Interaktion

2.2 Der Evaluationsnutzungsbegriff

41

1971 – 1986: Die Anfänge der Nutzungsforschung und die „Entdeckung“ der Interaktionskomponente Die ersten Jahre der Nutzungsforschung und der Thematisierung der Anwendungsproblematik sind gekennzeichnet durch eine langsame Formierung dieser als eigenständige Richtung innerhalb der Evaluationsforschung. Die Nutzungsforschung fand zu diesem Zeitpunkt vor allem in den USA statt. Der Bedarf an Forschung zu dieser Thematik wurde hauptsächlich durch Nutzungsdefizite geweckt. Reinhard Stockmann resümiert für die Entwicklung in Deutschland, dass wenig umsetzungsorientierte Evaluationen zu einem Abklingen der Evaluationsaktivitäten in den 1970er Jahren geführt haben (Stockmann 2004: 28). Die Interaktionen während einer Evaluation und deren vermuteter Einfluss auf Evaluationsnutzungen wurden nach und nach, aber noch nicht systematisch in die Überlegungen integriert. Dies ist nicht verwunderlich, da diese Phase der Evaluation auch charakterisiert ist durch die Forderung, Beurteilungen und Bewertungen vorzunehmen. Dementsprechend fiel den Evaluator(inn)en vor allem die Rolle des/der Beurteilers/Beurteilerin zu (Guba/Lincoln 1989). Es ist unwahrscheinlich, dass es vor 1970 in dem damals noch relativ jungen Feld der Evaluationsnutzungsforschung relevante empirische Untersuchungen zu der Thematik gab. Die früheste empirische Studie, die sich nachweislich mit der Nutzung von Evaluationen befasst hat, wurde im Jahr 1971 durchgeführt (vgl. Cousins/Leithwood 1986). Weiss erkannte bereits 1972, dass das Grundprinzip von Evaluationen und deren Hauptaufgabe ist, Informationen für Handlungen und Entscheidungsfällungen zu liefern. Vorerst ging die Forscherin davon aus, dass Evaluationsergebnisse, die mittels seriöser Forschung gewonnen wurden, auch in die Praxis überführt werden. Wie die nachfolgend beschriebene Studie zeigt, wandte Weiss sich jedoch von dieser idealistischen Sichtweise ab, indem sie dem Konzept der instrumentellen Nutzung das „Enlightment-Model25“ gegenüberstellte, welches Evaluation als Auslöser diffus ablaufender Lernprozesse betrachtet (vgl. Stamm 2003a: 121). Große Beachtung in vielen einschlägigen Publikationen fand dann auch eine Studie von Weiss und Michael Bucuvalas (1980)26. Diese widmeten sich der Frage, welches die Kriterien sind, die Entscheidungsträger(innen) für die Beurteilung der Nützlichkeit von Forschungsergebnissen heranziehen. Die Stu25 26

Die Bezeichnung wurde von Matthias Wingens (1988) kritisiert, da sie suggeriere, dass die Nutzung von Evaluationen automatisch zu einem ‚aufklärenden Lernprozess’ führe. Weiss und Bucuvalas interviewten 155 Entscheidungsträger in Mental Health Agencies, 50 Mitglieder aus Mental Health Research Review Commitees und 50 Sozialwissenschaftler(innen), die Forschung zu Mental Health Programmen durchgeführt haben. Während der Interviews wurden Zusammenfassungen von Studien besprochen, die die Interviewten gelesen hatten, zusätzlich wurden Fragen zur Nutzung von Studien gestellt.

42

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

die bezog sich auf die Verknüpfung von sozialwissenschaftlicher Forschung und deren Nutzung. Die Intention war, herauszufinden, wann und wie Forschungsergebnisse einen Einfluss auf die Praxis haben. Untersucht wurden die Einflüsse der Charakteristik einer zur Bewertung vorgelegten Studie und der Persönlichkeit der Entscheidungsträger(innen) bzw. Stakeholder auf die Nutzung von Forschungsergebnissen. Fünf Attribute wirken sich der Studie nach auf die Wahrscheinlichkeit der Nutzung von Forschungsergebnissen aus; diese sind: Qualität der Studie, Konformität mit den Erwartungen der Nutzer(innen), Aktionsorientierung, Infragestellung des aktuellen Stands des untersuchten Projekts oder Programms und Relevanz in Bezug auf die aktuellen Belange. Die Autor(inn)en zeigten ferner auf, dass eine spezifische Beurteilung des Werts der Evaluationsergebnisse durch die Entscheidungsträger(innen) hinsichtlich zweier Punkte erfolgt: (a) hinsichtlich ihres wissenschaftlichen Werts (Truth-Test) und (b) hinsichtlich der Durchführbarkeit notwendiger Änderungen (Utility-Test). Im Jahr 1983 griff Weiss diese Ergebnisse nochmals auf und entwickelte sie weiter, indem sie feststellte, dass Entscheidungsfällung hauptsächlich von (1) Informationen, (2) Ideologie und (3) Interessen abhängig sei. Burke Johnson (1998), auf dessen Beitrag zur Nutzungsforschung später eingegangen wird, hat die Forschungsergebnisse von Weiss in folgendem Modell veranschaulicht:

Abbildung 2: Weiss’ Prozess-Modell für Entscheidungsfällung nach Johnson 1998: 96 Einen wichtigen Beitrag zur Nutzungsforschung in dieser Zeit lieferte auch Alkin. Bereits 1975 diskutierte er – zunächst theoretisch – die Nutzung von Evaluationsergebnissen und benannte die Beurteilungsdimensionen „wissenschaftlicher

2.2 Der Evaluationsnutzungsbegriff

43

Gebrauchswert“, den Evaluator(inn)en ihrer eigenen Arbeit zumessen und „praktischer Nutzwert“ als Einschätzung der Nützlichkeit der Evaluation durch die Abnehmer(innen) (Alkin 1975). Vier Faktorensets wurde eine besondere Bedeutung in Bezug auf Nutzungsprozesse zugewiesen: (a) dem Prozess der Entscheidungsfindung (die Personen, die Entscheidungen treffen), (b) dem evaluierten Programm und seinem sozialen Kontext, (c) den Charakteristika der beteiligten Evaluator(inn)en und (d) dem Evaluationsprozess. Es folgte eine erstmalige Bündelung von Faktoren mit Einfluss auf die Nutzung in: (1) Persönliche Faktoren (Charakteristika der Evaluator(inn)en, Charakteristika der Nutzer(innen)), (2) Kontextfaktoren (bereits vorhandene Evaluationserfahrungen, Eigenschaften der Organisation, Charakteristika des Projekts) und (3) Evaluationsfaktoren (Vorgehensweise, Dialog zwischen den Beteiligten, Substanz der Evaluationsinformationen, Evaluationsbericht) (Alkin 1985). Drei empirische Studien zur Nutzung von Evaluationen, bei denen Alkin beteiligt war (1974, 1979, 1983), wurden u.a. in einer Metaanalyse (vgl. Cousins/Leithwood 1986) berücksichtigt, die im Folgenden näher beschrieben wird. Die Studie von Cousins und Leithwood (1986) verdeutlicht vor allem die Komplexität des Konstrukts Nutzung. Die Autoren identifizierten für den Zeitraum 1971-1985 6527 Evaluationsstudien, die sich mit der Nutzung von Evaluationen befasst haben. Drei Hauptdesigns von Studien konnten unterschieden werden: retrospektive Studien (N=35), Simulationen (N=21) und Längsschnittstudien (N=9). Die Stichprobengröße variierte stark, zwischen Einzelfallstudien und 4500 Probanden. Ebenso gab es eine beachtliche Vielfalt in Bezug auf die Instrumente, die genutzt wurden. Der theoretische Bezug der einzelnen Studien zur Evaluationsnutzung ist letztendlich genauso breit gefächert wie das Design und die Methodik dieser. Insgesamt wurden 16 verschiedene Theorien und Modelle identifiziert, auf die sich die Studien jeweils beziehen, wobei die Kommunikationstheorie von zentraler Bedeutung war. 27 Studien bezogen sich auf keinen theoretischen Rahmen. Die abhängigen Variablen, die durch die Metastudie identifiziert werden konnten, waren: (1) Nutzung im Sinne von Entscheidungsfällung (decision), (2) Nutzung im Sinne von Weiterentwicklung (processing) und (3) Nutzung im Sinne von Aufklärung (education). Die Operationalisierung dieser drei Oberkategorien von abhängigen Variablen war sehr unterschiedlich. Zudem konnten 12 Kategorien von unabhängigen Variablen (Faktoren) identifiziert werden, von denen jeweils sechs zu einer Oberkategorie (1. Durchführung, 2. politische oder entscheidungsbezogene Rahmenbedingungen) zugeordnet wurden (siehe Abb. 4).

27

Nach Review des Artikels wurden den Autoren drei weitere empirische Studien bekannt.

44

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

1986 – 1997: Differenzierung der Ergebnisse und Boom der partizipativen Ansätze Ebenfalls 198628 publizierte Patton die erste Ausgabe von „Utilization-focused evaluation“ und dem Titel entsprechend forderte er, dass jede Evaluation – von der Planungsphase an – auf Nutzung ausgerichtet werden sollte, das impliziert auch, dass Stakeholder in alle Entscheidungen einbezogen werden sollten, um die Wahrscheinlichkeit der Nutzungen zu erhöhen29. Patton, als auf die Praxis ausgerichteter Evaluationsforscher, plädiert für einen Evaluationsprozess, der durch Interaktionen zwischen den Evaluationsforschenden und potentiellen Nutzer(inne)n getragen wird. Sowohl Johnson (1998) als auch Stamm (2003) griffen Pattons Ideen auf und gestalteten ein explizites Nutzungsmodell nach Patton. Folgende Darstellung spiegelt eine Synthese der beiden Darstellungen wider.

Abbildung 3: Pattons explizites Nutzungsmodell (Synthese der von Johnson 1998: 99 und Stamm 2003a: 148 entwickelten Modelle) Vorweggreifend soll darauf hingewiesen werden, dass in dem Modell zahlreiche Teilaspekte des Konstrukts soziale Kompetenzen impliziert sind. Eine Identifikation und Ansprache von möglichen Nutzer(inne)n und Stakeholdern ist kaum ohne eine gewisse Kontaktfähigkeit zu realisieren, die Identifikation von Bedürfnissen ist nur mit einer gewissen Sensitivität möglich und letztendlich impliziert auch die Partizipation der Nutzer(innen) bei der Interpretation ein gewisses Maß an Flexibilität. In den folgenden zehn Jahren widmete sich die nutzungsinteressierte Evaluationsgemeinschaft hauptsächlich der Diskussion des bisherigen Stands der For28 29

Reprint 1997 Jedoch fokussieren bis heute lediglich einzelne Fallstudien auf Reaktionen von Evaluator(inn)en auf die verschiedensten Bedarfe von Stakeholdern (für einen Überblick vgl. Azzam 2010: 46f).

2.2 Der Evaluationsnutzungsbegriff

45

schung, der Differenzierung der Ergebnisse und dem Versuch, eine Gewichtung bestimmter Faktoren mit Einfluss auf die Nutzung von Evaluationen vorzunehmen. Ein erneutes Aufflammen der Diskussion um die Evaluationsnutzung bewirkte die „Weiss-Patton-Debatte“ Ende der 80er Jahre, die sich hauptsächlich der Frage widmete, ob Evaluator(inn)en für die Nutzung verantwortlich gemacht werden sollten und könnten (Patton 1988; Weiss 1988a, 1988b). Diese Debatte wurde 1987 auf dem Treffen der Amerikanischen Gesellschaft für Evaluation (AEA) durch einen Vortrag von Weiss ausgelöst und in der Zeitschrift „Evaluation Practice“ veröffentlicht. Entsprechend der oben dargestellten Standpunkte der beiden Forscher(innen) erläuterte Weiss, dass auch die bedachte und strategisch auf Nutzen ausgerichtete Arbeit mit Nutzer(inne)n nur indifferente Erfolge zeigt und nennt fünf Gründe dafür (vgl. Weiss 1988a: 6ff): (1) Wenn es eine Vielzahl von verschiedenen Teilnehmer(inne)n mit unterschiedlichen Sichtweisen gibt, dann kann es keine einzige korrekte Entscheidung geben. Evaluationen, die eine beste Antwort bereitstellen, werden dementsprechend ignoriert oder von einer Seite zur Unterstreichung ihrer Sichtweise genutzt. (2) Es gibt immer Belange die durch Evaluation nicht berücksichtigt werden, die aber für die Entscheidungsträger(innen) von großer Bedeutung sind, zum Beispiel die Frage danach, was die vorgeschlagenen Veränderungen kosten werden. (3) Entscheidungen werden oft erst in der Retrospektive als solche erkannt, weil sie meist ein Prozess, bestehend aus vielen kleinen informellen Schritten sind. (4) Entscheidungsträger(innen) wissen nicht immer, welche Informationen sie benötigen, weil es schwierig ist, zu formulieren, welche Informationen eine positive Veränderung bewirken könnten. (5) Im Allgemeinen herrscht eine gewisse Zufriedenheit bei den potenziellen Nutzer(inne)n von Evaluationsergebnissen mit dem Status-Quo eines Programms. Die Hauptnutzer(innen) von Evaluationsergebnissen sind deshalb häufig Personen mit einem gewissen Abstand zu dem Programm, die sich oft in höheren Positionen befinden. Trotzdem ist Weiss der Ansicht, dass Evaluationen (auch unter dem zunehmenden öffentlichen Rechtfertigungsdruck), die neue Facetten eröffnen oder die neue Felder für Abmachungen und Kompromisse aufdecken, zunehmend genutzt werden (vgl. ebd.). Patton (1988: 9f) kritisierte eben diese Vision des indirekten Einflusses von Evaluationsergebnissen von Weiss und erklärt sie für nicht zutreffend für Pro-

46

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

grammevaluationen. Er betrachtet die von Weiss genannten vier Typen von Evaluationsnutzung (Warnung, Führung, Neu-Konzeptualisierung und Mobilisierung von Unterstützung für gut begründete Interessen) als unzureichend und ergänzt die Liste durch den direkten Einfluss auf Veränderungen, den direkten Einfluss auf Entscheidungen, den unmittelbaren Einfluss auf Programmveränderungen und die Begleitung von spezifischen Empfehlungen zur Verbesserung bis zur Umsetzung. Zusammenfassend kann gesagt werden, dass Weiss dafür plädiert, dass die Verantwortung von Evaluator(inn)en darin liegt, korrekte und adäquate Evaluationsergebnisse entsprechend der vorliegenden Fragestellung zu präsentieren. Patton dagegen vertritt die Position, dass Evaluator(inn)en eine aktive fördernde Rolle im Sinne der Nutzung der Evaluationsergebnisse einnehmen sollen (Shulha/Cousins 1986: 197). Weiss macht jedoch auch deutlich, dass ihr Standpunkt im Vergleich zu Pattons Standpunkt häufig als zu gegensätzlich beschrieben wird und verdeutlicht, dass Patton sich eher auf Entscheidungsfällung und Nutzung auf der Programmebene bezieht, während sie selbst Entscheidungsfällung auf politischer Ebene untersucht hat, d.h. auf einem Level, das zumeist verlagert zu der Arbeit von Evaluator(inn)en liegt (Alkin 1990: 26). Egon Guba and Yvonna Lincoln entwickelten kurz darauf ein Konzept zur wirksamkeitsorientierten Evaluation, das sie nach der Messung (1. Generation), Beschreibung (2. Generation) und Bewertung (3. Generation) als Fourth Generation bezeichnen. Die Autor(inn)en vertreten eine radikal relativistische Sichtweise, indem sie darlegen, dass jeder Stakeholder über unterschiedliche Wirklichkeitskonstruktionen verfügt und dass die Aufgabe von Evaluationen ist, herauszufinden, welche dieser Wirklichkeitskonstruktionen der Realität am nächsten kommt (Guba/Lincoln 1989: 58). Eine Evaluation kann demnach nie eine objektive Beschreibung oder gar Bewertung eines Programms sein, sondern immer nur eine Konstruktion der Wirklichkeit. Damit verbunden ist auch ein Neudenken der Evaluator(inn)enrolle, bei der die Verantwortung darin liegt (a) so viele Stakeholder wie möglich zu identifizieren, (b) herauszufinden, was deren Konstruktionen zum Evaluationsgegenstand sind und welche Ansprüche, Bedenken und Belange sie in Bezug auf diesen hervorbringen möchten, (c) eine Methodik und einen Kontext bereitzuhalten, durch die die verschiedenen Konstruktionen berücksichtigt werden können, (d) eine Konsensdiskussion unter Berücksichtigung so vieler Konstruktionen mit deren dazugehörigen Ansprüchen, Bedenken und Belangen wie möglich anzuregen, (e) konkurrierende Konstruktionen aufzudecken und (f) durch Informationsbeschaffung – wenn möglich – aufzulösen (g) soweit wie möglich Annäherungspunkte oder Überlappungen zwischen den Konstruktionen zu erreichen, (h) einen oder mehrere Berichte zu schreiben um (i) eine neue Runde der Evaluation zu eröffnen, in der neu gewonnene Einblicke diskutiert und ungelöste Konstruktionen aufgegriffen werden (vgl. ebd.). Hier

2.2 Der Evaluationsnutzungsbegriff

47

handelt es sich also um einen Ansatz, der nicht nur die Auflösung der Abgrenzung von Evaluator(inn)en auf der einen und Stakeholdern auf der anderen Seite gefördert hat, indem für die Stakeholder eine gleichberechtigte und emanzipierte Rolle gefordert wurde sondern der über die bislang gekannte simple Partizipation an der Evaluation hinausgeht. Zu Beginn der neunziger Jahre haben sich vor allem Michael Huberman und Pat Cox (1990) mit dem Transfer und den Kommunikationswegen zwischen Forschung und Praxis beschäftigt. Insbesondere die nachhaltige Interaktion zwischen Forscher(inne)n und Praktiker(inne)n wird als Strategie zur Verwirklichung eines lern- und handlungsorientierten Prozesses auf dem Weg zur intensiveren Nutzung von Evaluationsergebnissen benannt. Wenn Interaktionen intensiv sind, stellen sich nach Huberman und Cox (1990) folgende Dinge ein: Forscher(innen) erreichen eine bessere Einbindung und tiefere Einblicke in die Rahmenbedingungen und werden so sensibilisiert, um ihre Ergebnisse besser in sinnvolle Empfehlungen zu übersetzen. Reziprok engagieren sich die potenziellen Nutzer(innen) mehr für die Evaluation. Die Autoren stellen ein interessantes Model zur idealtypischen Interaktion bei Programmevaluation vor, welches allerdings bislang nicht systematisch untersucht wurde und eine Vielzahl von möglichen Fehlerquellen bereithält (Huberman/Cox 1990: 174ff; Huberman 1990). Stamm (2003: 145) sieht Hubermans Beitrag zur Evaluationsnutzungsforschung hauptsächlich darin, dass dieser den Begriff Nutzung im Sinne von Wissenstransfer und als Verbindung von bereits existierendem Wissen mit neuen Informationen in die Diskussion eingebracht hat. 1993 präsentierten Cousins und Leithwood ein Modell, das nahezu die ganze Bandbreite der bis dahin ermittelten Faktoren mit Effekten für die Nutzung abdeckte, indem sie ihr ursprüngliches Modell um die Kategorie „Interaktive Prozesse“ erweiterten (siehe Abb. 4). Die 1993er Studie zeigt, dass lineare Modelle zur Erklärung von Ergebnisnutzung oftmals unzulänglich sind und dass zwischen der Forschungsgemeinschaft bzw. Evaluator(inn)engemeinschaft und den potenziellen Nutzer(inne)n interaktive und komplexe Prozesse mit Einfluss auf die Nutzung stattfinden. Drei Kategorien mit dazugehörigen Faktoren beeinflussen der Untersuchung nach das Ausmaß und die Art der Nutzung von Informationen: zum Ersten die Sichtweise der Person bezüglich der Qualität der Bezugsquelle der Information (Charakteristika der Informationsquelle), und zum Zweiten Aspekte des Settings, in dem die Informationen möglicherweise genutzt werden (Rahmenbedingungen/ Setting). Diese voneinander abhängigen Kategorien haben sowohl einen direkten als auch indirekten Einfluss auf die Nutzung von Informationen. Indirekte Effekte werden dabei mittels der dritten Kategorie, die die Autor(inn)en interaktive Prozesse nennen (Cousins/Leithwood 1993: 307), erklärt. Die Resultate der zweiten Studie (ebd.) weisen darauf hin, dass

48

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Variationen in der Nutzung zu signifikanten Teilen durch Faktoren, die in der ursprünglichen Studie (Cousins/Leithwood 1986) gesammelt wurden, erklärbar sind. Charakteristiken der Informationsquelle - Qualtität der Evaluation (20.5) - Glaubhaftigkeit (6.8) - Relevanz (13.2) - Qualität der Kommunikation (7.7) - Ergebnisse (14.8) - Timelines (5.1)

Rahmenbedingungen/ Setting

Evaluationsnutzung Interaktive Prozesse* - Mitwirkung - Soziale Weiterverarbeitung - fortlaufender Kontakt - Engagement - Diffusion von Information

Nutzung im Sinne von Weiterentwick lung (Information processing)

- Informationsbedürfnis (7.3) - Entscheidungskriterien (16.4) - Politisches Klima (10.0) - konkurrierende Informationen (12.6) - persönliche Charakteristiken der Nutzer(innen) (7.1) - Commitment und/oder Aufnahmebereitschaft (14.1)

Nutzung im Sinne von Entscheidungsfällung (Decision)

Nutzung im Sinne von Aufklärung (Learning)

Abbildung 4: Evaluationsnutzung (Cousins/Leithwood 1986: 348) * die Dimension Interaktive Prozesse ist kein Teil der 1986 veröffentlichten Darstellung und Überlegungen, sondern wurde erst später (1993: 308) in das Konzept aufgenommen. In Klammern findet sich ein Overall Index Score der die Prävalenz der Beziehungen erfasst.

Ebenfalls in den neunziger Jahren wurden einige Ansätze entwickelt, die die Partizipation der Betroffenen und Beteiligten in den Mittelpunkt stellten. David Fetterman (1994; Fetterman et al. 1996) besetzten mit ihrem Konzept von Empowerment Evaluation eine Nische in der Evaluationslandschaft (vgl. dazu auch Scriven 1997). Die befähigende oder Empowerment Evaluation wurde als Hilfe zur Selbsthilfe zur Verbesserung von Programmen entwickelt. Programmbeteiligte führen dabei ihre eigene Evaluation durch und externe Evaluator(inn)en übernehmen die Funktion von Berater(inne)n und agieren als Vermittler(in), Moderator(in) aber auch als Lehrer(in). Fetterman betont jedoch, dass sein Konzept kein Allheilmittel ist und andere Formen von Evaluationen ersetzen soll (Fetterman 1997). Empowerment Evaluation hat eher Entwicklungsaspekte im Blick und ist weniger geeignet, wenn über ein Programm Rechenschaft abgelegt werden soll (Fitzpatrick 2000). Cousins und Lorna Earl stellten ein ähnliches Konzept wie Fetterman vor und nannten es Partizipativer Ansatz. Hier wird ent-

2.2 Der Evaluationsnutzungsbegriff

49

sprechend auf eine Steigerung der Evaluationsnutzung durch intensive Partizipation fokussiert (Cousins/Earl 1992, 1995)30. Evaluator(inn)en sind hier vor allem Wissensvermittler(innen). Tim Robinson und Cousins (2004) weisen darauf hin, dass Individuen während einer partizipativen Evaluation ihre Denkweise und ihr Verhalten verändern und dass auch Evaluationseffekte auf der Organisationsebene (dazu auch: Cousins/Earl 1995; Balthasar/Rieder 2000) beobachtet werden können. Die Methoden und Modelle, die die einzelnen Autor(inn)en in dieser Zeit präsentierten, unterschieden sich wesentlich. Dennoch verfolgten sie eine gemeinsame Idee: Die Interaktion und Kooperation von Evaluator(inn)en und den verschiedenen Stakeholder sollte stärker im Fokus der Betrachtung stehen. 1998 – 2008: Um- und Neudenken, Evaluation als Interaktion Johnson (1998) betrachtete in einer Synthese verschiedene bis Ende der neunziger Jahre entwickelte theoretische Modelle zur Nutzung und unterstrich die Schwäche der bisherigen Nutzungsforschung, indem er aufzeigte, dass es zwar viele Auflistungen von Variablen und Faktoren gab, die angeblich einen Einfluss auf die Evaluationsnutzung hatten, dass aber die Zusammenhänge zwischen den einzelnen Variablen bis dato vernachlässigt worden waren. Ziel der Arbeit von Johnson war dementsprechend die Entwicklung eines ganzheitlichen Metamodells, das soweit wie möglich die Zusammenhänge zwischen den Variablen berücksichtigt und anwendbar ist für jede Art der Evaluation (formativ und/oder summativ, intern und/oder extern). Johnsons Modell (Abb. 5) hebt hervor, dass dann Veränderungen auftreten, wenn sich ein einziger Faktor im System ändert. Die externe Umgebung und der Evaluationskontext sind die breitesten Dimensionen des Modells, gefolgt von der internen Umgebung (Johnson 1998: 107). Die drei Hintergrundvariablen im linken Teil des Modells und die externe und interne Umgebung der Organisation schaffen die Voraussetzungen für Evaluationsnutzung (ebd.: 107).

30

Ein ähnlicher Ansatz wurde in der Politik-Evaluation z.B. von Frank Fischer (2003) entwickelt.

50

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Formatives Feedback und Prozess-Loop

Konkurrierende Informationen

Erwartungen

Individuelle Charakteristiken

Partizipation bei der Evaluation

Kognitive Nutzung

Veränderung des Verhaltens

Politik

Output

Input

OrganisationsCharakteristiken

Politik

Evaluatoren/innenCharakteristiken

Dissemination

Lernen der Organisation Truth und Utility Test

Hintergrundvariablen

Interaktionsvariablen

Interessen und Ideologien

Nutzungsvariablen

Output in die interne Umgebung

Input aus der internen Umgebung

Interne Umgebung und Evaluationskontext Externe Umgebung und Evaluationskontext

Abbildung 5: Theoretisches Modell zur Nutzung von Evaluationen (Johnson 1998: 104) Kritische Stimmen zu vorliegenden Nutzungskonzepten wurden insbesondere ab 2000 laut (vgl. dazu auch Kapitel 2.2). Kirkhart (2000) forderte ein radikales Umdenken und Neudenken bezüglich der Formen von Nutzung und der Terminologie: Der Begriff Nutzung (use) sei ein ungünstiger, inadäquater und unpräziser in seiner Anwendung, da er weder unintendierte Effekte noch graduelle Einflüsse berücksichtige (Kirkhart 2000: 6). Sie plädiert für die Einführung des Begriffs Einfluss, da dieser die drei Dimensionen Intention, Zeit und Quelle berücksichtigt. Durch die Intention wird zwischen intendierten und unintendierten Einflüssen unterschieden. Die Dimension Zeit verbindet die Autorin mit (1) sofortigen, (2) am Ende des Evaluationszyklus (end-of-cycle) auftretenden und (3) langfristigen Einflüssen. Die Quelle des Einflusses bezieht sich, in Anlehnung an Gary T. Henry und Debra J. Rog (1998), auf den Ausgangspunkt eines generativen Veränderungsprozesses (Kirkhart, 2000: 8f). Sie kritisiert, dass vorliegende Konzepte und Ideen zur Nutzung von Evaluationen nicht ausreichend valide sind und durch die differenziertere Theorie des Einflusses u.a. eine größere Vergleichbarkeit zwischen Metastudien erreicht werden könne (ebd.: 19).

51

2.2 Der Evaluationsnutzungsbegriff

Stamm (2003a) verdichtete aus der Literatur herausgefilterte Dimensionen zu sechs unabhängigen und drei abhängigen Variablen, deren Wirkungsweise sie vertiefend untersucht hat. Die vier Hintergrundvariablen bilden dabei das Grundgerüst zur Abwicklung der Evaluation und nachfolgender Nutzungsaktivitäten. Durch die Interaktionsvariablen werden mit dem Fokus auf Disseminations- und Diffusionsprozesse vor allem kommunikative Elemente in den Mittelpunkt gestellt. Die Verwendungsvariablen umfassen die zuvor beschriebenen drei Arten von Verwendung. Die Auswirkungsvariablen sollen aufzeigen, welche Handlungen oder Maßnahmen tatsächlich erfolgt sind (Stamm 2003a: 151f). Stamm untersuchte 18 Evaluationsfälle von Schulversuchen in der Schweiz. Insgesamt gelangten drei unterschiedliche Erhebungsmethoden zum Einsatz: die Dokumentenanalyse (37 Dokumente), das leitfadengestützte fokussierte Interview (N=56)31 und Fragebögen (N=56). Hintergrundvariablen

Interaktionsvariablen

Evaluation (Prozess und Produkt)

Organisationsmerkmale

Auswirkungsvariablen

Zielsetzung Kontext Interessen

Entscheidungskader Feldakteure

Person des Evaluators/der Evaluatorin

Verwendungsvariablen

Instrumentelle Nutzung Dissemination Diffusion

legitimatorische Nutzung

Auswirkungen

konzeptualisierende Nutzung

Nützlichkeit Anwendbarkeit

Abbildung 6: Metatheoretisches Modell von Stamm (2003a: 153), Ovale= unabhängige Variablen, Rechtecke = abhängige Variablen Anhand der Abbildung 6 wird deutlich, dass Stamm für ihre Untersuchung sowohl die potentiellen Nutzer(innen) (Entscheidungskader und Feldakteure), als auch die Evaluator(inn)en berücksichtigt hat. Die Ergebnisse der Studie zeigen, dass die Verbreitung der Befunde wesentlich von den Entscheidungskadern und Feldakteuren abhängt. Die Ergebnisse belegen, dass hierfür weder die Verände31

Davon führte die Autorin 20 Interviews mit Evaluator(inn)en, 20 Interviews mit Entscheidungsträger(inne)n und Projektverantwortlichen sowie 16 Interviews mit beteiligten und betroffenen Personen aus der pädagogischen Praxis.

52

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

rungsbereitschaft, noch bereits gemachte Erfahrungen mit Evaluation eine Rolle spielen, vielmehr erhöht die Unerfahrenheit bei dieser Gruppe die Dissemination (Stamm 2003a: 296). Die Rolle der Evaluator(inn)en (akademische Orientierung, Dienstleistungsorientierung, Anfänger(in), Experte(in)) hingegen ist für die Dissemination und Diffusion der Befunde nicht ausschlaggebend. Hier stimmt Stamms Unterscheidung mit den von Johnson (1998) beschriebenen kontrastierenden Typen der Evaluator(inn)en überein. Zentral ist in dem Modell von Stamm die organisationale Struktur, in die die Evaluator(inn)en eingebunden sind, und die es diesen ermöglicht, aktiv an Verbreitungsbemühungen teilzunehmen oder nicht (Stamm 2003a: 299). Die Autorin generierte anhand ihrer Untersuchung folgende vier Typen32 von Evaluationsnutzung: (1) Blockade-Typus: Evaluationen dieses Typus zeichnen sich dadurch aus, dass direkt nachweisbare Nutzungen des Evaluationswissens ausbleiben und dass die Hauptzielsetzung der Evaluation eine Überprüfung ist. (2) Innovations-Typus: Gemeinsam ist Evaluationen dieses Typus eine entwicklungsorientierte, Optimierung anstrebende Zielsetzung sowie deutlich nachweisbare Folgen von Evaluation. (3) Alibi-Typus: Dieser Typus ist gekennzeichnet durch eine Evaluation aus Legitimationsgründen und eine ausbleibende direkte Nutzung. (4) Reaktions-Typus: Evaluationen dieses Typus sind auf Überprüfung und nicht auf Umsetzung oder Entwicklung hin angelegt und zeigen trotzdem direkte Folgen. Eine Schlüsselerkenntnis der Studie ist, dass die Überführung von Evaluationswissen in direkte Umsetzungsmaßnahmen und Handlungen in der Minderheit der Fälle als deduktive, unbeschädigte Transferhandlung, sondern weit häufiger in Form transformativer Umdeutungs- und Reduktionsprozesse erfolgt und dass vermehrte Nutzung nicht eine logische Folge von methodisch elaborierter Evaluation ist (Stamm 2003a; 2003b). Henry und Mark (2003a: 297ff) bemängeln, dass auch die neuesten Publikationen selten systematische oder vergleichende Forschungsarbeiten sind, sondern eher konzeptuell oder theoretisch ausgerichtet sind. Eine Neuerung hinsichtlich der hier interessierenden Fragestellung nach der Interaktionsperspektive in der Evaluationsnutzungsforschung ist, dass die Autoren in ihre Überlegungen vor allem (verhaltens-)psychologische Kenntnisse über Veränderungsprozesse mit einbeziehen und auf die Mechanismen, durch die Evaluationen Einfluss ausüben können, fokussieren. In einem gemeinsamen Artikel stellen sie drei verschiedene Einflussebenen von Evaluationen als Ausgangslinie für den jeweiligen Verände32

Die vier eruierten Typen wurden anhand folgender Vergleichsdimensionen beschrieben: (1) Qualität der Evaluation, (2) Entscheidungskader/Akteure, (3) Evaluator/in, (4) Konformität, (5) Organisation, (6) Kontext und Interessen, (7) Dissemination und Diffusion, (8) Rezeption, Transfer und Nutzung.

53

2.2 Der Evaluationsnutzungsbegriff

rungsprozess vor: Individuell, Interpersonell und Kollektiv. Durch diese Unterteilung berücksichtigen die Autoren den Veränderungsprozess (Gedanken oder Aktionen) bei einer Person (individuell), zwischen zwei oder mehr Personen durch Interaktionen (interpersonell) und innerhalb einer Organisation oder Institution (kollektiv). Die Elemente, die hier als eine Art Pfad dargestellt werden, können sich gegenseitig stimulieren. Unter jeder Einflussebene finden sich vier bis sechs Typen von Veränderungsprozessen oder Outcomes, die entweder durch den Evaluationsprozess, oder durch Evaluationsresultate ausgelöst werden können.

Einflussebenen

Kollektiv

Individuell

Interpersonell

Änderung der Einstellung

Rechtfertigung

Programm-Setting

(staatl. und private Organisationen)

Gewichtung

Beeinflussung/ Überzeugung

Politik-orientiertes-Lernen

Ausarbeitung

Change agent

Politikveränderung

Grundansicht

Soziale Normen

Diffusion

Fähigkeiten-Akquise

Beeinflussung

Änderung des Verhaltens

Abbildung 7: Mechanismen, durch die Evaluation Einfluss produziert (Henry/Mark 2003a: 298) Die Autoren untersteichen, dass es durch die Kenntnisse von Pfaden zur Einflussnahme einfacher wird zu verstehen, wie Evaluationen zu mehr gesellschaftlichem Wandel führen können. Das Modell zeigt auch, dass nicht nur Evaluator(inn)en einen Einfluss auf Individuen und ihre Einstellungen haben, sondern dass Evaluationen auch einen Einfluss auf Gruppen, Organisationen usf. haben können (Fitzpatrick et al. 2004: 403). Eine wichtige methodische Weiterentwicklung in der Evaluationsforschung und einen Beitrag zur Evaluationsnutzungsforschung stellt der theoriebasierte Ansatz dar. Huey-Tsyh Chen konzeptualisiert Programme unter systemtheoretischem Gesichtspunkt und beschreibt fünf Komponenten: Input, Transformation, Output, Feedback und Umwelt (vgl. Chen 2005: 4). Die Transformation von

54

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Inputs in Outputs und die Interaktion zwischen Programm und Umwelt erfolgen dabei dynamisch. Er unterstreicht, dass Programmevaluationen von daher „future action-directed“ (ebd.: 6) und holistisch sein sollten und die wissenschaftliche und praktische Glaubwürdigkeit gleichermaßen berücksichtigen müssen. Chen regt einmal mehr die Interaktion zwischen Praktiker(inne)n (als Expert(inn)en ihrer Arbeit) und Wissenschaftler(inne)n an: ohne einen regen Austausch können aus Evaluationen unter Umständen abstrakte Ideen und Debatten entstehen, die ohne jeden Nutzen für die Praktiker(innen) sind. Evaluator(inn)en erhalten in diesen Fällen kein Feedback zu ihrer Arbeit und mögliche Synergieeffekte gehen verloren (ebd.: 270; Chen 1990). Und schließlich beschäftigte sich Balthasar (2007) mit dem Einfluss des institutionellen Arrangements auf die Distanz33 zwischen Evaluierenden und Evaluierten und dem Einfluss dieser Komponenten auf die Nutzung von Evaluationen in Schweizer Bundesämtern und Dienststellen. Balthasar greift in seinem Modell auf die herkömmliche Unterscheidung der fünf Arten der Verwendung einer Evaluation zurück. Interessant an seiner Meta-Untersuchung ist, dass auf nationaler Ebene nahezu alle abgeschlossenen Evaluationen in der Schweizer Bundesverwaltung (zwischen 1999-2002, N=300) berücksichtigt wurden und dadurch die Möglichkeit gegeben war, den aktuellen Stand der Evaluation für diesen Bereich zuverlässig zu dokumentieren. In seiner Untersuchung hat er einige Interaktionsmerkmale, aber auch Aspekte sozial kompetenten Verhaltens berücksichtigt. Diese sind: soziale Kommunikation, Charakteristika der Entscheidungsträger(innen), Offenheit für Evaluation. So lautet ein zentrales Ergebnis der Studie, dass die Chance für Nutzung sehr stark ansteigt, wenn die Entscheidungsträger(innen) an der Evaluation interessiert sind (Balthasar 2007: 347). Die prozessbezogene Nutzung von Evaluationen ist signifikant höher, wenn Evaluator(inn)en zur Umsetzung ermuntern und die Zusammenarbeit zwischen Evaluierten und Evaluierenden von Achtung geprägt ist (ebd.: 337, 352). Bilanzierend kann antizipiert werden, dass die Forschungserfahrungen seit den 70er Jahren bis heute nicht zu einer konkreten Nutzungstheorie oder zu einer Konkretisierung der Faktoren auf der Ebene der Interaktionen zwischen den Beteiligten einer Evaluation geführt haben. Weiss (1998) beschreibt, dass trotz dieses Mankos ein Umdenken stattgefunden hat und dass Fortschritte zu verzeichnen sind, weil die bisherige Nutzungsforschung eben zu diesem Umdenken angeregt hat. In neueren Handbüchern zu Evaluation widmen sich ganze Kapitel den sozialen Beziehungen in Evaluationen (Mark et al. 2006; Stockmann 2007), auch dies kann als Zeichen des Neudenkens gewertet werden. Eine der Au33

Das Distanzmaß beinhaltet: (1) Einbezug der evaluationsverantwortlichen Stelle, (2) Kostenübernahme, (3) Auslösung, (4) Vergabepraxis, (5) Publikationspraxis, (6) Evaluationsdurchführung (Balthasar 2007: 52).

2.2 Der Evaluationsnutzungsbegriff

55

tor(inn)en unterstreicht, dass die Dimensionen der sozialen Beziehungen und Interaktionen in den aktuellen Arbeiten zu Evaluation jedoch häufig nicht explizit behandelt werden (Abma 2006: 188). Zusammenfassend werden den Evaluator(inn)en und verschiedenen Stakeholdern34, abhängig vom Konzept, verschiedene Rollen zugewiesen. Das Spektrum erstreckt sich von einem passiven Rollenverständnis (ohne viel Interaktion), in dem Evaluator(inn)en die Methoden auswählen und anwenden und somit das methodische Know-how bereithalten über strategische Fähigkeiten bis hin zur Hilfe zur Selbsthilfe und eine aktive aushandelnde und lernende Evaluator(inn)enrolle. Die Rolle der Nutzer(innen) wird von den einzelnen Autor(inn)en jeweils komplementär gesehen. Die historische Sichtweise zeigt, dass eine Tendenz hin zur Interaktionsperspektive sukzessive zugenommen hat. Zugleich stellen interpersonelle und soziale Kompetenzen im Hinblick auf Evaluationsnutzung kein stabiles Konstrukt dar. Auf diesen Aspekt wird vor dem Hintergrund der hier im Zentrum stehenden Fragestellung nach der Bedeutung von Interaktionsgestaltung und sozialen Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen an verschiedenen Stellen in dieser Arbeit (vgl. z.B. Kapitel 2.5) dezidiert eingegangen. 2.2.4 Ableitungen für das Untersuchungsmodell: vier Dimensionen von Nutzungen in Programmevaluationen Im Kontext dieser Arbeit interessieren vor allem Nutzungsprozesse auf der Programmebene und weniger Entscheidungsfällungsprozesse auf politischer Ebene. Den Bezugsrahmen stellt hierbei die gemeinsame Arbeit von Evaluator(inn)en und Stakeholdern im Rahmen von Programmevaluationen. Programmevaluationen werden, wie unter 2.2.2 beschrieben, selten nur rein symbolisch, konzeptionell, instrumentell oder prozessbezogen genutzt. Der Begriff Nutzung wird daher im Folgenden im Plural gebraucht, um laufend zu vergegenwärtigen, dass die „Evaluationsnutzung“ im Singular nicht die Regel ist. Es wird ausdrücklich nicht versucht werden, Zuordnungen zu den bekannten Nutzungstypen vorzunehmen. Eine klare Sichtweise auf das Konstrukt Nutzungen und die Operationalisierung des Begriffs für empirische Untersuchungen erfordert eine Rekonzeptualisierung des Nutzungsbegriffs und kann aus unterschiedlichen Blickwinkeln erreicht werden. Eine mögliche Zugangsweise wird im Folgenden vorgestellt. Vor dem Hintergrund des Fachdiskurses kann zusammengefasst werden, dass Belege für Nutzungen durch vier Dimensionen bestimmt sind, die durch folgende Fragen gefasst werden können: 34

Die unterschiedlichen Ansichten von acht verschiedenen Evaluationstheoretikern zur Involvierung von Stakeholdern wurden von Christina Christie (2003) vergleichend untersucht.

56 ƒ ƒ ƒ ƒ

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Wann entsteht die Nutzung von Evaluation? Wie wird Evaluation genutzt? oder auch: Was wird genutzt? Wer nutzt die Evaluation? Wo wird die Evaluation genutzt?

Einzelne Abteilungen in Organisationen

individuell

Direkt

Einzelne Organisationen

interpersonell

Organisationsgeflechte

kollektiv

Indirekt

Als Folge von Evaluation

Wo

Einzelne Abteilungen in Organisationen

Wer

individuell

Wie/ Was

Direkt

Wann

Einzelne Organisationen

interpersonell

Organisationsgeflechte

kollektiv

Indirekt

Im Prozess von Evaluation

Evaluationsnutzungen

Abbildung 8: Vier Dimensionen von Evaluationsnutzungen Durch eine Literaturanalyse zu Faktoren, die die Akzeptanz von Studienergebnissen begünstigen, wurde deutlich, dass hier insbesondere vier Fachgebiete als Ressource genutzt werden können: Programmevaluation, Managementwissenschaft, angewandte Verhaltensforschung und Organisationstheorie (Oman/Chitwood 1984: 286). An vorderster Stelle werden Befunde und Theorien der Programmevaluation in das Nutzungsmodell integriert, die Ergebnisse der angewandten Verhaltensforschung fließen vor allem durch den Brückenschlag zu diesem Fachgebiet durch Henry und Mark (2003a) in das Modell ein. Zudem sind Teilaspekte von Organisationstheorien im Modell angelegt. Folgende Darstellung zeigt die herausgearbeiteten Dimensionen im Überblick: Im Folgenden werden die vier Dimensionen von Nutzungen näher charakterisiert. Entsprechend des Modells von Kirkhart wird von einem Kontinuum aus-

2.2 Der Evaluationsnutzungsbegriff

57

gegangen (Kirkhart 2000: 8), d.h. die einzelnen Ebenen liegen aufeinander und bedingen sich interdependent. Wann werden Evaluationen genutzt? Die Komponenten „Nutzungen als Folge von Evaluation“ und „Nutzungen im Prozess von Evaluation“ nehmen den Zeitpunkt bzw. den Zeitrahmen der Nutzungen in den Blick. Wann im Verlauf einer Evaluation welche Informationen bereitgestellt werden und welche Rückwirkungen diese für den Handlungsvollzug haben sollen muss für jede Evalaution entschieden werden (vgl. Kuper 2005: 15). Die genaue Einteilung, was „zu Nutzungen im Prozess“ und was zu „Nutzungen in Folge von Evaluationen“ zugehörig ist, muss – je nach Forschungsinteresse – festgelegt werden. Die Zeiteinteilung in Nutzungen im Prozess und als Folge von Evaluationen ist arbiträr, es könnte beispielsweise auch in Nutzungen in der Planungsphase und Nutzungen in der Abschlussphase unterschieden werden. Nutzungen im Prozess von Evaluationen sind an den Zeitrahmen der Evaluation gebunden, sie können in der Planungsphase, in der Durchführungsphase oder in der Abschlussphase (diese kann je nach Anlage der Evaluation über die Abgabe des Evaluationsberichts hinausgehen) einer Evaluation auftreten und über diese hinausdauern. Auch frühe Nutzungen, die sich zu langfristigen Nutzungen entwickeln und Langzeitkonsequenzen haben, sind Nutzungen, die zeitlich im Prozess der Evaluation angesiedelt werden können. Die Dauer der Nutzungen ist demnach nicht gebunden an den Zeitpunkt oder die Zeitspanne der Entstehung dieser35. Unter Nutzungen als Folge von Evaluationen können alle Nutzungen gefasst werden, die nach Abschluss der Evaluation entstehen. Längerfristige Nutzungen der Evaluation können dementsprechend erst lange Zeit nach Abschluss dieser sichtbar werden und verzögert auftreten (Kirkhart 2000: 17). Für diese Untersuchung wird festgelegt, dass der Abschluss der Evaluation die Schwelle für die Zuordnung zu „Nutzungen im Prozess“ oder „Nutzungen als Folge der Evaluation“ bildet, wobei der Zeitpunkt der Entstehung der Nutzungen von Relevanz ist und nicht die Dauer dieser. Wie wird Evaluation genutzt? (Was wird genutzt?) Was Kirkhart (2000) in ihrer Argumentation mit „Intention“ und „Quelle des Einflusses“ bezeichnet hat, findet sich hier in der Kategorie des „Wie/Was“ wieder, d.h., hier wird auf inhaltlicher Ebene differenziert zwischen direkten (intendierten, erwünschten oder unerwünschten) und indirekten (unintendierten oder intendierten, erwünschten oder unerwünschten) Nutzungen. 35

Zu den verschiedenen Zeitpfaden einer Wirkung vgl. Glass et al. (1975).

58

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Unter direkten Nutzungen werden alle intendierten Handlungen und Veränderungen, die mit der Evaluation in Verbindung gebracht werden, verstanden. Diese können beispielsweise (je nach Evaluationskontext) inhaltliche Veränderungen (vgl. z.B. Shadish et al. 1991; Rossi/Freeman 1993), Nutzungen zu Legitimationszwecken (vgl. z.B. Johnson 1998; Clarke/Dawson 1999; Huberman 1987), die Bestätigung von bereits Gewusstem (vgl. z.B. Alkin et al. 1979) oder Anregungen zur Diskussion (vgl. z.B. Cook/Pollard 1977) in verschiedenen Kontexten sein. Daraus resultierende Handlungen und Veränderungen können erwünscht oder unerwünscht sein. Der gegenwärtige Stand von Programmevaluationen zeigt, dass Nutzungen eine Vielzahl intendierter und unintendierter Konsequenzen nach sich ziehen können (Michalski/Cousins 2001: 50). Direkte Nutzungen werden dementsprechend als Realität und nicht als „unhaltbarer Mythos“ (Drerup 1982, zit. nach Stamm 2003b: 184) betrachtet. Indirekte Nutzungen sind zunächst einmal unintendiert, können jedoch insbesondere von erfahrenen Umsetzungsverantwortlichen und Evaluator(inn)en auch intendiert und von Beginn an forciert sein. Beinhaltet sind alle „Produkte“, die nicht explizit mit der Fragestellung der Evaluation zusammenhängen. Dazu gehören z.B.: Entstehung von nützlichen Kontakten (vgl. z.B. Forss et al. 2002), Sensibilisierung für bestimmte Themen durch die Evaluationsbefragung (vgl. z.B. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 2004), Lernen für die Evaluationspraxis bzw. den Umgang mit Evaluationen (Lerneffekte in Form konzeptioneller Auswirkungen auf zukünftige Evaluationen) (vgl. z.B. Forss et al. 2002), Verbesserung der Kompetenzen im Verstehen von Evaluationen (vgl. z.B. ebd.), Beratung für die interne Evaluation (vgl. z.B. ebd.), Motivationsanschub für die weitere Arbeit (vgl. z.B. ebd.) u.a.. Evaluation kann dementsprechend allein dadurch, dass sie stattfindet, Effekte haben. Im Sinne von Jody L. Fitzpatrick sind indirekte Nutzungen solche, die nicht an den Resultaten einer Evaluation orientiert sind (Fitzpatrick et al. 2004: 401). Diese Form von Nutzung wird auch häufig prozessorientierte Nutzung (Patton 1996: 86) genannt. Pattons Begriff der prozessbezogenen Nutzung (vgl. Patton 1998) scheint für diese Arbeit irreführend, da sowohl direkte als auch indirekte Nutzungen im Verlauf und/oder im Prozess einer Evaluation erfolgen. In dieser Untersuchung wird daher der Begriff der indirekten Nutzungen verwendet. Damit nicht jede Anleihe, die bei Evaluationserkenntnissen gemacht wird, bereits als indirekte Nutzung definiert wird, weil es Verweise auf den Evaluationsgegenstand gibt, wurden die Interviewpartner(innen) im Rahmen der Untersuchung gebeten, konkret mit Beispielen zu belegen, wie die Evaluation zu einer Handlung oder Entscheidung geführt hat.

2.2 Der Evaluationsnutzungsbegriff

59

Wer nutzt Evaluationen? Verschiedenste Personen können Evaluationen nutzen. Nutzung kann individuell, zwischen zwei verschiedenen Personen (interpersonell) und kollektiv auftreten (Henry/Mark 2003a). Bei dieser Dimension wird zugeordnet, welche inhaltlichen Veränderungen sich auf welche Person(engruppen) beziehen bzw. welche Person für sich und ihr Umfeld oder für andere welche Nutzungen wahrnimmt und berichtet. Dabei stehen mindestens zwei Beurteilungsdimensionen einander gegenüber: der „wissenschaftliche Gebrauchswert“ (vgl. Stamm 2003a: 26), den Evaluator(inn)en ihrer eigenen Arbeit zumessen, und der „praktische Nutzwert“ (vgl. ebd.) als Einschätzung der Nützlichkeit der Evaluation durch die Abnehmer(innen). Wo wird Evaluation genutzt? Eine weitere Dimension ist der Ort der Evaluationsnutzung. Hier erstreckt sich die Spannbreite – je nach Anlage der Evaluation – von kleineren Arbeitsgruppen in Einrichtungen und Programmen über gesamte Einrichtungen und Organisationen wie z.B. Schule, Dienstleistungsunternehmen, Parteien bis zu komplexen staatlichen und privaten Organisationsgeflechten. Die Bemühungen von Evaluator(inn)en, Veränderungen in Organisationen zu bewirken bzw. organisationsbezogene Variablen mit Effekten auf Evaluationsnutzungen sind bislang wenig untersucht oder sogar „unerforscht“ (Oman/Chitwood 1984: 284). Die spannende Frage der Wirkungen von Evaluationen auf Organisationsebene (vgl. dazu z.B. Cousins/Earl 1995; Fear 2007) und die damit in Verbindung stehenden klassischen Themen der Organisationssoziologie und darüber hinausgehende gesellschaftsbezogene Fragen und Zugriffsweisen auf Evaluationsnutzungen werden in vorliegender Arbeit aus zwei Gründen explizit nicht berücksichtigt: zum einen stand die Interaktionsebene zwischen Evaluator(inn)en und deren Hauptinteraktionspartner(inne)n und deren Bedeutung für Evaluationsnutzungsprozesse im Zentrum des Erkenntnisinteresses. Zum anderen stellen die hier untersuchten Mentoringprogramme eine Form von organisationsunspezifischen Programmen dar, d.h., hier wird in einer Form Personalentwicklung betrieben, die in klassischen Personalentwicklungsprogrammen in Organisationen nicht vorkommt. Übergeordnetes Ziel der Verwendung des Instruments Mentoring ist, dass der/die Mentee die bestmögliche Position erreicht, die seiner/ihrer Qualifikation entspricht (vgl. Höppel 2000) und zwar unabhängig von einer spezifischen Organisation. Der Frage, wo die Evaluationen der Mentoringprogramme genutzt wurden, findet daher in dieser Untersuchung keine Berücksichtigung.

60

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Definition von Evaluationsnutzungen: Die beschriebenen vier Dimensionsebenen erleichtern den Zugang zur Operationalisierung von Evaluationsnutzungen für die vorliegende Untersuchung. Für den Nachweis von Nutzungen muss im Sinne von Leviton und Hughes (1981) anhand von Beispielen erläutert werden, dass ohne die Evaluation anders gedacht oder gehandelt worden wäre, oder dass durch die Evaluation bereits bestehende Meinungen bezüglich des Programms bekräftigt wurden und dementsprechend keine Veränderungen im Denken oder Handeln auftreten. Eine Verbindung zwischen der Evaluation und deren Nutzungen kann demnach dann hergestellt werden, wenn die Beteiligten sie selbst auch herstellen. Die „Beweisführung“ liegt demnach sowohl bei potentiellen Nutzer(inne)n als auch Evaluator(inn)en. In der Betrachtung von Nutzungen kann je nach Kontext berücksichtigt werden was, wann, wem und wo geschieht. Angesichts der hier vorgeschlagenen Betrachtungsweise stellt sich die Frage, ob das metatheoretische Axiom des Kommunikationswissenschaftlers Paul Watzlawick nicht auch auf die Evaluationnutzung übertragen werden könnte. Evaluationsnutzung kann, wie gezeigt, auch unintendiert und aus negativen Erfahrungen heraus entstehen. Entsprechend des Satzes von Watzlawick „Man kann nicht nicht kommunizieren.“ (vgl. Watzlawick et al. 1969: 53) würde das im übertragenen Sinne bedeuten: „Man kann Evaluation nicht nicht nutzen.“ Diese Aussage berücksichtigt freilich nicht, als wie sinnvoll eine Evaluation beurteilt wird. Beispielsweise kann selbst die „unnützlichste“ Evaluation den Nutzen haben, dass die Beteiligten ihre Meinungen zu Evaluationen ändern, die nächste Evaluation anders gestalten etc. Zusammenfassend wird in dieser Arbeit von Evaluationsnutzungen ausgegangen, wenn als Folge oder im Prozess (zeitlich) von Evaluation direkt oder indirekt Handlungen und/oder Veränderungen im Denken und/oder Bestätigungen des bereits angenommenen (inhaltlich) mit der Evaluation assoziiert werden. Dies kann auf individueller, interpersoneller und/oder kollektiver Ebene (personell) passieren. Eine Verbindung zwischen einer Evaluation und deren Nutzungen wird dann hergestellt, wenn die Betroffenen und Beteiligten einer Evaluation sie selbst auch herstellen. 2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale: Hintergründe, Ansätze und Begrifflichkeiten 2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

Im Rahmen dieses Kapitels findet eine theoretische Annäherung an die Konstrukte der sozialen Kompetenzen, der Interaktionsgestaltung und der Umfeldund Prozessmerkmale im Evaluationskontext statt. Ziel dabei ist es, die Kon-

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

61

strukte anschließend in ein Untersuchungsmodell für die empirische Untersuchung zu überführen. Die Überlegungen zur Rezeption der Theorien in der Evaluationsnutzungsforschung mit Blick auf die Interaktionskomponente hatten gezeigt (vgl. Kapitel 2.2.3), dass bislang kaum eine Integration verschiedener Modelle zur Rolle der Interaktionsgestaltung im Hinblick auf Evaluationsnutzungen stattgefunden hat. In den nachfolgenden Kapiteln wird daher geprüft, inwieweit verschiedene Modelle aus unterschiedlichen Disziplinen im Rahmen einer komplementären Betrachtung zu einer Spezifizierung der Beziehungen zwischen sozialen Kompetenzen, Interaktionsgestaltung und Evaluationsnutzungen beitragen können. 2.3.1 Soziale Kompetenzen – ein multidisziplinäres Konstrukt Im Folgenden wird das Konstrukt soziale Kompetenzen aus drei verschiedenen Blickwinkeln betrachtet. Zunächst als psychologisches Konstrukt, anschließend aus Sicht der Evaluationsnutzungsforschung und drittens als Teilbereich von Empfehlungen für Kompetenzfelder von Evaluator(inn)en (DeGEval 2008b; Stevahn et al. 2005). Ausgehend von diesen verschiedenen Gebieten wird das Konstrukt für diese Untersuchung expliziert und in ein Untersuchungsmodell (vgl. Kapitel 2.6) integriert. Hierbei handelt es sich nicht um die Generierung direkter, linearer Transferannahmen nach dem Muster: “dieses Verhalten erzeugt Nutzungen und jenes nicht“, sondern eher um eine Sammlung und Klärung der Begrifflichkeiten und Vorbereitung der Verflechtung der Termini aus den oben genannten drei Bereichen. Bevor das Konstrukt aus psychologischer Sicht genauer beleuchtet wird, soll herausgestellt werden, dass es sich per se nicht einem einzelnen Wissenschaftszweig zuordnen lässt. Armin Anwander (1992: 6f) nennt fünf unterschiedlich motivierte disziplinäre Ansätze zur Inblicknahme sozialer Kompetenzen: pädagogische, psychologische, linguistische, soziologische und organisationstheoretische. Andere Autor(inn)en (z.B. Friede 1995: 350f; Huber 1996: 35ff nach Evers, 2000: 24) ordnen den Begriff soziale Kompetenzen den Disziplinen Pädagogik, Psychologie und den Wirtschaftswissenschaften zu. Betrachtet man das Konstrukt soziale Kompetenzen als Steuerungsmechanismus zur Gestaltung von sozialer Interaktion, können nach Joseph Forgas (1995: 11f) vor allem drei Ansätze zur Erforschung dieser unterschieden werden: der psychologische Ansatz, der makro-soziologische Ansatz und der symbolische Interaktionismus.

62

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Exkurs: Soziale Interaktion in der Perspektive makrosoziologischer Ansätze und des symbolischen Interaktionismus Makrosoziologische Ansätze gehen gewissermaßen von der Priorität einer überpersonalen Struktur aus wenn es um die Beschreibung und Erklärung sozialer Interaktionen geht, d.h. soziale Systeme, deren Strukturen und Dynamiken stehen im Zentrum des Interesses. Vertreter sind z.B. Durkheim (Strukturalistische Theorien), Parsons, Luhmann (Systemtheorie) und Weber. Exemplarisch zur Verdeutlichung der makrosoziologischen Perspektive auf soziale Interaktionen soll hier nur der Ansatz Talcott Parsons kurz skizziert werden. Parsons Werk „The Structure of Social Action“ (1. Aufl. 1937, 1967) ist beispielsweise konzipiert als begriffliche Grundlegung einer Handlungstheorie. Durch den Weberschen Handlungsbegriff vorgezeichnet, entwirft Parsons dieses Schema aus der subjektiven Perspektive des Akteurs (Schneider 2008: 83). Eine elementare Handlungseinheit umfasst nach Parsons kontrollierbare Aspekte (Mittel zur Zielerreichung) und unkontrollierbare Aspekte (Bedingungen) einer Situation. Ferner beschreibt er normative Standards, die sowohl für die Selektion der Mittel, als auch für die Bestimmung der Handlungsziele relevant sind (Parsons 1967: 44ff). Er entwickelt eine voluntaristische Handlungstheorie, die der Frage nach den Bedingungen und Voraussetzungen von sozialer Ordnung, die bereits Thomas Hobbes (1588-1679) aufgeworfen hat, nachgeht (ebd.: 87ff). Voluntaristisch ist sein Handlungsbegriff, weil er der freien Einstellung des Akteurs einen konstitutiven Stellenwert zumisst (Schneider 2008: 86). In der weiteren Entfaltung seiner Theorie wird der konzeptuelle Bezugsrahmen erweitert. Drei Teilsysteme sind dabei zu einem Handlungssystem verbunden: Persönlichkeitssystem, kulturelles System und Sozialsystem (ebd.: 116). Parsons weiteres Werk ist gekennzeichnet durch eine strenge Orientierung an einem theoretischen Systemkonzept und dem Übergang zur Systemtheorie (ebd.: 144ff). Zentrum der Parsonsschen Theorie bilden die universalen Bezugsprobleme, die jedes System lösen muss, um seinen Bestand gegenüber der Umwelt zu sichern. Auch auf der Theorieebene mikrosoziologischer Ansätze wurden zahlreiche Konzepte entwickelt, um Interaktion und soziale Ordnung zu erklären. So unterscheidet etwa Ansgar Weymann zwischen fünf Konzepten, darunter auch demjenigen des symbolischen Interaktionismus (vgl. Weymann 2007: 109). Im Folgenden soll im Kontext dieser Arbeit und in Bezug auf Forgas (1995) lediglich kurz auf diesen Ansatz eingegangen werden. Der symbolische Interaktionismus ist ein mikrosoziologischer Ansatz, in dem Interaktionen als Grundlage für die Schaffung von sozialen Systemen und Persönlichkeiten und nicht als deren Produkt gelten. Bekanntester Vertreter ist George Herbert Mead (1934, 1967, 1973)36 und sein Schüler Herbert Blumer (1938). Die Ausgangspunkte resp. Grundannahmen werden anhand von drei Prämissen erläutert: „Die erste Prämisse besagt, dass Menschen ‚Dingen’ gegenüber auf der Grundlange von Bedeutungen handeln, die diese Dinge für sie besitzen. […] Die zweite Prämisse besagt, dass die Bedeutung solcher Dinge aus der sozialen Interaktion, die man mit seinen Mitmenschen eingeht, abgeleitet ist oder aus ihr entsteht. Die dritte Prämisse besagt, dass diese Bedeutung in einem interpretativen Prozess, den die Person in ihrer Auseinandersetzung mit den ihr begegnenden Dingen benutzt, gehandhabt und abgeändert wird.“ (Blumer 1973: 81). Diese Position begibt sich gewissermaßen auf die Ebene der Interaktion selbst, d.h. umfassende soziale Systeme und individuelle Persönlichkeiten werden erst im Laufe von sozialer Interaktion geschaffen (Forgas 1995: 12).

36

Der englische Originaltitel „Mind, Self and Society“ ist 1934, drei Jahre nach Meads Tod, von Charles W. Morris herausgegeben und 1967 zum zweiten Mal aufgelegt worden.

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

63

Der psychologische wird den soziologischen Ansätzen für dieses Vorhaben aus verschiedenen Gründen vorgezogen: Zum einen interessiert im Rahmen dieser Arbeit gerade die individuelle Perspektive der Beteiligten bei Evaluationen und weniger die abstrakte Ebene der Interaktion oder die umfassenden sozialen, ökonomischen und politischen Systeme, die Verhaltensweisen mitbestimmen bzw. diese überhaupt erst erzeugen. Zum anderen sind die bislang durchgeführten empirischen Untersuchungen von Programmevaluationen in diesem Bereich orientiert an Variablen und Prozessen, die ablaufen, wenn Menschen im Rahmen einer Evaluationsstudie miteinander interagieren. Die umfassenden kulturellen Zusammenhänge, in denen diese Menschen aufgewachsen und beruflich sozialisiert worden sind, spielen im Fachdiskurs eine untergeordnete Rolle. Die Evaluationsnutzungsforschung betrachtet die Charakteristika und Kompetenzen von Evaluator(inn)en und Nutzer(inne)n und nähert sich diesen aus der Perspektive des Individuums. Die zugrunde liegenden Vorstellungen der Evaluationsnutzungsforschung und der Psychologie zu dem Konstrukt soziale Kompetenzen beinhalten sowohl Aspekte beobachtbaren Verhaltens (Handlungen, Fähigkeiten und Fertigkeiten) als auch nicht beobachtbare Aspekte (Wissen, kognitive Prozesse). Berührungspunkte der Evaluationsnutzungsforschung zu psychologischen Ansätzen sind in Bezug auf das Konstrukt soziale Kompetenzen somit zahlreicher als die Verbindungen mit soziologischen Ansätzen. 2.3.1.1 Fokus 1: Soziale Kompetenzen als psychologisches Konstrukt Der Kompetenzbegriff, der einen Teil der Terminologie der sozialen Kompetenzen ausmacht, richtete sich während der siebziger Jahre ganz bewusst gegen eine als zu technisch und funktional empfundene Konzeption beruflicher Bildung und gegen das Unvermögen, überfachliche und querliegende Zieldimensionen mitzuerfassen (Clement/Arnold 2002: 7). Mittlerweile ist es zu einer starken und nur noch bedingt nachvollziehbaren Verästelung der Subkategorien des Kompetenzbegriffs gekommen, innerhalb derer das Konstrukt soziale Kompetenzen ein Bereich unter vielen ist (ebd.). Je nach Kompetenzmodell werden zusätzlich Selbstkompetenz, Handlungskompetenz, Personale Kompetenz, Fachkompetenz u.a. unterschieden. Nach einem Modell der Generellen Kompetenz (Greenspan/Gransfield 1992) setzt sich diese aus sozialer und instrumenteller Kompetenz zusammen, wobei die soziale und instrumentelle Kompetenz jeweils aus nicht-intellektuellen und intellektuellen Aspekten besteht. Die intellektuellen Aspekte der sozialen Kompetenz werden durch die praktische und die soziale Intelligenz bestimmt. Die nicht-intellektuellen Aspekte der sozialen Kompetenz bestehen aus den

64

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Merkmalen Temperament und Charakter. Die Autoren beschreiben, dass zur Bewältigung alltäglicher und beruflicher Anforderungen sowohl instrumentelle als auch soziale Kompetenzen gleichermaßen und in Kombination benötigt werden (ebd.: 449). In der psychologischen Forschung und Praxis hat das Konstrukt soziale Kompetenzen seit Anfang der siebziger Jahre eine beachtliche Bedeutung erhalten. Zunächst ist der Begriff sowohl im Alltagsgebrauch als auch im wissenschaftlichen Sprachgebrauch nicht wertfrei, sondern impliziert immer eine positive Wertung (Faix/Laier 1991; Petermann 1995)37. Ähnlich wie bei den Begriffen Evaluation und Evaluationsnutzung trifft man in der Auseinandersetzung mit dem Begriff der sozialen Kompetenzen auf eine Vielzahl unterschiedlicher Definitionsversuche. Soziale Kompetenzen stellen in der Psychologie einen Sammelbegriff für unterschiedliche Wissensbestandteile, Fähigkeiten und Fertigkeiten dar, bei dessen Definition die soziale Umgebung und die Perspektive des Handelnden berücksichtigt werden müssen. Verwandte Konzepte zu dem Begriff soziale Kompetenzen bilden soziale Intelligenz (Thorndike 1920; Thorndike/Stein 1937), emotionale Intelligenz (Salovey/Mayer 1989), interpersonale Kompetenz (Buhrmester et al. 1988) und soziale Fertigkeiten (z.B. Becker/Heimberg 1988). Die Konzepte können als Synonym oder Teilmenge sozialer Kompetenzen verstanden werden (Kanning 2003: 24). Soziale Kompetenzen werden als Konglomerat einer Vielzahl von Einzelaspekten begriffen, die sich alle auf den Umgang mit Menschen beziehen (vgl. Damm-Rüger/Stiegler 1996). Sie zeigen sich in der Disposition, kooperativ und kommunikativ selbstorganisiert zu handeln, d.h. sich mit anderen auseinanderzusetzen, sich gruppen- und beziehungsorientiert zu verhalten, um neue Ziele und Pläne zu entwerfen (Erpenbeck/Heyse 1999). Bei unterschiedlicher theoretischer Ausrichtung ist den Definitionen des Begriffs gemeinsam, „dass sie das erfolgreiche Realisieren von Zielen und Plänen in sozialen Interaktionssituationen hervorheben“ (Greif 1997: 312), wobei das zweckrationale und erfolgreiche Handeln einen zentralen Charakter für die Bedeutung des Begriffs einnimmt. Unter soziale Kompetenzen werden innerhalb des wissenschaftlichen Fachdiskurses zwischen fünf (Buhrmester et al. 1988) und 28 (Faix/Laier 1991) verschiedene Subkategorien bzw. Begrifflichkeiten subsumiert (vgl. Kanning 2002: 157). Es wurden verschiedenste Versuche unternommen, diese zu ordnen. Uwe Kanning z.B. (2002: 158) extrahierte nach einer empirischen Metaanalyse aktueller und häufig zitierter Kompetenzkataloge (N=18) insgesamt 15 allgemeine soziale Kompetenzdimensionen: 37

Die Vorstellungen von Laien zu prototypischen Komponenten sozial kompetenten Verhaltens gleichen in wesentlichen Aspekten dem, was von Expert(inn)en diskutiert wird (Kosmitzki/ John 1993).

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

65

Abbildung 9: Dimensionen sozialer Kompetenzen ( Kanning 2002: 158) Ronald Riggio (1986: 657) stellt heraus, dass die Entwicklung von Fähigkeiten bei einer Dimension höchstwahrscheinlich in einem positiven Zusammenhang mit den jeweils anderen Dimensionen steht bzw. dass ein komplexer Zusammenhang zwischen den einzelnen Dimensionen des Konstrukts besteht, zudem ist die Ausprägung der jeweiligen Kompetenz von Wichtigkeit. Zahlreiche Autor(inn)en schlagen vor, dass bei der Betrachtung von Sozialkompetenzen immer auch die Situation, in der gehandelt wird, berücksichtigt werden muss, d.h., dass keine universelle Anwendungsbreite unterstellt werden darf (vgl. z.B. Euler 2001; Greif 1997). Das Merkmal der Situationsspezifität hebt die Normativität des Konstrukts soziale Kompetenzen hervor und verdeutlicht, warum eine eindeutige und allgemein anerkannte Definition von sozialen Kompetenzen unmöglich ist (Evers 2000: 35). Das Handeln findet dementsprechend in konkreten Umwelten statt, die durch spezifische Bedingungen – wie materielle Ausstattung, andere Personen, Handlungserwartungen etc. – gekennzeichnet sind. Für die Erforschung von sozialen Kompetenzen bedeutet das, dass diese situationsspezifisch zugeschnitten werden muss. Bei sozialen Kompetenzen, die für die Ausübung der Evaluator(inn)entätigkeit wichtig sind und möglicherweise die Nutzungen von Evaluationsergebnissen positiv beeinflussen, handelt es sich demnach um bereichsspezifische soziale Kompetenzen, die für konkrete berufliche Settings bedeutsam sind. Dementsprechend müssen allgemeine soziale Kompetenzen und spezifische soziale Kompetenzen differenziert werden (Reschke 1995). Erstere sind solche, die im Hinblick auf bestimmte Situationen keine Spezifizierung aufweisen; Unterschiede sind nicht in der Existenz, wohl aber in der Ausprägung des Merkmals (z.B. Perspektivenübernahme) auszumachen.

66

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Spezifische soziale Kompetenzen sind solche, über die nur Menschen mit entsprechenden Lernerfahrungen in dem Bereich verfügen (z.B. Hospizangestellte), dabei handelt es sich häufig um ausdifferenzierte Kenntnisse allgemeiner sozialer Kompetenzen, die auf Erfahrung basieren (vgl. ebd.). In diesem Zusammenhang ist auch folgende Aussage zu lesen: Soziale Kompetenzen werden „von Wissen fundiert, durch Werte konstituiert, als Fähigkeiten disponiert, durch Erfahrungen konsolidiert, auf Grund von Willen realisiert“ (Erpenbeck/Heyse 1999: 162). Es wäre demnach verkürzt gedacht, allein die Anforderungen der Umwelt zu betrachten, sondern es handelt sich immer auch um eine Auswahl aus einem Wissen und um unterschiedliche Interaktions- und Kommunikationsweisen, wobei als geeignet diejenigen angesehen werden, die ein Maximum an positiven und ein Minimum an negativen Konsequenzen für die an der Interaktion beteiligten Personen erwarten lassen. Darüber hinaus muss das Interaktionsverhalten mindestens als sozial akzeptabel gelten (Riemann/Allgöwer 1993). Heinz Schuler und Dorothea Barthelme haben vier zentrale Charakteristika des Konstrukts soziale Kompetenzen herausgearbeitet: (1) Interaktionskontext: Soziale Kompetenzen zeigen sich in der Interaktion von Individuen, in der Art ihres interpersonellen Handelns. (2) Situationsspezifität: Die Interaktionspartner(innen) richten ihr Handeln an den vorfindbaren Rollenvorgaben aus und versuchen, diese Vorgaben den spezifischen Anforderungen der Situation entsprechend auszugestalten. (3) Zielrealisierung: Bei der Auswahl und Steuerung des eigenen Verhaltens ist maßgeblich, mit der Interaktion eine bestimmte Zielsetzung zu erreichen. (4) Zweckrationalität: Die Berücksichtigung und Auswahl der Mittel, die der Zielrealisierung dienlich sind (vgl. Schuler/Barthelme 1995: 81). Neben dem Verfügen über die oben angesprochenen diversen Fähigkeiten, Wissen und Werte muss darüber hinaus auch die Bereitschaft gegeben sein, diese Kenntnisse anzuwenden und umzusetzen. Interessant im Rahmen dieser Arbeit ist zudem eine Studie zu der Bedeutung sozialer Kompetenzen von Mitarbeiter(inne)n eines Dienstleistungsunternehmens für die Kund(inn)enzufriedenheit. Die Ergebnisse unterstreichen, dass die sozialen Kompetenzen von Servicemitarbeiter(inne)n einen signifikanten Einfluss auf die Zufriedenheit der Kund(inn)en haben und erweisen sich sogar als der mit Abstand wichtigste Prädiktor für die Kund(inn)enzufriedenheit (Kanning/Bergmann 2006). Zusammenfassend kann für die Zwecke im Rahmen der vorliegenden Arbeit einstweilen festgehalten werden, dass es bislang in der Psychologie keine allgemein akzeptierte oder empirisch fundierte Taxonomie sozialer Kompetenzen gibt (vgl. Kanning 2003: 22). Deutlich wurde jedoch, dass ein Konsens darüber herrscht, dass soziale Kompetenzen essentiell für das erfolgreiche Realisieren von Zielen und Plänen in sozialen Interaktionssituationen sind (vgl. Greif

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

67

1997; Schuler/Barthelme 1995). Eine weitere Erkenntnis dieses Unterkapitels im Hinblick auf die hier im Zentrum stehende Fragestellung ist, dass bei der Ausübung der Evaluator(inn)entätigkeit vor allem die Anwendung bereichsspezifischer bzw. berufsspezifischer sozialer Kompetenzen von Interesse ist und dass diese abgegrenzt werden können zu allgemeinen sozialen Kompetenzen (vgl. dazu Reschke 1995). Erfassung berufsbezogener sozialer Kompetenzen Dieses Unterkapitel beschäftigt sich mit unterschiedlichen Instrumenten zur Erfassung berufsbezogener sozialer Kompetenzen. Vor dem Hintergrund der Zielsetzung der vorliegenden Arbeit, herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben, ist die Erfassung von berufsbezogenen sozialen Kompetenzen von Bedeutung. Ein multidimensionales Messinstrument zur Erfassung allgemeiner sozialer Kompetenzen ist bislang nicht entwickelt und angesichts der Komplexität des Konstrukts auch nicht anstrebenswert. Skepsis sollte auch angebracht sein, wenn, angesichts der Multidimensionalität des Konstrukts soziale Kompetenzen, von einem Messverfahren als monoethischem Konstrukt die Rede ist (Schmidt 1995: 117). Analog zu den vielfältigen Definitionen existieren verschiedenste Verfahren zur Erfassung von sozialen Kompetenzen. Zunächst scheint es plausibel auf die Indikatoren von Kompetenzen zu fokussieren, die besser messbar sind als soziale Kompetenzen, dies würde in einem minimalen Set von Kompetenzen resultieren. Interessant für die Praxis ist jedoch ein optimales Set. Konstrukte wie Motivation, Problemlösekompetenzen, Kommunikationsfähigkeit, Gruppenfähigkeit, Flexibilität, Kreativität etc. verbessern die Kapazitäten von fachlichen Fähigkeiten, sind aber schlechter erfass-, mess- und vergleichbar. Es muss daher unterstrichen werden, dass es utopisch und auch riskant wäre, davon auszugehen, dass alle menschlichen Kompetenzen und Qualitäten abbildbar wären. Deshalb sollte auch bei der Interpretation von z.B. Fragebögen zu sozialen Kompetenzen mit großer Behutsamkeit vorgegangen werden. Beurteilungsverfahren dürfen nicht per se als objektiv eingeschätzt werden und bestehende Beurteilungssysteme müssen unter diesem Aspekt angewendet werden (Seyfried 1995a: 138). Gebräuchliche und relevante Erhebungsverfahren sind: Selbst- und Fremdbeurteilungen mittels Fragebögen, Leistungstests und Interaktionsbeurteilungen (z.B. Rollenspiele) und Instrumente, die indirekte Rückschlüsse auf soziale Kompetenzen erlauben (z.B. biographische Fragebögen, soziometrische Verfahren). Im Folgenden wird vor allem auf Verfahren eingegangen, die nicht aus-

68

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

schließlich auf eine Verwendbarkeit in therapeutischen Settings fokussieren, sondern theoretisch für die Untersuchung von sozialen Kompetenzen im Rahmen von Metaevaluationen geeignet wären und die nicht nur auf einen Teilbereich der sozialen Kompetenzen fokussieren, wie z.B. auf soziale Intelligenz (z.B. O’Sullivan/Guilford 1966), Empathie (z.B. Davis 1983) oder Durchsetzungsfähigkeit (z.B. Rathus 1973). Berücksichtigt werden in der nachfolgenden Betrachtung nur Verfahren, die über eine ausreichende Konstruktvalidität verfügen und mit anderen Tests zur Erfassung von sozialen Kompetenzen korrelieren. Verhaltensbeobachtungen, die einen Weg zur indirekten Erschließung sozialer Kompetenzen bilden, können in den seltensten Fällen im beruflichen Alltag von Evaluation realisiert werden und werden daher im Folgenden ausgeklammert. Idealerweise sollten soziale Kompetenzen jedoch in realen Interaktionen beobachtet werden (Kanning 2003: 41). Neben Verhaltensbeobachtung stellen Verhaltensbeschreibungen eine weitere Option zur Messung sozialer Kompetenzen dar. Hier werden eigene oder fremde Verhaltensweisen retrospektive beschrieben (ebd.: 72). Untersuchungen zeigen jedoch, dass häufig Diskrepanzen zwischen Selbst- und Fremdbild bestehen (Sundvik/ Lindeman 1998 zit. nach Kanning, 2003: 73). Instrumente zur Erfassung sozialer Kompetenzen durch Verhaltensbeschreibung sind z.B. das teilstandardisierte Multimodale Interview (MMI) von Heinz Schuler (1992), das zur Personaldiagnostik eingesetzt wird. Eine Untersuchung, die verbal orientierte Verfahren, Bilder-, Film- und interaktive Verfahren im Fokus hatte, fand keine Hinweise für korrelative Zusammenhänge zwischen den einzelnen Tests, dementsprechend ließ sich auch kein homogener Faktor soziale Kompetenzen extrahieren (Probst 1982). Insgesamt fehle eine konsequente konzeptuelle Verbindung zwischen dem Konstrukt soziale Kompetenzen und seiner Operationalisierung (ebd.). Zudem existieren verschiedenste Fragebogeninstrumente, mit deren Hilfe eine Person ihre eigenen Einstellungen und Verhaltensorientierungen beschreibt. 56 standardisierte Messinstrumente zur Selbstbeschreibung sozialer Kompetenzen sind bislang identifiziert (Kanning 2003: 77ff). An dieser Stelle soll jedoch nicht auf die zahlreichen klinischpsychologischen Persönlichkeitstests und die dazugehörige umfangreiche Literatur eingegangen werden, da hier der Fokus eher auf sozialen Inkompetenzen liegt (ebd.: 103). Im Folgenden werden stattdessen personaldiagnostische Tests vorgestellt, die von der Spezifität der Normierungsstichprobe eher Berufsgruppen in den Blick nehmen und nicht Patient(inn)engruppen, und bei denen der Schwerpunkt auf der Erfassung durchschnittlicher bis überdurchschnittlicher Ausprägungen sozialer Kompetenzen liegt. Das „Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung“ (BIP) von Hossiep und Paschen (2003) ist ein Personalauswahl- und Personalbeurteilungsverfahren (Datenbank: PSYNDEX-Tests 2007). Zudem liefert es einen

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

69

moderaten, jedoch validen Beitrag zur Erklärung von Berufserfolg (vgl. Hülsheger et al. 2006: 146). Es handelt sich um einen Test, der sowohl aus einem Selbstbeschreibungsbogen, als auch einem Fremdbeschreibungsbogen (kein eigens abgesichertes und normiertes Verfahren) besteht. Testteilnehmer(innen) müssen Items auf einer sechsstufigen Antwortskala bewerten. Die Skalen zur Beschreibung der sozialen Kompetenz sind Sensitivität, Kontaktfähigkeit, Soziabilität, Teamorientierung und Durchsetzungsstärke. Außerdem werden die Dimensionen berufliche Orientierung, Arbeitsverhalten und psychische Konstitution erhoben. In der Literatur wird auf die hohen Interkorrelationen einiger BIP-Skalen hingewiesen (z.B. Hossiep/Paschen 2003; Hülsheger et al. 2006; Marcus 2004). Das computergestützte Verfahren „Management Fallstudien“ (MFA) (Fennekels/D’Souza 1999) wird vor allem in Assessment-Centern zur StärkenSchwächen-Analyse eingesetzt. Die MFA bestehen aus vier einzelnen Verfahren, in denen Probleme des typischen Alltags geschildert werden. In Bezug auf soziale Kompetenzen können nach Durchführung des Verfahrens Aussagen zu den sozialen Kompetenzen der Person und hier insbesondere zum aktiven Gestalten von zwischenmenschlichen Konfliktsituationen und Abläufen getroffen werden (ebd.). Erklärungen zur Testkonstruktion (Itemkonstruktion und –selektion) fehlen in dem Manual, ebenso fehlen Angaben zur Hierarchiestufe und zu anderen für die Personalentwicklung bedeutsamen Variablen der Normstichprobe (Reuschenbach/Funke 2000). Mit dem Verfahren „Multidirektionales Feedback - 360º“ sollen Berufstätige mit Führungsverantwortung systematisches Feedback aus vier verschiedenen Blickwinkeln (dem/der direkten Vorgesetzten, den direkt zugeordneten Mitarbeiter(inne)n, den Kolleg(inn)en und den Kund(inn)en) einholen können. Zusätzlich besteht die Möglichkeit der Selbsteinschätzung der eigenen sozialen Kompetenzen und somit die Abgleichmöglichkeit zur Selbstwahrnehmung (Fennekels 1999). Das „Professional Assessment by Computer for Training and Selection“ (pro facts) (Etzel/Küppers 2000) wird, wie der Name schon sagt, insbesondere zur Personalauswahl und –entwicklung eingesetzt. Skalen zur Beschreibung sozialer Kompetenzen sind Führungsverhalten, Kontaktfähigkeit, Einfühlungsvermögen, soziale Flexibilität und Kundenorientierung (Kanning 2003: 82). Die „Qualitative Führungsstilanalyse“ (QFA) beleuchtet das Führungsverhalten von Vorgesetzten aus eigener Perspektive und aus der Perspektive der Mitarbeiter(innen). Ein direkter Vergleich zwischen Selbst- und Fremdbild wird möglich. Die Analyse dient der Personal- und Organisationsentwicklung. Skalen zur Beschreibung sozialer Kompetenzen sind z.B. Entscheidungs-, Leistungsund Führungsverhalten (Fennekels 1995; Kanning 2003: 82). Ein weiteres Selbstbeurteilungsinstrument stellt das Inventar sozialer Kompetenzen (ISK) (Kanning 2009) dar. Es handelt sich um ein multidimensionales

70

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Verfahren, das allgemeine soziale Kompetenzen erfasst. Die Skalen, die erhoben werden, lassen sich zu folgenden vier Sekundärskalen gruppieren: soziale Orientierung, Offensivität, Selbststeuerung sowie Reflexibilität38. An dieser Stelle sei betont, dass der Gebrauch standardisierter Instrumente den Anwender nicht davon entbindet, Wertentscheidungen zu treffen, d.h., die Positionierung eines Probanden auf einer Merkmalsdimension muss immer individuell eingeschätzt werden (Kanning 2003: 105). Um die Aussagekraft von Selbsteinschätzungen beurteilen zu können, müssten sie an PerformanceKriterien validiert werden, wie z.B. situationalen Interviews, Rollenspielen oder Verhaltensbeobachtungen. 2.3.1.2 Fokus 2: Soziale Kompetenzen als Konstrukt in der Evaluationsnutzungsforschung: Ergebnisse theoretischer, metatheoretischer und empirischer Untersuchungen Nachdem soziale Kompetenzen als psychologisches Konstrukt betrachtet und einige Implikationen für diese Untersuchung gewonnen wurden (vgl. Kapitel 2.3.1.1) soll das Bild nun vor dem Hintergrund der Evaluationsnutzungsforschung weiter vervollständigt werden. Soziale Kompetenzen stellen kein stabiles Konstrukt in der Evaluationsnutzungsforschung dar. Es wird von „human factors“ (Alkin 1985), „personal factors“ (Patton 1996) „people skills“ (Mertens 1994) und „personal qualities“ (ebd.) oder von Fähigkeiten gesprochen, die der Oberkategorie soziale Kompetenzen zugeordnet werden (DeGEval 2008b). In den meisten Fällen jedoch werden Termini verwendet, die auf soziale Kompetenzen rekurrieren oder diese meinen, ohne dies explizit zu machen. Eine differenzierte Auseinandersetzung mit dem Kompetenzbegriff überhaupt fehlt bislang in der Forschung zu Evaluation. Im Rahmen der Evaluationsnutzungsforschung stellen die so genannten „soften Faktoren“ neben der fachlichen Qualität einer Evaluation eine wichtige, wenn auch wie weiter oben beschrieben schwer fassbare Einflussgröße dar. Ihre große Bedeutung spiegelt sich auch in der Aussage wider, dass die beste Evaluation nur so nützlich sein kann, wie ihre organisatorischen und politischen Rahmenbedingungen es zulassen, und dass ihre Nutzung stark beeinflusst wird durch die Anwesenheit einer positiven Lernkultur, das Aufnahmevermögen der involvierten Individuen, und der Qualität der Beziehung zwischen Evaluator(inn)en und Nutzer(inne)n (vgl. Sandison 2006: 13).

38

Zum Zeitpunkt der Erhebung stand dieses Verfahren noch nicht zur Verfügung.

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

71

In der folgenden Abhandlung geht es darum, Konzepte bei denen entweder soziale Kompetenzen oder die Person des/der Evaluator(s)/(in) oder des/der Entscheidungsträger(s)/(in) sowie ggf. weitere Akteure explizit in Bezug auf Evaluationsnutzungen benannt und/oder untersucht wurden, in ihrer Bandbreite zu analysieren und für die Fragestellung dieser Arbeit nutzbar zu machen. Um eine maximale Variation unterschiedlicher Sichtweisen zu gewährleisten, wurde das Verfahren des Theoretical Sampling (Glaser/Strauss 1967) mit einer deduktiven Auswahl aufgrund der bereits vorhandenen einschlägigen Metaanalysen (auf der Makroebene) kombiniert, um dem Prinzip der Varianzmaximierung bis zur Sättigung zu genügen. Diese Vorgehensweise wird teilweise auch als Metamodeling (Johnson 1998: 94f) bezeichnet, um hervorzuheben, dass der zugrunde liegende Bezugsrahmen (implizit oder explizit) existierende Modelle sind und nicht von original qualitativen Daten ausgegangen wird. In der folgenden Analyse sind sowohl implizite und explizite Modelle, die auf qualitativen und/oder quantitativen Daten beruhen, als auch rein theoretisch entwickelte Modelle berücksichtigt worden. Sobald in der zugrunde liegenden Literatur deutlich wird, wie die einzelnen Faktoren die Nutzungen beeinflussen, wird dies folgendermaßen gekennzeichnet: (+) (-) (+/-)

erhöht Nutzungen schmälert Nutzungen interagiert mit anderen Variablen und erhöht bzw. schmälert Nutzungen oder hat teilweise – je nach Fall – keinen Effekt nachweislich kein Einfluss auf Nutzungen oder auf die Bewertung der Nützlichkeit von Studien

k.E.

Der im Folgenden immer wieder auftauchende Begriff “Charakteristika“ bezeichnet Merkmale, Eigenschaften und Handlungsweisen von Personen, denen in Bezug auf Nutzungen eine Bedeutung zugesprochen wird. Für den folgenden Abschnitt konnten bis zur Sättigung der Ergebnisse insgesamt folgende sieben Studien respektive Publikationen berücksichtigt werden: a. b. c. d. e. f. g.

Weiss/Bucuvalas 1980 Leviton/Hughes 1981 Alkin et al. 1985 Cousins/Leithwood 1986, 1993 Patton 1997 Johnson 1998 Stamm 2003a

72

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Da es sich hier größtenteils um metatheoretische Analysen handelt, wird innerhalb der jeweiligen Studie bereits ein breites Spektrum an vorangegangenen Studien berücksichtigt. a. Weiss und Bucuvalas (1980) widmeten sich bereits in den frühen siebziger Jahren der Frage, welches die Kriterien sind, die Entscheidungsträger(innen) für die Beurteilung der Nützlichkeit von Forschungsergebnissen heranziehen. Die Charakteristika einer Studie (wie z.B. Qualität, Übereinstimmung mit den Erwartungen der Nutzer(innen)) klären nach Weiss und Bucuvalas (1980: 117) 45% der Varianz der Wahrscheinlichkeit, dass Entscheidungsträger(innen) die Ergebnisse einer Studie nutzen auf. Die Persönlichkeit der verschiedenen Entscheidungsträger(innen) wirkt sich, der Untersuchung nach, weniger direkt auf die Nutzungen von Studien als vielmehr indirekt auf bestimmte Charakteristika der Studie aus. Ursprünglich war geplant, Typen wie z.B. „Wissenschaftlicher Typ“, „Leitungstyp“ etc. zu identifizieren, dies ist nicht gelungen. Innerhalb der von Weiss und Bucuvalas erhobenen Variablen scheinen Entscheidungsträger(innen) sich vordergründig auf individueller Ebene, aber nicht systematisch zu unterscheiden. Die Autor(inn)en untersuchten verschiedene Charakteristika von Entscheidungsträger(innen) bezogen auf die Kategorien „Autonomie“, „Empfänglichkeit für Forschung“ und „Erfahrungen mit Forschung“. Es zeigte sich, dass die Anzahl der Jahre an der Universität, die Anzahl der eigenen Publikationen (auch unveröffentlichte) und die vorherige Vollzeitanstellung an einem sozialwissenschaftlichen Institut schlechte Prädiktoren für die Wahrscheinlichkeit der Nutzungen von Forschungsergebnissen sind. Die Dauer der Berufstätigkeit jedoch zeigte lineare und signifikante Effekte: je länger Entscheidungsträger(innen) auf derselben Position beschäftigt waren, umso weniger nutzbringend beurteilten sie Forschungsstudien (-0.8* Regressions-Koeffizient bei SignifikanzLevel .10). Jedoch fanden Entscheidungsträger(innen) mit höherer beruflicher Autonomie (höhere Hierarchie) die Studien, die ihnen präsentiert wurden signifikant nützlicher als Entscheidungsträger(innen) mit weniger Autonomie. Die Art der Position (wie z.B. Programmmanager(in), Administrator(in) etc.) hingegen hat keine Auswirkungen auf die Beurteilung der Nützlichkeit von Forschung. Alter, Geschlecht und politische Orientierung haben der Studie nach kaum einen Effekt auf die Beurteilung der Nützlichkeit von Forschungsergebnissen. Bei der Untersuchung von Erfahrungen mit Forschung als Einflussfaktor stellte sich heraus, dass nur ein Item die Bewertung von Nützlichkeit von Forschung (nach Berücksichtigung aller Interaktionsfaktoren) beeinflusst, dies ist die aktive Beschäftigung mit Forschung in der Vergangenheit bzw. die vorherige Nutzung von Forschungsergebnissen (.14** Regressions-Koeffizient bei Signifikanz-Level .01):

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

73

„People who report seeking research in the past are more likely to find research reports useful in the present. They are „users“.“ (Weiss/Bucuvalas 1980: 127).

Folgende Auflistung zeigt die wichtigsten Charakteristika von Nutzer(inne)n und deren Effekt auf Beurteilung der Nützlichkeit von Studien im Überblick: Charakteristika Evaluator(inn)en

Charakteristika Nutzer(innen)

Autonomie

Hohe berufliche Autonomie (+), Art der Position (k.E.)

Empfänglichkeit für Forschung

Eigene Publikationen (k.E.), Dauer der Beschäftigung auf einer Stelle: 0-3 Jahre (+), 4-10 Jahre (-), ” 10 Jahre (-), Persönliche Charakteristika (Alter, Geschlecht, politische Orientierung) (k.E.)

Erfahrungen mit Forschung

Aktive Beschäftigung mit Forschung in der Vergangenheit (+)

Ergänzend ist hier anzumerken, dass die Studie die Schlüsselrolle von Evaluator(inn)en auf methodisch genaues Arbeiten beschränkt und den sonstigen Einfluss als eher gering einschätzt (vgl. Weiss 1988a). b. Nach einer Metaanalyse von Laura Leviton und Edward Hughes (1981), in der die oben besprochene Studie von Weiss und Bucuvalas (1980)39 u.a. Berücksichtigung fand, gibt es fünf Cluster von Variablen, die konsistent in Bezug stehen zur Evaluationsnutzung: (1) Relevanz der Evaluation, (2) Kommunikation, (3) Informationsbearbeitung, (4) Glaubwürdigkeit und (5) Einbezug der verschiedenen Interessengruppen in die Evaluation, wobei in allen Clustern Teilaspekte mit Relevanz auf die Charakteristika von Nutzer(inne)n und Evaluator(inn)en zu finden sind. Diese werden aus der Analyse von Leviton und Hughes extrahiert und im Folgenden dargestellt:

39

Durch die Clusterbildung in der Studie von Leviton und Hughes (1981) gehen für diese Untersuchung wichtige Einzelaspekte der Studie von Weiss und Bucuvalas (1980) verloren, deshalb wurde diese getrennt aufgeführt.

74

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Charakteristika Evaluator(inn)en Relevanz

Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität (+), Termineinhaltung (+/-), Praktische Informationen zur Implementierung bereitstellen (+)

Kommunikation

Informationsbearbeitung

Glaubwürdigkeit

Einbezug der verschiedenen Interessengruppen in die Evaluation

Charakteristika Nutzer(innen)

Vorhandensein von formellen oder informellen Disseminationsnetzwerken (+) Direkte, nicht über hierarchische Stufen laufende, Kommunikation zwischen Nutzer(inne)n und Evaluator(inn)en (+)

Direkte, nicht über hierarchische Stufen laufende, Kommunikation zwischen Nutzer(inne)n und Evaluator(inn)en (+)

klare Sprache (+)

Unerwartete Informationen durch die Evaluation (+/-)

Fortlaufender Kontakt (+)

Fortlaufender Kontakt (+)

Anderer Kommunikationsstil als Nutzer(innen) (-)

Anderer Kommunikationsstil als Evaluator(inn)en (-)

Hohe Glaubwürdigkeit (+)

Widerspruch zwischen Evaluationsergebnissen und anderen Informationen/ Intuitionen (-), Hohe Meinung von Forschung (+) Hohes Commitment (+), Befürwortung der Evaluationsinformationen durch mind. eine/n zentrale/n Fürsprecher/in (+)

In der Analyse von Leviton und Hughes (1981) finden sich eine Anzahl heterogener Studien und somit auch eine heterogene Gruppe von Evaluationen und Erhebungsmethoden. Auch in Bezug auf die zugrunde liegende Definition von Evaluationsnutzung weisen die in der Metaevaluation berücksichtigten Studien erhebliche Varianzen auf. c. Die zahlreiche Literatur zur Nutzung von Evaluation wurde erstmals von James Burry et al. (1984) analysiert und bot so die Basis für die Zusammenstellung einer Liste von Faktoren, welche die Nutzung von Evaluationsergebnissen beeinflussen

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

75

könnten (vgl. Alkin et al. 1985). In die Literaturanalyse sind sowohl empirische Studien als auch theoretische Arbeiten eingeflossen. Für das Verständnis der von Alkin genannten Faktoren muss unterstrichen werden, dass es sich hier um ein Handbuch handelt, das explizit für Entscheidungsträger(innen) in Evaluationen geschrieben wurde. Eindeutige Aussagen bezüglich der Wirkung bestimmter Charakteristika auf die Nutzung werden kaum getroffen. Es handelt sich eher um Hinweise, welche Charakteristika einen Einfluss haben könnten und was Entscheidungsträger(innen) im Zuge von Evaluationen bedenken sollten. Alkin et al. (1985) haben erstmals die Rolle der Evaluator(inn)en und die Rolle der Nutzer(innen) einer Evaluation als relevant herausgehoben und haben in diesem Zusammenhang, implizit auch soziale Kompetenzen dieser beiden Gruppen als bedeutsam eingestuft. Unter dem Oberbegriff “human factors“ fassten sie sowohl für Evaluator(inn)en als auch für Nutzer(innen) eine Reihe von Charakteristika mit Einfluss auf Nutzung zusammen, die die Analyse von Leviton und Hughes (1981) ergänzen. Obwohl die Termini teilweise identisch sind, sind bei Alkin et al. (1985) Nuancen enthalten, die von Leviton und Hughes (1981) nicht berücksichtigt wurden. Die Charakteristika unterliegen einer Hierarchie, wobei die Reihenfolge bestimmt wird durch die Wichtigkeit der jeweiligen Charakteristik für die Evaluationsnutzung (Alkin et al. 1985: 29-43): Charakteristika Evaluator(inn)en 1. Engagement für Evaluationsnutzung (+) 2. Bereitschaft, Nutzer(innen) zu involvieren 3. Wahl der Evaluator(inn)enrolle (Berufsverständnis) 4. Verbindung/ Verhältnis/ Rapport mit Nutzer(inne)n 5. Politische Sensibilität 6. Hohe Glaubwürdigkeit 7. Hintergrund und Identität (Alter, Titel, Art der Position)

Charakteristika Nutzer(innen) 1. Identität (Unterstützung des/der Evaluators/in bei der Auswahl/ Identifizierung der potenziellen Nutzer(innen), Position, viel Berufserfahrung) 2. Interesse an der Evaluation (Ansicht über das Programm/Projekt, disponible Erwartungen, Erfahrenheit mit Evaluation) 3. Engagement für Evaluationsnutzung / Partizipation (+) 4. Beruflicher Stil (Fähigkeiten, Initiative, hohe Flexibilität und Handlungsorientierung) 5. Bevorzugung bestimmter Formen der Informationsverarbeitung

Zunächst einmal wird deutlich, dass für Evaluator(inn)en und Nutzer(innen) verschiedene Charakteristika benannt werden. Einzig das Engagement für die Nut-

76

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

zung und Teilaspekte der Identität treten bei beiden Gruppen, allerdings an unterschiedlicher Rangposition auf. Der Begriff der Identität, der ebenfalls bei beiden Gruppen zu finden ist, wird folgendermaßen beschrieben: bei Evaluator(inn)en fokussieren die Autor(inn)en auf Alter, Titel, Position etc.40. Die Autor(inn)en stellen fest, dass sich der Einfluss der Identität und des Hintergrunds der Evalutor(inn)en vor allem durch die Reaktion der Nutzer(innen) auf diese Charakteristika manifestiert und weniger durch die Charakteristika selbst (ebd.:35). Da es sich um ein Handbuch für Entscheidungsträger(innen) in Evaluationen handelt empfehlen die Autor(inn)en diesen, zu bedenken, dass diejenigen Nutzer(innen) mit der meisten Berufserfahrung und der höchsten Entscheidungsauthorität kritischer mit Evaluationen umgehen, als diejenigenden, mit weniger Entscheidungsauthorität und Erfahrung. Es gehöre zu den Aufgaben der Nutzer(innen), den Evaluator(inn)en die verschiedenen identitätsbezogenen Charakteristika der potentiellen Nutzer(innen) zu verdeutlichen (ebd.:37). Eindeutige Aussagen bezüglich der Wirkung bestimmter Charakteristika auf die Nutzung werden kaum getroffen. d. Cousins und Leithwood (1986, 1993) benannten in ihrer Metastudie (vgl. Kapitel 2.2.3) nicht explizit eine Kategorie für soziale Kompetenzen, jedoch beinhaltet die Studie Charakteristika, die speziell Evaluator(inn)en und Nutzer(inne)n zugewiesen werden können und die Überschneidungen mit dem Konstrukt soziale Kompetenzen zeigen. Die folgenden Charakteristika wurden aus der Studie (Cousins/Leithwood 1986) und ihrer Ergänzung (Cousins/Leithwood 1993) extrahiert, es handelt sich bei der Auflistung nicht wie im vorangegangen Fall um eine Rangfolge. Neben method(olog)ischen Charakteristika und solchen, auf die in dieser Arbeit unter Umfeld- und Prozessmerkmale (siehe 2.3.3) Bezug genommen wird, fassen die Autoren den Forschungsstand (1971–1985) zu den Kategorien Glaubwürdigkeit, Qualität der Kommunikation und persönliche Charakteristika zusammen. In einer ergänzenden zweiten Studie wird das Modell um die Kategorie „Interaktive Prozesse“ erweitert. Die Autoren stellen fest, dass die Glaubwürdigkeit der Evaluator(inn)en zum einen mit der Reputation (Alkin et al. 1979; Dawson/D’Amico 1985) und zum anderen mit dem Geschlecht der Evaluator(inn)en, deren Titel bzw. auch deren Einstellung zu ihrer Arbeit (Braskamp et al. 1978; Dickmann 1981; Newman et al. 1979) assoziiert wird. Außer der Variable „Geschlecht der Evalua40

Wobei Alkin selbst herausstellt, dass wahrscheinlich weder das Geschlecht noch der Titel einer Person Effekte auf die Nutzung von Evaluationen hat. Die Untersuchung von Weiss und Bucuvalas (1980) hat gezeigt, dass es sich hier tatsächlich um schlechte Prädiktoren für die Nutzung von Forschungsergebnissen handelt.

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

77

tor(inn)en“ (hier gab es widersprüchliche Ergebnisse) standen alle genannten Faktoren in einem positiven Zusammenhang mit Nutzung (Cousins/Leithwood 1986: 353). Ein Drittel der insgesamt 65 untersuchten Studien hat die Beziehung zwischen Evaluationsnutzung und Kommunikationsstil, Verbreitung der Resultate und anderen Kommunikationsaktivitäten untersucht. Die Ergebnisse waren inkongruent: Der Kommunikationsstil hat demnach wenig bis gar keinen Effekt auf die Nutzung von Evaluationsergebnissen oder das Potenzial zur Nutzung (als Referenzstudien werden genannt: Alkin et al. 1974; Bigelow et al. 1980; Brown et al. 1980; Florio et al. 1979; Thompson et al. 1981). Der fortlaufende Kontakt hingegen und die geographische Nähe zwischen Evaluator/in und Entscheidungsträger(inne)n scheinen einen starken Einfluss auf die Evaluationsnutzung zu haben (es wird auf folgende Studien Bezug genommen: Florio et al. 1979; Johnson 1980; Osterlind 1979; Rossmann et al. 1979). Die Verbreitung der Evaluationsergebnisse durch z.B. Veröffentlichung der Berichte steht nicht zwingend in einem positiven Zusammenhang mit Nutzung, hierzu fanden Cousins und Leithwood (1986) unterschiedliche Ergebnisse. Über ein Drittel der Studien des Samples beschäftigten sich mit dem Zusammenhang zwischen Evaluationsnutzung und persönlichen Charakteristika der Entscheidungsträger(innen). Die Ergebnisse im Bereich berufliche Erfahrung (Hierarchie) waren uneindeutig bzw. widersprüchlich (Cousins/Leithwood 1986: 356f). Das Vorhandensein von Führungsqualitäten scheint dagegen positiv mit Evaluationsnutzung verbunden zu sein (ebd.: 357). Ungefähr ein Viertel der Studien widmete sich der Untersuchung des Commitment der Entscheidungsträger(innen) in Bezug auf Evaluationsnutzung mit dem Ergebnis, dass eine positive Einstellung der Nutzer(innen) zur Evaluation eindeutig positive Auswirkungen auf die Nutzung der Ergebnisse hat. Weiterhin scheinen ein hohes Engagement der Nutzer(innen) und eine Beteiligung an der Evaluation positive Effekte auf die Evaluationsnutzung zu haben. Eine einzige Studie (Dickey 1980) zeigt diesbezüglich inkonsistente Ergebnisse. Da alle anderen hier untersuchten Studien den positiven Effekt des Engagements der Nutzer(innen) für die tatsächliche Nutzung hervorheben und es keine weitere Studie gibt, die Dickeys Ergebnisse unterstützt wird im Folgenden von einem positiven Zusammenhang ausgegangen. Der Einfluss der interaktiven Prozesse auf die Nutzung kann als relativ stark und eventuell auch als substanziell bezeichnet werden (Cousins/Leithwood 1993: 328)41. Hier benennen die Autoren folgende Punkte als besonders günstig für die Nutzung: das Mitwirken an vorbereitenden Aktivitäten, soziale Weiterverarbei41

Die Autoren treffen solch eine vage Aussage, da der Einfluss nicht durch quantitative Untersuchungen erforscht wurde, sondern Teil einer qualitativen Studie war. Weiterführende Studien mit entsprechenden Variablensets könnten hier Klärung schaffen.

78

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

tung im Sinne von kollegialer Interaktion und einem Dialog, um herauszufinden, wie und ob die erhaltenen Informationen relevant für den Arbeitskontext sind, fortlaufender Kontakt mit Expert(inn)en während des Implementierungsprozesses und Engagement im Sinne von sich (potenzielle Nutzer(innen)) aktiv einbringen in die Anwendung und Nutzung von erhaltenen Informationen (ebd.: 322ff). Die Interaktionsvariablen aus der Studie unterscheiden sich bei Nutzer(inne)n und Evaluator(inn)en, d.h. obwohl von Interaktion ausgegangen wird, fallen den Nutzer(inne)n und Evaluator(inn)en unterschiedliche Aufgabenbereiche zu. Die soziale Weiterverarbeitung der Informationen scheint hauptsächlich im „Einflussbereich“ der Nutzer(innen) zu liegen, nur wenn diese über ausreichende formelle oder informelle Disseminationsnetzwerke verfügen, kann es zu einem Diskurs und zur Dissemination während und nach einer Evaluation kommen. Charakteristika Evaluator(inn)en Glaubwürdigkeit

positive Arbeitseinstellung (+), gute Reputation (+), Geschlecht (+/-)

Qualität der Kommunikation

Kommunikationsstil (k.E.), fortlaufender Kontakt (+), Art der Verbreitung der Evaluationsergebnisse (+/-)

Charakteristika Nutzer(innen)

Persönliche Charakteristika

viel Berufserfahrung (+/-), Vorhandensein von Führungsqualitäten (+)

Commitment

Engagement für Evaluationsnutzung/ Partizipation (+), positive Grundeinstellung zur Evaluation (+), negative Grundeinstellung zur Evaluation (-)

Interaktive Prozesse

Bereitschaft, Nutzer(innen) zu involvieren (+), fortlaufender Kontakt während des Implementierungsprozesses (+)

Mitwirken an vorbereitenden Evaluationsaktivitäten (+), soziale Weiterverarbeitung/ kollegiale Interaktion (+), fortlaufender Kontakt während des Implementierungsprozesses (+)

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

79

Die aus dem Modell gewonnenen Informationen sind als Unterpunkte verschiedenster Oberkategorien des Metamodells von Cousins und Leithwood (siehe Abb. 2) zu finden. An dieser Stelle wird deutlich, wie sinnvoll und überaus wichtig ein Aufbrechen der einzelnen Konstrukte für die Diskussion der Rolle von sozialen Kompetenzen für die Nutzung von Evaluationsergebnissen ist. e. In dem Modell nach Patton (siehe Abb. 3) sind zahlreiche Teilaspekte des Konstrukts soziale Kompetenzen impliziert. Zunächst nennt Patton, dass der „personal factor“ die Führungskompetenzen, die Interessen, den Enthusiasmus, die Entschlossenheit, das Commitment und die Durchsetzungsfähigkeit von speziellen Individuen beinhaltet (Patton 1997: 44) und einen herausragenden Stellenwert unter den Faktoren, die Evaluationsnutzung positiv beeinflussen, einnimmt (ebd.: 48). Die ersten zwei Schritte in Pattons Konzept der Nutzungsfokussierten Evaluation sind die Identifikation und Ansprache von möglichen Nutzern und Stakeholdern und die Identifikation der Bedürfnisse dieser. Während des gesamten Evaluationsprozesses sei es eine Hauptaufgabe von Evaluator(inn)en, nach Möglichkeiten und Strategien zu suchen, Nutzer(innen) „hervorzubringen“ (ebd.: 350), d.h. Menschen für die Nutzung von Evaluationsergebnissen zu motivieren und zu begeistern. Patton betont, dass Evaluator(inn)en Fähigkeiten im Aufbau von Beziehungen, Konfliktmanagement, Einfühlungsvermögen (in Bezug auf politische Seilschaften), die Fähigkeit zur Arbeit im Team benötigen (ebd.: 54) und einen respektvollen Umgang mit allen Stakeholdern pflegen sollten (ebd.: 134). Des Weiteren thematisiert er, dass für eine nutzungsorientierte Evaluation wichtig ist, die negativen Assoziationen, die Ängste und die Erwartungen in Bezug auf ein Evaluationsvorhaben und dessen Nutzung nicht nur zu erkennen, sondern auch aufzugreifen und darauf einzugehen, d.h., hier sind Fähigkeiten des Konfliktmanagements aber auch Kommunikationskompetenzen angesprochen. Im Sinne von Sensitivität ist hier auch impliziert, wie sicher der/die Evaluator/in die Befindlichkeiten anderer erspürt. Patton nennt das: „being active-reactiveadaptive“ (ebd.: 134). Das Modell sieht zudem vor, dass die potentiellen Nutzer(innen) einer Evaluation die Nützlichkeit verschiedener Evaluationsdesigns bewerten sollten und somit aktiv in die Methodendiskussion einbezogen werden sollten (ebd.: 243). Gleiches gilt für die Interpretation der gesammelten Daten (ebd.: 379), wobei die Aufgaben der Evaluator(inn)en in diesem Abschnitt der Evaluation hauptsächlich darin liegen, sensibel und diplomatisch auf die Unterschiede zwischen Analyse, Interpretation, Bewertung und Empfehlung einzugehen und die verschiedenen Sichtweisen zusammenzutragen (ebd.: 317ff). Letztendlich impliziert auch die Partizipation der Nutzer(innen) bei der Interpretation ein gewisses Maß an Kontaktfähigkeit, aber auch an Flexibilität, Kommunikati-

80

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

onsfähigkeit und hier insbesondere Fähigkeit zur Moderation und gegebenenfalls an Durchsetzungsstärke der Evaluator(inn)en. Patton selbst beschreibt, dass am Ende einer Studie das Potenzial zur Nutzung zu großen Teilen festgelegt ist (ebd.: 20). Pattons Ausführungen fokussieren stark auf die Rolle des/der Evaluators/in. Charakteristika Evaluator(inn)en

Charakteristika Nutzer(innen)

Engagement für Evaluationsnutzung (+), hohes Commitment (+), Durchsetzungsfähigkeit (+), politische Sensibilität (+), Fähigkeit andere zu motivieren (+), Fähigkeit zur Arbeit im Team (+), Fähigkeiten im Aufbau von Beziehungen/ Kontaktfähigkeit (+), Flexibilität (+), Vorhandensein von Führungskompetenzen (+), Konfliktmanagementfähigkeiten/ Soziabilität (+), Moderationsfähigkeiten (+), sensible und diplomatische Ausdrucks- und Vorgehensweise (+), Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität (+), Bereitschaft Nutzer(innen) zu involvieren

Engagement für Evaluationsnutzung/ Partizipation (+)

f. In Johnsons (1998) Metamodell zur Evaluationsnutzung wird deutlich, dass Evaluationsnutzung einen kontinuierlichen und diffusen Prozess darstellt, der von verschiedenen Dimensionen abhängig ist (Johnson 1998: 104). Die von Johnson aus verschiedenen impliziten und expliziten Modellen entwickelten Dimensionen mit Einfluss auf die Nutzung von Evaluationen werden im Folgenden aufgebrochen und - wie in den vorherigen Beispielen - kategorisiert in Charakteristika der Nutzer(innen) und Evaluator(inn)en. In dem ursprünglichen Modell (siehe Abb. 5) existieren die Kategorien „individuelle Charakteristika“ und „Charakteristika der Evaluator(inn)en“, diese werden im Folgenden durch Teilaspekte aus anderen Dimensionen des Modells ergänzt. Unter individuellen Charakteristika fasst Johnson zwei kontrastierende Typen zusammen: (1) Personen die er „change seeker“ nennt und (2) Personen, die Veränderungen mit Instabilität verbinden (ebd.: 105). Also Personen mit (1) hoher Flexibilität und einer hohen Handlungsorientierung bzw. (2) niedriger Flexibilität und niedriger Handlungsorientierung. Diese Kategorie des Modells bezieht sich auf alle Personen in einer Organisation, also sowohl auf Programmteilnehmer(innen) als auch auf andere Stakeholder. Für die Charakteristika der

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

81

Evaluator(inn)en beschreibt Johnson ebenfalls zwei kontrastierende Typen: (1) Evaluator(inn)en mit Fokus auf Nutzung und (2) Evaluator(inn)en mit wissenschaftlichem Fokus, d.h. Experten, die nicht aktiv die Nutzung der Evaluationsergebnisse unterstützen (ebd.: 105). Johnson beschreibt weiterhin, dass die Art der Partizipation (autokratisch vs. demokratisch, offen vs. geschlossen) und das Ausmaß (viel oder wenig) eine wichtige Unterstützung auf dem Weg zur Nutzung von Evaluationen sind (ebd.: 101f). Als weitere Faktoren identifiziert er die Qualität der Kommunikation (klar vs. unklar), die Art und Richtung der Kommunikation, aber auch das Feedback als wichtige Faktoren mit Einfluss auf die Nutzungen von Evaluationen. Die im Folgenden dargestellten Dimensionen aus Johnsons Metamodell unterliegen keiner Rangfolge. Charakteristika Evaluator(inn)en

Charakteristika Nutzer(innen)

Fokus auf Nutzung, Unterstützung von Nutzung (Engagement für Evaluationsnutzung) vs. wissenschaftlicher Fokus, fehlende Unterstützung bei der Nutzung

„change seeker“ vs. Personen, die Veränderungen mit Instabilität verbinden (hohe Flexibilität und Handlungsorientierung vs. niedrige Flexibilität und Handlungsorientierung)

Erwartungen in Bezug auf Programmoutput und Evaluationsergebnisse

positive vs. negative Wahrnehmung/ Grundeinstellung zu Evaluation disponible Erwartungen in Bezug auf Evaluationsergebnisse und die generelle Wirkung von Evaluationen Interessen und Ideologien: Befürwortung der Evaluationsinformationen

Kommunikation (klar vs. unklar, interpersonell, in Teams, formell/ informell), Reflexion/ Feedback (Flexibilität im Handeln und Denken, Anpassungsfähigkeit), Diskurs und Dissemination während eines Programms/ einer Evaluation

Engagement für Evaluationsnutzung/ Partizipation

hohe Glaubwürdigkeit

An dieser Stelle wird die terminologische Uneinigkeit zwischen den einzelnen Konzepten deutlich. Während Alkin unter “Interesse“ der Nutzer(innen) einer Evaluation die Erwartungen und bisherigen Erfahrungen mit Evaluationen versteht, fasst Johnson eben diese Punkte unter der Begrifflichkeit “Erwartungen“ zusammen und unter “Interesse“ der Nutzer(innen) versteht er die Abwägung, inwieweit die Nutzung von Evaluationen vorhandenen Eigeninteressen zugute kommt. g. Das metatheoretische Modell von Stamm (2003a, siehe Abb. 5) umfasst sechs unabhängige Variablen, wovon zwei direkten Bezug auf Entscheidungskader/ Feldakteure und die Evaluator(inn)en nehmen. Allerdings sind auch in den anderen Variablen Dimensionen enthalten, die die sozialen Fähigkeiten und Kompe-

82

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

tenzen dieser Personengruppen implizieren. Die Autorin eruiert vier verschiedene Evaluationstypen: Reaktion, Innovation, Blockade und Alibi (Stamm 2003a: 230ff). Die Typiken stellen Bezüge zur Diskussion über die Kompetenzen von Evaluator(inn)en her und beleuchten diese als Einflussfaktor für verschiedene Nutzungen. In diesem Kontext relevante Vergleichsdimensionen sind: Entscheidungskader/Akteure resp. Nutzer(innen) (persönliches Engagement), Evaluator(in) (Commitment, zeitliche Ressourcen, Berufsorientierung, Reputation), Dissemination und Diffusion (Umfang von Ausstreuung und Verbreitung, disseminationsfördernde Bemühungen durch Nutzer(innen), disseminationsverhindernde Maßnahmen) (ebd.: 233). Stamm betont, dass die Rezeption und Nutzung von Evaluationsergebnissen in erster Linie von Entscheidungsträger(inne)n und Nutzer(inne)n abhängt und nicht von der politischen Bedeutung der Evaluation (ebd.: 313). Sie beschreibt auch, dass die Person des Evaluators/ der Evaluatorin keinen wesentlichen Einfluss auf Nutzungsaktivitäten ausüben kann und bezieht somit eine deutliche Gegenposition zu der von Patton (1997) geforderten aktivnutzungs-fördernden Rolle des Evaluators/ der Evaluatorin. Die Verantwortung für die Steuerung des Aneignungsprozesses sieht Stamm eindeutig bei den Abnehmer(inne)n und nicht den Evaluator(inn)en (Stamm 2003a: 342). Die folgende Auflistung zeigt lediglich ergänzende und zu bedenkende Punkte zu den bereits aus den anderen Studien extrahierten. Nutzung ist von vielen weiteren Faktoren abhängig, so z.B. von der Einschätzung der Nützlichkeit und Anwendbarkeit von Evaluationsergebnissen. Stamm betont, dass aber selbst hier eine Einschätzung positiv ausfallen kann und Evaluationsinformationen befürwortet werden können, ohne dass Handlungsfolgen auftreten (ebd.: 316ff). Charakteristika Evaluator(inn)en

Charakteristika Nutzer(innen)

Hohe Verständlichkeit, Nachvollziehbarkeit (Transparenz), Vollständigkeit und Rechtzeitigkeit der Berichterstattung (+), Sprachliche und technische Komplexität bei Nichteinhaltung der Termine (-) dienstleistungsorientiertes (k.E.) vs. akademisches Berufsverständnis (k.E.)

Hohe Flexibilität und Veränderungsbereitschaft (k.E.), Bereits Erfahrungen mit Evaluation (+/-), Unerfahrenheit bezüglich Evaluation (+), hohes Engagement für die Ausbreitung der Ergebnisse (+), Befürwortung der Evaluationsinformationen (k.E.)

An Stamms empirischer Untersuchung zur Verifizierung ihres Meta-Modells ergänzen vor allem zwei – im Rahmen dieser Untersuchung relevante – Punkte die vorliegenden Erkenntnisse der Evaluationsnutzungsforschung. ƒ

Ob Entscheidungskader veränderungsbereit sind bzw. flexibel auf Umstellungen reagieren und bereits Erfahrungen mit Evaluationen gemacht haben,

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

ƒ

83

spielt für die Dissemination keine Rolle, dagegen scheint die Unerfahrenheit mit Evaluationen diese zu erhöhen. Bereits 1980 fanden Weiss und Bucuvalas heraus, dass lange Beschäftigungsdauern auf einer Position und Erfahrungen als Praktiker/in (auf einem niedrigen Signifikanzniveau) mit reduzierter Wahrscheinlichkeit der Nutzung verbunden sind. Somit stimmen die Ergebnisse von Stamm (2003) und Weiss und Bucuvalas (1980) überein. Weder ein akademisches noch ein dienstleistungsorientiertes Berufsverständnis sind ausschlaggebend für die Dissemination und Diffusion der Evaluationsbefunde. Demnach beeinflusst nicht die Rollenidentität der Evaluator(inn)en die Dissemination, sondern die Definition und Integration des Disseminations- und Nutzungsprozesses in das Untersuchungsdesign.

In der Beschreibung der Charakteristika der Entscheidungskader/Akteure und der Evaluator(inn)en wurde deutlich, dass diese in Bezug zu den von Stamm generierten Typen von Evaluationsnutzung schwer bis gar nicht generalisierbar sind bzw. dass Verhalten auf der einen Seite ein Verhalten auf der anderen hervorruft und bedingt. Zusammenfassung: Charakteristika von Evaluator(inn)en und potentiellen Nutzer(inne)n mit Einfluss auf Evaluationsnutzungen Im vorangegangenen Kapitel konnte gezeigt werden, dass bisherige Untersuchungen der Evaluationsnutzungsforschung soziale Kompetenzen als ein Charakteristikum für Nutzungen von Evaluationen begreifen. Allerdings findet sich innerhalb der vorhandenen Studien bislang keine systematische Differenzierung hierzu. Dies ist notwendig, um soziale Kompetenzen hinreichend von den sogenannten „soften Faktoren“ zu unterscheiden. Die folgende Bündelung und Zusammenfassung der in den im vorherigen Kapitel untersuchten Studien ist lediglich als Vorschlag zu verstehen. Die einzelnen Oberkategorien A-D wurden zur besseren Übersicht gebildet, diese sind: ƒ ƒ ƒ ƒ

A – Berufliche Identität/ Grundeinstellungen/ Berufsverständnis B – Soziale Kompetenzen C – Kommunikative Fähigkeiten/ Kommunikationsaktivitäten42 D – Weitere Charakteristika

42

Obwohl Kanning (2002), auf den unter 2.3.1 (Abb. 9) Bezug genommen wird, Kommunikationsfähigkeit als Subdimension sozialer Kompetenzen identifiziert hat, werden soziale und kommunikative Fähigkeiten an dieser Stelle aus Gründen der Übersichtlichkeit getrennt betrachtet.

84

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Die Zuschreibung zu den Quellen wurden entsprechend der Beschreibung dieser (vgl. Kapitel 2.3.1.2) gewählt: (a) Weiss/Bucuvalas 1980; (b) Leviton/Hughes 1981; (c) Alkin et al. (1985); (d) Cousins/Leithwood 1986, 1993; (e) Patton 1997; (f) Johnson 1998 und (g) Stamm 2003a. Desweiteren finden sich unter dem Stichwort Einfluss in folgenden Tabellen fünf Optionen: Keine Angabe k.E. + +/-

es wurde angenommen, dass ein Einfluss besteht, es wurde aber keine Angabe dazu gemacht, wie sich dieser tatsächlich gestaltet steht für „kein Einfluss“ und bedeutet, dass nachweislich oder vermutlich kein Einfluss auf Nutzung besteht erhöht nachweislich oder vermutlich die Nutzung schmälert nachweislich oder vermutlich die Nutzung widersprüchliche Ergebnisse, interagiert mit anderen Variablen und erhöht bzw. schmälert die Nutzung oder hat teilweise auch keinen Einfluss

A. Berufliche Identität/ Grundeinstellungen/ Berufsverständnis Für Evaluator(inn)en wurden eine Reihe von Charakteristika, die die berufliche Identität, Grundeinstellungen zur Evaluation und ihr Berufsverständnis in den Fokus nehmen, untersucht. Von Alkin et al. wurde vermutet, dass das Berufsverständnis bzw. die Rollenwahl wie er es nennt (Alkin et al., 1985: 117), einen Einfluss auf die Nutzungen von Evaluationsergebnissen ausübt. Stamm (2003a) jedoch fand heraus, dass weder ein akademisches noch ein dienstleistungsorientiertes Berufsverständnis ausschlaggebend für die Nutzungen von Evaluationen sind. Alter, Titel, die Art der Position und das Geschlecht sind ebenso keine guten Prädiktoren für Nutzungen (Alkin et al. 1985; Cousins/Leithwood 1986; 1993). Die Bereitschaft, die Nutzer(innen) in die Evaluation zu involvieren (Alkin 1985; Cousins/Leithwood 1993; Patton 1997), ein hohes Commitment der Evaluator(inn)en (Patton 1997), eine positive Arbeitseinstellung (Referenzstudien zitiert in der Metastudie von Cousins/Leithwood 1986), eine hohe Glaubwürdigkeit (Alkin et al. 1985; Cousins/Leithwood 1986; Johnson 1998; Leviton/Hughes 1981) und das Engagement der Evaluator(inn)en für die Evaluationsnutzung (Alkin et al. 1985; Patton 1997) wirken sich dagegen positiv auf die Nutzungen von Evaluationen aus. Bei potentiellen Nutzer(inne)n hat weder das Alter, Geschlecht, die Art der Position noch die politische Orientierung einen Einfluss auf die Nutzungen von Evaluationen (Weiss/Bucuvalas 1980). Unerfahrenheit mit Evaluation (Stamm 2003a) und eine kurze Beschäftigungsdauer auf einer Stelle (Weiss/Bucuvalas 1980) sind die Identitätsmerkmale, die Nutzungen positiv beeinflussen. Des Weiteren wirken eine positive Grundeinstellung zu Evaluation (Cousins/Leithwood 1986, 1993; Johnson 1998), ein hohes Engagement für die Evaluation einhergehend mit der Partizipation an Evaluationsaktivitäten (Alkin et al. 1985; Cousins/Leithwood 1993; Johnson 1998; Patton 1997) und dem aktiven Engagement

85

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

für die Ausbreitung der Ergebnisse (Stamm 2003a) positiv auf Nutzungen von Evaluationen. Einzelne Studien heben zudem die aktive Beschäftigung mit Forschung in der Vergangenheit, hohe berufliche Autonomie (Weiss/Bucuvalas 1980), eine hohe Meinung von Forschung generell und ein hohes Commitment (Leviton/Hughes 1981) als günstig für Evaluationsnutzungen hervor. Tabelle 1: Berufliche Identität/ Grundeinstellungen/ Berufsverständnis und deren Einfluss auf die Nutzungen von Evaluationen

A 1 2 3 4 5 6

Charakteristika der Evaluator(inn)en Berufliche Identität/ Grundeinstellungen/ Berufsverständnis:

Ein- Quelfluss le

Charakteristika der Nutzer(innen) Berufliche Identität/ Grundeinstellungen/ Berufsverständnis:

Ein- Quelfluss le

Alter Titel Geschlecht

k.E. k.E. +/-

Alter

k.E.

a

Geschlecht Politische Orientierung

k.E. k.E.

a a

Hohe Glaubwürdigkeit, gute + Reputation Art der Position

c c d b, c, d, f c

Art der Position

k.E.

a

7

viel Berufserfahrung

+/-

c, d

8

hohe berufliche Autonomie

+

a

9a

0-3 Jahre beshäftigt

+

a

9b

4-10 Jahre beschäftigt

-

a

” 10 Jahre beschäftigt

-

a

+

c, d, e, f, g

+

d, f

-

d, f

+

g

+/-

c, g

9c 10

Engagement für Evaluationsnutzung

+

11

Positive Arbeitseinstellung

+

d

+

c, d, e

+/-

c, g

+/-

c, g

12 13 14 15a 15b 16a 16b

Bereitschaft, Nutzer(innen) zu involvieren Dienstleistungsorientiertes Berufsverständnis Akademisches Berufsverständnis

c, e

Engagement für Evaluationsnutzung/ Partizipation

Positive Grundeinstellung zu Evaluation Negative Grundeinstellung zu Evaluation Unerfahrenheit bezüglich Evaluation Erfahrenheit mit Evaluation

86

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells Hohe Meinung von Forschung Aktive Beschäftigung mit Forschung in der Vergangenheit

17 18 19

Hohes Commitment

+

e

Hohes Commitment

+

b

+

a

+

b

B. Soziale Kompetenzen Für Evaluator(inn)en gibt es eine Reihe von sozialen Kompetenzen, die in Zusammenhang mit Nutzungen gebracht werden. Durchsetzungsstärke, Fähigkeiten zur Arbeit im Team, Fähigkeiten, andere zu motivieren, Identifikation von Bedürfnissen der Nutzer(innen), Fähigkeiten im Aufbau von Beziehungen bzw. Kontaktfähigkeiten, Fähigkeiten zur politischen Sensibilität und Fähigkeiten zum Konfliktmanagement sind Kompetenzen, die vor allem Patton (1997) positiv mit Evaluationsnutzungen verknüpft. Johnson (1998) identifiziert die Anpassungsfähigkeit und die Flexibilität im Handeln und Denken als Faktoren mit Einfluss auf Nutzungen. Tabelle 2: Soziale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen Charakteristika der Evaluator(inn)en B 1 2 3 4 5 6 7 8 9 10

Ein- Quelfluss le

Soziale Kompetenzen: Durchsetzungsfähigkeit Politische Sensibilität Vorhandensein von Führungsqualitäten Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität Fähigkeit zur Arbeit im Team Fähigkeit andere zu motivieren Fähigkeit im Aufbau von Beziehungen/ Kontaktfähigkeit

Ein- Quelfluss le

Soziale Kompetenzen: +

e c, e

+

e

+

b, e

+

e

+

e

+

e

Anpassungsfähigkeit Konfliktmanagementfähigkeiten/ Soziabilität Flexibilität im Handeln und Denken

Charakteristika der Nutzer(innen)

f +

e f

Hohe Flexibilität

+/-

c, f, g

87

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

11

Hohe Handlungsorientierung

c, f

Soziale Kompetenzen von potentiellen Nutzer(inne)n mit Einfluss auf die Nutzungen von Evaluationen sind bislang wenig erforscht. Eine hohe Handlungsorientierung im Sinne von „get(ting) things done“ (Alkin et al. 1979: 255) und als Teilbereich administrativer und organisatorischer Fähigkeiten und eine hohe Flexibilität werden vor allem von Alkin et al. (1985) und Johnson (1998) als Faktoren mit Einfluss auf Nutzungen von Evaluationen betrachtet. Stamm (2003) fand heraus, dass die Flexibilität (sie benutzt den Begriff Veränderungsbereitschaft) für Nutzungen keine Rolle spielt. C. Kommunikative Fähigkeiten Verschiedene Aspekte verbaler und nonverbaler Kommunikation wurden in Bezug auf Nutzungen von Evaluationen untersucht. Evaluator(inn)en können Nutzungen positiv beeinflussen durch eine klare (Johnson 1998; Leviton/Hughes 1981), direkte und nicht-hierarchische Kommunikation (Leviton/Hughes 1981). Zudem bringen einige Studien eine sensible und diplomatische Ausdrucksweise (Patton 1997) und eine einfühlsame und respektvolle Anpassung an die Sprache (verbal und nonverbal) bzw. das bewusste Herstellen von Rapport (Alkin et al. 1985) mit positiven Effekten für Nutzungen in Zusammenhang. Bezüglich der Häufigkeit des Kontakts scheint ein fortlaufender bzw. kontinuierlicher Kontakt (Cousins/Leithwood 1983; Leviton/Hughes 1981) in formeller und/oder informeller Art und Weise (Johnson 1998) in positivem Zusammenhang zu Nutzungen zu stehen. Der Kommunikationsstil hat wenig bis gar keinen Effekt auf die Nutzungen von Evaluationsergebnissen (Referenzstudien zitiert in Cousins/Leithwood 1986), wichtig scheint zu sein, ob der Kommunikationsstil der Evaluator(inn)en zu dem der Nutzer(innen) passt (Leviton/Hughes 1981). Das gilt auch für die schriftliche Kommunikation wie etwa den Evaluationsbericht (z.B. Stamm 2003a). Cousins und Leithwood (1986) fanden inkongruente Ergebnisse bezüglich der Verbreitung der Evaluationsberichte, demnach steht eine Veröffentlichung z.B. nicht zwingend in einem positiven Zusammenhang mit Nutzungen. Rossi und Freeman (1993) unterscheiden eine „Haupt-“ und eine „Nebenverbreitung“ von Ergebnissen (primary and secondary dissemination). Erstere umfasst die Publikation eines vollständigen, methodisch detaillierten Berichts, zweitere meint Berichte die auf die jeweiligen Stakeholder und die Beantwortung der spezifischen Fragestellungen zugeschnitten sind. Insbesondere die zweite Form kann ersetzt oder ergänzt werden durch mündliche Berichte, Präsentationen oder Videos (Rossi/Freeman 1993: 452). Ein Zusammenhang zwischen Nutzungen und der Fähigkeit, im Team zu kommunizieren (Johnson

88

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

1998), aber auch zwischen verschiedenen Gruppen und Individuen zu moderieren (Patton 1997), wird vermutet. Tabelle 3: Kommunikative Fähigkeiten/ Kommunikationsaktivitäten und deren Einfluss auf die Nutzungen von Evaluationen

C

Charakteristika der Evaluator(inn)en Kommunikative Fähigkeiten/ Kommunikationsaktivitäten:

Ein- Quelfluss le

1

Klare Sprache

+

b, f

2

Direkte, nicht-hierarchische Kommunikation Sensible und diplomatische Ausdrucks- und Vorgehensweise Hohe Verständlichkeit der schriftlichen Berichterstattung Hohe Nachvollziehbarkeit der Berichterstattung (Transparenz) Kommunikationsstil

+

b

+

e

+

g

+

g

k.E.

d

-

b

3 4 5 6 7

Anderer Kommunikationsstil als Nutzer(innen)

8 9 10

Art der Verbreitung der Evaluationsergebnisse Fortlaufender (schriftlicher und mündlicher) Kontakt

12

Verbindung/ Verhältnis/ Rapport mit Nutzer(inne)n Kommunikation im Team

13

Moderationsfähigkeiten

11

14 15

Charakteristika der Nutzer(innen) Kommunikative Fähigkeiten/ Kommunikationsaktivitäten:

Ein- Quelfluss le

Direkte, nicht-hierarchische Kommunikation

+

b

Anderer Kommunikationsstil als Evaluator(inn)en Bevorzugung bestimmter Formen der Informationsverarbeitung

-

b c

+/-

d

+

b, d, f Fortlaufender Kontakt + (insbesondere während des Implementierungsprozesses) c

+

e

d

f Vorhandensein von formellen und/oder informellen Disseminationsnetzwerken, Soziale Weiterverarbeitung/ kollegiale Interaktion

+

b

+

d

89

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

Geht man vom derzeitigen Stand der Evaluationsnutzungsforschung aus, scheint es hauptsächlich im Aufgabenbereich der Evaluator(inn)en zu liegen, eine gelingende Kommunikation zu gestalten. Für potenzielle Nutzer(innen) sollte im Sinne von Nutzungen wichtig sein, dass der Kommunikationsstil der Evaluator(inn)en zu dem eigenen passt (Leviton/Hughes 1981), dass sie insbesondere während des Implementierungsprozesses im kontinuierlichen Kontakt mit den Evaluator(inn)en stehen (Cousins/Leithwood 1983) und dass die Kommunikation direkt und nicht-hierarchisch erfolgt (Leviton/Hughes 1981). Alkin et al. (1985: 125) stellen zudem einen Zusammenhang zwischen der Bevorzugung bestimmter Formen der Informationsverarbeitung von potentiellen Nutzer(inne)n und der tatsächlichen Nutzung her. Das Vorhandensein von formellen und/oder informellen Disseminationsnetzwerken (Leviton/Hughes 1981: 536f) und eine soziale Weiterverarbeitung der Evaluationsinformationen in Form eines kollegialen Dialogs (Cousins/Leithwood 1993: 323f) werden in positiven Zusammenhang mit Evaluationsnutzungen gebracht. D. Weitere Charakteristika Die Einhaltung von Terminen steht in keinem konsistenten Bezug zu Evaluationsnutzung (vgl. Leviton und Hughes 1981: 535). Die Termineinhaltung könnte für kurzzeitige instrumentelle Nutzungen eine Rolle spielen, aber weniger für konzeptionelle Nutzungen von Ergebnissen (vgl. ebd.). Tabelle 4: Weitere Charakteristika und deren Einfluss auf die Nutzungen von Evaluationen Charakteristika der Evaluator(inn)en Weitere:

Ein- Quelfluss le

1

Termineinhaltung

+/-

b, g

2

Praktische Informationen zur Implementierung bereitstellen

+

b

D

3 4

5

Disponible Erwartungen (Programmoutput, Evaluationsergebnisse)

f

Charakteristika der Nutzer(innen) Weitere:

Ein- Quelfluss le

Befürwortung der Evaluationsinformationen Widerspruch zwischen Evaluationsergebnissen und anderen Informationen/ Institutionen Disponible Erwartungen (Programmoutput, Evaluationsergebnisse)

+/-

b, f, g

-

b

c, f

90

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Die Bereitstellung von praktischen Informationen zur Implementierung wird von potentiellen Nutzer(inne)n als nützlich bewertet (vgl. ebd.). Die Erwartungen in Bezug auf ein Programmoutput und Evaluationsergebnisse sind eine psychologische Schlüsselvariable mit Einfluss auf die Denk- und Handlungsweise von Evaluator(inn)en und Nutzer(inne)n (Johnson 1998: 105) und somit auf Nutzungen. Während die positiven oder negativen Ergebnisse einer Evaluation nicht konsistent in Bezug zu Nutzungen der Ergebnisse stehen, beeinflussen sie die Positionierung der Nutzer(innen) zur Evaluation, d.h. Unterstützer(innen) eines Programms werden Unterstützer(innen) einer Evaluation, sofern diese die eigene Sichtweise widerspiegelt (Leviton/Hughes 1981: 543). Dass Ergebnisse am ehesten in Umsetzungsmaßnahmen überführt werden, wenn sie mit den aktuellen und vorherrschenden Interessen und Ideologien kompatibel sind, wurde lange Zeit angenommen, traf aber für das Sample, das Stamm untersucht hat, nicht zu (vgl. Stamm 2003a: 314). In Johnsons (1998) theoretischem Modell zur Evaluationsnutzung haben die Interessen und Ideologien einen direkten Einfluss auf kognitive Nutzungen von Evaluationsergebnissen. Er stellt heraus, dass die Frage nach der Befürwortung der Evaluationsinformation im Sinne von bestehenden Werten und Glaubenssätzen nutzungsrelevant ist. Alkin et al. (1985) bringen zudem die Kosten-Nutzen-Einschätzungen als relevanten Faktor mit Einfluss auf Nutzung in die Diskussion. 2.3.1.3 Fokus 3: Sozial- und Selbstkompetenzen als Kompetenzfeld für Evaluator(inn)en Die von der DeGEval (2008b) beschriebenen „Empfehlungen für die Aus- und Weiterbildung in der Evaluation“, die für eine Tätigkeit als Evaluator(in) notwendig sind, orientieren sich an der Erstveröffentlichung der Standards für Evaluation der DeGEval (2002)43 und lassen sich in vier Kompetenzfelder zusammenfassen: (1) Theorie und Geschichte der Evaluation, (2) Methodenkompetenzen, (3) Organisations- und Feldkenntnisse und (4) Sozial- und Selbstkompetenzen. Darüber hinaus sollte die Vermittlung von Evaluationskompetenzen verbunden werden mit einer gewissen (5) Praxis der Evaluation. Die folgenden Ausführungen zeigen, dass die hier im Zentrum stehenden Themen (soziale Kompetenzen und Interaktionsaspekte) als Kompetenzfelder in der Aus- und Weiterbildung in der Evaluation explizit benannt (bzw. impliziert) werden.

43

2008 erschien die vierte unveränderte Auflage

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

91

Unter Sozial- und Selbstkompetenzen werden die Konstrukte: soziale Kompetenz, Kommunikation, Kooperation, Selbstmanagement und Lernen/ Problemlösen subsumiert und folgendermaßen erläutert:

Abbildung 10: Kompetenzfelder der Aus- und Weiterbildung in der Evaluation (DeGEval 2008b: 26) Unter soziale Kompetenz werden Fertigkeiten und Kenntnisse verstanden, die es Evaluator(inn)en ermöglichen, eine wertschätzende und zweckmäßige Arbeitsbeziehung zu den Stakeholdern aufzubauen und zu gestalten. Als Bereiche von zentraler Bedeutung werden benannt: Kontaktaufbau und –gestaltung, Perspektivenübernahme, Empathie, Feedback, Konfliktfähigkeit. Zu kommunikativen Kompetenzen wird für professionelles Handeln von Evaluator(inn)en vorausgesetzt, dass Kommunikation differenziert wahrgenommen wird (Strukturen, Prozesse und Bedingungen), dass Einflüsse auf Kommunikation erkannt werden (z.B. Körperhaltung und Macht, mentale Modelle) und dass unterschiedliche Grundformen der Kommunikation zielorientiert angewendet werden können.

92

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Unter Kooperationskompetenz wird die Gestaltung von sozialen Interaktionen (innerhalb des Evaluationsteams und mit anderen) verstanden und als zentrale Punkte werden die Bereiche Präsentieren und Moderieren, Gesprächs- und Verhandlungsführung, Kooperation und Arbeit in Gruppen verstanden. Die Fähigkeit zur langfristigen, zielorientierten Planung und Koordination von unterschiedlichen Arbeitsschritten zur Erreichung der Ziele und Zwecke der Evaluation wird unter dem Begriff Selbstmanagementkompetenz zusammengefasst. Zentraler Aspekt ist die Steuerung des eigenen Handelns im Sinne der Zweck- und Zielerreichung der Evaluation. Die vielfältigen, im Rahmen einer Evaluation zu treffenden Entscheidungen und Besonderheiten erfordern vor allem Reflexion und Fokussierung, die Kenntnis von Problemlösestrategien sowie verschiedener Lernformen und –stile. Diese Fähigkeiten und Kenntnisse werden dem Bereich der Lern- und Problemlösekompetenz zugeschrieben. Hier wird auch erwähnt, dass Empfehlungen so gestaltet sein sollten, dass diese nützlich sind44. Die Grenzziehung innerhalb der Begriffstrias soziale, kommunikative und kooperative Kompetenzen wird in den Empfehlungen der DeGEval (2008b) wenig offenbar. Obwohl die Empfehlungen für die Aus- und Weiterbildung bereits jetzt einen wichtigen Beitrag zur Professionalisierung der Evaluation leisten und sich die Curricula der beiden deutschen Masterstudiengänge im Wesentlichen an den Inhalten der Empfehlungen orientieren, wird deutlich, dass Präzisionen für den Bereich der Sozial- und Selbstkompetenzen mit seinen Eckpfeilern erforderlich sind. Neben diesem Systematisierungsversuch der DeGEval existiert eine weitere relevante Zusammenstellung von Kompetenzen, über die ProgrammEvaluator(inn)en verfügen sollten (Stevahn/King 2005). Die Autorinnen stellen fest, dass sämtliche Standards festlegen, was eine effektive Evaluation ist, jedoch nicht, was kompetente Evaluator(inn)en ausmacht, die diese effektive Evaluation ausführen. Als Reaktion darauf legen sie einen Katalog vor, in dem sechs Kompetenzfelder benannt werden und deren Entsprechung mit den Joint Committee Standards aufgezeigt wird. Eine Transformationstabelle der Evaluationsstandards zeigt, dass es wenige Unterschiede zwischen den Standards des Joint Committee und der DeGEval gibt (Sanders 2006). Die Entsprechungen der erforderlichen 44

Es fällt zudem auf, dass eine Ähnlichkeit zu Ansätzen aus der Organisationsentwicklung besteht, wo Vertrauen, offene Kommunikation, sich Konflikten stellen und Kooperation zentrale Bedeutung für die Erhaltung bzw. Wiederbelebung einer Organisation einnehmen (vgl. Porter et al. 1975: 497). Hier wird davon ausgegangen, dass Vertrauen und die Möglichkeit zu offener Kommunikation Grundvoraussetzungen dafür sind, dass Konflikte angesprochen werden können und die Lösung von Konflikten wiederum sind wichtig damit Kooperationen und Teamwork entwickelt werden können (ebd.).

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

93

Kompetenzen können demnach auch auf die Standards der DeGEval übertragen werden. Tabelle 5: Kompetenzen für Programmevaluator(inn)en und deren Entsprechung in den Joint Commitee Standards (vgl. Stevahn et al. 2005: 49ff) Erforderliche Kompetenz für Programmevaluator(inn)en 1.0 1.1 1.2 1.3 1.4 1.5 1.6 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 3.0 3.1 3.2

Professionalität Wendet Evaluationsstandards an Handelt moralisch und strebt Integrität und Ehrlichkeit bei der Durchführung einer Evaluation an Teilt potentiellen Kunden persönliche Evaluationsansätze und Fähigkeiten mit Respektiert Kunden, ProgrammteilnehmerInnen und andere Stakeholder Berücksichtigt das Gemeinwohl bei der Durchführung der Evaluation Leistet einen Beitrag zur Wissensbasis der Evaluation Systematische Untersuchung Versteht den aktuellen Kenntnisstand in der Evaluationsforschung (Begriffe, Konzepte, Theorien, Annahmen) Beherrscht quantitative Methoden Beherrscht qualitative Methoden Beherrscht Methodentriangulation (mixed Modelle) Führt Literaturreviews durch Spezifiziert Programmtheorie Sieht Evaluationsfragen im Kontext Entwickelt Evaluationsdesigns Identifiziert Datenquellen Sammelt Daten Kann Validität der Daten einschätzen Kann Reliabilität der Daten einschätzen Analysiert Daten Interpretiert Daten Fällt Beurteilungen/ Bewertungen Entwickelt Empfehlungen Gibt Hinweise für Entscheidungen während der Evaluation Berichtet Evaluationsvorgehen und –resultate Bemerkt Stärken und Schwächen der Evaluation Führt Meta-Evaluationen durch Kontextanalyse Beschreibt das Programm Entscheidet über Evaluierbarkeit des Programms

Entsprchg.Joint Committee Standards (1994) A12 P1 – P8 P5, A11 P3, P4 A9 A8 U3 A3 – A6 A4 A5 – A7 A5, A7 A6, A7 A7 – A8 U4 U4, A10 A10, U5 P6, A11 A12 A12 A1 -

94

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

3.3 3.4 3.5 3.6 3.7 3.8 3.9

Identifiziert die Interessen relevanter Stakeholder U1 Bedient das Informationsbedürfnis von Nutzern U1, U3, U7, P1 Spricht Konflikte an P7 Prüft den organisatorischen Rahmen der Evaluation A2, F2 Analysiert das für die Evaluation relevante politische Umfeld F2 Begleitet Fragen der Evaluationsnutzung U7 Begleitet Prozesse der Organisationsveränderung F2 Respektiert die Einzigartigkeit einer jeden Evaluation und eines P4 3.10 jeden Klienten 3.11 Bleibt offen für den Input von anderen 3.12 Modifiziert das Design wenn nötig 4.0 Projektmanagement 4.1 Antwortet auf Anfragen 4.2 Verhandelt mit Klienten bevor die Evaluation beginnt P2 4.3 Schreibt offizielle Vereinbarungen P2 Kommuniziert mit Klienten während es gesamten Evaluationspro- U5-U6, P6 4.4 zesses 4.5 Budgetiert die Evaluation F3, P8 4.6 Begründet die Kosten F3, P8 Identifiziert benötigte Ressourcen für die Evaluation (Informatio- 4.7 nen, Expertise, Personal, Instrumente) 4.8 Nutzt geeignete Technik Supervidiert andere, die an der Durchführung der Evaluation betei- 4.9 ligt sind Unterweist andere, die an der Durchführung der Evaluation beteiligt 4.10 sind 4.11 Leitet die Evaluation adäquat F1 4.12 Präsentiert die Ergebnisse pünktlich U6 5.0 Reflexionsfähigkeit 5.1 Ist sich als Evaluator(in) gewahr (Wissen, Fähigkeiten, Aufstellung) U2 5.2 Reflektiert die persönliche Evaluationserfahrung 5.3 Verfolgt die professionelle Entwicklung im Feld der Evaluation 5.4 Verfolgt die Entwicklung in relevanten Teilgebieten 5.5 Baut berufliche Beziehungen auf (Austausch) 6.0 Interpersonale Kompetenz 6.1 Nutzt schriftliche Fähigkeiten U5 6.2 Nutzt verbale (auch zuhören) Fähigkeiten P4 6.3 Nutzt Verhandlungsfähigkeiten P4, P7 6.4 Nutzt Konfliktlösungsstrategien P4, P7, F2 Erleichtert konstruktive interpersonelle Interaktion (z.B. Team- 6.5 work) 6.6 Zeigt interkulturelle Kompetenzen P4 A= Accuracy (Genauigkeit), F= Feasibility (Durchführbarkeit), P= Propriety (Korrektheit/ Fairness), U= Utility (Nützlichkeit)

Aspekte, die den Bereich soziale Kompetenzen berühren, finden sich in allen sechs Kompetenzfeldern wieder, jedoch insbesondere im Bereich der Reflexions-

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

95

fähigkeit und der interpersonalen Kompetenz. Die Auflistung zeigt, dass der Kompetenzbereich soziale Kompetenzen gewissermaßen quer liegt zu allen anderen Kompetenzbereichen, d.h. er tangiert sowohl Aspekte der Professionalität (z.B. respektiert Stakeholder), der systematischen Untersuchung (z.B. gibt Hinweise für Entscheidungen während der Evaluation), der Kontextanalyse (z.B. Ansprechen von Konflikten), des Projektmanagements (z.B. Kommunikation mit Klienten) und wie bereits erwähnt der Reflexionsfähigkeit und interpersonalen Kompetenz. Bislang fehlt eine repräsentative Studie, die offen legt bis zu welchem Grad Programmevaluator(inn)en (als Durchführende, als Leitende etc.) übereinstimmen in der Beurteilung der Wichtigkeit der einzelnen Kompetenzfelder und Fähigkeiten für die berufliche Praxis. 2.3.1.4 Zusammenfassung zum Stand der Diskussion um soziale Kompetenzen Soziale Kompetenzen stellen in der Evaluationsnutzungsforschung kein explizites Konstrukt dar. Im fachlichen Diskurs werden Begrifflichkeiten wie „human factors“ (Alkin 1990), „personal factors“ (Patton 1997), „people skills“ (Mertens 1994) und „personal qualities“ (ebd.), „Charakteristika der Evaluator(inn)en“ (z.B. Cousins/Leithwood 1986; Johnson 1998) oder auch „Person des Evaluators/ der Evaluatorin“ (Stamm 2003a) genutzt. In den Materialien der DeGEval (2008b) wird von Sozial- und Selbstkompetenzen bzw. von „soziale Kompetenz“ im Singular gesprochen. Lauri Stevahn und Jean A. King (2005) benennen „Reflexionsfähigkeit“ und „Interpersonale Kompetenz“ (vgl. dazu auch King et al. 2001) als Kernbereiche, die soziale Kompetenzen von Evaluator(inn)en verlangen. Im gesamten Diskurs werden Ergebnisse zu beruflicher Identität und Grundeinstellungen zu Evaluation und deren Nutzungen, soziale Kompetenzen und kommunikative Fähigkeiten, Selbstkompetenzen und Aspekte der Interaktion wenig differenziert dargestellt und behandelt. Soziale Kompetenzen tangieren zudem eine Vielzahl von anderen Kompetenzbereichen von Evaluator(inn)en, so dass man von einer querliegenden Zieldimension ausgehen kann. Dies warf die Frage auf, wie sinnvoll die Nutzung des Überbegriffs soziale Kompetenzen für diese Untersuchung sei, zumal sowohl dieser als auch der Begriff Evaluationsnutzung zu den häufig bemühten aber empirisch wenig fundierten und unscharf definierten Konstrukten gehören. Einer Nutzung des Begriffs soziale Kompetenzen wurde unter der Prämisse zugestimmt, dass diese im Folgenden in ihrer Komplexität zu verstehen sind, die in ein Bindungsgefüge eingebettet sind, das verschiedene individuelle Fähigkeiten umfasst, aber auch von den Zielen der beteiligten Personen abhängig ist und ein Produkt situativ und interaktiv konstruierter Bedeutungen der Beteiligten darstellen, die durch die Rahmung des

96

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Evaluationssettings eine eigene Dynamik erhalten, die auch die Grenzen der Einflussnahme markieren. Aspekte der beruflichen Identität, Grundeinstellungen zur Evaluation und das Berufsverständnis werden ausdrücklich nicht zu den sozialen Kompetenzen gezählt, da diese sich relativ klar von diesen abgrenzen lassen und im empirischen Rahmen dieser Arbeit nicht im Zentrum des Interesses stehen. Vergleicht man die Darstellung des Konstrukts soziale Kompetenzen im Feld der Psychologie, in der Evaluationsnutzungsforschung und in den Empfehlungen für die Aus- und Weiterbildung für Evaluator(inn)en, so zeichnen sich drei unterschiedliche Bilder mit Schnittmengen. Die These, dass durch die Evaluationsnutzungsliteratur eine Terminologie entstanden ist, die hinderlich ist für die Integration von Wissen aus anderen Disziplinen, die sich auch mit Veränderungsprozessen beschäftigen (Henry/Mark 2003a: 299), trifft für den Bereich der sozialen Kompetenzen nur teilweise zu. Richtig ist hier, dass durch die Terminologie der Nutzungsliteratur die Integration von Wissen und Terminologien anderer Disziplinen erschwert wird, aber nicht unmöglich scheint. Ausgehend von dem oben beschriebenen Ist-Stand der Forschung zu den sozialen Kompetenzen und deren Einfluss auf die Evaluation soll für diese Untersuchung zunächst die Präzisierung der Terminologie unter Berücksichtigung der verschiedenen Sichtweisen auf das Konstrukt der sozialen Kompetenzen vorgenommen werden. Dazu werden die drei zuvor beschriebenen Sichtweisen (Psychologie, Evaluationsnutzungsforschung, Kompetenzfelder in der Aus- und Weiterbildung) nebeneinander gestellt. Soziale Kompetenzen werden dabei – wie vorab erläutert – als Werkzeug für eine konstruktive soziale Bedeutungsaushandlung im Evaluationskontext, d.h. als Werkzeug zur Interaktionsgestaltung angesehen (vgl. dazu Forgas 1995; Greif 1997; Schuler/Barthelme 1995). Im Folgenden werden zunächst die Konstrukte vorgestellt, bei denen es deutliche Schnittmengen von mindestens zwei der hier im Fokus stehenden verschiedenen Sichtweisen gibt. Diese sind auf Ebene der sozialen Kompetenzen: ƒ ƒ ƒ ƒ ƒ ƒ ƒ ƒ ƒ

Durchsetzungsfähigkeit/ -stärke Flexibilität Führungsverhalten Handlungsorientierung Kontaktfähigkeit/ Extraversion Perspektivenübernahme/ Empathie/ Sensitivität Selbstaufmerksamkeit/ Reflexion Soziabilität/ Konfliktverhalten und Teamorientierung/ Teamkompetenz

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

97

Kommunikationsfertigkeiten, die zu den sozialen Kompetenzen zählen, werden als zentraler Bestandteil von Interaktionsprozessen in die Untersuchung integriert und in Kapitel 2.3.2 besprochen. Da es keine einheitliche Sprachregelung gibt, können die entsprechenden Schnitt- oder Teilmengen, je nach Sichtweise, unterschiedlich in Differenz (Restmenge) bzw. Komplement interpretiert werden. Die Vorgehensweise ermöglicht, die bislang nur wenig bzw. gar nicht durch die Evaluationsnutzungsforschung und DeGEval berücksichtigten sozialen Kompetenzen aufzuzeigen. Das Fazit dieses Kapitels bildet die Definition der sozialen Kompetenzen für die hier vorliegende Untersuchung: Durchsetzungsfähigkeit/ -stärke Patton (1997: 44) benennt die Durchsetzungsfähigkeit (assertiveness) als einen Aspekt des „personal factor“ und betont den positiven Einfluss auf Evaluationsnutzung. In den Empfehlungen der DeGEval (2008b) wird Durchsetzungsfähigkeit nicht explizit als Kompetenz von Evaluator(inn)en beschrieben. In der Psychologie zählt Durchsetzungsfähigkeit zu den allgemeinen sozialen Kompetenzen (Kanning 2002). Durchsetzungsstärke wird durch das BIP (Hossiep/Paschen 2003) erfasst. Das Maß der Bereitschaft, sich trotz Widerständen aktiv durchzusetzen, beschreibt das zugrunde liegende Konstrukt (ebd.: 29). Personen mit hoher Durchsetzungsstärke sind dementsprechend offensiv und setzen sich nachhaltig für ihren Standpunkt ein. Allerdings ist mit einer hohen Ausprägung der Durchsetzungsstärke auch oft eine geringe Einfühlungsbereitschaft (nicht Einfühlungsfähigkeit) verbunden (ebd.: 66). Das Persönlichkeitsmerkmal Durchsetzungsstärke korreliert mit der formalen hierarchischen Position und eine extreme Ausprägung kann je nach Anforderung der konkreten Situation und Tätigkeit sowohl von Vorteil als auch von Nachteil sein (ebd.). Flexibilität Flexibilität bzw. die hohe Bereitschaft und Fähigkeit, sich auf neue oder unvorhergesehene Situationen einzustellen und Ungewissheit zu tolerieren und die Offenheit für neue Ideen und Perspektiven (Hossiep/Paschen 2003: 22) stellt einerseits einen Teilbereich der Dimension Arbeitsverhalten dar (ebd.) und wurde andererseits von Kanning (2002) als Teil der allgemeinen sozialen Kompetenzen benannt. Personen mit hoher Flexibilität werden vergleichsweise wenig dadurch beeinträchtigt, dass Aufgaben nicht klar definiert sind, da sie Ungewissheit gut zulassen können und neuen Situationen zuversichtlich begegnen (Hossiep/Paschen 2003: 60). In der Evaluationsnutzungsforschung wurde die Offenheit für neue Ideen und Veränderungen von Nutzer(inne)n (Alkin 1985) als Einflussfaktor auf Nut-

98

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

zungen genannt. Allerdings gibt es hierzu widersprüchliche Ergebnisse: Stamm (2003a) fand heraus, dass die Veränderungsbereitschaft der Nutzer(innen) keine entscheidende Rolle für Nutzungen spielt. Johnson (1998) identifizierte die Flexibilität im Handeln und Denken von Evaluator(inn)en als Faktoren mit Einfluss auf Nutzungen. In den Empfehlungen der DeGEval (2008b) wird Flexibilität nicht als Kompetenz für Evaluator(inn)en beschrieben. Führungsverhalten Im betriebswirtschaftlichen Bereich und bei Personalentwickler(inne)n ist Führungsverhalten als Einflussgröße auf die Kundenorientierung fester Forschungsinhalt (z.B. Homburg/Stock 2001; 2002). In der Evaluationsnutzungsforschung stellt insbesondere Patton (1994) diesen Faktor als Teilbereich mit Einfluss auf Nutzung heraus. Die DeGEval (2008b) hingegen empfiehlt das Vorhandensein von Führungsqualitäten nicht explizit als Kompetenz von Evalutor(inn)en. Das Führen von Mitarbeiter(inne)n kann als spezifische (und nicht als allgemeine) soziale Kompetenz klassifiziert werden (Kanning 2003: 21). Je nachdem, was unter Führungsqualitäten verstanden wird, sind starke Überschneidungen zu anderen Konstrukten der sozialen Kompetenzen zu finden. Angesichts der Multidimensionalität des Konstrukts lassen sich die verschiedenen Aspekte von Führung kaum messen (Pinnow 2008: 301). Hossiep und Paschen (2003) zählen Führungsmotivation zur beruflichen Grundorientierungen und nicht zu sozialen Kompetenzen und legen das Hauptaugenmerk darauf, wie stark das Bestreben zur sozialen Einflussnahme ausgeprägt ist (Hossiep/Paschen 2003: 58). Im Evaluationskontext ist davon auszugehen, dass sich das Vorhandensein von Führungsqualitäten, je nach Zusammensetzung des Evaluationsteams, nicht auf alle involvierten Evaluator(inn)en bezieht. Handlungsorientierung Ein Aspekt, der häufig zu den Charakteristika der Nutzer(innen) gezählt wird, ist die Handlungsorientierung. Alkin et al. (1979, 1985) und Johnson (1998) benennen eine hohe Handlungsorientierung als Faktor mit Einfluss auf Nutzungen von Evaluationen. Das Konzept zeigt hohe Übereinstimmungen mit dem Konstrukt, wie es in der Psychologie beschrieben wird: Handlungsorientierung wird als Fähigkeit zur raschen Umsetzung von Entscheidungen in zielgerichtete Aktivitäten sowie zur Abschirmung einer gewählten Handlungsalternative gegenüber weiteren Entwürfen verstanden (Hossiep/Paschen 2003: 22). Hoch handlungsorientierte Personen werden dementsprechend als Menschen wahrgenommen, die auch bei Schwierigkeiten zügig handeln und Ziele bei hoher effektiver Selbstor-

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

99

ganisation ausdauernd verfolgen (ebd.: 61)45. Es lassen sich Überschneidungen zu dem Konzept der Entscheidungsfreudigkeit (Kanning 2002) finden. Als Fähigkeit von Evaluator(inn)en ist dieser Aspekt bislang nicht untersucht worden. Auch findet sich diese Kategorie nicht in den Empfehlungen der DeGEval (2008b) wieder. Kontaktfähigkeit/ Extraversion Ein Teilaspekt sozialer Kompetenzen von Evaluator(inn)en ist die Kontaktfähigkeit. In der Evaluationsnutzungsforschung werden Merkmale mit Einfluss auf Nutzungen benannt, wo Kontaktfähigkeiten gefragt sind: Zum Beispiel benennt Patton (1997) die Fähigkeit Arbeitsbeziehungen zu den Nutzer(inne)n aufzubauen oder Alkin (1985) das Involvieren von Nutzer(inne)n. Aber auch Nutzer(innen) benötigen zum Aufbau von formellen und informellen Disseminationsnetzwerken Kontaktfähigkeiten. Es wird dementsprechend ein Zusammenhang zwischen Nutzungen und hoher Kontaktfähigkeit vermutet. In der Psychologie umreißt das Konstrukt Kontaktfähigkeit die Kompetenz, zu unbekannten und bekannten Personen Kontakt aufzunehmen, Beziehungen aufzubauen und diese aufrechtzuerhalten. Darüber hinaus umfasst es auch die Fähigkeit des Aufbaus und der Aufrechterhaltung sozialer Netzwerke (vgl. Hossiep/Paschen 2003). Personen mit hoher Kontaktfähigkeit bereitet es dementsprechend keinerlei Schwierigkeiten, Kontakte zu verschiedensten Menschen herzustellen. Sie verfügen über eine große Sicherheit und Unbefangenheit im Umgang mit anderen (vgl. ebd.: 63). Es gilt als belegt, dass sozial hochkompetente Personen über ein größeres soziales Netz verfügen als weniger sozial kompetente Menschen (Cohen et al. 1986; Sarason et al. 1986). Zudem lassen sich Überschneidungen mit dem Konzept der „Extraversion“ feststellen, welches Kanning (2002) dem behavioralen Bereich zugeordnet hat und das ursprünglich aus dem Big-FiveModell bzw. dem NEO-FFI: Neo-Fünf-Faktoren-Inventar (Borkenau/Ostendorf 1993) stammt. NEO bezieht sich auf die in dem Modell enthaltenen Persönlichkeitsfaktoren Neurotizismus (N), Extraversion (E) und Offenheit für Erfahrungen (O), zusammen mit Verträglichkeit und Gewissenhaftigkeit bilden diese fünf Faktoren die sogenannten „Big Five“. Die Dimension Extraversion beschreibt Aspekte des „Networking“ und beschäftigt sich mit Aktivität und zwischenmenschlichem Verhalten.

45

Hossiep und Paschen (2003) berichten ein negatives Regressionsgewicht der Skala Handlungsorientierung zur Erklärung der hierarchischen Position, d.h. Personen mit geringer Handlungsorientierung erreichten tendenziell einen höheren Berufsstatus als Personen, die hoch handlungsorientiert waren.

100

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Die Empfehlungen der DeGEval (2008b) berücksichtigen diesen Bereich, indem sie die Fähigkeiten zur Kontaktaufnahme und –gestaltung als zentrale Aspekte der Kompetenzen von Evaluator(inn)en herausstellen. Perspektivenübernahme/ Empathie/ Sensitivität Die Begriffe Sensitivität, Sensibilität, Empathie bzw. Einfühlungsvermögen und Perspektivenübernahme werden häufig synonym genutzt. Die Konstrukte weisen, auch wenn sie nicht absolut deckungsgleich sind, in jedem Fall große Schnittmengen auf. Die DeGEval (2008b: 24) benennt „Perspektivenübernahme und Empathie“ als Beispiele für soziale Kompetenz von Evaluator(inn)en. Implizit hat sich auch die Evaluationsnutzungsforschung mit Perspektivenübernahme als Kompetenz von Evaluator(inn)en befasst. Hier wird die Fähigkeit von Evaluator(inn)en, die Bedürfnisse der Nutzer(innen) zu erkennen in einen positiven Zusammenhang mit Evaluationsnutzung gebracht (Leviton/Hughes 1981; Patton 1997). Weiterhin wird explizit betont, dass die politische Sensibilität von Evaluator(inn)en Nutzungen beeinflusst (vgl. Alkin 1985; Patton 1997). Politische Sensibilität beschränkt sich jedoch nicht auf das Ausfechten von kontroversen Standpunkten, sondern besteht darin, durch sensible Wahrnehmung den möglicherweise abweichenden Sichtweisen des Gegenübers entgegenzukommen und diesem zur Artikulation und Diskussion zu verhelfen – auch auf die Gefahr hin, Dissens zu aktivieren (Liebsch 2008: 308). Dementsprechend ist eine Kultur der Wahrnehmung (Perspektivenübernahme) bzw. der Sensibilität (für Dissens) vor politische Differenzen und deren Anerkennung zu stellen (ebd.: 309). Die Sensitivität, im Sinne von sicherer Interpretation und Zuordnung der Verhaltensweisen anderer (Hossiep/Paschen 2003: 22), stellt dementsprechend eine Vorstufe im Problemlöseprozess zu der Soziabilität, die weiter unten beschrieben wird, dar. Mit Sensitivität ist vor allem die Fähigkeit zur Wahrnehmung auch schwacher Signale im zwischenmenschlichen Bereich gemeint. Hossiep und Paschen (2003: 62) beschreiben, dass eine hohe Ausprägung insbesondere zur personennahen Begleitung von Veränderungsprozessen wichtig sei, bei denen auch unangenehme Entscheidungen durchzusetzen sind. Zusätzlich biete ein hohes Maß an Sensitivität die Chance, Handlungsergebnisse zu optimieren, indem die „zwischenmenschliche Ebene“ angemessen berücksichtigt wird. Die Autoren weisen aber auch darauf hin, dass in kaum einem Bereich die Selbst-Fremdbild-Diskrepanzen so wahrscheinlich sind, wie bei dieser Dimension. Perspektivenübernahme ist eine der allgemeinen sozialen Kompetenzdimensionen, die Kanning (2002) in seiner Metaanalyse identifiziert hat. Es handelt sich hierbei um die Fähigkeit bzw. auch Technik, sich in die Rolle und Position einer anderen Person hineinzuversetzen und zu versuchen, dessen/ deren Sicht zu sehen. Perspektivenübernahme hat

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

101

einen Einfluss auf gruppenübergreifende Beziehungen und kann zur Reduzierung von Klischees oder Vorurteilen beitragen (Galinsky/Moskowitz 2000: 709ff). Obwohl Perspektivenübernahme nicht immer zur Verringerung des sogenannten egozentrischen Bias führt (Drolet et al. 1998), kann das Bedenken der Perspektive des Gegenübers zu positiveren Resultaten in der Interaktion führen (Galinsky/Mussweiler 2001: 660). Selbstaufmerksamkeit/ Reflexion und Selbststeuerung Selbstaufmerksamkeit wird als Bestandteil elaborierter Modelle menschlicher Selbststeuerung aufgefasst (Carver/Scheier 1981). Selbstaufmerksamkeit stellt eine Kategorie dar, die eine große Variation wahrnehmungs-kognitiver Aspekte umfasst, so z.B. das Selbstkonzept, Einstellungen, aber auch die selektive Wahrnehmung von „inneren Signalen“ wie Herzklopfen oder Rot werden etc. (ebd.: 36f). Die Theorie der Selbstaufmerksamkeit (Duval/Wicklund 1972) betont die enge Verknüpfung zwischen Selbstaufmerksamkeit und Verhalten (bzw. Steuerungsmöglichkeiten) und beschäftigt sich mit internen Prozessen, bei denen das Selbst zum Objekt der Betrachtung wird. Die Theorie besagt, dass im Zustand der Selbstaufmerksamkeit eventuelle Diskrepanzen zwischen den Verhaltensabsichten und dem tatsächlichen Verhalten aufgedeckt werden können, wobei drei Möglichkeiten der Begegnung mit diesem Zustand unterschieden werden: (1) die Verhaltensweisen den Absichten angleichen, (2) die Verantwortung für die wahrgenommene Diskrepanz ablehnen und (3) die Aufmerksamkeit von dem eigenen Selbst wegrichten. Die Bereiche Selbstaufmerksamkeit und –steuerung scheinen dabei eng mit dem Konzept des Selbstmanagements und dem Bereich Reflexion der DeGEval (2008b: 25f) verbunden zu sein. Je genauer eine Situation in ihren Einzelheiten wahrgenommen wird, desto gründlicher kann häufig Reflexion ausfallen. Hier wird aber auch auf die Wichtigkeit von Selbsterfahrung und Rückmeldungen im Sinne von „Learning by doing“ in der Aus- und Weiterbildung von Evaluator(inn)en aufmerksam gemacht (DeGEval, 2008b: 23). Soziabilität/ Konfliktverhalten Ein weiterer Teilaspekt sozialer Kompetenzen von Evaluator(inn)en beschäftigt sich mit dem Umgang mit Konfliktsituationen. Patton (1997) stellt Fähigkeiten im Konfliktmanagement als eine der Kompetenzen, über die Evaluator(inn)en verfügen sollten, heraus und impliziert einen Zusammenhang zwischen hoch ausgeprägten Fähigkeiten in diesem Bereich und den Nutzungen von Evaluationen. Auch in den Empfehlungen der DeGEval (2008b) werden Konfliktfähigkeit und das Beherrschen von Problemlösestrategien als Kompetenzen von Evaluator(inn)en beschrieben. Das Konzept der Soziabilität zeigt Überschneidungen mit

102

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

der von der DeGEval (2008b) benannten Fähigkeit, Konflikte anzusprechen bzw. konfliktfähig zu sein; es beinhaltet jedoch noch kein Modell zu sensibler Konfliktbewältigung. Das gegenseitige Anerkennen und „Aushaltenkönnen“ von Konflikten resultiert noch nicht automatisch in ein friedliches Miteinander. Personen mit hoher Soziabilität schätzen ein harmonisches Miteinander und bemühen sich, integrierend und ausgleichend auf ihr Umfeld einzuwirken. Es fällt diesen Personen schwer, Unangenehmes offen anzusprechen, und es ist ihnen wichtig, als rücksichtsvoll und freundlich wahrgenommen zu werden. Treten Konflikte auf, übernehmen sie gern moderierende Funktionen (Hossiep/Paschen 2003: 64). Die Fähigkeit zur Wahrnehmung von Signalen im zwischenmenschlichen Bereich wird durch die Sensitivität beschrieben. Die Bereitschaft, sein Verhalten auf diese Signale abzustimmen, liegt dementsprechend im Gegenstandsbereich der Soziabilität (ebd.: 28). Kanning (2002) identifiziert Konfliktverhalten als eine allgemeine soziale Kompetenzdimension. Per definitionem werden vor allem interpersonelle Konflikte und weniger intraindividuelle Konflikte zu sozialem Konfliktverhalten gezählt, häufig besteht aber eine Abhängigkeit zwischen den beiden (Rosenstiel 1980)46. Die Konfliktmanagementforschung beschäftigt sich vorrangig mit interpersonellen Aspekten des Phänomens. Den theoretischen Hintergrund vieler praxisorientierter Ansätze zum Umgang mit sozialen Konflikten bildet das Dual Concern Modell (Pruitt/Rubin 1986). Zentral ist hier die Berücksichtigung zweier Interessenlagen: die Interessen der anderen und das persönliche Anliegen. Die Autoren unterscheiden vier Strategien: Nachgeben, Vermeiden, Problemlösen und Konkurrieren (ebd.). Es herrscht im wissenschaftlichen Diskurs ein Konsens darüber, dass integrativen Strategien, wie dem Problemlösen, Vorzug gegenüber anderen Strategien zu geben sei, da diese sich als die effektivste und zudem mit höherem psychischen Wohlbefinden einhergehende Vorgehensweise erwiesen haben (z.B. De Dreu et al. 2001; Gross/Guerrero 2000; Pruitt/Rubin 1986). Eine einseitig hohe Gewichtung der persönlichen Interessen oder der Interessen der anderen führt dementsprechend zu dominantem Verhalten und Vermeidungshaltung bzw. nachgiebigen Verhaltensweisen (Pruitt/Rubin 1986). Teamorientierung/ Teamkompetenz Ein weiteres Merkmal, das sich in allen hier betrachteten Sichtweisen widerspiegelt, ist die Teamorientierung bzw. Teamkompetenz von Evaluator(inn)en. In der Evaluationsnutzungsforschung betont insbesondere Patton (1997: 54) die Wichtigkeit der Fähigkeit zur Arbeit im Team. Die Teamfähigkeit von Nutzer(inne)n ist bislang nicht Gegenstand der Überlegungen in der Evaluationsnutzungsfor46

Eine Konfliktklassifikation hat z.B. Galtung (1965) vorgenommen.

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

103

schung gewesen. Das Konzept der Teamorientierung in der Psychologie wird beschrieben als eine hohe Wertschätzung von Teamarbeit und Kooperation und die Bereitschaft zur aktiven Unterstützung von Teamprozessen. Wenig teamorientierten Personen bedeutet es viel, die alleinige Verantwortung für ihre Arbeitsergebnisse zu tragen. Personen mit ausgeprägter Teamorientierung gehen meist davon aus, dass sich im Teamgedanken die verschiedenartigen Einzelbeiträge zu einer neuen Qualität formen können (Hossiep/Paschen 2003: 65). In der Diskussion um Schlüsselqualifikationen wird häufig eine generelle Teamfähigkeit unterstellt, was im Widerspruch dazu steht, dass jedes Bildungs-/ Beschäftigungssystem auf allen Stufen auf Einzelleistungen setzt (Kirchner 1972 zit. nach Seyfried 1995b: 28). Die DeGEval (2008b) benennt die Fähigkeit von Evaluator(inn)en zur Kooperation und Arbeit in Gruppen als ein Kompetenzfeld. In den bisherigen Ausführungen wurde gezeigt, dass zwischen den Konzepten zu sozialen Kompetenzen in der Psychologie, dem fachlichen Diskurs in der Evaluationsnutzungsforschung und in den Empfehlungen der DeGEval deutliche Schnittmengen zu finden sind. Weiterhin wird deutlich, dass den an der Interaktion beteiligten Evaluator(inn)en und Nutzer(inne)n unterschiedliche Aufgaben zugeschrieben werden. So ist eine hohe Handlungsorientierung bei Nutzer(inne)n (vgl. Alkin et al. 1979, 1985; Johnson 1998) beispielsweise ein Faktor, dem ein positiver Einfluss auf Nutzungen von Evaluationen zugesprochen wird. Als Fähigkeit von Evaluator(inn)en ist dieser Aspekt bislang nicht untersucht worden. Weiterhin wurde deutlich, an welchen Stellen gewissermaßen “blinde Flecken“ in der jeweiligen Betrachtungsweise liegen. Insgesamt muss resümiert werden, dass die Charakteristika, über die Evaluator(inn)en verfügen sollten, eher weniger im Zusammenhang mit denen der Nutzer(inne)n betrachtet werden. Beispielsweise wird betont, dass Evaluator(inn)en im Sinne einer nutzungsorientierten Evaluation gut in Teams und Gruppen arbeiten können sollten (vgl. Patton 1997). Ob potentielle Nutzer(innen) auch teamkompetent handeln können sollten wurde dagegen bislang wenig thematisiert47. Qualitativ wird häufig nicht klar, wie und ob die oben besprochenen Subkategorien von sozialen Kompetenzen normativ gefasst werden, d.h., es stellt sich die Frage, ob soziale Kompetenzen voraussetzen, dass prosozial gehandelt und interagiert wird oder ob unter Umständen auch anti-soziales Agieren als sozial kompetent eingeschätzt werden kann. Aufgrund der bisherigen Überlegungen kann davon ausgegangen werden, dass soziale Kompetenzen eine Einflussgröße für alle Aspekte der Interaktion während einer Evaluation darstellen und somit Nutzungen von Evaluationen beeinflussen. 47

Beispiele für die Beschreibung potenzieller Quellen für Widerstände in der Programmevaluation und die Möglichkeiten des Umgangs damit finden sich in: Posavac/Raymond 1980: 40ff.

104

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

2.3.2 Soziale Interaktionsgestaltung Zur erfolgreichen Gestaltung von sozialer Interaktion werden je nach Referenz und zugrunde liegender sozialpsychologischer Interaktionstheorie (Überblick dazu in Müller 1985) unterschiedliche Aspekte gezählt. Als wesensbestimmte Merkmale sozialer Interaktion sind Wechselseitigkeit und Aufeinanderbezogenheit von Geben und Nehmen, Aktion und Reaktion und Einflussnahme und Beeinflusstwerden anzusehen (Müller 1985: 43). Soziale Kompetenzen offenbaren sich in Interaktionssituationen und diese wiederum sind abhängig von Beurteilungen (die auf individuellen und selektiven Wahrnehmungen beruhen), Reaktionen der mitagierenden Personen und Empfindungen (Seyfried 1995a: 139). In der Interaktionsforschung wird betont, dass soziale Kompetenzen für gelungene Interaktionen hilfreich sind und neben diesen sowohl das Zusammenwirken verbaler und non-verbaler (z.B. Mimik, Gestik, äußere Erscheinung) Elemente als auch die Arten von Äußerungen und deren Wirkung (z.B. Informationsübermittlung, Fragen, Befehle, Ermutigung, Lob, Bestrafung) und der Stil der Interaktion (z.B. dominanter oder affiliativer Stil) gehören (Argyle 1972: 90ff). Es herrscht Übereinstimmung darin, dass sich unter dem typisch Interaktionalen eine spezifische Qualität sozialer Situationen verbirgt, und dass es sich bei dieser um etwas anderes handelt, als um die bloße „Potential“-Summe einzelner Interaktionspartner(innen) (vgl. Müller 1985: 3). Indem Personen miteinander interagieren, erzeugen sie etwas, das nicht bereits durch Zustände der gemeinsamen Umwelt oder durch individuelle Eigenschaften determiniert ist. Wie eine adäquate Analyse entsprechender Phänomene zu leisten wäre, bleibt jedoch meinst unklar (ebd.). In der neuesten Forschung steht nicht mehr nur das gesprochene Wort im Mittelpunkt, sondern es wird betont, dass Interaktion nur adäquat erfasst werden kann, wenn man sowohl auditive als auch visuelle Komponenten in den Blick nimmt, da diese gemeinsam einen Gesamteindruck der Interaktion erzeugen (Herrle 2007). Soziale Interaktion ist, wie der Begriff schon sagt, ein interaktiver Prozess, der durch objektive Situationsbedingungen, externe Konsequenzen, selbstbewertende Reaktionen, (oft unbewusste) Orientierungen, Motivationen und Denkprozesse gesteuert wird (Seyfried 1995a: 139). Diese Faktoren sind schwer quantifizierbar. Martin Irle macht den für dieses Vorhaben nützlichen Vorschlag, zwischen Faktoren zu differenzieren, die Interaktionsverhalten exogen oder endogen beeinflussen. Exogen bezeichnet er Faktoren, die auch dann existieren, wenn eine gegebene soziale Beziehung noch nicht oder nicht mehr existiert. Hierunter fallen z.B. Eigenschaften der beteiligten Personen und soziale Kompetenzen dieser sowie Zustände der gemeinsamen Umwelt. Endogen sind solche Faktoren, die

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

105

erst aus den Konstellationen vorliegender exogener Merkmale entstehen und in Erscheinung treten (Irle 1975: 399). Als Leitfaden für die Generierung von Informationen zur Interaktionsgestaltung im Rahmen der untersuchten Programmevaluationen wurde sich an den Korrektheitsstandards des Joint Committee (Sanders 2006: 131) orientiert, dabei konnten drei Schwerpunkte zur Bestimmung der Güte der Interaktion herausgearbeitet werden. Es handelt sich hier um endogene Faktoren. In Anlehnung an Günter F. Müller sei zur definitorischen Klärung darauf hingewiesen, dass soziale Interaktionsgestaltung verhaltensorientiert ist und (als kleinste analytische Einheit) auf das Individuum rekurriert, und dementsprechend als Aufeinanderbezogenheit individueller Verhaltensweisen verstanden wird (Müller 1985: 82). Weiterhin ist soziale Interaktionsgestaltung gekennzeichnet durch den Kontext, in dem sie stattfindet. Und schließlich nehmen Interaktionspartner(innen) subjektive Transformationen von Kontextmerkmalen vor und handeln auf der Grundlage dieser Transformationen (ebd.). Eine Vielzahl von Modellen mit Kombinationen situativer und/oder personaler Voraussetzungen ist denkbar und könnte einer empirischen Analyse unterzogen werden. Das Modell, was dieser Untersuchung zu Grunde liegt, beinhaltet sowohl kontextgebundene als auch individuumszentrierte Aspekte (siehe 2.6). Differenziert wird in Bezug auf die soziale Interaktionsgestaltung, entsprechend den Standards des Joint Committee (Sanders 2006: 131), zwischen: ƒ ƒ ƒ

Gestaltung der Kommunikation Verfügbarkeit Wertschätzende Grundhaltung

Gestaltung der Kommunikation Aus den Richtlinien des Joint Committee geht hervor, dass das Verhalten der Evaluator(inn)en so gestaltet werden sollte, dass keine feindliche Haltung gegenüber der Evaluation, Einzelpersonen, Gruppen oder deren Arbeit entsteht. Fähigkeiten, wie vor allem die adäquate Kommunikation, seien dabei von größter Wichtigkeit (Sanders 2006). Der Hinweis, dass „ (…) eine gute Verständigung mit den Teilnehmenden auf dafür eingerichteten Kommunikationswegen unterhalten werden (sollte)“ (ebd.: 131), lässt offen, was genau gute Verständigung bedeutet. Wie gezeigt stellen die kommunikativen Fähigkeiten auch einen festen Bestandteil der Evaluationsnutzungsforschung dar und werden hauptsächlich den Charakteristika von Evaluator(inn)en und nur teilweise den Nutzer(inne)n zugeordnet. Beobachtetes (Programme) und Beobachter (Evaluator(inn)en) stellen zwei interdependente Systeme dar, die sich selbstreferentiell schließen, die je-

106

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

doch durch gelingende Kommunikation ein strukturell gekoppeltes System, d.h. ein Gesamtsystem, das nicht auf eines der beiden beteiligten Systeme reduziert werden kann, bilden (vgl. Blank/Löwenbein 2009: 76ff; Luhmann 2004: 269; Torres et al. 1997). Verschiedenste Aspekte von verbaler und non-verbaler Kommunikation und deren Zusammenhang zu Nutzungen von Evaluationen wurden in verschiedensten Studien untersucht bzw. benannt. Auch in den Empfehlungen der DeGEval (2008b) werden kommunikative Kompetenzen für das professionelle Handeln von Evaluator(inn)en vorausgesetzt. Kommunikationsfertigkeiten, d.h. anderen zuhören und gleichzeitig verbal Einfluss nehmen (Kanning 2002: 158) bzw. der Kommunikationsstil (ebd.: 21) zählen zu den allgemeinen sozialen Kompetenzen. Kommunikation als geregelter Austausch von Botschaften ist jedoch auch ein zentraler Bestandteil von sozialen Interaktionsprozessen (Forgas 1995: 106). Die Gestaltung der Interaktion und Kommunikation kann dabei sehr facettenreich sein und stellt ein schwer zu messendes Konstrukt dar. Wichtig für diese Untersuchung ist, festzuhalten, dass Kommunikationsfertigkeiten Teil von Interaktionsprozessen sind und ein Konsens darüber herrscht, dass die Qualität der Kommunikation in Zusammenhang mit Nutzungen von Evaluationen gebracht wird. Die Qualität der Kommunikation (Art und Weise und Umfang) stellt auch in Cousins und Leithwoods (1993) Metaanalyse einen Faktor mit Einfluss auf Nutzungen von Evaluationen dar. In Verbindung dazu betonen die Autoren, dass interaktive Prozesse zwischen verschiedenen beteiligten Personen(-gruppen) einen Einfluss auf Evaluationsnutzungen haben (siehe auch Abb. 4). Donna M. Mertens stellt eine Liste mit kommunikativen Fähigkeiten zusammen und unterteilt diese in mündliche und schriftliche Kommunikation (Mertens 1994: 21f). Kommunikation als Einflussfaktor auf Nutzung von Forschungsergebnissen und Innovation stand schon früh im Zentrum von Untersuchungen (z.B. Marquis/Allen 1966; Rogers/Shoemaker 1971; Rolfsen/ Torvatn 2005), obwohl bislang wenige Autor(inn)en ihren Fokus explizit auf den Einfluss sozialer Interaktionen und die Rolle von Kommunikation bzw. auf „Aushandlungsprozesse“ (vgl. Haubrich et al. 2006: 7ff) in Evaluationen gelenkt haben. In den Wirtschaftswissenschaften dagegen wurde z.B. die Bedeutung von sozialen Interaktionen für strategische Prozesse (Aadne 2000) untersucht. Für diesen Bereich existieren z.B. auch Konzepte zu strategischen Konversationen (z.B. Westley 1990). Als Orientierungshilfe dienen häufig die mikrosoziologischen Ausführungen zu Interaktionsritualen (z.B. Goffman 1971, 1973, 1981). Neben der vielfältigen Literatur zur Gestaltung der Kommunikation im Sinne von Evaluationsnutzungen gibt es eine Reihe von Autor(inn)en, die sich mit den Inhalten der Kommunikation beschäftigen und darstellen, wie z.B. bestimmte Daten wann gut zu vermitteln sind oder wie man Evaluationsergebnisse effek-

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

107

tiv kommuniziert (dazu z.B. Alkin et al. 2006: 384ff; Erzberger 2006: 19ff; Hannum/Martineau 2008: 101ff). Verfügbarkeit Als weiteres Merkmal zur Bestimmung der Güte der Interaktionsgestaltung gilt die Verfügbarkeit im Sinne von Verfügbarkeit insbesondere bei Bedenken der Teilnehmenden. Evaluator(inn)en sollten sich Zeit dafür nehmen, Bedenken in Bezug auf die Evaluation in Erfahrung zu bringen (Sanders 2006: 131) und ansprechbar sein für jeden, nicht nur für Personen in Leitungspositionen. Alkin et al. (1985: 54) betonen, dass es sich hier jedoch nicht um eine Einbahnstrasse handelt. Potentielle Nutzer(innen) müssen ihre Wünsche ansprechen und auch von sich aus aktiv auf Evaluator(inn)en zugehen. Interaktion in Bezug auf Verfügbarkeit beinhaltet z.B.: Telefonanrufe machen und annehmen, Nachfragen klären, Diskussion des Evaluationsprozesses oder gemeinsame Betrachtung von Berichten und Zwischenberichten vor der Fertigstellung (Alkin 1985: 54). Zudem wurde erfasst, ob die Interaktionspartner(innen) mit der Anzahl der Treffen zufrieden waren. Wertschätzende Grundhaltung In den Korrektheitsstandards des Joint Committee wird darauf verwiesen, dass Interaktionen human gestaltet sein sollten, d.h., dass Evaluator(inn)en in ihren Kontakten die Würde und den Wert ihrer Interaktionspartner(innen) respektieren sollen, damit diese nicht gefährdet oder geschädigt werden (Sanders 2006:131). Hingewiesen wird darauf, dass Evaluator(inn)en sich intensiv bemühen sollten, soziale Werte, kulturelle Hintergründe, Sprachunterschiede und Bedenken der Teilnehmenden in Bezug auf die Evaluation zu verstehen. Weiterhin soll die Evaluation so durchgeführt werden, dass diese so wenig wie möglich als störend empfunden wird (ebd.). Die Kontakte sollten geprägt sein von einem kollegialen Klima und wechselseitigem Interesse (Alkin 1985: 54). Im Kontext dieser Arbeit wurden die Beteiligten gebeten zu beschreiben und zu bewerten, wie die Interaktionen sich im Rahmen der Evaluation gestalteten. In Anlehnung an die oben beschriebenen Eckpfeiler wurden Informationen zu Verfügbarkeit und der Häufigkeit der Treffen, zur wahrgenommenen Grundhaltung, zur Zufriedenheit mit der Gestaltung der Kommunikation und zur Interaktion insgesamt abgefragt. Aus zwei verschiedenen Perspektiven konnten so Einschätzungen erhoben werden, die sich zu einem Gesamtbild zusammenfügen ließen.

108

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

2.3.3 Umfeld- und Prozessmerkmale Es steht außer Zweifel, dass neben den sozialen Kompetenzen der Beteiligten einer Evaluation und der Gestaltung der sozialen Interaktion sowohl das Umfeld einer Evaluation und die Organisations- und Feldkenntnisse als auch die Art und Weise, wie eine Evaluation geplant und durchgeführt wird für die Nutzungen von Evaluationsergebnissen von Bedeutung sind. In verschiedenen Evaluationsnutzungsmodellen werden unterschiedlichste Umfeld- und Prozessmerkmale der Evaluation als Einflussfaktoren benannt: Bereits Alkin et al. (1979) benennen die Struktur von Organisationen, den Grad der Politisierung eines Programms, den Evaluationsprozess und –bericht als Faktoren, die die Wirksamkeit von Evaluationen beeinflussen. Verschiedene Autor(inn)en beziehen andere Merkmale der Durchführung der Evaluation und der politischen und entscheidungsbezogenen Rahmenbedingen in ihr Modell mit ein (vgl. z.B. Balthasar 2007; Cousins/Leithwood 1986, 1993; Johnson 1998; Stamm 2003a). Für diese Arbeit wurden ausschließlich Evaluationsstudien ausgewählt, bei denen die Wissenschaftlichkeit der Methodik (Datenerhebung und Analyse) gegeben war, d.h., die die Genauigkeitsstandards des Joint Committee (Sanders 2006, 159ff) eingehalten haben. Vier weitere gängige Schwerpunkte, die konsistent in Bezug zu Evaluationsnutzungen gebracht werden, waren für den hier untersuchten Kontext relevant und werden im Folgenden vorgestellt: ƒ ƒ ƒ ƒ

Integration von Nutzungsprozessen Orientierung der Evaluation an den Informationsbedürfnissen Einhaltung formaler Erfordernisse Politisches Klima

Integration von Nutzungsprozessen Verschiedene Autor(inn)en (z.B. Huberman/Cox 1990: 363; Hannum/Martineau 2008: 101ff) vertreten die Auffassung, dass die Integration von Nutzungsprozessen bereits in der Planungsphase anzusetzen habe und dass Evaluator(inn)en dabei die Aufgabe haben, die Nutzungsphase aktiv vorzubereiten. Ähnliche Auffassungen werden durch die Standards des Joint Committee vertreten, indem explizit ausgeführt wird, dass eine Unterstützung der potenziellen Nutzer(innen) Aufgabe von Evaluator(inn)en sein sollte und nicht davon ausgegangen werden darf, dass dies nach Fertigstellung des Evaluationsberichts automatisch passiere. Den Adressat(inn)en einer Evaluation sollte zu Beginn erklärt werden, in welcher Weise die Evaluation nützlich sein könnte (Sanders 2006: 87f). Stamm unterstützt mit ihren Forschungsergebnissen, dass nicht die Rollenidentität der Evaluator(inn)en Nutzungsprozesse beeinflusst, sondern dies viel-

2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale

109

mehr durch die Integration von Nutzungsprozessen durch die Evaluator(inn)en in das Untersuchungsdesign geschieht (Stamm 2003a: 299). Zusammenfassend kann festgestellt werden: „Evaluation use increases when decision makers are assisted in understanding how they might use evaluation data.“ (Reisner et al., 1982: 65). Orientierung der Evaluation an den Informationsbedürfnissen Balthasar betont in seiner Untersuchung die Wichtigkeit der Unterscheidung der Personengruppen, an denen sich die Evaluation orientiert. Er unterscheidet, ob die Evaluation sich an den Informationsbedürfnissen von Umsetzungsverantwortlichen oder von übergeordneten Stellen ausrichtet (Balthasar 2007: 308). Einen Kernpunkt dieser Vorgehensweise bildet Pattons (1997) Modell, in dem die Identifikation von möglichen Nutzer(inne)n und deren Bedürfnissen zentral ist. Auch in den Richtlinien des Joint Committee (Sanders 2006, 53f) werden Nützlichkeitsstandards formuliert, die betonen, dass es von zentraler Bedeutung ist, Stakeholder zu identifizieren und bezüglich deren Informationsbedürfnissen in der Ausrichtung der Evaluation einen Konsens zu finden. Zusammenfassend heißt das, wenn eine Programmevaluation ausschließlich an den Informationsbedürfnissen von übergeordneten Stellen und wenig an den Bedürfnissen der Umsetzungsverantwortlichen orientiert ist, ist das Potenzial für die Umsetzung auf Programmebene eher gering. Einhaltung formaler Erfordernisse Wie bereits beschrieben, wurden für die Untersuchung nur Evaluationen berücksichtigt, die die Genauigkeitsstandards des Joint Committee (Sanders 2006 159ff) weitestgehend eingehalten haben. Zu den weiteren formalen Erfordernissen einer Evaluation gehören die Rechtzeitigkeit (Termineinhaltung), Klarheit, Verständlichkeit und Zielgruppengerechtigkeit von mündlichen und schriftlichen Aussagen (inklusive Evaluationsbericht) und Absprachen. In den Richtlinien des Joint Committee (ebd.) finden die genannten formalen Erfordernisse in folgenden fünf Aspekten Berücksichtigung: Klarheit des Berichts (N5), Rechtzeitigkeit und Verbreitung des Berichts (N6), Formale Vereinbarungen (K2), Vollständige und faire Einschätzung (K5) und Offenlegung der Ergebnisse (K6). Diese Kriterien sind auch Bestandteil der von Alkin (1975) unter dem Oberbegriff Evaluationsfaktoren zusammengefassten Einflüsse. Zentrale Frage für die vorliegende Studie war, ob die formalen Erfordernisse der Evaluation von den Beteiligten als so angelegt beurteilt wurden, dass sie das Potenzial zur Nutzung der Ergebnisse hatten.

110

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

Politisches Klima In den Glaubwürdigkeitsstandards des Joint Committee wird betont, dass Evalutor(inn)en informiert sein sollten über politische und gesellschaftliche Einflüsse, insbesondere wenn diese im Zusammenhang mit Geschlecht, Rasse, sozioökonomischem Status, sprachlichen und kulturellen Unterschieden stehen (Sanders 2006: 59). Außerdem wird auf die politische Tragweite von Evaluationen (ebd.: 99) und auf die Notwendigkeit der Kontextanalyse des politischen Umfelds hingewiesen (ebd.: 167). Weiss betont in diesem Sinne, dass bei einem umstrittenen Evaluationsgegenstand, grundsätzlich eine eingeschränkte Nutzung zu erwarten sei und adressiert diese Thematik mehrfach (z.B. Weiss 1986a, 1998). Ein konfliktarmes Umfeld hingegen führt zu positiven Auswirkungen auf die Evaluationsnutzung (Ledermann 2004, zit. nach Balthasar 2007: 61). Politisches (politisiertes) Kernthema war diesbezüglich in der vorliegenden Untersuchung die Laufzeit der Programme. In dieser Untersuchung wird in Anlehnung an die Theorie davon ausgegangen, dass die Laufzeit des Programms im Hinblick auf längerfristige und tiefgreifende Implementierungen und die Motivation für die Nutzung von Evaluationsergebnissen eine entscheidende Rolle spielt. Es stellt sich demnach die Frage, ob zum Zeitpunkt der Evaluation bekannt war, dass es innerhalb der nächsten ein bis zwei Jahre Schwierigkeiten mit der Weiterfinanzierung geben würde und somit der Handlungsspielraum durch eine prinzipielle Unsicherheit gekennzeichnet ist. Die Erfahrung zeigt, dass erfolgreiche und effektive Programme nicht zwangsläufig weiterfinanziert werden, sondern dass es sogar sehr unwahrscheinlich ist, dass die Entscheidung über die Weiterfinanzierung eines Programms abhängig gemacht wird von einer Evaluationsstudie (Clarke/Dawson 1999: 174). Alle untersuchten Evaluationen beschäftigten sich mit Mentoringprogrammen für Mädchen bzw. Frauen (vgl. Kapitel 3.1), diese hatten zumindest implizit das Ziel formuliert, die beruflichen Aufstiegschancen von Mädchen und Frauen im Sinne der Chancengleichheit zu verbessern. Es liegen eine Reihe von Untersuchungen vor, die sowohl wissenschaftsinterne Benachteiligung als auch wissenschaftsexterne Faktoren (sozialisationsbedingte Interessen- und Begabungsdifferenzen) als Ursache für die Ungleichheit untersucht haben (vgl. als Überblick Fox 1995; Long/Fox 1995). Untersuchungen, inwieweit Mentoringprogramme informell entstandene Mentoringbeziehungen ersetzen können und ein differenzierter Blick auf die Chancen und Grenzen von Mentoringprogrammen im Vergleich zu anderen Maßnahmen fehlen bislang (Leicht-Scholten 2005: 104). Keine der Evaluationen hatte solche politisch übergeordneten Fragestellungen zum Thema, die Evaluationen beschäftigten sich in den meisten Fällen mit der Beurteilung der Programme, gemessen an den expliziten (oft kurzfristigen) Zielen und der formativen Evaluation. Wirkungsnachweise im anspruchsvollen sozialwissenschaftlichen Sinne sind für die hier unter-

2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte

111

suchte Programmart (singuläre und modellhafte Interventionen) nicht angemessen und mit den zur Verfügung stehenden Budgets auch nicht möglich und von den Auftraggeber(inne)n nicht intendiert gewesen. 2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte im deutschsprachigen Evaluationsfeld 2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte Im Folgenden werden die aktuellsten Diskussionsstände der Professionalisierungsdebatte zum Evaluationsfeld im deutschsprachigen Raum48 umrissen. Vor dem Hintergrund der zentralen Zielsetzung der vorliegenden Arbeit ist diese Debatte von Relevanz, da der Diskurs neben den Begrifflichkeiten Professionalität, Institutionalisierung und Zertifizierung auch mit Kernkompetenzen von Evaluator(inn)en befasst ist. Speziell für den deutschsprachigen Raum gab es bislang nur wenige Beiträge, die sich mit Professionalisierung von Evaluation befasst haben (vgl. Bergman et al. 1998; Derlien 1990, 1994; Schmidt 2003; Stockmann 2004). Dieses Defizit wurde im Jahr 2009 durch eine Monographie von Tasso Brandt und durch mehrere Beiträge in einem Sammelband (Widmer et al. 2009) gemildert. In dem Beitrag von Manfred M. Bergman et al. (1998) wird der Professionalisierungsstand in der Schweiz zusammengefasst, während sich die Publikation von Thomas Widmer et al. (2009) vor allem mit der institutionellen Einbettung der Evaluationsfunktion in Deutschland, Österreich und der Schweiz beschäftigt. Bei den anderen genannten Veröffentlichungen steht hauptsächlich die Debatte in Deutschland im Fokus. Zunächst wird Evaluationen für die letzten Jahre eine Bedeutungszunahme bescheinigt (vgl. z.B. Brandt 2009; Konzendorf 2009; Stockmann 2004). Diese spiegelt sich in verschiedenen Bereichen wider: An vorderster Stelle sind hier Evaluationsaktivitäten auf verschiedenen politischen Ebenen zu nennen49, wobei den durch die Europäische Union geschaffenen bzw. vorgegebenen Rahmenbedingungen insbesondere in Deutschland ein wesentlicher Einfluss zugesprochen wird (Brandt 2009: 73; Konzendorf 2009: 38). In der jüngeren Vergangenheit hat zudem die Verankerung von Evaluationspflichten in Gesetzen zugenommen (Konzendorf 2009:30)50. Die Schweiz stellt in diesem Kontext einen (weltweiten) Sonderfall dar, da es hier durch den Artikel 170 (zur Überprüfung der Wirksam48 49 50

Für einen Vergleich des Professionalisierungsstands in Nordamerika und Europa vgl. Cook/ Wittmann 1998. Jährlich werden in Deutschland 120 Millionen Euro für die Evaluation von politischen Programmen ausgegeben (Blank/Löwenbein 2009: 81). in Deutschland sind das z.B. §78ff. (KJHG) und §55 (SGB II)

112

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

keit) in der Bundesverfassung der Schweizerischen Eidgenossenschaft einen verfassungsrechtlichen Evaluationsauftrag gibt (vgl. z.B. Mader 2009: 52). Entwicklungen struktureller Ansätze der Professionalisierung von Evaluation werden, wie eingangs erwähnt, zunehmend am Institutionalisierungsgrad abgelesen51. In vielerlei Hinsicht scheint die Institutionalisierung52 der Evaluationsfunktionen in der Schweiz weiter vorangeschritten zu sein als in Österreich und Deutschland (Widmer/Leeuw 2009: 65ff). Für Deutschland kann resümiert werden, dass in Politik und Verwaltung die institutionelle Einbettung der Evaluationsfunktion zunehmend flexibler wird: temporäre Institutionalisierungen ersetzen oder ergänzen dauerhafte Organisationsformen (Konzendorf 2009: 38). Die Chancen und die Gefahren, die eine verstärkte Institutionalisierung mit sich bringt, drücken sich in der Forderung aus, dass die Institutionalisierung mit Bedacht und in einer Weise erfolgen sollte, die eine gezielte sowie selektive und sinnvolle Evaluationsaktivität fördert und Fehlentwicklungen vermeidet (Widmer/Leeuw 2009: 71). Professionalisierungsbestrebungen lassen sich vor allem durch die 1996 erfolgte Gründung der SEVAL und im darauffolgenden Jahr die Gründung der DeGEval erkennen. In der Aufbauphase blieben die Aktivitäten der Evaluationsgesellschaften auf die jeweiligen Länder ausgerichtet, ein systematischer Blick über die Grenzen wurde jedoch zunehmend unabdingbar und stellt eine neuere Entwicklung dar (Balthasar/Spiel 2009: 12). In allen drei deutschsprachigen Ländern wurden bislang keine zentralen Evaluationsagenturen geschaffen, die z.B. sektorübergreifend unter der Integration verschiedener Fachdisziplinen über eine allgemeine Evaluationskompetenz verfügen (Widmer/Leeuw 2009: 66). Dennoch sind einige Entwicklungen und Verteilungen der Evaluationsaktivitäten auf verschiedenen Instanzen zu verzeichnen. So haben sich im Laufe der letzten Jahre Evaluationsverbünde und –agenturen etabliert (in Deutschland z.B. die Zentrale Evaluations- und Akkreditierungsagentur (ZEvA) oder die Evaluationsagentur Baden-Württemberg); weiterhin wurden verschiedene Evaluationsinstitute an Universitäten etabliert wie z.B. das Zentrum für Evaluation und Methoden (ZEM) in Bonn oder das Zentrum für Qualitätssicherung und –entwicklung in Mainz, um nur einige zu nennen (Brandt 2009: 74ff). Nicht zu vernachlässigen sind in diesem Kontext auch die Auflage der Zeitschrift für Evaluation (ZfEv) im Jahr 2002 und die Schaffung des deutschsprachigen Online-Forums: Forum Evaluation53 im Jahr 2000, das im Frühjahr 2010 ca. 600 Mitglieder hatte. 51 52 53

Eine kritische Einschätzung zur Messung des Institutionalisierungsgrades und mögliche Indikatoren werden u.a. von Varone et al. (2005) vorgestellt. Gemeint ist hier die Strukturierung der Beziehung zwischen den staatlichen Instanzen und Evaluationsaktivitäten (Widmer/Leeuw 2009: 65). https://lists.uni-koeln.de/mailman/listinfo/forum-evaluation [04/2010]

2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte

113

Der Begriff der Professionalisierung wird wie eingangs erwähnt in jüngerer Zeit zunehmend auch mit einer Diskussion um eine Zertifizierung bzw. Lizenzierung von Evaluator(inn)en in Zusammenhang gebracht. Das Meinungsbild bezüglich dieses Themenkomplexes scheint in der deutschsprachigen Community sehr divergent zu sein, was u.a. Diskussionsbeiträge im Online-Forum Evaluation, aber auch auf Tagungen belegen (vgl. auch Brandt 2009: 91; Beywl 2009: 16). Eine Zertifizierung von Evaluator(inn)en bzw. ein Gütesiegel wird von den Kritikern als nicht zielführend bewertet, da Evaluationen soziale Prozesse darstellen, die nicht allein durch die Evaluator(inn)en gestaltet werden und ein Gütesiegel den Eindruck erwecken würde, dass eine qualitativ sehr gute Evaluation garantiert sei; zudem erschwere eine auf Minimalanforderungen ausgerichtete Profession die Weiterentwicklung dieser (vgl. Widmer, 05.01.2009; Schwab, 07.01.200954). Ergänzend wurde benannt, dass die Qualitätssicherung für Evaluationen sehr stark von dem Bereich abhängt, in dem Evaluationen stattfinden und dass deshalb keine pauschale Für- oder Gegenargumentation geführt werden kann (Schwab 07.01.200955)56. Nachgewiesen ist, dass die meisten Evaluator(inn)en in der Schweiz über wenig formelles Training in Evaluation verfügen, sondern stattdessen auf „onthe-job-training“ bzw. Selbststudium bauen (Bergman et al. 1998: 7). Da in Deutschland bislang nur wenige einschlägig ausgebildete Evaluator(inn)en im Feld sind, kann davon ausgegangen werden, dass sich die Situation ähnlich wie die von Bergman et al. (1998) beschriebene in der Schweiz gestaltet. Evaluator(inn)en begeben sich auf unzählige Arten und Weisen in das Feld Evaluation. Neben einigen Studiengängen, in denen Lehrveranstaltungen zu Evaluationsund Methodenausbildung integriert sind (in ein- oder zweisemestrigen Angeboten bzw. Projektseminaren), stellen die Entwicklung und Einführung von Masterstudiengängen im Bereich Evaluation in Bern (2002)57, Saarbrücken (2004) und an der Universität Bonn (2008) neuere Professionalisierungsbemühungen dar. Vergleichbare Programme zum „Interdisciplinary Ph.D. in Evaluation“, der von der Western Michigan University in den USA angeboten wird, existieren

54 55 56 57

Beiträge Forum Evaluation, einzusehen unter: https://lists.uni-koeln.de/mailman/listinfo/forumevaluation Beitrag Forum Evaluation, einzusehen unter: https://lists.uni-koeln.de/mailman/listinfo/forumevaluation Zur Professionalisierungs- und Zertifizierungsdebatte in den USA vgl. z.B. House (1993); Morell (1990); Patton (1990); Love (1994) Seit 2008 können in Bern drei verschiedene Abschlüsse erworben werden: (1) Certificate of Advanced Studies in School Evaluation, (2) Diploma of Advanced Studies in Evaluation und (3) Master of Advanced Studies in Evaluation.

114

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

bislang nicht im deutschsprachigen Raum58. Betrachtet man die Absolvent(inn)enzahlen der Evaluations-Ausbildungsgänge in Deutschland so kann vorsichtig prognostiziert werden, dass die Universitäten Saarbrücken und Bonn gemeinsam bis spätestens zum Jahr 2014 100 Graduierte vorweisen werden (vgl. Beywl 2009: 161). An der Universität Bern haben bis zum Jahr 2009 ca. 80 Studierende ein „Diploma of Advanced Studies in Evaluation“ erworben59. Interessant und wegweisend könnte im Rahmen dieser Thematik auch der Ansatz des Instituts für den Situationsansatz (ISTA) der Internationalen Akademie für Innovative Pädagogik, Psychologie und Ökonomie gGmbH (INA) der Freien Universität Berlin sein; hier wird im Feld der Elementarbildung substanziell Evaluationskompetenz aufgebaut und bereits im Jahr 2005 wurden erste externe Evaluator(inn)en lizenziert; bis spätestens zum Jahr 2014 wird das ISTA 200 Graduierte ausbilden (Beywl 2009; dazu auch: Preissing 2003). Im Zusammenhang mit der Aus- und Weiterbildung der Evaluation beschäftigt sich außerdem der seit 2001 bestehende DeGEval-Arbeitskreis „Aus- und Weiterbildung in der Evaluation“. Schwerpunktthema 2009/ 2010 war die „Didaktik der Evaluation“, wobei der Arbeitskreis das Thema auch in 2011 weiterverfolgt und aktuell ein Empfehlungspapier zu dem Thema erarbeitet wird60. Die Frage der Professionalisierung von Evaluation in Deutschland muss je nach Bereich unterschiedlich bewertet werden. Deutlich wird, dass Professionalisierung am Ende eines Professionalisierungsprozesses steht und dieser ist in der deutschsprachigen Evaluationslandschaft auf mehrere Wege gebracht. Abzuwarten bzw. zu steuern gilt, wo und ob diese Wege sich kreuzen bzw. zu welchen Zielen sie führen oder wo sie ggf. in einer Sackgasse enden. Kernkompetenzen stehen, wie deutlich wurde, nicht im Zentrum der Debatte und werden eher im Zuge der Gestaltung von Aus- und Weiterbildung diskutiert, dieses Thema wird daher im nächsten Unterkapitel thematisiert. 2.4.1 Curriculare Verankerung von sozialen und interpersonellen Kompetenzen in Aus- und Weiterbildungsgängen der Evaluation Die deutschen Universitäten bieten – entsprechend der Curricula – nur wenig Training der sozialen und interpersonellen Fähigkeiten an. Aktuelle Studien weisen darauf hin, dass auch U.S.-amerikanische Graduiertenprogramme in Evaluation, insbesondere im Bereich der interpersonellen Kompetenzen, Mängel 58 59 60

Einen Überblick über Evaluationsstudiengänge im europäischen Raum bieten Beywl/Harich (2007) Quelle: http://www.zuw.unibe.ch/content/eval/index_ger.html [01/2011] Quelle: http://www.degeval.de/index.php?class=Calimero_Webpage&id=9035 [04/2010]

2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte

115

aufweisen und hier keine ausreichende Vermittlung erfolgt (z.B. Dewey et al. 2008; Engle et al. 2006)61. Jennifer Dewey et al. (2008) befragten 53 Evaluator(inn)en (darunter gerade Graduierte und bereits Angestellte, die eine Neuanstellung als Evaluator(in) suchten) und 47 Auftraggeber(innen) von Evaluationen in Bezug auf Kompetenzfelder von Evaluator(inn)en: Auftraggeber(inn)en wurden u.a. dazu aufgefordert, 19 vorgegebene Kompetenzfelder für Evaluator(inn)en danach zu bewerten, wie wichtig sie für sie seien, und bis zu drei Kompetenzen auszuwählen, in denen Mängel aufgetreten sind. Evaluator(innen) schätzten eine Liste von 19 Kompetenzen u.a. danach ein, welche durch die universitäre Ausbildung vermittelt wurden und zu welchem Grad sie über die Kompetenzen, die von Auftraggeber(inne)n gefordert werden, verfügen. Die Ergebnisse zeigen, dass bei Evaluator(inn)en im Vergleich der in der universitären Ausbildung vermittelten Kompetenzen und der Selbsteinschätzung über die Beherrschung der Kompetenzen die größte Diskrepanz in Bezug auf die Beziehung zu Klienten und Stakeholdern bestand. Die Autor(inn)en schlussfolgern, dass die Befragten diese Kompetenz nicht in der Aus- und Weiterbildung erworben haben (Dewey et al. 2008: 276). Auch die Auftraggeber(innen) schätzen ein, dass die größten Mängel von Evaluator(inn)en im Kompetenzfeld Beziehung zu Klienten und Stakeholdern auftraten (ebd.: 278): „A lack of communication or interpersonal skills (…) left negative impressions on employers“ (ebd.: 279). Für die deutschsprachigen Studiengänge in Evaluation wäre es von besonderer Bedeutung abzuklären, auf welche Kompetenzen sie ihren Schwerpunkt legen sollen, wie diese zu vermitteln sind und inwieweit die Qualifikation der Absolvent(inn)en den Anforderungen des Evaluationsmarkts gerecht wird. Die Perspektive der Arbeitgeber(innen) für Evaluator(inn)en im deutschsprachigen Raum ist bislang zu wenig bekannt. Im Sinne von einer „Schulung für eine Existenz in der modernen Gesellschaft“ (Mertens 1994: 37) muss ein Kompromiss zwischen angebotsorientierten Ansätzen und nachfrageorientierten Ansätzen geschaffen werden (von Richthofen/Wentzlaff 2005: 3). Die drei deutschsprachigen Universitäten, die Abschlüsse in Evaluation anbieten (vgl. Kapitel 2.4), berücksichtigen in unterschiedlicher Form und unter unterschiedlichen Labels die in dieser Arbeit im Zentrum stehenden Inhalte soziale Kompetenzen und Interaktionsgestaltung in der Evaluation in ihren Curricula. Je nach Kontext ist in den Curricula von Schlüsselkompetenzen (Universität des Saarlandes in Saarbrücken), praktischen Kompetenzen oder Business Skills (Universität Bonn) und Strategien der Kommunikation die Rede oder es erfolgt keine explizite Benennung (Universität Bern) - was einen inhaltlichen Vergleich 61

Für einen Überblick über existierende universitäre Evaluationsprogramme in den USA vgl. LaVelle/Donaldson 2010

116

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

der entsprechenden Bereiche anhand der Curricula erschwert. Mutmaßen lässt sich, dass keine einheitlichen systematischen Schwerpunkte gesetzt werden. Bei genauerer Betrachtung der Curricula fällt auf, dass eine Verbindung der Kompetenzen von Evaluator(inn)en mit der Diskussion von Nutzungsfragen explizit nur in dem Curriculum der Universität Bern62 angeboten wird. Hier gibt es allerdings keine Veranstaltung, die ausschließlich kommunikativen oder sozialen Kompetenzen von Evaluator(inn)en gewidmet ist. Vielmehr scheinen soziale Kompetenzen als eine querliegende Zieldimension betrachtet zu werden und im Rahmen von verschiedenen Veranstaltungen (irgendwie) eine Rolle zu spielen (z.B. „Evaluationsauftrag und Evaluationsplanung“ und „Die Nutzung von Evaluationsergebnissen optimal vorbereiten“), was den unter 2.5 zusammengefassten Kenntnisstand widerspiegelt. Am Zentrum für Evaluation und Methoden der Universität Bonn63 werden unter dem Schwerpunkt praktische Kompetenzen unter anderem Verhaltensweisen im Gespräch mit Auftraggeber(inne)n vermittelt, außerdem gibt es die Möglichkeit das Fach „Ethik und Evaluation“ zu wählen. Unter dem Label „Business Skills“ geht es um Gesprächsführung in verschiedenen Kontexten und Konfliktmanagement. An der Universität des Saarlandes in Saarbrücken soll in Form von Proseminaren „die Erweiterung von sozialen Kompetenzen (soft bzw. social skills), d.h. sozialer und kommunikativer Fähigkeiten, die für eine praktische Tätigkeit als Evaluator(in) unverzichtbar sind“64 erreicht werden. Am Ende des Seminars sollen die Teilnehmer(innen) u.a. in der Lage sein, Kommunikations- und Interaktionsprozesse zu analysieren, Grundlagen der Konfliktbearbeitung und der Mediation zu verstehen und eigene Stärken und Schwächen in der Verhandlungssituation einzuschätzen. Was Jody L. Fitzpatrick für die Kursdichte in U.S.-amerikanischen Masterstudiengängen zu interpersonellen und kommunikativen Fähigkeiten festgestellt hat, kann für den deutschsprachigen Raum nicht uneingeschränkt angenommen werden: „… the value of interpersonal and communication skills cannot be overemphasized. These are skills that practicing evaluators must have. Yet few courses in evaluation programs are devoted strictly to (these) skills (Fitzpatrick 1994: 44).”

Es zeigt sich, dass den sozialen und interpersonellen Fähigkeiten durchaus einzelne Seminare gewidmet sind, dennoch scheinen hier von Standort zu Standort unterschiedliche inhaltliche Schwerpunkte gesetzt zu werden. Es handelt sich dabei ausdrücklich kaum um einen Makel der Weiterbildungseinrichtungen, 62 63 64

http://www.zuw.unibe.ch/content/eval/dasev/kurstermine/index_ger.html [02/2010] http://www.zem.uni-bonn.de/aus-weiterbildung/master-of-evaluation/studieninhalte [02/2010] vgl. http://www.evaluation-master.de/studienaufbau/schluesselqualifikationen1.html [02/2010]

2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte

117

sondern zeigt in eindrücklicher Weise den aktuellen Status Quo im Bereich der Evaluations(nutzungs)forschung (vgl. Kapitel 2.5) und die Auswirkungen auf die Praxis. Bemängelt werden muss eine fehlende Auseinandersetzung mit dem Kompetenzbegriff bzw. mit Kernkompetenzen für Evaluator(inn)en in der Evaluations(nutzungs)forschung. Je genereller Kompetenzen gefasst und untersucht werden (z.B. soziale Kompetenzen), desto geringer scheint der Beitrag dieses Kompetenzbereichs zu einem zu lösenden Problem. Eine Konkretisierung und vor allem Kontextualisierung von Schlüsselkompetenzen für Evaluator(inn)en, insbesondere was diejenigen Kompetenzen angeht, die außerhalb von Methodenkenntnissen und administrativen Fähigkeiten liegen, scheint eine Voraussetzung für die sinnvolle Implementierung in Aus- und Weiterbildungsprogramme zu sein. Systematische Überlegungen bezüglich von Kompetenzen sind dabei nicht nur mit dem hier gewählten Fokus auf Evaluationsnutzungen, sondern auch unter andere Schwerpunkten, wie z.B. Evaluationspraxis und hier z.B. bei der Lösung von Konflikten oder der Planung von Evaluationen (Stevahn et al. 2005: 46) notwendig. Dies ist nur durch die Kombination von theoretischen und empirischen Überlegungen und Untersuchungen möglich (Gilomen et al. 2001: 250). Die Identifikation von kontextunabhängigen Kern- oder Schlüsselkompetenzen beinhaltet eine Reihe zu bedenkender Aspekte, wie z.B. die Unterscheidung von Wissen, Erfahrungen und Wahrnehmung: Kompetenzen sind mehr als nur Wissen oder nur Erfahrung (Weinert 2001: 45f). Spezifisches Wissen, eingebettet in Erfahrungen, ist demnach notwendig, um vorhandene Kompetenzen in einen Problemlöseprozess zu implementieren (Mertens 1994, 1994: 18; Weinert 2001: 45ff). Zwei Initiativen scheinen für die weitere Entwicklung besonders wichtig zu sein: (1) Die Durchführung systematischer Studien, die einen Konsens darüber schaffen, was praktisch tätige Programmevaluator(inn)en als essentielle Kompetenzen für die professionelle Praxis ansehen (vgl. auch Stevahn et al. 2005) und (2) eine deskriptive Beschreibung der so generierten Kompetenzen, die diverse Level der professionellen Umsetzung umfasst, damit diejenigen, die die Curricula für universitäre Programme zur Aus- und Weiterbildung in Evaluation gestalten, nicht ausschließlich darauf angewiesen sind, dies auf Basis von wahrgenommenen Bedürfnissen oder persönlichen Präferenzen zu tun (vgl. ebd.: 45). Die so gewonnenen Erkenntnisse müssten dann in weiterführenden Studien auf ihre Relevanz in verschiedenen Kontexten hin untersucht werden. Einschränkend scheint jedoch die Vielfältigkeit und Instabilität von relevanten Werten in einer

118

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

typischen Programmevaluation zu sein, sie ist der erste Stolperstein auf dem Weg zur Konstruktion von rational-deduktiven Nutzungssystemen. 2.5 Anmerkungen zum Status Quo – ein Zwischenfazit zur Evaluationsnutzungsforschung und zu sozialen und interpersonellen Einflüssen 2.5 Anmerkungen zum Status Quo Das Zwischenfazit adressiert zunächst vier zentrale Aspekte und Kritikpunkte an die Evaluationsnutzungsforschung. Danach werden sechs Befunde, die die hier im Zentrum stehenden Faktoren der sozialen Kompetenzen und der Interaktionsgestaltung betreffen, zusammengefasst. ƒ

Weder im deutschen noch im angloamerikanischen Sprachraum liegen allgemein gültige Definitionen der Begrifflichkeiten Evaluation und somit auch Evaluationsnutzung vor. Dies trägt sicherlich zu großen Teilen dazu bei, das bis heute weder eine konkrete Nutzungstheorie vorliegt noch deutlich wird, welche Faktoren auf welcher Ebene einen Einfluss auf die Nutzungen von Evaluationen und deren Ergebnissen haben. ƒ Die Erfassung von Nutzungen und Faktoren mit Einfluss auf Nutzungen kann über verschiedene Zugänge erfolgen (vgl. dazu Weiss 1982). Diese Komplexität wird durch verschiedene Designs (retrospektiv, simulativ, längsschnittlich etc.) noch erweitert und ist zudem gekennzeichnet durch eine hohe Varianz in Bezug auf die Stichprobengröße, den theoretischen Bezug der Studien und die verwendeten Instrumente. Somit ist die Frage zu stellen, inwiefern die Ergebnisse überhaupt eine Vergleichbarkeit zulassen und inwiefern sich die einzelnen bis heute existierenden Studien überhaupt aufeinander beziehen können. ƒ Die gesamte Nutzungsforschung bezieht sich auf theoretische Überlegungen und Konstrukte aus den 70er und 80er Jahren (vgl. Kirkhart, 2000). ƒ Die gesamte existierende Forschung zur Nutzung von Evaluationen wurde von Evaluator(inn)en durchgeführt. Kritisch betrachtet werden muss, dass jede(r) Evaluator(in) sicherlich aufgrund von gemachten Erfahrungen und von Ausbildung Theorien dazu hat, wie Evaluation „funktioniert“. Eine Werturteilsproblematik in Bezug auf die Voreingenommenheit von Evaluationsforschenden ist im evaluationstheoretischen Diskurs verschiedentlich angesprochen worden (vgl. dazu Campbell 1984). Als Status quo der Forschung zu den Faktoren mit Einfluss auf Evaluationsnutzung lassen sich für soziale Kompetenzen und Interaktionsgestaltung folgende sechs Befunde festhalten:

2.5 Anmerkungen zum Status Quo

ƒ

ƒ

ƒ

ƒ

119

Obwohl sich die Evaluationsnutzungsforschung mit Nutzungs- und Aneignungsprozessen auseinandersetzt, stellen soziale Kompetenzen und Interaktionsgestaltung keine expliziten Konstrukte dar. Dementsprechend gibt es bisher keinen differenzierten Blick auf den möglichen Einfluss dieser Faktoren auf die Nutzungen von Evaluationen. Dies ist umso verwunderlicher, da soziale Kompetenzen und Interaktionsgestaltung in normativer Hinsicht als hoch bedeutsam im Evaluationskontext angesehen werden. Befunde zu beruflicher Identität, Grundeinstellungen zu Evaluation und deren Nutzung, sozialen Kompetenzen und kommunikativen Fähigkeiten werden als Einflussfaktoren auf Evaluationsnutzungen wenig differenziert dargestellt. In Bezug auf soziale und interaktive Faktoren und deren Untersuchung gibt es bislang keine gemeinsame Fachsprache, d.h., unter identischen Begrifflichkeiten werden verschiedene Inhalte untersucht oder für ein und dasselbe Konstrukt werden unterschiedliche Termini genutzt. Dadurch werden Vergleiche zwischen verschiedenen Studien erschwert. Die Begrifflichkeiten halten einen großen Interpretations- und damit auch Gestaltungs- und Auslegungsspielraum bereit. Seit Bestehen der Nutzungs- bzw. Verwendungsforschung wird eher intuitiv mit den Begrifflichkeiten umgegangen. Die Perspektiven unterscheiden wenig zwischen Verantwortlichkeiten, die in den Bereich der potenziellen Nutzer(innen) fallen und solchen, die Kernkompetenzen professionellen evaluatorischen Handelns ausmachen. Die Extraktion von implizierten Kompetenzen drängt dementsprechend entweder die eine oder die andere Gruppe in eine eher passive, rezeptive Rolle und beinhaltet kaum einen komplementären Betrachtungsaspekt. Dabei sind es insbesondere die auf Partizipation ausgerichteten Evaluationsmodelle, welche forschungsrelevante Unterscheidungen zwischen der Perspektive der potentiellen Nutzer(innen) und der Evaluator(inn)en unmöglich machen (Stamm 2003a: 335).

Als Ergebnis der Evaluationsnutzungsforschung zum Einfluss von sozialen Kompetenzen und Interaktionsgestaltung auf die Nutzungen von Evaluationen liegen eine Reihe von Annahmen (mit dazugehörigen Modellen) vor. Nicht alle Faktoren sind empirisch verifiziert bzw. in vielen Fällen liegen widersprüchliche Ergebnisse bezüglich des Einflusses auf Nutzungen vor. ƒ

Qualitativ wird häufig nicht klar, wie und ob die oben besprochenen Subkategorien von sozialen Kompetenzen normativ gefasst werden. Das heißt es bleibt unklar, ob bei der Diskussion um soziale Kompetenzen vorausgesetzt wird, dass pro sozial gehandelt und interagiert wird, oder ob unter Umstän-

120

ƒ

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

den auch anti-soziales Agieren als sozial kompetent im Sinne von Evaluationsnutzungen eingeschätzt werden kann. Trotz intensiver Nutzungsforschung scheint es nach wie vor einen Mangel an praxisnahem nutzungsorientiertem Verständnis über die sogenannten „soften“ Faktoren, die zu einer Nutzung beitragen, in der Community zu geben. Es gibt zudem Hinweise darauf, dass die Annahme und Umsetzung der bereits gewonnenen Kenntnisse teilweise noch ganz am Anfang steht. Die Community entwickelt erst langsam ein Verständnis für die Wichtigkeit von sinnvollen, innovativen und dynamischen Mechanismen für follow-ups und die Entwicklung systematischer Disseminationsmethoden für verschiedene Stakeholder (Sandison 2006).

2.6 Untersuchungsmodell Wie eingangs ausgeführt, ist das zentrale Anliegen der vorliegenden Arbeit herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Hauptinteraktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben und wie diese ggf. präzisiert und erklärt werden kann. Umfeld- und Prozessmerkmale werden als kontrollierende Größe einbezogen. Dazu ist zunächst generell anzumerken, dass im folgenden Untersuchungsmodell die Interaktion während einer Evaluation als permeabler Prozess angesehen wird: Die Beteiligten einer Evaluation haben die Möglichkeit, sich gegenseitig zu beeinflussen, d.h. gesellschaftliche Realität zu kontrollieren und die Interaktion zu gestalten. Sowohl Evaluator(inn)en als auch Evaluationsteams als Ganzes und deren Hauptinteraktionspartner(innen)65 interagieren miteinander, sind beeinflusst durch den Gesamtevaluationsprozess und beeinflussen ihn ihrerseits. Die sozialen Kompetenzen werden bei dieser Betrachtung als notwendige Handlungsvoraussetzungen zur Meisterung der Interaktionsanforderung gesehen (vgl. Seyfried 1995a). Ob einzelne soziale Kompetenzen der Hauptinteraktionspartner(innen) von Bedeutung für Evaluationsnutzungen sind, soll durch die vorliegende Untersuchung geklärt werden. Evaluation wird demnach in dieser Arbeit als sozialer Prozess (Braybrooke/Lindblom 1963: 17ff) aufgefasst. In der Analyse wird als Ausgangspunkt zunächst jeder, der für diese Arbeit relevanten 65

Da diese Untersuchung zeigt, dass auch Evaluator(inn)en von Evaluationen profitieren und dementsprechend auch Nutzer(innen) von Evaluationen sein können, wäre der Begriff „Nutzer(innen)“ für die Evaluierten bzw. deren Ansprechpartner(innen) verfehlt. Im Folgenden wird daher von Hauptinteraktionspartner(innen) der Evaluation gesprochen, da diese auch als Interviewpartner(innen) ausgewählt wurden. Je nach Kontext könnten auch Begriffe wie Adressaten, Akteure, Evaluierte, Programmpartner(innen), Zielgruppe etc. verwendet werden.

2.6 Untersuchungsmodell

121

Bedingungen das gleiche Gewicht gegeben. Dem metatheoretischen Modell liegt die Annahme zugrunde, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von Evaluationsnutzungen darstellen.

Abbildung 11: Untersuchungsmodell: Nutzungsbeeinflussende Bedingungen Im Folgenden sollen die einzelnen Befunde der vorangegangenen Literaturanalyse als Komponenten zum Untersuchungsmodell dieser Studie verdichtet werden: Die empirische Untersuchung baut auf einem Evaluationsnutzungsbegriff auf, der sowohl direkte als auch indirekte Nutzungen, ihr zeitliches Auftreten und einen personellen Aspekt berücksichtigt (siehe Kapitel 2.2.4). Von Evaluationsnutzungen (als Zielvariable bzw. Outcome) wird entsprechend dann ausgegangen, wenn als Folge oder im Prozess (zeitlich) von Evaluation direkt oder indirekt Handlungen und/oder Veränderungen im Denken und/oder Bestätigungen des bereits angenommenen (inhaltlich) mit der Evaluation assoziiert werden, dies kann auf individueller, interpersoneller und/oder kollektiver Ebene (perso-

122

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

nell) passieren. Eine Verbindung zwischen einer Evaluation und deren Nutzungen wird dann hergestellt, wenn die Betroffenen und Beteiligten einer Evaluation sie selbst auch herstellen. Organisationsbezogene Variablen mit Effekten auf Evaluationsnutzungen werden dezidiert nicht berücksichtigt. Insbesondere die inhaltliche Dimension des hier zugrunde liegenden Evaluationsnutzungsbegriffs bedarf einiger zusätzlicher Hinweise. Als Hinweise für direkte Nutzungen werden folgende Aspekte gewertet: ƒ ƒ ƒ ƒ ƒ

Inhaltliche Veränderungen aufgrund der Evaluation (vgl. Shadish et al. 1991; Rossi/Freeman 1993) Evaluation zu Legitimationszwecken (vgl. Johnson 1998; Clarke/Dawson 1999; Huberman 1987) Bestätigung von bereits Gewusstem durch die Evaluation (vgl. Alkin et al. 1979) Diskussion der Evaluationsergebnisse (vgl. Cook/Pollard 1977) Netzwerkerweiterung als direkte (geplante) Nutzungsmöglichkeit der Evaluation (in Anlehnung an Fitzpatrick et al. 2004)

Als indirekte Nutzungen werden in vorliegendem Untersuchungsmodell folgende sechs Kriterien verstanden: ƒ ƒ ƒ ƒ ƒ ƒ

Netzwerkerweiterung (Kontakte) (vgl. Forss et al. 2002) Wissenszuwachs durch Erfahrungsaustausch mit anderen Expert(inn)en (vgl. Forss et al. 2002) Sensibilisierung für ein bestimmtes Thema durch die Durchführung der Evaluation (vgl. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 1999) Wissenszuwachs für den Umgang mit Evaluationen (vgl. Forss et al. 2002) Motivationsanschub (vgl. Forss et al. 2002) Nutzung einzelner Ergebnisse oder Instrumente für andere Projekte (vgl. Forss et al. 2002)

In den vorangegangenen Unterkapiteln wurde das Konstrukt soziale Kompetenzen aus drei verschiedenen Blickwinkeln (Evaluationsnutzungsforschung, Psychologie, Teilbereich der Empfehlungen der DeGEval) betrachtet. Dabei konnte ein Minimalset von neun Kompetenzen, die immer wieder als relevant im Evaluationsnutzungskontext diskutiert werden, generiert werden (vgl. Kapitel 2.3.1.4). Zu den Kompetenzen liegen teilweise widersprüchliche Ergebnisse und Ansich-

2.6 Untersuchungsmodell

123

ten vor. Berücksichtigt man Aspekte der Messbarkeit66 dieser Konstrukte (vgl. Kapitel 2.3.1.1.1), können sieben soziale Kompetenzbereiche in das Untersuchungsmodell integriert werden, diese sind: ƒ ƒ ƒ ƒ ƒ ƒ ƒ

Flexibilität (FL) (vgl. z.B. Alkin 1985; Hossiep/Paschen 2003; Johnson 1998; Stamm 2003a) Handlungsorientierung (HO) (vgl. z.B. Alkin et al. 1979, 1985; Hossiep/Paschen 2003; Johnson 1998) Sensitivität (SEN) (vgl. z.B. Galinsky/Mussweiler 2001; Hossiep/Paschen 2003; Leviton/Hughes 1981; Patton 1997) Kontaktfähigkeit (KO) (vgl. z.B. Alkin 1985; DeGEval 2008b; Hossiep/Paschen 2003; Patton 1997;) Soziabilität (SOZ) (vgl. z.B. DeGEval 2008b; Hossiep/Paschen 2003; Kanning 2002; Patton 1997) Teamorientierung (TO) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997) Durchsetzungsstärke (DU) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997).

Eine Vielzahl von Interaktionsmodellen mit Kombinationen situativer und/oder personaler Voraussetzungen ist denkbar und könnte einer empirischen Analyse unterzogen werden. Das Modell, was dieser Untersuchung zu Grunde liegt, beinhaltet sowohl kontextgebundene als auch individuumszentrierte Aspekte und orientiert sich an den Standards des Joint Committee (Sanders 2006: 131). Entsprechend werden zur Einschätzung der Interaktionsgestaltung die Konstrukte: ƒ ƒ ƒ

Verfügbarkeit Wertschätzende Grundhaltung Gestaltung der Kommunikation (dazu auch Cousins/Leithwood 1993; Mertens 1994)

berücksichtigt. Um Faktoren einzubeziehen, die jenseits der drei genannten Eckpfeiler liegen, werden zusätzlich Einschätzungen zur ƒ

Zufriedenheit mit der Interaktionsgestaltung insgesamt

beachtet.

66

Ein Messinstrument, das alle hier relevanten Kompetenzen vereint, stand zum Zeitpunkt der Durchführung der Untersuchung noch nicht zur Verfügung. Aus diesem Grund konnten die Kompetenzen „Führungsverhalten“ und „Selbstaufmerksamkeit/ Reflexion“ nicht berücksichtigt werden.

124

2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells

In verschiedenen Evaluationsnutzungsmodellen werden unterschiedlichste Umfeld- und Prozessmerkmale der Evaluation als Einflussfaktoren benannt. Fünf gängige Schwerpunkte, die konsistent in Bezug zu Evaluationsnutzungen gebracht werden, wurden in das Untersuchungsmodell integriert, diese sind: ƒ ƒ ƒ ƒ ƒ

Einhaltung der Genauigkeitsstandards des Joint Committee (vgl. z.B. Sanders 2006) Integration von Nutzungsprozessen (vgl. z.B. Huberman/Cox 1990; Hannum/Martineau 2008; Reisner et al. 1982; Stamm 2003a) Orientierung an den Informationsbedürfnissen (vgl. z.B. Balthasar 2007; Patton 1997; Sanders 2006) Einhaltung formaler Erfordernisse (vgl. z.B. Alkin 1975; Sanders 2006) Politisches Klima (vgl. z.B. Weiss 1986a, 1998)

Die Operationalisierung der Bedingungen und des Outcomes wird unter 3.6 vorgestellt.

3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme

125

3 Empirisches Vorgehen

3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme Bevor genauer auf die methodischen Aspekte der Untersuchung eingegangen wird, befasst sich das Unterkapitel 3.1 mit dem Gegenstand der untersuchten Evaluationsstudien. Alle Evaluationen, die im Rahmen dieser Arbeit untersucht wurden, beschäftigten sich mit Mentoringprogrammen für Frauen und waren an Universitäten angebunden. Die hier vorgenommene genauere Darstellung des Gegenstands der Evaluationsstudien soll der Klärung des Kontext und des Zwecks, zu dem die untersuchten Programme ins Leben gerufen wurden, dienen und so zum besseren Gesamtverständnis des Umfelds, in dem die untersuchten Evaluationen stattgefunden haben, beitragen. Mentoring wird in Deutschland seit den 90er Jahren erprobt. In den USA ist das Konzept bereits seit den 70er Jahren etabliert. Der Begriff Mentor/in kann auf die griechische Mythologie zurückgeführt werden67 (vgl. Hall 2003; Mischau 2000; Segerman-Peck 1994). Traditionelle Definitionen von Mentoring gehen von einer dyadischen Beziehung aus, in der der/die erfahrenere Mentor/in eine beratende Funktion für eine/n weniger erfahrene/n Mentee übernimmt (vgl. Janasz/Sullivan 2004). Neuere Mentoringkonzepte fokussieren nicht ausschließlich auf eine persönliche Förderbeziehung zwischen Mentor/in und Mentee, sondern beinhalten oft auch alternative Formen des Mentorings, wie z.B. Gruppen- oder Peer-Mentoring und E-Mentoring. Übergeordnetes Ziel bei allen diesen Formen des Mentoring ist, dass der/die Mentee die bestmögliche Position erreicht, die seiner/ihrer Qualifikation entspricht (vgl. Höppel 2000). Kernstück von Mentoringprogrammen ist demnach die Beziehung zwischen Mentor/in und Mentee, in der ein Austausch über berufliche aber auch persönliche Themen stattfindet (vgl. Projektgruppe „Mentoring für Frauen in Europa“ 2000). Kathy Kram (1988) benennt essentielle Charakteristika, die eine gewöhnliche Arbeitsbeziehung von 67

Die griechische Mythologie besagt, dass Odysseus den griechischen Gebildeten Mentor bat, sich seines Sohnes Telemachos anzunehmen und diesen während seiner Abwesenheit zu erziehen. Mentor ist der griechischen Sage zufolge die Inkarnation einer Frau, nämlich Athenas, der Göttin der Weisheit. Die Geschichte bietet neben diesem viele Beispiele von MentoringBeziehungen, z.B: Sokrates und Platon, Haydn und Beethoven und Freud und Jung (vgl. Shea 2002).

M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_4, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

126

3 Empirisches Vorgehen

einer sich entwickelnden Mentoring-Beziehung unterscheiden. Diese differenziert sie in Karriere-Funktionen und psychosoziale Funktionen (vgl. Kram 1988: 22 – 38). Generell wird zwischen informellen Mentoring-Beziehungen und formalisierten Mentoring- Programmen unterschieden. In letztgenannten, die Gegenstand der hier untersuchten Evaluationsstudien sind, sind die MentoringBeziehungen in formalisierte Programme eingebunden, die einen bestimmten zeitlichen Rahmen haben und sich aus verschiedenen Bestandteilen zusammensetzen. Grundlegende Bausteine aller formalisierten Mentoring- Programme sind: der Auswahlprozess von Mentees und Mentor(inn)en, der Prozess der Paarbildung (das sogenannte Matching), die Treffen der Mentees mit ihren Mentor(inn)en und ein Rahmenprogramm, das aus begleitenden Seminaren und Feedbackveranstaltungen besteht. Diese einzelnen Komponenten werden je nach organisatorischen Rahmenbedingungen, Zielsetzung und finanziellen Ressourcen unterschiedlich ausgestaltet (vgl. Projektgruppe „Mentoring für Frauen in Europa“ 2000). Informell entstandene Mentoring-Partnerschaften dauern in der Regel 3-6 Jahre, formell entstandene Mentoring-Partnerschaften 6-12 Monate (Allen/Eby 2004). Neben der Diskussion der Mentoringform gibt es inzwischen zahlreiche Literatur zu unterschiedlichen Aspekten des Mentoring, von der hier nur eine Auswahl genannt werden soll: ƒ ƒ ƒ

Faktoren für effektives Mentoring (z.B.: Allen/Eby 2004; Allen/Finkelstein 2003; Projektgruppe „Mentoring für Frauen in Europa“ 2000; Schliesselberger/Strasser 2000; Shea 2002; Stöger et al. 2009) die Kombination der Geschlechter in einer Mentoring-Beziehung: sameGender vs. cross-Gender-Mentoring (z.B.: Allen/Eby 2004; Ragins/Cotton 199968). Negative Mentoringerfahrungen (z.B.: Bierbaumer/Kersic 2002; Eby/ McManus 2004; Etzkowitz et al. 1992; Johnson/Huwe 2002)

Mentoring ist in den letzten Jahren zunehmend zu einem Instrument geworden, mit dem auf ungleiche Geschlechterkonstellationen in verschiedenen Disziplinen und Führungspositionen reagiert wird. Mentoring ist ein sehr vielseitiges und variables Konzept, das von der Grundkonzeption nicht nur für Frauen angeboten wird, sondern ebenso für gemischtgeschlechtliche Gruppen und für Männer; allerdings wurde bei der Recherche nach Programmen kein einziges Programm

68

Hier muss angemerkt werden, dass diese Studien sich ausschließlich auf Aussagen der Mentees beziehen und es keine Hinweise über die Sichtweise der Mentoren und Mentorinnen gibt.

3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme

127

für Männer oder beide Geschlechter gefunden69. Dies hat sicherlich mit dem Fokus auf Mentoring an Hochschulen zu tun und dem Faktum, dass von insgesamt 9777 C4-Stellen und 2870 W3- Stellen deutschlandweit nur 10% (C4) und 18,6% (W3) von Frauen besetzt sind. In der Professor(inn)enschaft insgesamt, einschließlich der Juniorprofessuren, sind Frauen mit 16,2% vertreten (vgl. Statistisches Bundesamt 2007). D.h. trotz Frauenförderplänen an den Hochschulen und zahlreicher so genannter frauenfördernder Maßnahmen70 im Wissenschaftsbereich hat sich die Zahl der Frauen in den Spitzenpositionen der C4- bzw. W3Professuren in den letzten zehn Jahren nur wenig erhöht. Obwohl die Bildungsbeteiligung von Männern und Frauen qualitativ angeglichen ist und im schulischen Bildungsbereich mittlerweile mehr Mädchen als Jungen das Abitur erlangen, bleiben bei der Entscheidung zur Promotion und noch stärker zur Habilitation oder beim Anstreben einer Führungsposition die Anteile der Frauen deutlich hinter denen der Männer zurück. Zudem zementiert die Studienfach- bzw. Berufswahl von Mädchen und Jungen die geschlechtsspezifischen Ungleichheitsstrukturen (Blättel-Mink 2000). So sind es vorwiegend Männer aus bildungsnahen Milieus, die im Wissenschaftssystem die höheren Ränge besetzen, während vor allem Frauen aber auch Männer aus unteren Schichten bei gleicher Qualifikation untervertreten sind und nicht die gleichen Karrierechancen haben (Lehmann 2002). Die Ursachen hierfür sind vielfältig und wurden aus verschiedenen Perspektiven untersucht: neben zahlreichen feministischen Beiträgen (z.B. HagemannWhite 1993; Hark 2007; Fox Keller/Longino 2001) werden aus geschlechtssoziologischer (u.a. Allmendinger/Podsialowski 2001; Gildemeister et al. 2003, Heintz et al. 2004) und sozialwissenschaftlicher Sicht (u.a. Bellas 1993; Krais 2000; Krais/Haffner 2008; Kyvik/Teigen 1996) vor allem Selektions- und Segregationsprozesse, die in verschiedenen Karrierephasen wirksam werden und gesellschaftsstrukturelle und somit auch institutionelle Bedingungen in den Fokus 69

70

Mentoring-Programme für Frauen, sind auf unterschiedliche Zielgruppen anwendbar, wie z.B. Frauen im Studium, Frauen in der Habilitationsphase, Existenzgründerinnen, Wiedereinsteigerinnen oder auch für Schülerinnen u.a. Dementsprechend unterschiedlich können auch die Zielsetzungen sein, die ein Mentoring-Programm für Frauen bzw. Mädchen leisten soll. Neben der Schwerpunktsetzung auf eine Erhöhung des Frauenanteils in Führungspositionen kann die Verbesserung der Kommunikation sowohl zwischen Männern und Frauen als auch zwischen verschiedenen Hierarchiestufen ein Ziel sein (vgl. Projektgruppe „Mentoring für Frauen in Europa“, 2000). Cheauré (2000: 51ff) spricht sich dafür aus, dass der Begriff ’Frauenförderung’ problematisiert werden muss, da er weder den Erfordernissen in der Gesellschaft noch an den Universitäten entspricht. Der Begriff hindere die Bewusstmachung, dass es um die verfassungsmäßig gebotene Chancengleichheit von Frau und Mann gehe und dies nicht die Angelegenheit ausschließlich von Frauen sei. Zudem impliziere der Begriff, dass Frauen defizitär seien und habe den Beigeschmack eines herablassenden Aktes.

128

3 Empirisches Vorgehen

gerückt. Andere Autor(inn)en heben Sozialisationsaspekte in den Vordergrund und liefern sozialpsychologische Erklärungsansätze (u.a. Abele 2000a,b; Bilden 1991, 2001; Hirschauer 1994; Maccoby 2000) oder stellen Interaktion als den Grundmechanismus heraus, über den Geschlechterhierarchien in der Arbeitswelt hergestellt und reproduziert werden (z.B. Ridgeway 2001). Insbesondere vor dem Hintergrund der multiplen Ursachen für die bestehende Ungleichheit der Geschlechterkonstellationen in verschiedenen Disziplinen und Führungspositionen wird augenscheinlich, dass der Beitrag von Mentoringprogrammen als Instrument reflektiert werden muss. Schliesselberger und Strasser (2002) betonen, dass eine Schwierigkeit vieler Mentoringansätze darin besteht, dass Strategien der Egalisierung bzw. Integration von benachteiligten Gruppen unter dem gleichen Stichwort verfolgt werden wie Elitebildung und damit Stratifizierung oder Hierarchisierung. Demnach könnte Mentoring, in Abhängigkeit von dem jeweiligen Konzept, sowohl zur Integration oder zur Ausgrenzung, zur Beförderung als auch zur Behinderung von Chancengleichheit herangezogen werden (vgl. Schliesselberger/Strasser 2002). Nur wenn, entsprechend der bestehenden Ursachenforschung, auch strukturelle Bedingungen an den Einrichtungen (z.B. Selektionsprozesse) die Mentoring durchführen, in allen Überlegungen zu Mentoring Beachtung finden, werden die ersten Schritte unternommen, damit eben diese Bedingungen verändert werden können. Geschieht das nicht, werden Mentoringprogramme, die sehr effektiv für die einzelnen Teilnehmer(innen) sein können, wenig zur Veränderung des aktuellen Geschlechterverhältnisses in den Führungsetagen beitragen. Theres Hofmann und Katharina Maag (2000: 27f) argumentieren ähnlich und gehen davon aus, dass MentoringProgramme für sich alleine nicht die ausreichende „Kraft“ besitzen, um bestehende Strukturen zu verändern. Begleitend wäre u.a. eine Diskussion über Mentoring-Programme in Wissenschaft, Wirtschaft, Verwaltung und Politik unter Einbezug aller Beteiligten sinnvoll. So ist es für den Erfolg eines MentoringProgramms und im Sinne einer Sensibilisierung für die Thematik von großer Wichtigkeit, dass dieses in allen Bereichen der jeweiligen Institution bekannt ist und von dort auch unterstützt wird. Für die in dieser Arbeit vorgenommene Analyse muss das Konzept des Mentoring kritisch hinterfragt werden. Die im folgenden beschriebenen und von externen Evaluationen untersuchten Mentoringprogramme sollen als politisch hochsensibel gehandelte Themen und als eine von vielen Ergänzungen zu noch zu entwickelnden und bestehenden gesetzlichen Gleichbehandlungsmaßnahmen verstanden werden. Wie die Beschreibung der Datengrundlage (vgl. Kapitel 3.2) zeigt, ist eine Diskussion des Standes der Qualitätssicherung für Mentoringprogramme dringend empfehlenswert. Außerdem scheint es angesichts der ungewissen finanziellen Situation vieler dieser Programme bei weitem nicht so, dass die bisherigen

3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme

129

(wenigen) Metaanalysen zum Impact von Mentoringprogrammen dazu geführt haben, dass über die (Un-)Wichtigkeit der Programme im politischen Sinne ein Common Sense herrscht. 3.1.1 Exkurs: Qualitätssicherung für Mentoringprogramme Ein erstes herausstechendes Ergebnis dieser Untersuchung wurde bereits in der Erhebungsphase deutlich (vgl. auch Kapitel 3.2): Hinsichtlich der Qualitätssicherung von Mentoringprogrammen an deutschen Universitäten herrscht ein Optimierungsbedarf. Mit dem Ziel, möglichst viele extern evaluierte Programme für eine Befragung zu gewinnen, wurden im Jahr 2006 deutschlandweit insgesamt 59 universitäre Mentoringprogramme an deutschen Universitäten und Hochschulen identifiziert und angeschrieben. Insgesamt gab es in Deutschland im Wintersemester 2006/2007 383 Hochschulen71 (vgl. statistisches Bundesamt 2007), d.h. an 15,4% der deutschen Hochschulen existierte in der ein- oder anderen Form ein Mentoringprogramm (Peer-Mentorings unter Studierenden oder für Erstsemestler(innen) ausgeschlossen). Von diesen 59 Programmen beteiligten sich 36 (61%) an einer Kurzbefragung bei der das Thema Evaluation im Zentrum stand. Aus der Befragung wurde ersichtlich, dass zwei dieser 36 Programme gar nicht, 22 Programme intern, fünf Programme extern und sieben Programme sowohl intern als auch extern evaluiert wurden. Nach einer genaueren Analyse der Programmevaluationen kann davon ausgegangen werden, dass zehn Programme (28%) extern evaluiert wurden. Nimmt man an, dass die Programme, die nicht an der Befragung teilgenommen haben, nicht evaluiert wurden, liegt der „wahre Wert“ der externen Evaluationen bei ca. 17% aller Programme. Durch die Sichtung der Unterlagen der untersuchten Programme wurde zudem deutlich, dass bei internen Evaluationen eher von internen Dokumentationen gesprochen werden muss. Es ist dementsprechend zu vermuten, dass die tatsächliche Anzahl der internen Evaluationen unter der angegebenen Anzahl von 29 (81%) liegt. Dieser Befund lässt sich durch neueste Publikationen für den Mentoringbereich noch vertiefen. Die Effektivität von Mentoring wurde bislang vor allem anhand eindrucksvoller Fallstudien und durch einige systematische biographische Analysen belegt. Die Ergebnisse lassen sich in der modalen Aussage bündeln, dass Mentoring erfolgreich sein kann (vgl. Ziegler 2009: 11f). Kritisch ist zum einen, dass nur wenige Studien über Mentoring wenigstens die methodischen Minimalanforderungen an empirische Studien erfüllen 71

davon waren 102 Universitäten, 6 Pädagogische Hochschulen, 15 Theologische Hochschulen, 53 Kunsthochschulen, 206 Fachhochschulen (vgl. statistisches Bundesamt 2007)

130

3 Empirisches Vorgehen

(ebd.: 12; Morzinski/Fisher 1996: 53). Weiterhin beruhen die Konzeptionen von Mentoringprogrammen teilweise auf Intuition und weniger auf stimmigen wissenschaftlichen Konzepten (vgl. Stöger et al. 2009: 1). Es sei betont, dass es durchaus auch positive Beispiele gibt, dass diese aber nicht die Regel zu sein scheinen (ebd.). Zudem wird die Güte der Programmumsetzung – z.B. durch externe formative Evaluationen – nur selten überwacht (vgl. Ziegler 2009: 12). Auffällig in der vorliegenden Untersuchung war auch die Tendenz, dass Evaluationsaufträge eher kurzfristig erteilt und dann unter enormem Zeitdruck durchgeführt wurden. Die hier untersuchten Evaluationen zielten zumeist auf die konkrete inhaltliche Verbesserung eines Programms ab und wurden kaum in einen übergeordneten Rahmen (z.B. universitärer Kontext) eingebunden oder mit ähnlich gelagerten Evaluationen von anderen Programmen verglichen. Eine Sammlung der Kenntnisse und deren Einordnung in einen größeren Kontext wären wünschenswert und vielversprechend für das Entwicklungspotenzial universitärer Mentoringprogramme. Tatsächlich ist die Mentoringlandschaft in Deutschland aber eher durch ein Nebeneinander als durch ein konstruktives Miteinander gekennzeichnet (vgl. Ziegler 2009: 8). Eine stärkere Komparatistik wäre hier sicher wünschenswert. Eine Verwirklichung „echter“ Vergleiche zwischen einzelnen Programmen setzt jedoch als wesentlichen Schritt voraus, dass die finanziellen Ressourcen zunächst für qualitativ hochwertige Evaluationen der einzelnen Programme und in einem zweiten Schritt für programmübergreifende Vergleiche auf der Metaebene gegeben sind; die teilweise sehr engen Budgetierungen in der aktuellen Mentoringlandschaft lassen dies kaum zu. Universitäre Mentoringprogramme, die sich als politischer Akt und öffentliches Gut zugleich verstehen, sollten im Rahmen der jeweiligen Budgetierung gemeinsam mit den jeweiligen Förderern entscheiden, ob die interessierenden Fragestellungen im Rahmen von Qualitätssicherung wirklich am besten mit dem Instrument der Evaluation beantwortet werden können, oder ob sich dafür nicht zum Teil andere Instrumente (z.B. Expertengutachten) besser eignen. Nur so kann eine Grundlage für die Positionsbestimmung (gegenüber Mentoringprogrammen) der im Feld tätigen Akteure und der Öffentlichkeit ermöglicht werden. Empirisch fundierte Aussagen über die gegenwärtige Qualität von Evaluationen bzw. die kiritische Überprüfung der Qualität von einzelnen Evaluationsstudien stellen in allen Bereichen von Evaluation eher die Ausnahme dar. Nicht nur, wie hier, im Mentoringbereich sondern z.B. auch im Bereich der Entwicklungspolitik (vgl. Stockmann/Caspari 1998 zit. nach Brandt 2009: 90) sind methodische Mängel in durchgeführten Evaluationen nachgewiesen. Die aufgelegten Programme werden immer komplexer und somit wird auch die Evaluation anspruchsvoller und Wirkungsnachweise sind schwerer zu erbringen (Stockmann

3.2 Datengrundlage

131

2004: 37). Will Evaluation der Komplexität von Systemen bzw. Phänomenen gerecht werden, ist sie zeit- und ressourcenaufwendig (Kromrey 2004: 237f). Soll sie dementsprechend nicht nur Selbstzweck sein, sondern Qualitätsverbesserung bewirken oder empirisch abgesicherten Wissen generieren, muss klar sein, dass dies nicht mit geringem Kosten- und Arbeitsaufwand und ohne die Mitwirkung und Akzeptanz der Beteiligten erreicht werden kann. Nur so kann eine Erhöhung der Legitimität von sozialen und politischen Interventionsmaßnahmen, wie Mentoringprogramme sie darstellen, erreicht werden. Ausdrücklich soll nicht die These vertreten werden, dass sich die Evaluationsqualität allein aufgrund einer ansteigenden Anzahl von Evaluationen und den dafür einsetzbaren Mitteln bestimmen würde; offensichtlich ist jedoch, dass beides Rahmenbedingungen sind, welche die Evaluationsqualität beeinträchtigen können (dazu auch Widmer/Leeuw 2009: 70f). Eine Diskussion des Standes der Qualitätssicherung für Mentoringprogramme scheint im Hinblick auf die oben genannten Sachverhalte jedoch dringend notwendig. 3.2 Datengrundlage Die im Kapitel 2 hergeleiteten Kriterienraster werden im empirischen Teil an sieben Evaluationsstudien untersucht. Ausgehend von einer Liste der Bundesweiten Dachorganisation von Mentoring-Programmen an Hochschulen (Forum Mentoring e.V.) wurden, mit dem Ziel der Vollerhebung für diese Programmart, alle dort aufgeführten 54 Programme angeschrieben und mit einem Kurzfragebogen (vgl. Anhang A.2) dazu befragt, ob eine Evaluation durchgeführt wurde bzw. aktuell durchgeführt wird. Diese Quelle garantiert eine nahezu vollständige Erfassung aller Mentoringprogramme an Universitäten und Hochschulen Deutschlands. Da der Verein ein Zusammenschluss von Koordinator(inn)en von Mentoring-Programmen an Hochschulen ist, sind Mentoringprogramme, die beispielsweise in Wirtschaftsunternehmen durchgeführt werden, nicht berücksichtigt. Durch Empfehlungen verschiedener Programmkoordinator(inn)en wurden zusätzlich fünf weitere Programme in die Befragung aufgenommen. Von den insgesamt 59 Programmen wurden anhand der Befragung Angaben zu folgenden Schwerpunkten erfasst: 1. 2.

Mentoring-Programm: (Teilnehmer(innen)zahl, Laufzeit, Zielgruppe, aktuelle Phase des Programms, personelle Zusammensetzung des operationalen Teams des Programms, Kontaktpersonen) Evaluation: (Wurde evaluiert?, Wie wurde evaluiert?, Ansprechpartner(innen) für Evaluation)

132

3 Empirisches Vorgehen

Von den insgesamt 59 angefragten, beantworteten nach zwei Rückfragerunden 36 Programme (61%) den Kurzfragebogen mit dem Ergebnis, dass zwei Programme gar nicht, 22 Programme intern, fünf Programme extern und sieben Programme intern und extern evaluiert werden bzw. wurden. Für weitere Untersuchungen wurden lediglich die Programme berücksichtigt, die angegeben hatten extern bzw. intern und extern evaluiert zu werden (N=12). Die Auswahlkriterien für das untersuchte Sample waren im Überblick: ƒ ƒ ƒ ƒ

externe Evaluation (vorangegangene interne Evaluation möglich, parallele interne Evaluation mit anderem Schwerpunkt möglich) Abschluss der Evaluation zwischen 2004 und 2006 keine Durchführung der externen Evaluation im Rahmen von Qualifizierungsarbeiten von Studierenden Verfügbarkeit der zu befragenden Evaluator(inn)en und Programmleiter(innen) und –koordinator(inn)en

Sieben Programme konnten für diese Untersuchung ausgewählt werden, fünf schieden – teilweise erst nach Durchführung der Interviews - aus folgenden Gründen aus: ƒ ƒ ƒ ƒ

trotz Angabe keine externe Evaluation (N=1)72 Wissenschaftlichkeit der Methodik, Einhaltung der Genauigkeitsstandards (Sanders 2006: 159ff) nicht gegeben (N=2) neues Team, von denen nach eigenen Angaben niemand mit der vorangegangenen Evaluation vertraut war (N=1) Ablehnung eines Interviews (N=1)

Zusätzlich zu den Interviews wurde mit allen Interviewpartner(innen) das BIP: Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung (Hossiep/Paschen 2003) durchgeführt, welches unter 3.4.2 genauer beschrieben wird.

72

Sowohl für die Konzepterstellung als auch für die Evaluationsdurchführung wurde ein und dieselbe externe Institution beauftragt, d.h. die Institution hat ihr eigenes Konzept evaluiert, was nicht den für diese Studie aufgestellten Kriterien für eine externe, unabhängige Evaluation entspricht.

3.3 Beschreibung der untersuchten Programmevaluationen

133

3.3 Beschreibung der untersuchten Programmevaluationen Unter Berücksichtigung der unter 3.2 genannten Bedingungen konnte eine Stichprobe von insgesamt sieben externen Programmevaluationen zusammengestellt werden. Die Programme sind in fünf verschiedenen Bundesländern verortet. Im Folgenden werden die Fälle bezüglich ausgewählter Merkmale der Evaluation (Zeitraum, Vergabepraxis, personelle Ausstattung, methodische Aspekte) und des evaluierten Programms (personelle Ausstattung, Ausrichtung des Programms, Laufzeit) beschrieben. Zur Wahrung der Anonymität werden die Programmevaluationen nicht namentlich benannt, sondern lediglich nummeriert. Die Nummern entsprechen nicht der alphabetischen Reihenfolge. „E“ hinter einer Ziffer kennzeichnet hier und im Folgenden eine(n) „Evaluator(in)“ während „H“ für „Hauptinteraktionspartner(in)“ steht. Programmevaluation 1 (Fall 1E, 1H): Zeitraum der Evaluation: Der Evaluationszeitraum betrug ein Jahr und fand z.T. begleitend statt, d.h. die Evaluator(inn)en wurden für eine 6-monatige Evaluation engagiert und griffen neben eigenen Erhebungen auf Material der bereits vorliegenden internen Evaluation zurück. Hinzugezogen wurde das Evaluationsteam etwa zur Hälfte des ersten laufenden Durchgangs. Vergabepraxis: Die Evaluation wurde ausgeschrieben, allerdings wurde das Evaluationsteam intern empfohlen und erhielt nach Einreichung eines Konzepts den Zuschlag für die Evaluation. Personelle Ausstattung der Evaluation: Das Evaluationsteam bestand aus zwei Personen und einer studentischen Hilfskraft. Zusätzlich konnte das Team auf einen „externen Berater“ zurückgreifen, der über viel Evaluationspraxis verfügt. Die Evaluation des Mentoringprogramms war für alle Beteiligten eines von mehreren laufenden Projekten. Es handelte sich für alle direkt an der externen Evaluation Beteiligten um die erste eigenständige Evaluation. Methodische Aspekte: Die Programmteilnehmerinnen wurden im Rahmen eines Post-Designs im Anschluss an die Teilnahme am Programm dazu befragt, wie gewinnbringend sie das Programm einschätzen. Im Mittelpunkt der von einem Evaluationsteam durchgeführten Untersuchung stand eine Befragung der Mentees und Mentor(inn)en mittels Fragebogen, die vertiefend durch einzelne Interviews mit Beteiligten ergänzt wurde. Das bereits vorhandene Datenmaterial wurde punktuell unterstützend genutzt. Personelle Ausstattung des Programms: Da dieses Mentoringprogramm an verschiedenen Standorten durchgeführt wurde, war die personelle Ausstattung entsprechend hoch. Direkt an der Organisation des Programms beteiligt waren zum

134

3 Empirisches Vorgehen

Zeitpunkt der Evaluation: eine Projektleitung, eine Projektkoordination, drei diplomierte Mitarbeiter(innen) und vier studentische Mitarbeiter(innen). Ausrichtung des Programms: Zielgruppe dieses Programms waren sowohl Studentinnen als auch Promovendinnen. Das Programm war universitär angebunden und beinhaltete als Instrumente One-to-One Mentoring, Trainingsseminare und Networking. Für die Teilnehmerinnen war das Projekt kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs betrug jeweils ein Jahr. Programmevaluation 2 (Fall 2E, 2H): Zeitraum der Evaluation: Das Evaluationsteam begleitete das Programm insgesamt fünf Jahre. Konzeptionell wurde die Evaluation von Anfang an „mitgedacht“ und erfüllte drei Funktionen: zum einen, die Universität als Institution einzubinden, zum zweiten die Bewilligung des Programms zu vereinfachen und zum dritten die Bewertung des Programms. Vergabepraxis: Eine öffentliche Ausschreibung der Evaluation fand nicht statt. Die Evaluation wurde direkt an das Team vergeben. Personelle Ausstattung der Evaluation: Das Evaluationsteam bestand aus drei Personen. Die Personen waren zum Zeitpunkt der Befragung alle drei seit mindestens zehn Jahren im Feld der Evaluation tätig. Die Evaluation des Mentoringprogramms war für alle Beteiligten eines von mehreren laufenden Projekten. Methodische Aspekte: Es gab eine schriftliche Eingangs- und Abschlussbefragung, wobei die Fragen des Bogens hauptsächlich offen formuliert waren. Eine telefonische Befragung der Teilnehmerinnen und Mentor(inn)en fand einmalig zur Entwicklung der Fragebögen statt. Zudem waren alle Evaluator(inn)en bei Beobachtungen einzelner Veranstaltungen präsent und führen nach dem Modell der Feldforschung außerdem drei Mal im Jahr Transfertage durch, bei denen unter einem bestimmten Fokus die Ergebnisse des Evaluationsteams mit der Teilnehmerinnengruppe besprochen, hinterfragt und weiterentwickelt wurden. Personelle Ausstattung des Programms: Das Programm wurde auf der organisatorischen Ebene von einer Person mit einer 30-Stunden-Stelle geleitet. Ausrichtung des Programms: Bei dem Mentoring-Programm handelte es sich um ein außeruniversitäres EU-gefördertes Programm, dass von einer gemeinnützigen Stiftung initiiert und durchgeführt wurde. Zielgruppe dieses Programms waren in Unternehmen tätige Frauen. Das Programm bestand aus vier Bausteinen: One-toOne Mentoring, Seminare, internes Networking und externes Networking in Kooperation mit der Wirtschaft und der Universität. Für die Teilnehmerinnen war das Programm kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein Jahr. Die Gesamtlaufzeit des Programms betrug fünf Jahre.

3.3 Beschreibung der untersuchten Programmevaluationen

135

Programmevaluation 3 (Fall 3E, 3H): Zeitraum der Evaluation: Der Evaluationszeitraum betrug ein Jahr und fand begleitend statt. Vergabepraxis: Die Evaluation wurde nach einer Ausschreibung und aufgrund der Bewerbung des Evaluationsteams vergeben. Personelle Ausstattung der Evaluation: Das Evaluationsteam bestand aus zwei Personen. Beide evaluieren zeitgleich noch andere Projekte. Die Evaluator(inn)en sind beide promovierte Wissenschaftler(innen) und arbeiten für eine außeruniversitäre Forschungsgemeinschaft. Beide verfügen über Erfahrung mit Projektevaluation. Methodische Aspekte: Die Evaluation wurde ausschließlich mit qualitativen Instrumenten, d.h. mit Interviews und nicht formalisierter Beobachtung realisiert. Personelle Ausstattung des Programms: Das Programm wurde auf der organisatorischen Ebene hauptsächlich von zwei Personen durchgeführt, wobei die offizielle Projektleitung mehrere Teilprojekte begleitete und so hauptsächlich eine Person die organisatorische und inhaltliche Arbeit übernahm. Ausrichtung des Programms: Dieses Mentoring-Programm war ein außeruniversitäres von der EU gefördertes Programm, das von einer gemeinnützigen Gesellschaft entwickelt und durchgeführt wurde. Zielgruppe waren Frauen im einfachen bis mittleren Qualifikationssegment, die eine Beschäftigung auf dem ersten Arbeitsmarkt hatten. Bausteine des Programms waren: One-to-One Mentoring, Seminare, Networking. Für die Teilnehmerinnen war das Programm kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein Jahr. Die Gesamtlaufzeit des Programms betrug drei Jahre. Programmevaluation 4 (Fall 4E, 4H): Zeitraum der Evaluation: Der Evaluationszeitraum betrug 15 Monate und fand begleitend statt. Die externe Evaluation war dabei eine Vorgabe einer übergeordneten Organisation. Vergabepraxis: Die Evaluation wurde nach einer Ausschreibung vergeben. Personelle Ausstattung der Evaluation: Die Evaluation wurde von einer einzelnen Person durchgeführt. Diese war zum Zeitpunkt des Interviews seit ca. 15 Jahren im Frauen- und Gleichstellungsbereich und in der Geschlechterforschung tätig. Methodische Aspekte: Die Evaluation wurde mit Interviews und deren Auswertung realisiert. Personelle Ausstattung des Programms: Das Programm wurde auf der organisatorischen Ebene hauptsächlich von einer Person durchgeführt. Diese wurde in der logistischen Planung von einer Assistentin punktuell unterstützt.

136

3 Empirisches Vorgehen

Ausrichtung des Programms: Dieses Mentoring-Programm war ein universitäres Programm, welches durch eine Bund- und Länder-Mischfinanzierung realisiert wurde. Zielgruppe waren Wissenschaftlerinnen aus dem naturwissenschaftlichen Bereich (Studentinnen, Doktorandinnen und Habilitandinnen) die zu Karriereschritten motiviert werden sollten. Bausteine des Programms waren: One-to-One Mentoring, Seminare, Networking. Für die Teilnehmerinnen war das Programm kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein Jahr. Die Gesamtlaufzeit des Programms betrug drei Jahre. Programmevaluation 5 (Fall 5E, 5H): Zeitraum der Evaluation: Der Evaluationszeitraum betrug 15 Monate und fand begleitend statt. Vergabepraxis: Die Evaluation wurde nach einer Ausschreibung vergeben. Personelle Ausstattung der Evaluation: Die Evaluation wurde von einer einzelnen Person durchgeführt. Diese verfügte über mehrjährige Erfahrung im Bereich Gender Mainstreaming. Methodische Aspekte: Die Evaluation wurde mit Interviews und deren Auswertung realisiert. Personelle Ausstattung des Programms: Das Programm wurde auf der organisatorischen Ebene hauptsächlich von einer Person durchgeführt. Eine offizielle Projektleitung stand für Anfragen zur Verfügung. Das Programm wurde unterstützt von einer studentischen Hilfskraft, die ausschließlich für die interne Evaluation zuständig war. Ausrichtung des Programms: Dieses Mentoring-Programm war ein universitäres Programm. Zielgruppe waren Schülerinnen. Finanziert wurde das Programm durch das Ministerium für Wissenschaft und Kultur. Bausteine waren: EMentoring und Gruppenmentoring, Projekttage an der Universität, in Betrieben und Firmen, Seminare. Für die Teilnehmerinnen war das Programm kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein Jahr. Die Gesamtlaufzeit des Programms betrug drei Jahre. Das Projekt schloss sich an, an ein Vorgängerprojekt mit anderem Konzept, dass ebenfalls drei Jahre finanziert wurde. Programmevaluation 6 (Fall 6E, 6H): Zeitraum der Evaluation: Das Programm wurde von Beginn an extern evaluiert, d.h. die Evaluation fand seit 2004 statt. Vergabepraxis: Es gab keine Ausschreibung für die Evaluation. Diese wurde aufgrund von Erfahrungswerten mit den entsprechenden Evaluator(inn)en angeboten.

3.3 Beschreibung der untersuchten Programmevaluationen

137

Personelle Ausstattung der Evaluation: Hauptsächlich waren zwei Personen an der Evaluation beteiligt, wobei punktuell auch dritte und weitere Personen involviert waren. Die Evaluation war eines von mehreren Projekten. Methodische Aspekte: In einem Pre/Post Design wurden mittels Fragebögen evaluiert. Personelle Ausstattung des Programms: Das Programm ist mit einer Leitungsperson, einem/ einer Koordinator/in und einem/einer wissenschaftlichen Mitarbeiter/in ausgestattet. Ausrichtung des Programms: Dieses Mentoring-Programm ist ein gemeinsames Programm verschiedener Forschungszentren mit naturwissenschaftlichtechnischer Ausrichtung. Es richtet sich an Frauen aus der Wissenschaft und Verwaltung, die den Wunsch haben, in Führungspositionen tätig zu werden. Das Programm besteht aus den klassischen Bausteinen: One-to-One Mentoring, Seminare und Netzwerke. Für die Teilnehmerinnen war das Programm kostenlos. Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein Jahr. Programmevaluation 7 (Fall 7E, 7H): Zeitraum der Evaluation: Der Evaluationszeitraum betrug elf Monate. Vergabepraxis: Die Evaluation wurde nicht ausgeschrieben und aufgrund guter Erfahrungen der Auftraggebenden Institution an die Evaluationsdurchführende Institution vergeben. Personelle Ausstattung der Evaluation: Die Evaluation wurde von zwei Personen durchgeführt, die beide zeitgleich auch noch in andere Projekte involviert waren und über diverse Evaluationserfahrungen verfügen. Methodische Aspekte: Es handelte sich hier zum einen um die Evaluation eines Teilbereichs des Programms aber auch um die Analyse von Prozessen innerhalb des Gesamtprojekts. Methodisch wurde sowohl eine quantitative Datenanalyse, als auch eine Sichtung und Kommentierung der bislang intern durchgeführten Evaluationen und leitfadengestützte Interviews mit den am Projekt beteiligten Akteursgruppen und Partner(inne)n außerhalb des Projekts durchgeführt. Personelle Ausstattung des Programms: Das Programm war mit zwei Leitungspersonen und sechs wissenschaftlichen Mitarbeiter(inne)n ausgestattet. Ausrichtung des Programms: Dieses Mentoring-Programm ist ein Förderprogramm für Mädchen. Das Mentoringprogramm wurde an verschiedenen Standorten durchgeführt. Das Programm trägt sich durch eine Mischfinanzierung von verschiedenen Ministerien, durch Mittel aus dem Europäischen Sozialfonds und anderen. Baustein des Programms ist ein Gruppenmentoring zu spezifischen Themenkomplexen. Für die Teilnehmerinnen war das Programm kostenlos. Die Mentorinnen erhielten für ihre Arbeit eine Vergütung.

138

3 Empirisches Vorgehen

Laufzeit des Programms: Laufzeit eines Programmdurchgangs war jeweils ein halbes Jahr, wobei die Mentorinnen dem Programm in der Regel 2-5 Jahre zur Verfügung stehen. 3.4 Erhebungsinstrumente 3.4.1 Interviews Zur systematischen Erweiterung und Vervollständigung der Erkenntnismöglichkeiten wurden im Rahmen der Methodentriangulation und hier genauer der Triangulation zwischen verschiedenen Methoden („between methods“) (Denzin 1989; Fielding 1986) halbstandardisierte Konstrukt-Interviews mit einem standardisierten Fragebogen kombiniert. Halbstandardisierte Konstrukt-Interviews zur Rekonstruktion subjektiver Theorien (König/Volmer 1993) richten sich an Interviewpartner(innen), die über einen komplexen Wissensbestand zum Untersuchungsthema verfügen, der sowohl explizit-verfügbare als auch implizite Annahmen enthält (vgl. Flick et al. 2008). Das Verfahren wurde gewählt, da es gegenüber vielen anderen Interviewformen zahlreiche Alternativen hinsichtlich der Leitfadengestaltung bietet, z.B. freies Assoziieren (z.B. Welche Assoziationen fallen Ihnen ein, wenn Sie an Evaluation denken?), Fragestrategien zum Abbau von Barrieren (z.B. Was denken Sie, sehen andere Mentoringkoordinator(inn)en als problematisch bei Evaluationen an?), Konkretisierung (z.B. Können Sie mir ein Beispiel/Gegenbeispiel dafür nennen?), narrative Elemente (z.B. Erzählen Sie, wie Sie Evaluator(in) geworden sind!) u.a. und so die Generierung eines Maximums an Informationen verspricht (vgl. Friebertshäuser/Prengel 2003; König/Volmer 1993). Je Programm wurden jeweils zwei Leitfadeninterviews durchgeführt. Eines mit Evaluator(inn)en und eines mit der Person auf der Programmseite, die von den Evaluator(inn)en als deren Hauptinteraktionspartner(in) benannt wurde. Die Leitfadenentwicklung richtete sich an den in Kapitel 2 erarbeiteten Befunden aus. Pretestinterviews im Mentoringprogrammbereich waren geplant, aber nicht möglich, da dies die ohnehin geringe Anzahl extern evaluierter Programme für die vorliegende Studie, weiter minimiert hätte. Nach der Durchführung von Pretestinterviews (N=4) an zwei evaluierten Programmen, wovon eines im Bereich der Tabakprävention und ein zweites im allgemeinen Erwachsenenbildungsbereich anzusiedeln ist, wurde eine ursprüngliche Fassung des Leitfadens leicht modifiziert (z.B. Reihenfolge der Fragenkomplexe, einzelne Formulierungen). Die abgefragten Themenkomplexe im Interview waren (für Leitfaden vgl. Anhang A.3):

3.4 Erhebungsinstrumente

ƒ ƒ ƒ ƒ ƒ

139

Projekt-/Programmbeschreibung (eigene Darstellung, Konzeption, Finanzierung, Rahmenbedingungen) Evaluationsgeschehen und Nutzungen der Evaluation (Ablauf, Grund der Evaluation, Zufriedenheit, wahrgenommener Nutzen) Interaktionsgestaltung zwischen Programm und Evaluator(inn)en (Anzahl der Treffen, Vereinbarungen, Absprachen, Transparenz, Bilanz, evtl. Probleme und Umgang damit) Kontext der interviewten Person (Disziplinäre Herkunft, Grad der Autonomie in der Arbeit, Beurteilung des Engagement und der Würdigung des Jobs, Selbsteinschätzung als Führungsperson) Reflexion der Projekt-/Programmevaluation

Die Interviewdauer betrug jeweils 1–1,5 Stunden. Den Interviewkandidat(inn)en wurden Aufwandsentschädigungen gezahlt, die bei der Freien Universität Berlin beantragt wurden. Für die Interviews gilt, dass die Aussagen der beteiligten Personen möglicherweise identifiziert werden können. Aus diesem Grund wurde allen beteiligten Programmen, Projekten und Evaluationsteams und -agenturen eine Anonymisierung der Daten zugesichert. 3.4.2 BIP: Das Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung Das Ausbrechen aus der Terminologie unter Einbezug psychologischer Kenntnisse eröffnet neue Möglichkeiten der Messung und einen Zugang zur standardisierten Erfassung der Konstrukte und bedeutet somit, zumindest für den Bereich der sozialen Kompetenzen einen gewinnbringenden Zugang. Ein Gewinn an konzeptioneller Schärfe in Bezug auf das Konstrukt soziale Kompetenzen in der Evaluationsnutzungsforschung soll dabei nicht einen Verlust an Alltagsbezug bedeuten. Erfolgsversprechend scheint diese Gangart zu sein, eben weil eine Übersetzung in den Alltag von Evaluator(inn)en und potenziellen Nutzer(inne)n möglich scheint. Von den in Kapitel 2.3.1.4 (S. 95ff) beschriebenen neun Konstrukten, bei denen sich deutliche Schnittmengen bei mindestens zwei der im Fokus stehenden Sichtweisen zeigen, können sieben durch das Verfahren BIP (Hossiep/Paschen 2003) erhoben werden. Diese sind: Durchsetzungsstärke, Kontaktfähigkeit, Sensitivität, Soziabilität, Teamorientierung, Flexibilität und Handlungsorientierung.

140

3 Empirisches Vorgehen

Das Führungsverhalten73 und die Fähigkeit zur Perspektivübernahme (Empathie) werden durch das Instrument nicht berücksichtigt. Wie bereits diskutiert, gibt es verschiedenste Verfahren zur Erfassung von sozialen Kompetenzen. Für das Vorhaben wurden aus zwei Gründen Teile des deduktiv entwickelten Testverfahrens BIP: Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung, ausgewählt. Das Inventar fokussiert zum einen auf einzelne relevante Teilbereiche des Konstrukts, die in Kapitel 2 als bedeutsam für die Ausübung der Evaluator(inn)entätigkeit herausgearbeitet wurden. Zum zweiten erhebt es Selbsteinschätzungen der sozialen Kompetenzen vor dem Hintergrund der Berufstätigkeit, was für diese Untersuchung nicht nur wünschenswert sondern auch erforderlich war. Das BIP lässt sich von anderen Instrumenten vor allem durch seinen expliziten Berufsbezug abgrenzen und bietet somit im Vergleich das höchste Potential zur Begleitung der wissenschaftlichen Fragestellung dieser Arbeit. Ziel der Erhebung ist die standardisierte Erfassung des Selbstbildes der Interviewten in Hinblick auf persönlichkeitsorientierte Beschreibungsdimensionen aus dem Berufsleben.

73

Durch das BIP wird im Rahmen der beruflichen Orientierung die Führungsmotivation erhoben, die denjenigen Teil von Machtmotivation berücksichtigt, der sich auf direkte Einflussnahme bezüglich sozialer Vorgänge bezieht (Hossiep/Paschen 2003: 28). Das Führungsverhalten wird durch das genannte Instrument nicht gemessen.

141

3.4 Erhebungsinstrumente

Berufliche Orientierung - Leistungsmotivation - Gestaltungsmotivation - Führungsmotivation

Arbeitsverhalten - Gewissenhaftigkeit - Flexibilität - Handlungsorientierung

Persönliche Eignungsvoraussetzungen

Soziale Kompetenzen - Sensitivität - Kontaktfähigkeit - Soziabilität - Teamorientierung - Durchsetzungsstärke

Psychische Konstitution - Emotionale Stabilität - Belastbarkeit - Selbstbewusstsein

Abbildung 12: Die Dimensionen des BIP (Hossiep/Paschen 2003: 20) Die Messung der vier Dimensionsstrukturen des BIP erfolgt über 14 Skalen. Obwohl angeraten wird, das BIP immer möglichst vollständig durchzuführen (vgl. Hossiep/Paschen 2003: 50), wurden die Dimensionen “Berufliche Orientierung“ und “Psychische Konstitution“ der befragten Personen aus zwei Gründen nicht berücksichtigt: (1) diesen Dimensionen wird in den Kompetenzdiskussionen im Bereich Evaluation keine explizite Relevanz zugemessen, (2) eine Erhebung dieser Dimensionen hätte für die Interviewkandidaten einen erheblichen zeitlichen Mehraufwand bedeutet, der mit dem Nutzen für die Untersuchung nicht zu vereinbaren war. Die Reliabilitäten des Tests sprechen dafür, dass die Skalen des BIP inhaltlich relativ homogen sind und die Dimensionen mit zufriedenstellender Genauigkeit gemessen werden (vgl. ebd.: 30ff). Zusätzlich zu den Skalen Sensitivität, Kontaktfähigkeit, Soziabilität, Teamorientierung und Durchsetzungsstärke, die zu der Dimension soziale Kompetenzen gezählt werden, wurden aufgrund der Ergebnisse der theoretischen Abhandlung (vgl. Kapitel 2.3.1.2.1) zusätzlich die Konstrukte Flexibilität und Handlungsorientierung der Dimension Arbeitsverhalten berücksichtigt. Diese sieben, relevant erscheinende Teilbereiche des Konstrukts soziale Kompetenzen bzw. die hier verwendeten Skalen, lassen sich wie folgt beschreiben (vgl. ebd.):

142

3 Empirisches Vorgehen

Flexibilität (FL): Der Gegenstandsbereich dieser Skala ist auf die berufliche Flexibilität beschränkt und erfasst die Bereitschaft und Fähigkeit, sich auf veränderliche berufliche Bedingungen und wechselnde Situationen einzustellen. Handlungsorientierung (HO): Diese Skala erhebt die zeitliche Schnelligkeit und Aktivitätsaufnahme bis zur Umsetzung einer Handlung. Es lässt sich nicht ableiten, dass handlungsorientierte Personen besser oder zweckmäßiger handeln, sondern es wird lediglich eine Aussage darüber getroffen ob die betreffende Person eher in ihren Überlegungen verharrt oder nach einer Entscheidung unverzüglich aktiv wird. Sensitivität (SEN): Mit dieser Skala wird die Fähigkeit zur Wahrnehmung auch schwacher Signale im zwischenmenschlichen Bereich erhoben. Im Berufsalltag würde man von Einfühlungsvermögen sprechen. Kontaktfähigkeit (KO): Diese Skala erfasst wesentliche Aspekte des Aufbaus von zwischenmenschlichen Beziehungen in beruflichen Kontexten. Aspekte des Aufbaus, der Pflege und der Nutzung dieser Beziehungen werden ebenfalls berücksichtigt. Soziabilität (SOZ): Erfasst wird mit dieser Skala eine im sozialen Umgang freundliche und rücksichtsvolle Grundhaltung und der Wunsch nach harmonischen Beziehungen in Verbindung mit einer Anpassungsbereitschaft. Ziel ist vor allem die Vermeidung von Konflikten und Spannungen im Sinne eines ausgeprägten Harmoniebedürfnisses. Teamorientierung (TO): Mit dieser Skala wird das Interesse und die Bereitschaft, die eigene Person zugunsten der Zusammenarbeit in einem Team zurückzunehmen erfasst. Eine aktive Verantwortungsübernahme, sowie die Bereitschaft, Teamentscheidungen mitzutragen und zu unterstützen werden ebenfalls berücksichtigt. Durchsetzungsstärke (DU): Mit der Skala wird das Ausmaß der Bereitschaft erfasst, sich trotz Widerständen aktiv durchzusetzen und auch dann eigene Auffassungen zu verfolgen, wenn sich Schwierigkeiten ergeben. Eine Rückmeldung der Ergebnisse an alle Interviewkandidat(inn)en erfolgte in schriftlicher Form, dabei wurde sich an den Hinweisen zur Gestaltung des Rückmeldeprozesses orientiert (vgl. Hossiep et al. 2000)74.

74

Ein(e) Interviewpartner(in) wünschte explizit keine Rückmeldung.

3.5 Auswertungsmethoden

143

3.5 Auswertungsmethoden 3.5.1 Textdatenbanksystem und Testauswertung Die Auswertung der Interviewdaten erfolgte mit Hilfe der Software MaxQDA (vgl. Kelle 2008; Kuckartz 1999; Mayring 2002), die die Verwaltung und Auswertung des Datenmaterials ermöglichte. Die Analysematrix bestand entsprechend der theoretisch gewonnenen Erkenntnisse aus drei Dimensionen (Evaluationsnutzungen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale). Das Code-System war durch die theoretische Auseinandersetzung mit der Thematik in den Grundzügen bereits vor dem Codieren der Interviewtexte vorhanden und wurde induktiv auf der Indikatorenebene an Stellen weiterentwickelt. Durch eine Probecodierung mittels Intracoder-Reliabilität (gleiches Codierergebnis bei identischer Codiererin während zwei Codiervorängen) wurde das Kategoriensystem überprüft (hierzu auch 3.7 kritische Diskussion der Vorgehensweise). Diese Vorgehensweise bildete die Grundlagen für die anschließende deskriptive und statistische Auswertung. Die Auswertung des eingesetzten Fragebogens BIP erfolgte entsprechend der Kriterien der Entwickler des Verfahrens (Hossiep/Paschen 2003). Für die Normierung der Testergebnisse wurde die Normtabelle für berufstätige Fachund Führungskräfte herangezogen (ebd.: 133). 3.5.2 Fuzzy-Set Qualitative Comparative Analysis (fsQCA), Two-Step-Ansatz und Kalibrierung der Daten Kalibrierungen und die Verwendung kalibrierter Daten gehören zur gängigen Praxis in Disziplinen wie Physik, Chemie oder Astronomie und finden auch zunehmend in den Sozialwissenschaften und hier insbesondere in der Armutsforschung Anwendung (vgl. Schneider/Wagemann 2007: 180). Um die Auswertung mit Fuzzy-Set Qualitative Comparative Analysis (fsQCA) durchführen zu können, ist es notwendig, jedem Untersuchungsfall einen Wert für die Mitgliedschaft in dem interessierenden sozialwissenschaftlichen Konzept (z.B. Evaluationsnutzungen) zuzuordnen, d.h. ihn zu kalibrieren (vgl. ebd.: 179). So wird eine quantitative Abstufung qualitativer Konzepte erreicht (Ragin 2000: 154). Die Daten (in hier vorliegender Studie: Interview- und Fragebogendaten) werden durch eine theoriegeleitete und empirisch informierte Kalibrierung Werten zwischen 0 (absolute Nicht-Mitgliedschaft) und 1 (perfekte Mitgliedschaft) zugeordnet. Neben den beiden Endpunkten (0 und 1) der Fuzzy-Skala gibt es einen so genannten Indifferenzpunkt (0.5), an dem nicht sicher ist, ob der interessierende

144

3 Empirisches Vorgehen

Fall tendenziell der Mitgliedschaft oder der Nicht-Mitgliedschaft zuzurechnen ist (Ragin 2000: 157; 2008: 30). Die festgelegten Fuzzy-Werte sind dabei nicht als Wahrscheinlichkeit des Auftretens des zu messenden Konzepts zu interpretieren sondern zeigen, ob eine Bedingung oder ein Outcome (eher) vorliegt (Werte über 0.5) oder (eher) nicht vorhanden ist (Werte unter 0.5). Im Rahmen der deskriptiven Auswertung unter 4.1 wird die Umwandlung des Textmaterials in FuzzyWerte explizit gemacht (vgl. dazu auch Schneider/Wagemann 2010). Für die vorliegende Arbeit wurden für alle Bedingungen und Outcomes vier Abstufungen gewählt, die im Folgenden am Beispiel des Outcomes direkte Nutzungen exemplarisch dargestellt werden. Tabelle 6: Kalibrierung des Outcomes direkte Nutzungen Rohwertpunkte Kalibrierung Erläuterung 3-5 2 1 0

1.0 Perfekt vorhandene direkte Nutzung Eher vorhandene als nicht vorhandene direkte 0.7 Nutzung Eher nicht vorhandene als vorhandene direkte 0.3 Nutzung 0 Perfekt nicht vorhandene direkte Nutzung

Die hier vorgenommenen Kalibrierungen und die Informationsquellen, die zur Vergabe bei uneindeutigen Sachlagen herangezogen wurden, werden im Anhang C transparent gemacht. Jeder Fuzzy-Mitgliedschaftswert wird mit sprachlichen Qualifizierungen belegt (Ragin 2000: 156). Die Kernfrage bei der Vergabe von FuzzyMitgliedswerten stellt nach wie vor die Diskussion darüber dar, wie Forscher(innen) auf die Fuzzy-Werte kommen (Schneider/Wagemann 2007: 180) und wird in der Fachliteratur viel diskutiert; einen Einblick in die Diskussion bietet die kritische Diskussion der Vorgehensweise in Kapitel 3.7. Die kalibrierten Daten (Fragebogendaten, Interviewdaten) der einzelnen Programmevaluationen und deren beteiligten Personen werden unter Zuhilfenahme der fsQCA verglichen. Pionier der Fuzzy-Logik ist der Professor der University of California, Berkeley: Lotfi A. Zadeh (Zadeh 1965). Die Methode wurde in den 1980er Jahren vor allem von dem Soziologen Charles C. Ragin aufgegriffen (Ragin 1987) und seither von ihm und anderen kontinuierlich weiterentwickelt. Eine neuere Entwicklung ist der sogenannte Two-Step fsQCAAnsatz von Carsten Q. Schneider und Claudius Wagemann (2006, 2007). QCA wurde ursprünglich als Werkzeug entwickelt, um Fallorientierte Analysen zu formalisieren (Ragin/Rhioux 2004: 22). Der Fuzzy-Set Ansatz dient der

3.5 Auswertungsmethoden

145

Beurteilung von Veränderungen und Vielfältigkeit eines limitierten Sets von Fällen (Kvist 2007: 475). Zudem bietet fsQCA die für diese Fragestellung wichtige Eigenschaft, Inkohärenzen und Widersprüche in den Daten aufzudecken und erlaubt so, mehr über die Spezifik eines Falls zu lernen (Varone et al. 2006: 218). Bei der fsQCA handelt es sich um eine Methode bei der Fälle als Konfigurationen, d.h. ganzheitlich verstanden werden. Zudem ist eine Verbindung von intensiver Einzelfall-Analyse mit einem extensiven, breiter angelegten Vergleich nicht nur möglich sondern zur sinnvollen Interpretation auch erforderlich. Verschiedene Aspekte eines Falls werden in Relation zueinander und zu dem Ganzen, das sie formen gesehen. Die konventionelle quantitative variablenorientierte Forschung tendiere im Gegensatz dazu, Variablen als unabhängig voneinander (unter Kontrolle der Interaktionseffekte) zu betrachten (Kvist 2006: 179). Aus den genannten Gründen wird die Auswertungsmethode sowohl dem vorhandenen Datenmaterial als auch dem grundlegenden Forschungsinteresse dieser Arbeit gerecht. Fuzzy-Set QCA basiert auf der Analyse notwendiger und hinreichender Bedingungen in Bezug auf ein Outcome. Eine Bedingung kann als hinreichend (sufficient) in der Fuzzy-Set-Theorie gelten, wenn für alle untersuchten Fälle beobachtet wird, dass ihr Wert in Bedingung X kleiner oder gleich dem Wert in dem Outcome Y ist, formal ausgedrückt: Xi ” Yi (Schneider/Wagemann 2007: 203). In der Fuzzy-Set Theorie gilt eine Bedingung als notwendig (necessary), wenn die X-Werte der Untersuchungsfälle konsistent größer oder gleich dem Wert des Outcomes sind, formal ausgedrückt heißt das: Xi • Yi (ebd.: 199) bzw. eine notwendige Bedingung muss anwesend sein, damit das Outcome anwesend ist aber sie ist keine Garantie dafür, dass das Outcome anwesend ist (Ragin 2009: 109). Zur Bestimmung der Güte der fsQCA Lösungsterme werden das Konsistenzund das Abdeckungsmaß herangezogen. Vereinfacht ausgedrückt, bemisst das Konsistenzmaß, zu welchem Grad Sub-Sets die sowohl die Bedingung als auch das Outcome zeigen im Verhältnis zu Sub-Sets stehen, die nur die Bedingung aber nicht das Outcome zeigen. Formal lässt sich das folgendermaßen ausdrücken: ™(min(Xi, Yi)) / ™(Xi) (vgl. ebd.: 108). In der Fuzzy-Set-Theorie werden drei Abdeckungsmaße unterschieden: (1) Gesamtabdeckung (2) Rohabdeckung und (3) alleinige Abdeckung (siehe dazu Schneider/Wagemann 2007: 208ff). Die Analyse wird durch den fünf-schrittigen Fuzzy Truth-Table Algorithmus vervollständigt75. Die Auswertung erfolgte mit Hilfe der Software FSQCA 2.0.

75

Für eine detaillierte Beschreibung des Verfahrens vergleiche Rihoux/Ragin 2009; Schneider/ Wagemann 2007.

146

3 Empirisches Vorgehen

Exkurs: Abgrenzung von fsQCA zu Regressionstechniken Im folgenden Exkurs soll überblicksartig auf einige Gemeinsamkeiten und Unterschiede zwischen fsQCA und Regressionstechniken eingegangen werden, da die Darstellung der Daten und Ergebnisse sich ähneln aber dennoch sehr unterschiedlich in der Bedeutung sind und immer wieder Gegenstand von Diskussionen und Kritik gegenüber der Methode fsQCA sind (z.B. Lieberson 2004: 13f; Seawright 2004: 14ff). Die Grundannahmen, die fsQCA-Lösungsformeln und Regressionsgleichungen zugrunde liegen, sind verschiedene: erstere basieren auf Boolscher und zweitere auf linearer Algebra. Der Hauptunterschied zwischen fsQCA und herkömmlichen quantitativen Methoden aber liegt in der Sichtweise von Kausalität. Regressionstechniken beruhen auf einem Assoziationsmaß, bei dem die Asymmetrie zwischen hinreichender und notwendiger Kausalität nicht berücksichtigt wird, d.h. sie sind nicht geeignet hinreichende und notwendige Bedingungen adäquat zu erfassen (Schneider/Wagemann 2007: 77). Durch fsQCA gelingt es, eine so genannte äquifinale Kausalität zu modellieren, d.h. verschiedene alternative Lösungen, die einander nicht gegenseitig ausschließen, können zu einem Outcome führen oder anders formuliert: Das Outcome ist von verschiedenen Kausalkombinationen erzeugt worden (ebd.: 77f). Bei einer Regression werden indessen verschiedene Teileffekte zu einem gemeinsamen Effekt aufaddiert, d.h. es liegt ein unifinales Ergebnis vor (ebd.: 78). Die Darstellung des Abdeckungsmaßes in fsQCA weißt konzeptuelle Ähnlichkeiten zu der Bedeutung des Bestimmtheitsmaß R2 bei Regressionsanalysen auf. Trotz konzeptueller Parallelen muss es, je nach Fragestellung, nicht von Bedeutung sein, dass hohe Werte für das Abdeckungsmaß zu finden sind, da dann theoretisch interessante Verknüpfungen, die nicht auf viele Fälle zutreffen, vernachlässigt werden (Grofman/Schneider 2009: 667ff). Zudem soll auf die Unterschiede in der Interpretation von Streudiagrammen (x-y-Plots) hingewiesen werden. Es handelt sich bei fsQCA um asymmetrische Set-Beziehungen. Stellt man sich ein x-y-Plot mit einer Diagonalen vor, können die Datenpunkte im „oberen Dreieck“, d.h. oberhalb der Diagonalen als hinreichende Bedingung zwischen x und y und Datenpunkte im „unteren Dreieck“, d.h. unterhalb der Diagonalen als notwendige Bedingung zwischen x und y interpretiert werden, wobei explizit betont werden muss, dass die Hauptdiagonale keine Regressionslinie darstellt (Grofman/Schneider 2009: 668). Zusammenfassend eignet sich fsQCA zur Bestimmung kausaler Effekte einer bestimmten Bedingung, zur Analyse hinreichender und notwendiger Bedingungen und zur Identifizierung von komplexen Kombinationen von Bedingungen als Teil einer hinreichenden oder notwendigen Bedingung (Schneider/Wagemann 2007: 80f). Fuzzy-Set QCA erfasst dementsprechend auch so genannte INUS-Bedingungen („insufficient but necessary part of a condition which is itself unnecessary but sufficient for the result“) (Goertz 2003: 68). Regressionsanalysen eignen sich für die Untersuchung und Quantifizierung von Abhängigkeiten zwischen metrisch skalierten Variablen. Für die Grundgesamtheit wird postuliert, dass ein linearer Zusammenhang zwischen unabhängiger und abhängiger Variable besteht und dass dieser additiv von einer Zufallsvariable überlagert ist (Janssen/Laatz 2005: 405ff). Diese Vorgehensweise eignet sich eher für variablenorientierte und weniger für fallorientierte Forschungsansätze.

In der fsQC-Analyse werden Äquivalente Boolescher Operatoren verwendet (Negation [~], logisches UND [*] und logisches ODER [+]). Im Two-Step-Ansatz, der in der vorliegenden Analyse zum Einsatz kommt, werden distale (remote) und proximale (proximate) Bedingungen unterschieden. Der Hauptvorteil dieser Herangehensweise gegenüber der One-Step-Analyse mit

3.6 Operationalisierung der Komponenten des Untersuchungsmodells

147

fsQCA ist, dass ein Transfer des Problems der eingeschränkten empirischen Evidenz für alle logisch möglichen Kombinationen von Bedingungen in ein methodologisches Instrument vorgenommen wird (Schneider/Wagemann 2006). Dies wird deutlicher bei der Anwendung der Methodik in Kapitel 4.2.2. Diese Vorgehensweise basiert auf einer schrittweisen Formulierung und Testung von Hypothesen (ebd.). In einem ersten Schritt werden zunächst die distalen strukturellen Faktoren mit fsQCA analysiert. Das Resultat sind verschiedene Kombinationen von Bedingungen, die das Outcome möglich machen. Das Ziel des zweiten analytischen Schritts besteht darin die Kombinationen von proximalen Faktoren innerhalb des strukturell definierten Kontexts zu finden, die gemeinsam zu dem Outcome führen (Schneider/Wagemann 2006: 761). Die Ergebnisse der Two-Step-Anaylse und eine detailliertere Schilderung der Vorgehensweise werden in Kapitel 4.2.2 präsentiert. 3.6 Operationalisierung der Komponenten des Untersuchungsmodells Im Folgenden soll die Operationalisierung der einzenen Komponenten des Untersuchungsmodells (vgl. Abb. 11) vorgestellt werden. Zunächst soll kurz auf die im Folgenden verwendeten Begrifflichkeiten eingegangen werden. In der fsQCA-Terminologie (vgl. Kapitel 3.5.2) wird von Bedingungen und Konfigurationen gesprochen: es wird untersucht, wie unterschiedliche Kombinationen von Bedingungen in ein zu erklärendes Outcome münden (Ragin 2009). Jeder Fall stellt dabei eine Konfiguration aus Bedingungen und Outcome dar. Entsprechend der Fragestellung dieser Arbeit nach der Bedeutung von Interaktionsgestaltung und sozialen Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen, beinhaltet das Modell für die vorliegende Untersuchung als Outcome Evaluationsnutzungen und die beeinflussenden Bedingungen sind soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale. Als erstes wird auf die Operationalisierung des Outcome Evaluationsnutzungen eingegangen, anschließend werden die Bedingungen soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale in den Fokus genommen. Die Datengrundlage zur Erfassung der Evaluationsnutzungen lieferten Interviewdaten. Entsprechend des generierten metatheoretischen Nutzungsmodells (vgl. Abb. 8) wurden verschiedene Dimensionen des Outcome Evaluationsnutzungen bei der Befragung und Auswertung berücksichtigt. Im Zentrum des Interesses standen zeitliche, inhaltliche und personelle Aspekte von Evaluationsnutzungen (vgl. Kapitel 2.2.4).

148

3 Empirisches Vorgehen

Die zeitlichen und personellen Aspekte wurden vor allem in Form einer deskriptiven Auswertung berücksichtigt. Auf inhaltlicher Ebene der Evaluationsnutzungen wurden Aussagen zu direkten und indirekten Nutzungen unterschieden. Die Auswertung erfolgte hier sowohl deskriptiv als auch mittels fsQCA. Unter Einbezug des Nutzungsdiskurses wurden verschiedene Auswertungskategorien für die von den Interviewpartner(innen) wahrgenommenen Nutzungen generiert (vgl. Anhang C, Tabelle 25), diese sind (vgl. auch Kapitel 2.2 und 2.6): wahrgenommene direkte Nutzungen ƒ Inhaltliche Veränderungen aufgrund der Evaluation (vgl. Shadish et al. 1991; Rossi/Freeman 1993) ƒ Evaluation zu Legitimationszwecken (vgl. Johnson 1998; Clarke/Dawson 1999; Huberman 1987) ƒ Bestätigung von bereits Gewusstem durch die Evaluation (vgl. Alkin et al. 1979) ƒ Diskussion der Evaluationergebnisse (vgl. Cook/Pollard 1977) ƒ Netzwerkerweiterung als direkte (geplante) Nutzungsmöglichkeit der Evaluation (in Anlehnung an Fitzpatrick et al. 2004) wahrgenommene indirekte Nutzungen ƒ Netzwerkerweiterung/Kontakte (vgl. Forss et al. 2002) ƒ Wissenszuwachs durch Erfahrungsaustausch mit anderen Expert(inn)en (vgl. Forss et al. 2002) ƒ Sensibilisierung für ein bestimmtes Thema durch die Durchführung der Evaluation (vgl. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 1999) ƒ Wissenszuwachs für den Umgang mit Evaluationen (vgl. Forss et al. 2002) ƒ Motivationsanschub (vgl. Forss et al. 2002) ƒ Nutzung einzelner Ergebnisse oder Instrumente für andere Projekte (vgl. Forss et al. 2002) Der Interviewleitfaden war so gestaltet, dass Raum für narrative Schilderungen, und somit ein explorativer Zugang zu weiteren inhaltichen Aspekten von Nutzungen, gegeben war. Sowohl für direkte als auch indirekte Nutzungen wurde zur Vorbereitung der Auswertung ein Punktesystem entwickelt (hierzu auch siehe 3.7 kritische Diskussion der Vorgehensweise), wobei für jeden der oben genannten Aspekte von direkten und indirekten Nutzungen jeweils ein Punkt erreicht werden konnte. Die Punkteverteilung erfolgte dichotom. Die maximale Punktzahl für direkte Nutzungen beträgt dementsprechend fünf Punkte und für indirekte Nutzungen

3.6 Operationalisierung der Komponenten des Untersuchungsmodells

149

sechs Punkte. Punkte wurden nur vergeben, wenn die Interviewten auf Nachfrage mindestens ein Beispiel zur Unterstützung des jeweiligen Aspekts nennen konnten. Wurde beispielsweise eine inhaltliche Veränderung auf die Evaluation zurückgeführt und mit einem Beispiel belegt, dann wurde ein Punkt für die wahrgenommenen direkten Nutzungen vergeben. Für die Auswertung der Daten in fsQCA, wurde anhand der jeweiligen Punktzahl entschieden, ob Evaluationsnutzungen stattgefunden haben oder nicht (1.0 = perfekt vorhanden, 0.7= eher vorhanden als nicht vorhanden, 0.3= eher nicht vorhanden als vorhanden, 0= perfekt nicht vorhanden). Der Kalibrierungsschlüssel für direkte und indirekte Nutzungen findet sich im Anhang C.1 (Tabellen 26 und 27). Im Folgenden wird die Operationalisierung der Bedingungen beschrieben. Die Datengrundlage zur Erfassung der sozialen Kompetenzen der Hauptinteraktionspartner(innen) der untersuchten Evaluationen liefert der standardisierte Fragebogen BIP (Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung) (vgl. Kapitel 3.4.2; Hossiep/Paschen 2003). In das Untersuchungsmodell wurden sieben soziale Kompetenzbereiche integriert, diese sind: ƒ ƒ ƒ ƒ ƒ ƒ ƒ

Flexibilität (FL) (vgl. z.B. Alkin 1985; Hossiep/Paschen 2003; Johnson 1998; Stamm 2003a) Handlungsorientierung (HO) (vgl. z.B. Alkin et al. 1979, 1985; Hossiep/Paschen 2003; Johnson 1998) Sensitivität (SEN) (vgl. z.B. Galinsky/Mussweiler 2001; Hossiep/Paschen 2003; Leviton/Hughes 1981; Patton 1997) Kontaktfähigkeit (KO) (vgl. z.B. Alkin 1985; DeGEval 2008b; Hossiep/Paschen 2003; Patton 1997) Soziabilität (SOZ) (vgl. z.B. DeGEval 2008b; Hossiep/Paschen 2003; Kanning 2002; Patton 1997) Teamorientierung (TO) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997) Durchsetzungsstärke (DU) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997).

Für die „One-Step Fuzzy-Set-Analyse“ (vgl. Kapitel 4.2.1) war zunächst eine Reduktion der Skalen, die das Konstrukt soziale Kompetenzen beschreiben, essentiell. Dies wurde umgesetzt durch die Betrachtung der Korrelationen und Reliabilitäten zwischen den einzelnen Skalen. Die oben genannten sieben Variablen konnten so zu zwei Bedingungen zusammengefasst werden76: soziale Kompetenzen 1: “SOC1”: soziale Kompetenzen 2: “SOC2”:

76

HO/SEN/TO (Cronbachs Į: .77) KO/DU/FL/SOZ (Cronbachs Į: .72)

Teamorientierung (TO) und Soziabilität (SOZ) korrelieren negativ mit den anderen Variablen und wurden dementsprechend umkodiert.

150

3 Empirisches Vorgehen

Auf die Durchführung von Verfahren wie z.B. einer Faktorenanalyse wurde angesicht der geringen Fallzahl (N=14) verzichtet. Für die „Two-Step Fuzzy-SetAnalyse“ (vgl. Kapitel 4.2.2) wurden alle sieben Teilbedingungen (der Bedingung soziale Kompetenzen) als distale Faktoren berücksichtigt. Ein Problem stellt die Varianz bei einigen der Teilbedingungen dar. Für Sensitivität (SEN), Kontaktfähigkeit (KO) und Durchsetzungsstärke (DU) ist diese bei den vorliegenden Daten eher gering. Insbesondere bei der Skala Sensibilität zeigen alle Personen (mit einer Ausnahme) durchschnittliche oder überdurchschnittliche Werte. Anhand der erreichten Normstufe wurde entschieden ob die jeweilige Kompetenz überdurchschnittlich vorhanden (1.0), eher überdurchschnittlich als unterdurchschnittlich vorhanden (0.7), eher unterdurchschnittlich als überdurchschnittlich vorhanden (0.3) oder unterdurchschnittlich vorhanden (0) war. Der Kalibrierungsschlüssel für alle hier untersuchten sozialen Kompetenzen findet sich im Anhang C.2 (Tabellen 28). Die Datengrundlage zur Erfassung der Interaktionsgestaltung lieferten Interviewdaten. Entsprechend des Untersuchungsmodells wurden folgende Kriterien unterschieden: ƒ ƒ ƒ ƒ

Verfügbarkeit (Sanders 2006) Wertschätzende Grundhaltung (Sanders 2006) Gestaltung der Kommunikation (Cousins/ Leithwood 1993; Mertens 1994; Sanders 2006) Zufriedenheit mit der Interaktionsgestaltung insgesamt (eplorativer Zugang)

Da Individuen die Verhaltensangebote anderer Personen nicht unverzerrt wahrnehmen, sondern eher mit unvollständigen, selegierten oder auch fehlerhaften Verhaltenseindrücken operieren (Müller 1985: 31), wurde darauf verzichtet für jede der oben genannten Kategorien einen Wert pro Programm zu generieren. Vielmehr wurden Daten auf individueller Ebene ermittelt. Dies ermöglicht auch die Betrachtung des Interaktionsverhältnisses, d.h. die Gegenüberstellung der Einschätzungen der Hauptineraktionspartner(innen). Für die Interaktionsgestaltung wurde ebenfalls ein Punktesystem entwickelt, wobei maximal vier Punkte, d.h. für jeden Themenkomplex ein Punkt, erreicht werden konnten. Für die Handhabung der Daten in fsQCA, wurde auch hier entschieden, ob die Interaktionsgestaltung günstig gestaltet worden ist (1.0= perfekt positive Beurteilung der Interaktionsgestaltung; 0.7= eher positive als negative Beurteilung der Interaktionsgestaltung; 0.3= eher negative als positive Beurteilung der Interaktionsgestaltung; 0= perfekt negative Beurteilung der Interaktionsgestaltung). Im Gegensatz zu allen anderen Kalibrierungen wurde hier einer der genannten Teilaspekte von Interaktionsgestaltung gewichtet. Diese Sonderregelung wird ausführlich im

3.6 Operationalisierung der Komponenten des Untersuchungsmodells

151

folgenden Kapitel (vgl. Kapitel 3.7, Abschnitt b) diskutiert. Der Kalibrierungsschlüssel für die Bedingung Interationsgestaltung findet sich im Anhang C.3 (Tabelle 30). Die Datengrundlage zur Erfassung der Umfeld- und Prozessmerkmale lieferten ein Kurzfragebogen (vgl. Anhang A.2) und Interviewdaten (für Leitfaden vgl. Anhang A.3). In Abschnitt 2.3.3 wurde ausführlich auf die Bedingung Umfeldund Prozessmerkmale einer Evaluation und ihre Bedeutung für Evaluationsnutzungen eingegangen. Diese Bedingung spiegelt wieder, wie günstig bzw. ungünstig sich die Umfeld- und Prozessmerkmale im Sinne von Evaluationsnutzung gestalteten. Übereinstimmend mit den gängigen Modellen konnten für vorliegende Fälle folgende vier Schwerpunkte generiert werden, dabei war die Einhaltung der Genauigkeitsstandards (Wissenschaftlichkeit der Methodik) eine Voraussetzung für die Berücksichtigung einer Evaluation für diese Untersuchung: ƒ ƒ ƒ ƒ

Integration von Nutzungsprozessen (vgl. z.B. Huberman/Cox 1990; Hannum/Martineau 2008; Reisner et al. 1982; Stamm 2003a) Orientierung an den Informationsbedürfnissen (vgl. z.B. Balthasar 2007; Patton 1997; Sanders 2006) Einhaltung formaler Erfordernisse (vgl. z.B. Alkin 1975; Sanders 2006) Politisches Klima (vgl. z.B. Weiss 1986a, 1998)

Für die Umfeld-und Prozessmerkmale wurde wie für die anderen Bedingungen ein Punktesystem entwickelt, wobei maximal vier Punkte, d.h. für jeden Themenkomplex ein Punkt, erreicht werden konnten. Für die Handhabung der Daten in fsQCA, wurde auch hier entschieden, ob die Umfeld - und Prozessmerkmale im Sinne von Nutzungen perfekt günstig (1.0); eher günstig als nicht günstig (0.7); eher nicht günstig als günstig (0.3) oder perfekt nicht günstig (0) waren. Der Kalibrierungsschlüssel für die Bedingung Umfeld- und Prozessmerkmale findet sich im Anhang C.4 (Tabelle 32). In Tabelle 7 findet sich eine Übersicht über das Outcome und die Bedingungen, die Kennzeichnungen (Kennung) und Kalibrierungen, die für die Analyse und ihre Darstellung verwendet werden.

152

3 Empirisches Vorgehen

Tabelle 7: Übersicht über das Outcome und die Bedingungen und deren Kalibrierung Kennung

Kalibrierung

Outcome: Wahrgenommene direkte EvaluUSEDIR ationsnutzungen Inhaltliche Veränderungen Legitimationszwecke Bestätigung von bereits Gewusstem Diskussion der Ergebnisse Netzwerkerweiterung (geplant)

Wahrgenommene indirekte EvaUSEIND luationsnutzungen Netzwerkerweiterung Wissenszuwachs durch Erfahrungsaustausch Sensibilisierung für best. Themen Handlungswissen Evaluation Motivationsanschub Weiternutzung in anderen Kontexten

Bedingungen: Soziale Kompetenzen Handlungsorientierung (HO) Sensitivität (SEN) Teamorientierung (TO) Kontaktfähigkeit (KO) Durchsetzungsstärke (DU) Flexibilität (FL) Soziabilität (SOZ)

Fortsetzung oben

SOC1 SOC2

1.0= perfekt vorhanden 0.7= eher vorhanden als nicht vorhanden 0.3= eher nicht vorhanden als vorhanden 0 = perfekt nicht vorhanden

1.0= überdurchschnittlich vorhanden 0.7= eher überdurchschnittich als unterdurchschnittlich vorhanden 0.3= eher unterdurchschnittlich als überdurchschnittlich vorhanden 0 = unterdurchschnittlich vorhanden

153

3.7 Kritische Diskussion der Vorgehensweise

Soziale Interaktionsgestaltung

INACT

Verfügbarkeit Wertschätzende Grundhaltung Gestaltung der Kommunikation Zufriedenheit mit der Interaktionsgestaltung insg.

Umfeld- und Prozessmerkmale

UMALL

Integration von Nutzungsprozessen Orientierung an Informationsbedürfnissen Einhaltung formaler Erfordernisse Politisches Klima

1.0= perfekt positive Beurteilung 0.7= eher positive als negative Beurteilung 0.3= eher negative als positive Beurteilung 0 = perfekt negative Beurteilung 1.0= 0.7= 0.3= 0 =

perfekt günstig eher günstig als nicht günstig eher nicht günstig als günstig perfekt nicht günstig

Um eine sinnvolle fsQC-Analyse durchzuführen muss sich im Fallvergleich auf wenige Bedingungen beschränkt werden; zudem wird die Anwendung der Methode insbesondere für Studien mit kleiner Fallzahl empfohlen (Amenta/Poulsen 1994: 50-52). Diesen Forderungen wird in vorliegender Untersuchung sowohl durch die Auswahl der Bedingungen als auch mit der Anzahl der untersuchten Fälle entsprochen. 3.7 Kritische Diskussion der Vorgehensweise In diesem Kapitel werden folgende methodische Aspekte der vorliegenden Arbeit kritisch adressiert: a. b. c. d. e.

Erkennung von Nutzungen Zuordnung von Fuzzy-Mitgliedschaftswerten Zuordnung empirischer Sachverhalte zu „sozialen Kompetenzen“ Auswahl der Interviewpartner(innen) Fehlende Intercoderreliabilität

a. Ein generelles Problem, welches sowohl die Interviewführung selbst als auch deren Auswertung betrifft, ist die Herausforderung, zu erkennen, dass bzw. ob eine Nutzung der Evaluationsergebnisse stattgefunden hat (Leviton et al. 1981: 532f). Geschuldet ist dies der Tatsache, dass Evaluationsergebnisse vielfach unbewusst gebraucht werden, denn Entscheidungen wachsen und werden nicht gefällt (Weiss 1986b) und werden dadurch häufig nicht als unmittelbare Folge der Evaluation wahrgenommen. Für diese Arbeit wurde der gleiche Ansatz wie von Stamm (2003a) und Balthasar (2007) gewählt, nach dem Verwendung registriert wird, wenn sie von den Akteuren und Verantwortlichen in der Praxis als

154

3 Empirisches Vorgehen

solche dargestellt wurde, das schließt auch die bewusste Entscheidung aufgrund der Evaluationsergebnisse nichts zu unternehmen oder zu verändern, ein. Darüber hinaus wurde ein Nutzungsmodell generiert und erprobt, das keine explizite Zuordnung zu den herkömmlichen vier Nutzungstypen beinhaltet, weil Evaluationen selten nur symbolisch, konzeptionell, instrumentell oder prozessbezogenen genutzt werden und die Grenzen zwischen den Begrifflichkeiten unscharf verlaufen (vgl. Stamm 2003a). Des Weiteren muss darauf hingewiesen werden, dass vier der untersuchten Projekte so angelegt waren, dass die Laufzeit und zukünftige Finanzierung unklar waren und dass dadurch kaum ein Blick für längerfristige und tiefgreifende Implementierungen und Umstrukturierungen gegeben war. Es kann davon ausgegangen werden, dass zwischen dem Abschluss einer Evaluation und der Verwendung der Ergebnisse in aller Regel einige Zeit verstreicht (Leviton/Hughes 1981). Diese Zeit war für vier der befragten Projekte kaum als Ressource vorhanden. Die Motivation für die Nutzungen von Evaluationsergebnissen ist bei der Diskrepanz zwischen der Forderung nach Evaluation mit mittel- bis langfristigen Einschätzungen und Empfehlungen einerseits und Förderperioden von bis zu drei Jahren andererseits fraglich und stellt ein Problem für Evaluator(inn)en und Programmbetreiber(innen) dar. Bei der Auswahl der Programme wurde darauf geachtet, dass die Evaluation zwischen 2004-2006 abgeschlossen war, so dass bei der Befragung ein minimaler Puffer von einem Jahr für eventuelle Nutzungen von Evaluationsergebnissen gegeben war. Daneben wurde dem beschriebenen Umstand dadurch Rechnung getragen, dass die Laufzeit bei der Analyse der Daten als Teilbereich der „Umfeld- und Prozessmerkmale“ berücksichtigt wurde. b. Fuzzy-Werte stellen forschungsimmanente und keine allgemeinen Indikatoren für ein Konzept dar, d.h. sie sind abhängig vom Konzept und Forschungskontext (Forschungsfrage, zugrunde liegende Theorien, Fallauswahl) der Untersuchung (vgl. Schneider/Wagemann 2007: 182). Die Entwicklung eines Punktesystems, wie in vorliegender Arbeit, und die Übersetzung dieses Systems in Fuzzy-Werte ist sicherlich nur ein Weg von vielen gangbaren. Insbesondere die Zuordnung von Fuzzy Mitgliedschaftswerten zum Set der Nutzungen und die Entscheidung, ob Nutzungen eher stattgefunden haben oder eher nicht stattgefunden haben (zwischen den Fuzzy-Werten 0.3 und 0.7), gestaltete sich in einigen Fällen schwierig. Es wurde hierbei nicht mechanisch vorgegangen sondern von Fall zu Fall abgewogen. Durch die für diese Untersuchung gewählte Vorgehensweise werden vielseitige Nutzungen präferiert, d.h. Evaluationen die viele verschiedene Kategorien von Nutzungen bedienen, werden durch das Punktesystem belohnt, d.h. niedrige Werte für Evaluationsnutzungen bedeuten, dass die Evaluationsergebnisse eher einseitig genutzt wurden. Der Prozess aller vorgenommenen Ka-

3.7 Kritische Diskussion der Vorgehensweise

155

librierungen wird durch die nachfolgenden Kapitel und vor allem auch durch die Auflistungen im Anhang C transparent gemacht. Dargestellt werden sollen an dieser Stelle exemplarisch die Schwierigkeiten und auch die getroffene Sonderregelung bei der Kalibrierung der Interaktionsgestaltung. Als Ansatzpunkt für die Untersuchung der Interaktionsgestaltung wurden zunächst einschlägige Referenzstudien analysiert, mit dem Ergebnis, dass darüber, wie eine adäquate Analyse von Interaktionsphänomenen geleistet werden kann nicht nur Uneinigkeit sondern auch ein Forschungsdefizit herrscht (vgl. z.B. Forgas 1995; Herrle 2007; Kanning 2002; Müller 1985; Seyfried 1995a). Daraufhin wurde zur Beurteilung der Interaktionsgestaltung bei den untersuchten Evaluationen zunächst ein Minimalset auf Basis der Standards des Joint Committee (Sanders 2006) als Raster zusammengestellt; dieses beinhaltet Einschätzungen zur (1) Verfügbarkeit, (2) wertschätzenden Grundhaltung und (3) Gestaltung der Kommunikation. Da davon ausgegangen werden kann, dass diese drei Kriterien bei weitem kein vollständiges Bild der stattgefundenen Interaktion widerspiegeln, wurden alle Interviewpartner(innen) gebeten ergänzend eine (4) Gesamteinschätzung zur Zufriedenheit mit der Interaktionsgestaltung vorzunehmen. Die Beurteilung der Zufriedenheit mit der Interaktionsgestaltung insgesamt wurde aufgenommen, um (individuelle) Entscheidungen zur Beurteilung der Interaktionsgestaltung zu berücksichtigen, die nicht durch die anderen drei Bedingungen abgedeckt werden. Dadurch dass diese Bedingung (Zufriedenheit mit der Interaktionsgestaltung insgesamt) im Grunde unspezifisch mehrere Teilaspekte das Gesamtkonstrukt abbildet, musste für diesen Ausnahmefall eine Gewichtung für letztere Bedingung vorgenommen werden. Aus diesem Grund kommt dieser Bedingung eine Sonderstellung bei der Kalibrierung der Daten zu. Waren alle vier Bedingungen erfüllt, erfolgte eine Kalibrierung mit 1.0 (perfekt positive Beurteilung der Interaktionsgestaltung). Wurden drei Bedingungen erfüllt und war eine davon Zufriedenheit mit der Interaktionsgestaltung insgesamt, erfolgte eine Kalibrierung mit 0.7 (eher positive als negative Beurteilung der Interaktionsgestaltung). Waren dagegen drei oder zwei Bedingungen erfüllt und darunter war nicht Zufriedenheit mit der Interaktionsgestaltung insgesamt, dann wurde die Kalibrierung 0.3 (eher negative als positive Beurteilung der Interaktionsgestaltung) vergeben. Waren keine oder nur eine Bedingung erfüllt wurde mit 0 (perfekt negative Beurteilung der Interaktionsgestaltung) vergeben. Waren die Befragten insgesamt mit der Interaktionsgestaltung zufrieden, zeigte sich auch eine Zufriedenheit in mindestens einer anderen Bedingung. c. Das unscharf definierte Konstrukt der „sozialen Kompetenzen“ macht die Zuordnung empirischer Sachverhalte aus den Interviews zu theoretischen Kategorien schwierig, da die verschiedenen Kompetenzen deutlich auf verschiedenen

156

3 Empirisches Vorgehen

analytischen Ebenen liegen und sich sogar teilweise bedingen. Die einzelnen Subkategorien des Konstrukts sind hochgradig interdependent und je nach Situation ist die Verflechtung der Kriterien untereinander sehr stark. Dem wurde durch die Kombination eines halbstandardisierten Interviews mit dem standardisierten Fragebogen BIP (Hossiep/Paschen 2003) im Rahmen der Methodentriangulation begegnet. Die Gütekriterien des BIP weisen das Testverfahren als reliabel und valide aus. Die Testskalen des BIP korrelieren mit den entsprechenden Testskalen anderer Fragebögen (z.B. NEO-FFI, EPI), was für eine hohe Konstruktvalidität spricht (vgl. ebd.). d. Überraschender Weise wird die Frage, wer am besten über die Verwendung von Evaluation Auskunft geben kann, selten diskutiert (Balthasar 2007). Weiss et al. (2005) haben für ihre Fallanalyse durch ein Schneeballverfahren mögliche Nutzende identifiziert und befragt. Für die vorliegende Untersuchung konnte dieser Zugang konsequent umgesetzt werden. Durch eine Vorab-Befragung via Fragebogen wurde(n) die Person(en) identifiziert, die am besten über den Verlauf und die Verwendung der durchgeführten Evaluation Auskunft geben konnte(n). Erleichtert wurde die Vorgehensweise dadurch, dass in den befragten Förderprogrammen üblicherweise nur wenige Personen involviert waren. Es steht jedoch außer Zweifel, dass die befragten Personen nicht über alle Details der Verwendung der Evaluationsergebnisse und der Interaktionen zwischen Programm- bzw. Projektebene und Evaluation bzw. evaluationsbeauftragender Institution Auskunft geben konnten. Erschwert wird die Interpretation der Ergebnisse zudem dadurch, dass die Evaluationsansprechpartner(innen) auf der Programmbzw. Projektseite in allen Fällen stark in das evaluierte Programm involviert waren. In den hier untersuchten Evaluationen war es so, dass ein(e) Hauptinteraktionspartner(in) unproblematisch benannt werden konnte, d. h., es war eindeutig für die Beteiligten wer Ansprechpartner(in) ist. Es konnte dementsprechend keine Diffusion von Verantwortung angeführt werden. e. Das entwickelte Code-System zur Codierung der Interviewtexte wurde durch eine Probecodierung mittels Intracoder-Reliabilität (gleiches Codierergebnis bei identischer Codiererin während zwei Codiervorgängen) überprüft. Das CodeSystem (mit entsprechenden Ankerbeispielen) wurde zusätzlich im Rahmen von Fachdiskussionen abgestimmt. Eine optimalere Vorgehensweise wäre jedoch eine Codierung der Interviewtexte von zwei verschiedenen Personen zur Gewährleistung der Intercoderreliabilität gewesen. Abschließend soll angemerkt werden, dass das Forschungsinteresse dieser Arbeit spezifisch auf die sozialen Kompetenzen von Evaluationsdurchführenden und –

3.7 Kritische Diskussion der Vorgehensweise

157

beteiligten und die Interaktionsebene bei Programmevaluationen im Zusammenhang mit Evaluationsnutzungen fokussiert ist. Die limitierte Zulässigkeit der Aussagen, in Bezug auf die Generalisierbarkeit der Ergebnisse, liegt bei so einer spezifischen Fragestellung und der relativ kleinen Fallzahl auf der Hand.

4.1 Deskriptive Auswertung der Fallstudien

159

4 Auswertung

Die Datengrundlage für die im Folgenden präsentierten Analysen bilden die Befragungen von 14 Personen (Fälle): Insgesamt wurden sieben Programme und deren Evaluationen untersucht, wobei jeweils der/die Evaluator(in) und dessen/deren Hauptinteraktionspartner(in) befragt wurden, d.h. pro Programm und Evaluation jeweils zwei Personen. Im Folgenden wird unterschieden zwischen Evaluator(inn)en (E) und deren Hauptinteraktionspartner(inne)n (H). Letztere waren von ihrem Tätigkeitsprofil entweder Programmkoordinator(inn)en oder Programmleitungen, also in allen Fällen Umsetzungsverantwortliche des jeweiligen Programms. Nachfolgend werden unter 4.1 zunächst die Ergebnisse der deskriptiven Auswertung präsentiert. Außerdem enthält dieses Kapitel in Vorbereitung auf die Fuzzy-Set-Analyse (vgl. Kapitel 4.2) die Angaben zur 4-stufigen theorieinformierten Kalibrierung der Daten (vgl dazu Anhang C). Abschließend werden alle empirischen Ergebnisse in einer Zusammenfassung unter Rückbezug auf den bereits diskutierten Forschungsstand präsentiert. 4.1 Deskriptive Auswertung der Fallstudien Evaluationsnutzungen sind in vorliegender Untersuchung, wie im Kapitel 2.6 beschrieben, das interessierende Outcome. Daher erfolgt zunächst eine Darstellung der zeitlichen und inhaltlichen Dimensionen von Nutzungen, welche im Rahmen dieser Studie identifiziert werden konnen. Anschließend wird erörtert, wer (personelle Dimension) innerhalb der untersuchten Programme jeweils von der Evaluation profitiert. Weiterhin werden soziale Kompetenzen, soziale Interaktionsgestaltung und die Umfeld- und Prozessmerkmale als zentrale Bedingungen deskriptiv dargestellt. In einer zusammenfassenden Darstellung werden abschließend die wichtigsten Befunde herausgestellt.

M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_5, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

160

4 Auswertung

4.1.1 Zeitliche und Inhaltliche Dimensionen von Nutzungen Wie in Kapitel 2.2.4 zusammengefasst, können Nutzungen, d.h. Veränderungen im Denken und/oder Handeln oder die Bekräftigungen der bereits bestehenden Meinung, über verschiedene Pfade erkundet werden. Eine Verbindung zwischen der Evaluation und deren Nutzungen wird in vorliegender Untersuchung dann hergestellt, wenn die Beteiligten sie selbst auch herstellen. Wenn im Folgenden von Nutzungen die Rede ist, sind dementsprechend wahrgenommene Nutzungen gemeint. Die deskriptive Analyse der Interviewdaten zeigt, dass eine hohe Variabilität und Vielfalt von Nutzungen von Evaluationen in den untersuchten Programmevaluationen stattgefunden hat. Dort, wo Evaluationen sehr prozessorientiert verlaufen sind (Programm 2), wurde hauptsächlich Transferwissen generiert, das kontinuierlich integriert und umgesetzt wurde. Bei Evaluationen, bei denen wenig Interaktion und Rückmeldung während des Prozess stattfand (Programme 1,3,4,5,6) und wo der Fokus auf dem Abschlussbericht lag, zeigten sich Nutzungen eher als Folge der Evaluation. Die beschriebenen Nutzungen wurden nicht gewichtet. Folgende Tabelle zeigt direkte und indirekte Nutzungen in der Übersicht. Die Kriterien und Unterscheidungen von direkten und indirekten Nutzungen sind in Kapitel 2.2.4 erläutert. Tabelle 8: Übersicht über Häufigkeiten der Nennungen für Nutzungen (E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) ZeitÈ Inhalt Æ Person È

Programm

Prozess 1 Folge Prozess 2 Folge Prozess 3 Folge

E H E H E H E H E H E H

Direkt

Indirekt

Gesamt

0 0 1 2 2 2 0 1 0 1 1 1

0 0 1 1 3 0 1 0 1 1 0 0

0 5 7 2 3 2

161

4.1 Deskriptive Auswertung der Fallstudien

Prozess 4 Folge Prozess 5 Folge Prozess 6 Folge Prozess 7 Folge Gesamt

E H E H E H E H E H E H E H E H

0 0 1 0 0 0 1 0 0 0 1 3 0 0 3 2 22

0 0 1 0 0 2 1 0 0 0 1 0 0 0 1 1 15

0 2 2 2 0 5 0 7 37

Insbesondere zwei Dinge fallen zunächst auf: Es wurden mehr direkte als indirekte Nutzungen benannt. Vom zeitlichen Verlauf her gesehen, fanden die Nutzungen eher in Folge als im Prozess der Evaluation statt. In den nachfolgenden Kapiteln wird detaillierter auf die Hintergründe der in Tabelle 8 präsentierten Daten eingegangen. 4.1.1.1 Direkte Nutzungen als Folge und im Prozess von Evaluationen Zu direkten Nutzungen zählen, entsprechend des theoretischen Diskurses, folgende fünf Bereiche: a. b. c. d. e.

Inhaltliche Veränderungen aufgrund der Evaluation (vgl. Shadish et al. 1991; Rossi/Freeman 1993) Evaluation zu Legitimationszwecken (vgl. Johnson 1998; Clarke/Dawson 1999; Huberman 1987) Bestätigung von bereits Gewusstem durch die Evaluation (vgl. Alkin et al. 1979) Diskussion der Evaluationergebnisse (vgl. Cook/Pollard 1977) Netzwerkerweiterung als direkte (geplante) Nutzungsmöglichkeit der Evaluation (in Anlehnung an Fitzpatrick et al. 2004)

Insgesamt wurden, wie bereits erwähnt, mehr direkte Nutzungen (N=22) benannt als indirekte (N=15). Diese wurden von den Befragten eher in Folge der Evaluation (N=17) als im Prozess (N=5) verortet, wobei hier als Korrektiv geltend ge-

162

4 Auswertung

macht werden muss, dass lediglich eine der untersuchten Evaluationen (Programm 2) explizit prozessorientiert angelegt war. Evaluator(inn)en nahmen weniger direkte Nutzungen (N=10) als ihre Hauptinteraktionspartner(innen) (N=12) wahr. Abgesehen von der Netzwerkerweiterung, von der die Evaluator(inn)en in Programm 2 direkt profitierten, profitieren vor allem die evaluierten Programme direkt von der Evaluation. Im Folgenden werden die direkten Nutzungen näher erläutert und durch Beispiele aus den geführten Interviews veranschaulicht. a. Inhaltliche Veränderungen am Programm wurden in fünf von sieben durchgeführten Evaluationen (1,2,3,6,7) aufgrund der Evaluationsergebnisse vorgenommen. Insbesondere die Hauptinteraktionspartner(innen) beschrieben diese Form von Nutzungen. Sie schilderten die Vorgehensweise folgendermaßen 77: „Die rückgemeldeten [Evaluations-] Ergebnisse werden im Programmverlauf berücksichtigt (…). Bestimmte Sachen [im Programm] müssen gekürzt werden, verlängert werden. Hier muss ein größerer Schwerpunkt drauf gelegt werden, da ist die Einführung zu kurz, da ist die Gruppe zu unhomogen usw. (2H, 36).“

und „Ich war an einer Stelle [der Evaluation] sehr überrascht, dass von den Mentoren kritisiert wurde, dass sie so oft kommen mussten und die [Evaluator(inn)en] hatten dann Alternativen vorgeschlagen, die wir übernommen haben… (6H, 41).“

b. Zudem wurde in vier Programmen (2,3,6,7) hervorgehoben, dass die Evaluation als Kontrollinstrument für die Sponsoren, Investoren bzw. Förderer legitimierenden Nutzen hatte. Im Programm 3 betonten dies beispielsweise sowohl Evaluator(in) als auch Hauptinteraktionspartner(in): „[Die] Evaluation wird auch zur Qualitätssicherung und Legitimierung genutzt, sie ist also auch ein Kontrollinstrument (3E, 13).“

und „Das ist Vorgabe (…) vom Fördermittelgeber. Es kann nicht sein, dass das Geld in irgendwelche Projekte geht und das war dann was Schönes gewesen. Man will ja

77

Die Quellenangaben für die Zitate sind wie folgt zu lesen: Die erste Zahl steht für die Fallnummer, E kennzeichnet die Aussage von Evaluator(inn)en und H die von Hauptinteraktionspartner(inne)n, die zweite Zahl steht für den Absatz des Transkripts, in dem das Zitat zu finden ist. Die Angabe 3E, 32 bedeutet demnach: es handelt sich um Fallnr. 3, die Aussage einer/eines Evaluators/in, in Absatz 32 des Transkripts.

4.1 Deskriptive Auswertung der Fallstudien

163

auch Ergebnisse haben zum Controlling und zur Nachhaltigkeit. Wir leiten den Evaluationsbericht dann immer weiter (…) (3H, 29).“

c. In vier Programmen (1, 4, 5, 7) wurde durch die Evaluation bereits Gewusstes bestätigt. Ein(e) Evaluator(in) betonte beispielsweise: „Das ist ja immer so bei Evaluationen, wenn man die qualitativ macht, ist es ja nicht so, dass man Dinge findet, an die noch nie jemand gedacht hat. (7E, 31).“

Insbesondere das folgende Interviewbeispiel zeigt, dass diese Art von Nutzung nicht unbedingt zufrieden stellend sein muss, insbesondere dann, wenn ermutigende Ergebnisse und in erster Linie neue Hinweise erhofft wurden: „Und ich würde mal sagen, dass 70% von dem was wir schon gewusst haben in diesen Handlungsempfehlungen drin war. Naja, wo man dann auch denkt: ‚Hm, schön, dass man`s jetzt schwarz auf weiß hat.’ (1H, 56).“

d. Cook und Pollard (1977) haben schon sehr früh vorgeschlagen, dann von Evaluationsnutzung zu sprechen, wenn eine ernsthafte Diskussion über die Evaluationsergebnisse eines Programms erfolgt. In drei Programmen (4,5,7) wurden ausführliche Diskussionen über die Evaluation beschrieben. Interessanterweise wurden die Diskussionen ausschließlich von den Evaluator(inn)en erwähnt, die dazugehörigen Hauptinteraktionspartner(innen) haben die Ergebnisdiskussion nicht berichtet. „Es kam dann immer wieder zu Treffen, wo dann alles noch mal diskutiert wurde. Das Programm hat dann auch sein Profil erweitert und die haben gesagt: gut, dann nehmen wir eben auch Mentoren und Mentorinnen aus der anderen Hochschule dazu oder es gab eine Diskussion, wie ist denn das mit Mentoringprogrammen, die ausschließlich mit Mentorinnen arbeiten und die mit Mentoren arbeiten. Wo gibt es da Vorteile, wo gibt es vielleicht auch Nachteile? Wie stellt sich das dar? (…) An bestimmten Stellen haben dann intensive Diskussionen dazu geführt, dass die vom Programm gesagt haben, gut, diese Empfehlung wäre eine Überlegung wert so an bestimmten Stellen (4E, 34).“

e. In Programm 2 wurde das Evaluationsteam u.a. mit dem Ziel ausgewählt, aktiv zur Erweiterung des eigenen Netzwerkes beizutragen, d.h., dies war ein direkter, intendierter Nutzen, der sowohl von Evaluator(in) und deren Hauptinteraktionspartner(in) betont wurde: „Das ist natürlich eine gelungene Lösung zu sagen: Ihr macht auf der einen Seite die Evaluation (…) [und] wir haben unser Netzwerk da an der Uni erweitert und haben natürlich dadurch den Frauen des Programms den Zugang zur Institution Uni er-

164

4 Auswertung

leichtert (…) von daher war das eigentlich perfekt. Ich finde das nach wie vor super (2H, 25).“

und „Sinn ist ja auch, dass wir selber als Uni mit dem Programm vernetzt sind. Die Auftaktveranstaltung und die Auswertungsveranstaltung finden ja auch hier bei uns statt, es gehört also insgesamt zu dem frauenförderlichen Netzwerk (…)(2E, 19).“

In der Gesamtbetrachtung zeigt sich ein heterogenes Bild, was die Nennungen für direkte Nutzungen angeht. Tabelle 9: Nennungen für direkte Nutzungen (E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen)) Programm Æ Fall Æ a. Inhalt b. Legitimation c. Bestätigung d. Diskussion e. Netzwerkerweit. Gesamt Kalibriert78

1 E

2 H

E

3 H

E

4 H

E

5 H

E

6 H

E

7 H

E

G es H

1

1

1

1

0

1

0

0

0

0

1

1

1

1

9

0

0

0

1

1

1

0

0

0

0

0

1

0

1

5

0

1

0

0

0

0

0

0

0

0

0

1

1

0

3

0

0

0

0

0

0

1

0

1

0

0

0

1

0

3

0

0

1

1

0

0

0

0

0

0

0

0

0

0

2

1

2

2

3

1

2

1

0

1

0

1

3

3

2

22

0.3

0.7

0.7

1

0.3

0.7

0.3

0

0.3

0

0.3

1

1

0.7

Unterschiede sind im Vergleich der einzelnen Programme aber auch innerhalb eines Programms, in Bezug auf die Einschätzungen zu Nutzungen von Evaluator(inn)en und deren Hauptinteraktionspartner(inne)n zu finden. Direkte Nutzungen konnten in jedem der untersuchten Fälle genannt werden, wobei die Spann78

Aus Gründen der Übersichtlichkeit finden sich die Schlüssel sowohl für diese Kalibrierung als auch für alle weiteren Kalibrierungen bezogen auf die Evaluationsnutzungen im Anhang C. Die Kalibrierungen dienen der Vorbereitung der Fuzzy-Set-Analyse (siehe Kapitel 4.2).

4.1 Deskriptive Auswertung der Fallstudien

165

breite der beschriebenen direkten Nutzungen unterschiedlich war und auch innerhalb eines Programms von den verschiedenen Personen unterschiedlich wahrgenommen wurde. 4.1.1.2 Indirekte Nutzungen als Folge und im Prozess von Evaluationen Zu indirekten Nutzungen zählen, entsprechend des theoretischen Diskurs, folgende sechs Bereiche: a. Netzwerkerweiterung/Kontakte (vgl. Forss et al. 2002) b. Wissenszuwachs durch Erfahrungsaustausch mit anderen Expert(inn)en (vgl. Forss et al. 2002) c. Sensibilisierung für ein bestimmtes Thema durch die Durchführung der Evaluation (vgl. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 1999) d. Wissenszuwachs für den Umgang mit Evaluationen (vgl. Forss et al. 2002) e. Motivationsanschub (vgl. Forss et al. 2002) f. Nutzung einzelner Ergebnisse oder Instrumente für andere Projekte (vgl. Forss et al. 2002) Indirekte Nutzungen (N=15) wurden weniger benannt als direkte Nutzungen (N=22). Ob erstere eher in Folge oder im Prozess der Evaluation verortet werden können, kann für die vorliegenden Daten nicht sinnvoll interpretiert werden, da beides, bis auf eine Nennung, gleich häufig vorzufinden ist. Evaluator(inn)en benannten mehr indirekte Nutzungen (N=9) als ihre Hauptinteraktionspartner(innen) (N=6). Im Zuge der indirekten Nutzungen profitierten vor allem die Evaluator(inn)en. Dies trifft insbesondere auf die folgenden Bereiche zu: Netzwerkerweiterung, Weiternutzung einzelner Ergebnisse oder Instrumente für andere Projekte aber auch ein Wissenszuwachs für den Umgang mit Evaluationen, d.h. aus der Evaluationserfahrung resultierende Erkenntnisse über die Handhabung von zukünftigen Evaluationen. Tabelle 10 zeigt die Nennungen für indirekte Nutzungen im Überblick. a. In vier (2,4,5,6) der sieben untersuchten Programmevaluationen konnte das eigene Netzwerk der Beteiligten erweitert werden, d.h. es ergaben sich Kontakte durch die Evaluation, die zunächst nicht so erwartet worden sind, bzw. die nicht als ein Ziel der Evaluation intendiert waren. Dieser Effekt bezog sich ausschließlich auf Evaluator(inn)en:

166

4 Auswertung

„Wir hatten dann auch Kontakte daraus gezogen, dass wir noch zwei Tagungen drangehängt haben. Dadurch wurden die Berichte auch noch mal in eine Öffentlichkeit gestellt, wo es dann noch mal Rückmeldungen gab. Wir haben mit Leuten von der Tagung auch jetzt noch die Zusammenarbeit und wo auch wechselseitig so auch Impulse entstehen, also immer mal wieder an verschiedenen Stellen. Nicht nur unmittelbar nach der Evaluation, sondern auch jetzt noch habe ich dazu Anfragen (4E, 26).“

Tabelle 10: Nennungen für indirekte Nutzungen (E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen)79 Programm Æ Fall

1

Æ E

2

3

4

5

6

7

G es H

H

E

H

E

H

E

H

E

H

E

H

E

0

0

1

0

0

0

1

0

1

0

1

0

0

0

4

0

0

1

0

1

1

0

0

0

0

0

0

0

0

3

0

0

1

0

0

0

0

0

0

1

0

0

0

0

2

1

1

0

0

0

0

0

0

0

1

0

0

0

0

2

0

0

0

0

0

0

0

0

0

0

0

0

1

1

2

f. Weiternutzung

0

0

1

0

0

0

0

0

0

0

0

0

0

0

1

Gesamt

1

1

4

0

1

1

1

0

1

2

1

0

1

1

15

0.3 0.3

1

0 0.3 0.3 0.3

a. Netzwerkerweiterung b. Erfahrungsaustausch c. Sensibilisierung d. Umgang mit Evaluationen e. Motivationsanschub

Kalibriert

0 0.3 0.7 0.3

0 0.3 0.3

b. Eine wichtige indirekte Nutzung stellt der Erfahrungsaustausch zwischen Evaluator(inn)en und deren Gegenüber dar. In Evaluationen treffen häufig Expert(inn)en aus unterschiedlichen Gebieten aufeinander. Die Befragung hat gezeigt, dass Evaluator(inn)en sich jedoch überwiegend in ihrer traditionellen Rolle als Wissensvermittler und Berater sehen. Diese einseitige Ausrichtung der Arbeitsbeziehung findet in der Regel eine Akzeptanz bei allen Beteiligten. Mögliche wechselseitige Lerneffekte und Nutzungen werden von den Beteiligten häufig nicht erwartet oder werden nicht gesehen und werden dementsprechend auch

79

Die Tabelle zeigt lediglich die Nennungen von indirekten Nutzungen, unabhängig davon, wem der benannte Nutzen zu Gute kommt.

4.1 Deskriptive Auswertung der Fallstudien

167

nicht berichtet. Die Beteiligten zweier Programmme (2,3) benannten explizit, dass sie gegenseitig voneinander profitieren konnten. „(…) es ging um die Auseinandersetzung, was ist Coaching und was ist Mentoring. Wir haben dann mit denen über diesen Unterschied und ob das überhaupt ein Unterschied ist (…) geredet. In einer weiteren Runde war die Frage in wie starkem Maße Mentorinnen auch aktivierend was reingeben können. Also da fand eine Verständigung statt auch zu diesem Punkt. Die Erfahrung von da haben wir mit zurückgenommen, wir haben auch wechselseitig voneinander gelernt (2E, 28).“

und „Ich habe einen kleinen Fragebogen, den die Teilnehmerinnen von mir bekommen, den ich für mich entwickelt habe. Da lasse ich mich beraten von den Evaluatoren, weil die das ja natürlich noch mal anders sehen können. Aber das mache ich für mich, weil ich ein gutes Projekt machen will. (…) Person xy [Evaluator(in)] hat auch schon mal ein Mentoringprogramm evaluiert. Die Ergebnisse kann ich natürlich verwenden, weil ich sie bekomme von ihm/ihr. Also das ist genial. Das hat aber wenig mit diesem Auftrag zu tun. Ich profitiere von der Erfahrung und gebe etwas von meiner Erfahrung (3H, 27, 41).“

c. Durch die Evaluationsbefragung wurde in zwei Fällen (2E, 5H) eine Sensibilisierung von Befragten für die Thematik Mentoring für Mädchen und Frauen beschrieben. Insbesondere wenn Programmexterne befragt werden, wird neben der Sensibilisierung auch ein positiver Imageeffekt für das Programm erwartet. „Im Matching hängt ja auch eine Genderfrage drin und wir haben festgestellt: Durch unsere Befragung kommt überhaupt erst eine Sensibilisierung zutage. Also, man kann sich sehr schön darauf verlassen. Das sind die nämlich gar nicht, in ihren Frauen-, Männer- und Chefrollen sind die nicht reflektiert und es kommt zu schönen AHA-Effekten ohne dass man dafür groß etwas tun muss, außer das anzufragen (2E, 41).“

und „Und wichtig war für uns, dass auch mal jemand von außen unseren Herren vom Präsidium sagt, Mentoring ist eine anerkannte Methode. Weil dass wir das immer sagen, ist ja klar, aber dass das jemand von außen mit unabhängigem Auftrag auch zur Sprache bringt, war für uns auf jeden Fall positiv und die Damen und Herren haben sich ja auch auf die Interviews vorbereitet und haben sich da noch mal mit der Materie befasst und das war für uns auch wieder ein positiver Effekt (5H, 36).“

d. Einen weiteren indirekten Nutzen stellt die metatheoretische Reflexion über die gemachten Evaluationserfahrungen dar. Daraus resultieren im Resümee Vor-

168

4 Auswertung

sätze zur besseren Handhabung zukünftiger Evaluationen bzw. ein verbesserter Umgang mit zukünftigen Evaluationen. Diese Nutzung trat in zwei Programmen (1,5) auf. „Ich würde im Wesentlichen die Koordinierung anders machen. Wie ich gesagt hatte: verbindlicher Ablaufplan, Abnahme von Zwischenergebnissen. Ich würde auf jeden Fall im Voraus darüber Klarheit schaffen, wer Ansprechpartner ist, wer Verantwortlicher ist und ein bisschen mehr über den Zielhorizont der dort existiert herausfinden. Im wesentlichen Metadinge, um das Konfliktpotenzial zu entschärfen. Ich würde mehr Wert auf Subtilität in der Formulierung legen und ich würde [meinen Kolleg(inn)en] verbieten Sätze zu verfassen, die mitunter bösartig ankommen (1E, 49).“

Erfahrungen mit bzw. das Reinwachsen in die Interpretation von Daten und Evaluationsergebnissen stellen einen weiteren Teil dieses Nutzungsaspekts dar. Dies wurde in einem Programm (5) beschrieben. Hier profitierte der/die Hauptinteraktionspartner(in) von der Evaluation, indem sie Kenntnisse in der Interpretation von empirischen Daten sammelte und diese auch als wertvoll für andere Kontexte beschrieb. e. Die Weiternutzung der Evaluationsdaten über den Evaluationsrahmen hinaus für Vergleiche mit Daten aus anderen Projekten und die Weiterverwendung der Daten für Fragestellungen von Qualifikationsarbeiten traf auf ein Programm (2) zu. Die Nutzung kommt hier entsprechend hauptsächlich den Evaluator(inn)en zugute. f. Nicht zuletzt können externe Evaluationen einen Motivationsschub auslösen, d.h. durch neuen Input kann Routinisierungen entgegengewirkt werden. Dies wurde von den Beteiligten einer Programmevaluation (7) herausgestellt. 4.1.1.3 Wer sind die „Nutzer(innen)“ von Evaluationen? In der Befragung wurde nicht nur unterschieden, welche Nutzungen beschrieben werden, sondern auch wer von diesen Nutzungen profitiert. Da nur zwei Personengruppen befragt wurden, wird im Folgenden unterschieden zwischen Evaluator(inn)en und deren Hauptinteraktionspartner(innen). Wie zu erwarten, liegt der Hauptprofit einer Evaluation auf Seiten der Programme, d.h. die Hauptinteraktionspartner(innen) und auch die Evaluator(inn)en beschreiben vor allem direkte Nutzungen wie z.B. inhaltliche Veränderungen, die direkt auf Empfehlung der Evaluator(inn)en implementiert worden sind und

4.1 Deskriptive Auswertung der Fallstudien

169

der Verbesserung des Programms dienen. Überraschenderweise zeigt sich aber auch, dass fünf der sieben befragten Evaluator(inn)en und vier der sieben befragten Hauptinteraktionspartner(innen) indirekte Nutzungen für sich aus der Evaluation ziehen konnten. Für Evaluator(inn)en stehen an vorderster Stelle die Entstehung bzw. Anbahnung von nützlichen Kontakten für den weiteren beruflichen Kontext (N=4). Die indirekten Nutzungen waren insbesondere im Programm 2 für die Evaluator(inn)en sehr vielfältig. Diese begründen das damit, dass sie langjährige Erfahrungen mit Evaluationen haben und im Laufe der Jahre gelernt haben, jedes einzelne Projekt gewissermaßen als Multiplikator zu nutzen. Obwohl Evaluator(inn)en in aller Regel nicht als potentielle Nutzer(innen) von Programmevaluationen betrachtet werden, zeigt sich hier, dass vor allem erfahrene Evaluator(inn)en indirekte Nutzungen, z.B. in Form von Kontakten, Auslagerung der Daten in andere Projekte, Publikationen oder Erfahrungen für den Umgang mit schwierigen Evaluationssituationen aus ihrer Arbeit ziehen. Die Hauptinteraktionspartner(innen) dagegen profitieren, wie im vorangegangen Abschnitt 4.1.1.2 beschrieben, im Rahmen von indirekten Nutzungen sehr unterschiedlich. 4.1.2 Soziale Kompetenzen der Involvierten Im Folgenden werden die sozialen Kompetenzen der befragten Personen beschrieben. Für die weitere Analyse stellen diese eine zu untersuchende Bedingung für das Auftreten von Nutzungen dar. Die sozialen Kompetenzen der Evaluator(inn)en und der dazugehörigen Hauptinteraktionsparnter(innen) wurde durch Selbsteinschätzungen anhand des standardisierten Fragebogens BIP: Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung (Hossiep/Paschen 2003) erhoben. Dem Ergebnisprofil der einzelnen Personen liegt eine Normstichprobe für berufstätige Fachund Führungskräfte (N=6869) zugrunde (vgl. ebd.). Folgende Tabelle zeigt die Einschätzungen der Evaluator(inn)en und ihrer Hauptinteraktionspartner(innen) in einer Übersicht. Erhoben wurden die Selbsteinschätzungen zur: a. b. c. d. e. f. g.

Flexibilität (FL) Handlungsorientierung (HO) Sensitivität (SEN) Kontaktfähigkeit (KO) Soziabilität (SOZ) Teamorientierung (TO) und Durchsetzungsstärke (DU).

170

4 Auswertung

Im Folgenden wird sich ausschließlich auf die kalibrierten Werte bezogen. Die Rohdaten für die sozialen Kompetenzen befinden sich im Anhang C.2 (Tabelle 28). Nachfolgende werden die einzelnen Ergebnisse näher erläutert. Im Vergleich der Einschätzungen zueinander, weisen die Ergebnisse zur Selbsteinschätzung der Sensitivität (Einfühlungsvermögen in andere Menschen) die höchste Homogenität und den höchsten Mittelwert (Ø .74 ± .18) auf. Betrachtet man die kalibrierten Daten, zeigt die Selbsteinschätzung zur Sensitivität der Hauptinteraktionspartner(innen) keine Varianz. Die eigene Sensitivität wurde mit einer Ausnahme von allen Befragten als durchschnittlich oder überdurchschnittlich ausgeprägt beurteilt. In einer Programmevaluation (7) war die Sensitivität auf Evaluator(innen)seite schwächer ausgeprägt als bei dem/ der Hauptinteraktionspartner(in). In allen weiteren Programmevaluationen war die Sensitivität im Vergleich der Hauptinteraktionspartner(innen) gleich (Programme 2,3,6) oder die der Evaluator(inn)en leicht höher ausgeprägt (Programme 1,4,5). Die Ergebnisprofile weisen alle Befragten (bis auf den Fall 7E) als durchschnittlich bzw. überdurchschnittlich sensitive Personen aus. Tabelle 11: Selbsteinschätzungen zu sozialen Kompetenzen (E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen)), kablibrierte Werte* Fall Ļ FL 1E 1H 2E 2H 3E 3H 4E 4H 5E 5H 6E 6H 7E 7H

HO

SEN

KO

SOZ

TO

DU

0.7

1.0

1.0

0.7

0

0.3

0.7

0.7

0.7

0.7

0.7

0.7

0.7

0.7

1.0

1.0

0.7

1.0

0.7

1.0

0.7

0.7

0.7

0.7

0.7

0.7

0.7

0.3

0.3

0.7

0.7

0.7

1.0

0.7

0.3

0.7

0.7

0.7

0.7

0.3

0.7

0.3

0.3

1.0

1.0

0.3

1.0

0

0.3

0.3

0.7

0.7

0.7

0.7

0

0.7

0.3

1.0

1.0

0.3

1.0

0

0.3

0.7

0.7

0.7

0.3

0.7

0.3

0.3

0.3

0.3

0.7

0.3

0.3

0.7

0.3

0.3

0.7

0.7

0.7

0.3

0.7

0.7

0.3

0.3

0.3

0.3

0.7

0.7

0

0.3

0.3

0.7

0.3

1.0

0.7

0

* Unterschiedliche Werteniveaus sind in Tabelle 11 fett gedruck, negative Werteniveaus sind unterstrichen, positive Werteniveaus innerhalb eines Programms sind nicht hervorgehoben.

4.1 Deskriptive Auswertung der Fallstudien

171

Am heterogensten von allen untersuchten Kompetenzen fallen die Selbsteinschätzungen zur Teamorientierung aus (Ø .51 ± .33). In sechs Programmevaluationen ist die Teamorientierung zwischen Hauptinteraktionspartner(inne)n und Evaluator(inn)en etwa gleich ausgeprägt (2,3,4,5,6,7). In einer Programmevaluation (1) ist die Teamorientierung der/des Evaluators/Evaluatorin schwächer ausgeprägt als die der/des Hauptinteraktionspartners/Hauptinteraktionspartnerin. Auch die Kontaktfähigkeit gestaltet sich bei den Teilnehmer(innen) der vorliegenden Fallstudien heterogen (Ø .55 ± .24), wobei in fünf Programmen (1,2,3,5,7) gleich oder annähernd gleich ausgeprägte Kontaktfähigkeiten bei Evaluator(inn)en und ihren Hauptinteraktionspartner(inne)n zu verzeichnen sind. In zwei Programmen (4,6) schätzen die Hauptinteraktionspartner(innen) ihre Kontaktfähigkeiten als stärker ausgeprägt ein als die jeweiligen Evaluator(inn)en. Die Durchsetzungsstärke ist sowohl bei Evaluator(inn)en als auch bei deren Hauptinteraktionspartner(inne)n die Dimension mit der im Mittel schwächsten Ausprägung (Ø .4 ± .25). In vier Programmen (1,3,5,7) ist die Durchsetzungsstärke der Interaktionspartner(innen) gleich ausgeprägt. Hier finden sich die Kombinationen von zwei Personen mit jeweils durchschnittlichem Ausprägungsgrad (Programm 1), von Personen bei denen die Durchsetzungsstärke eher unterdurchschnittlich ausgeprägt ist (Programme 3, 5) und in einem Programm (7) zeigt das Ergebnisprofil der Interaktionspartner(innen) den jeweilig niedrigsten Ausprägungsgrad. In weiteren zwei Programmevaluationen (4, 6) schätzen die Hauptinteraktionspartner(innen) sich im Vergleich durchsetzungsfähiger ein als die jeweiligen Evaluator(inn)en. In einem Programm (2) trifft Umgekehrtes zu. Die Soziabilität, d.h. der ausgeprägte Wunsch nach einem harmonischen Miteinander verbunden mit einer Großzügigkeit in Bezug auf Schwächen der Interaktionspartner(innen) (vgl. Hossiep/Paschen 2003: 22) ist im Mittel leicht überdurchschnittlich ausgeprägt (Ø .65 ± .32), das trifft sowohl auf Evaluator(inn)en als auch auf deren Hauptinteraktionspartner(innen) zu. In vier Fällen (1E, 3H, 6E, 6H) wurden niedrige Skalenwerte in der Selbsteinschätzung zu dieser Dimension erreicht. In zwei Programmen (1,3) unterscheiden sich die Einschätzungen zur Ausprägung der Soziabilität zwischen den Interaktionspartner(inne)n stark. In zwei Fällen (1E, 6H) zeigt sich zudem zugleich eine geringe Soziabilität und eine ausgeprägte Durchsetzungsstärke, d.h. es handelt sich um Personen, die in ihrer Selbsteinschätzung angeben, dass es für sie wenig bedeutsam ist, von andern als angenehm im Umgang und als rücksichtsvoll wahrgenommen zu werden und die sich nachhaltig und offensiv für ihre Standpunkte einsetzen und dabei schwierige Diskussionen und Auseinandersetzungen nicht scheuen. Die Flexibilität oder Veränderungsbereitschaft, d.h. die Bereitschaft und Fähigkeit sich auf neue oder unvorhergesehene Situationen einzustellen und Ungewissheit zu tolerieren (Hossiep/Paschen 2003: 22) ist im Mittel durch-

172

4 Auswertung

schnittlich (Ø .49 ± .24) ausgeprägt. In acht Fällen (3E, 4E, 4H, 5E, 6E, 6H, 7E, 7H) schätzten sich die befraten Personen als unterdurchschnittlich flexibel ein. Diesen Personen fällt es demnach eher schwer, sich auf wechselnde Bedingungen und Veränderungen einzustellen. In zwei Programmen (1,2) zeigen beide Hauptinteraktionspartner(innen) durchschnittlich oder überdurchschnittlich ausgeprägte Flexibilität. In zwei weiteren Programmen (3,5) ist die Flexibilität der Evaluator(inn)en niedriger ausgeprägt als die der Hauptinteraktionspartner(innen), während sich in den Programmen 4,6 und 7 alle Befragten als eher unterdurchschnittlich flexibel eingeschätzt haben. Neben der Sensitivität ist die Handlungsorientierung (Ø .70 ± .25) die Dimension bei der die Selbsteinschätzungen der Interaktionspartner(innen) fast durchweg durchschnittlich bzw. überdurchschnittlich ausfallen. Dies trifft in elf der 14 Fälle zu. In nur einem Programm (6) ist die selbsteingeschätzte Handlungsorientierung der/des Hauptinteraktionspartners/Hauptinteraktionspartnerin, d.h. das rasche und zielorientierte Angehen von Aufgaben (Hossiep/Paschen 2003: 61), deutlich stärker ausgeprägt als bei dem/der Evaluator(in). Betont werden soll, dass niedrig handlungsorientierte Personen sich mehr quälen, bevor sie ihre Vorhaben in Angriff nehmen, sie müssen aber gegenüber hoch handlungsorientierten Personen in den Ergebnissen nicht zurückstehen (ebd.). 4.1.3 Endogene Merkmale sozialer Interaktionsgestaltung Zur Beurteilung der sozialen Interaktionsgestaltung werden entsprechend des Untersuchungsmodells (vgl. Kapitel 2.6) folgende vier Kriterien herangezogen: a. b. c. d.

Verfügbarkeit (Sanders 2006: 131) Wertschätzende Grundhaltung (ebd.) Gestaltung der Kommunikation (dazu auch Cousins/ Leithwood 1993; Mertens 1994) Zufriedenheit mit der Interaktion insgesamt

Interaktionssituationen beruhen auf selektiven Wahrnehmungen und können von den mitagierenden Personen unterschiedlich eingeschätzt werden (vgl. Seyfried 1995a). Von den insgesamt sieben betrachteten Programmen und deren Evaluationen beurteilten beide Interaktionspartner(innen) in zwei Programmen (2,3) die Interaktionsgestaltung in allen Aspekten positiv. Daneben gibt es drei Programme (4,5,6), in denen die Gesamtinteraktion von einer Person als nicht zufrieden stellend beurteilt wurde, während die andere Person die Gesamtinteraktion als zufrieden stellend bewertete. Folgende Tabelle zeigt die endogenen Merkmale

173

4.1 Deskriptive Auswertung der Fallstudien

zur Interaktionsgestaltung in einer Übersicht. Endogen sind, wie unter 2.3.2 beschrieben, solche Faktoren, die aus der Konstellation vorliegender exogener Merkmale (Faktoren, die auch dann existieren, wenn eine gegebene soziale Beziehung noch nicht oder nicht mehr existiert) entstehen und in Erscheinung treten (Irle 1975: 399). Tabelle 12: Einschätzungen zur Interaktionsgestaltung (E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen)) 1

2

3

E H E H a. Verfügbarkeit (1) eher zufrieden stellend (0) eher nicht zufrieden stellend b. Wertschätzende Grundhaltung (1) eher gegeben (0) eher nicht gegeben c. Gestaltung der Kommunikation (1) eher zufrieden (0) eher unzufrieden d. Zufriedenheit mit der Interaktion insgesamt (1) eher gegeben (0) eher nicht gegeben Gesamt Kalibriert*

4

5

6

E H E H E H

7

E H E H

1

1

1

1

1

1

1

0

1

0

1

1

1

0

1

1

1

1

1

1

1

1

1

1

1

1

1

1

0

0

1

1

1

1

1

1

1

1

1

0

1

1

0

0

1

1

1

1

1

0

1

0

0

1

1

1

2

2

4

4

4

4

4

2

4

2

3

3

4

3

0.3 0.3

1

1

1

1

1 0.3

1 0.3 0.3 0.7

1 0.7

* Zur Kalibrierung der Daten (insbesondere zur unterschiedlichen Gewichtung bei der Gesamtpunktzahl von 3 Punkten) siehe Anhang C.3 (Tabelle 30) und siehe kritische Diskussion der Vorgehensweise (vgl. Kapitel 3.7, S.153)

a. Befragt nach der Verfügbarkeit des jeweiligen Gegenübers zeigten sich die Evaluator(inn)en durchgängig zufrieden. Anders sieht die Beurteilung der Hauptinteraktionspartner(innen) aus: diese äußerten in drei Fällen (4H, 5H, 7H) ihre

174

4 Auswertung

Unzufriedenheit, wobei vor allem auf die Häufigkeit der Treffen Bezug genommen wurde. Alle drei Hauptinteraktionspartner(innen) hätten sich mehr Kontakte und eine bessere Verfügbarkeit der Evaluator(inn)en gewünscht. b. Eine wertschätzende Grundhaltung im Sinne des Joint Committee (Sanders 2006: 131), d.h. dass wechselseitig zwischen den Interaktionspartner(inne)n die Würde und der Wert respektiert werden sollte, war in allen Fällen gegeben. Auch wenn die Kommunikation, wie im nachfolgenden gezeigt wird, insbesondere in einem Programm (1) nicht zufrieden stellend verlief, wurde auch hier immer wieder das wechselseitige Bemühen geschildert, Bedenken und Unterschiede in der jeweiligen Anschauung zu besprechen und zu einer Klärung zu gelangen. c. Bei den Einschätzungen bezüglich der Zufriedenheit mit der Kommunikationsgestaltung der Hauptinteraktionspartner(innen) im Vergleich zu den Einschätzungen der Evaluator(inn)en gibt es keine kontroversen Meinungen zwischen den Interaktionspartner(inne)n. Es ließen sich drei Tendenzen feststellen, zum einen Evaluationsprojekte, bei denen sowohl Hauptinteraktionspartner(innen) als auch Evaluator(inn)en die Kommunikationsgestaltung als eher zufrieden stellend beurteilten (Programme 2,3,4,5,7); zum zweiten ein Programm, bei dem die Kommunikationsgestaltung, zumindest in Teilbereichen problematisch war und teilweise ein bewusster Umgang mit den Problempotenzialen fehlte (Programm 1) und drittens ein Programm (6), wo sich der/die Evaluator(in) zufrieden mit der Kommunikationsgestaltung zeigte, der/die Hauptinteraktionspartner(in) aber nicht. Im Folgenden sollen die ausgesuchten Interviewbeispiele die Sichtweisen der Beteiligten der Programmevaluation mit der problematischen Kommunikation (Programm 1) verdeutlichen: „Also der Anfang war sehr gut. Hätte ich halt nicht gedacht, dass das mal so eskaliert, weil wir haben gut zusammen gearbeitet und die haben auch ihre Fragen gestellt und sie kamen an uns ran, also sie konnten jederzeit bei uns ein- und ausgehen und gucken so oder anfragen und ab dem Moment als sie zum ersten Mal was Schriftliches abgeliefert haben, war es dann schwierig. Aber wir haben trotzdem kooperiert also es war jetzt nicht so, dass sich irgendwer ausgeschaltet hat. Wir haben weiter telefoniert und sie haben ja auch weiter gemacht und den Bericht weiter bearbeitet. Also die Kooperation ist dadurch nicht zusammengebrochen. Allerdings war die Kommunikation sehr schwierig. Es gab einige heftige Reaktionen auf beiden Seiten (1H, 83).“

und „Wir hatten Ansprechpartner aber uns war nicht klar, dass praktisch auch die Ansprechpartner untereinander in gewisser Weise unabhängig voneinander sind. Das

4.1 Deskriptive Auswertung der Fallstudien

175

war ein Gegenstand der Konfusion muss man sagen. Problematisch fand ich auch – die Beziehung war eigentlich in der Anfangszeit durchweg positiv. Es gab null Konflikte. (…) Das erste Gespräch bei dem ich dabei war, war ein wesentliches, weil wir das Konzept vorgestellt hatten und die Instrumente. Danach musste ich ein bisschen lachen, weil ich dachte: ‚Was, das war es jetzt? Das ist ja jetzt irgendwie wie Häkelkreis, alle haben sich lieb.’ (…) Was ich als unangenehm [em]fand ist, dass bis zu dem Punkt, an dem es nicht mehr anders ging, Konflikte nicht angesprochen worden sind. Ich muss ehrlich sagen, (…) die Kommunikation fand ich sehr unglücklich (1E, 29).“

Wie zu sehen ist, wurde die Unzufriedenheit mit der Kommunikation sowohl auf Seiten der Evaluator(inn)en als auch der Hauptinteraktionspartner(innen) im Zuge der Bilanzierung dieser Evaluation deutlich. d. Wie unter 3.6 beschrieben, wurden neben der Gestaltung der Kommunikation, der Verfügbarkeit und der wertschätzenden Grundhaltung auch die Zufriedenheit mit der Interaktion insgesamt erfragt. Überall dort, wo in den hier berücksichtigten Teilbereichen Unzufriedenheiten mit der Interaktion auftauchten, spiegelte sich das auch in der Zufriedenheit mit der Interaktion insgesamt wider. In einem Fall (6E) beschrieb der/die Evaluator(in), dass sowohl eine wertschätzende Grundhaltung, als auch die Gestaltung der Kommunikation und die Verfügbarkeit zufrieden stellend waren, trotzdem beurteilte er/sie die Interaktion insgesamt als nicht zufrieden stellend. Auf die Nachfrage beschrieb der/die Evaluator(in) Folgendes: „Wir fanden jetzt die menschliche Erfahrung nicht so gut aber die Kolleg(inn)en [Hauptinteraktionspartner(innen)] waren zufrieden, mit dem wie es so ist. (…) Ich denke mir, da gibt es manches was Ausdruck einer wissenschaftlichen Kultur ist, mit der man eigentlich unter der Perspektive des Programms nicht zufrieden sein kann. Und ich denke, (…) da ist man sicher manchmal gegenüber dem Projekt auch noch mal unabhängiger und es gibt sicherlich Konstellationen, wo man noch mal stärker eingebunden ist (6E, 36).“

Hier flossen in die Entscheidung zur Beurteilung der Interaktionsgestaltung offensichtlich andere Kriterien ein als die drei oben genannten. In einem Fall (7H) gab der/die Hauptinteraktionspartner(in) an, insgesamt zufrieden mit der Interaktion zu sein, obwohl sie in Bezug auf die Verfügbarkeit der Evaluator(inn)en eher unzufrieden war.

176

4 Auswertung

4.1.4 Umfeld- und Prozessmerkmale Wie bereits unter im Untersuchungsmodell (vgl. Kapitel 2.6) beschrieben, wurden für diese Arbeit ausschließlich Evaluationsstudien berücksichtigt, bei denen die Wissenschaftlichkeit der Methodik (Datenerhebung und Analyse) gegeben war, d.h. die die Genauigkeitsstandards des Joint Committee (Sanders 2006: 159ff) eingehalten haben. Mit dieser Maßgabe als Voraussetzung wurden weitere vier Schwerpunkte generiert, die konsequent in Zusammenhang mit Evaluationsnutzungen gebracht werden. Es handelt sich dabei um: a. b. c. d.

Integration von Nutzungsprozessen (vgl. z.B. Huberman/Cox 1990; Hannum/Martineau 2008; Reisner et al. 1982; Stamm 2003a) Orientierung an den Informationsbedürfnissen (vgl. z.B. Balthasar 2007; Patton 1997; Sanders 2006) Einhaltung formaler Erfordernisse (vgl. z.B. Alkin 1975; Sanders 2006) Politisches Klima (vgl. z.B. Weiss 1986a, 1986b, 1998)

Bevor auf die einzelnen Bedingungen eingegangen wird, zeigt folgende Tabelle die Ergebnisse im Überblick: Tabelle 13: Umfeld- und Prozessmerkmale im Überblick a. Waren Nutzungsprozesse bereits im Untersuchungsdesign integriert? (1.0) voll integriert und berücksichtigt (0.7) nicht integriert aber berücksichtigt (0.3) nicht integriert und wenig berücksichtigt (0) nicht integriert und nicht berücksichtigt b. Orientierung der Evaluation an: (1.0) voll an Umsetzungsverantwortlichen (0.7) eher an Umsetzungsverantwortlichen als an übergeordneten Stellen (0.3) eher an übergeordneten Stellen als an Umsetzungsverantwortlichen (0) voll an übergeordneten Stellen c. formale Erfordernisse: (1) eher eingehalten (0) eher nicht eingehalten

1

2

3

4

5

6

7

0.3

1.0

0.3

0

0

0.3

0.7

0.7

1.0

0.7

0

0

1.0

0.3

0

1.0

1.0

1.0

1.0

1.0

1.0

177

4.1 Deskriptive Auswertung der Fallstudien d. Politisches Klima: War zum Zeitpunkt der Evaluation absehbar/ bekannt, dass die Weiterführung des Programms gefährdet ist? (1) nein (0) ja

1.0

0

0

0

0

1.0

1.0

Gesamt

2.0

3.0

2.0

1.0

1.0

3.3

2.0

Einschätzung Umfeld- und Prozessmerkmale gesamt für Nutzungen (kalibriert) (1.0) günstig (0.7) eher günstig als ungünstig (0.3) eher ungünstig als günstig (0)ungünstig

0.7

1.0

0.3

0.3

0.3

1.0

1.0

Zur Kalibrierung der Daten findet sich ein Kalibrierungschlüssel im Anhang C.4 (Tabelle 32). Die Umfeld- und Prozessmerkmale stellen im Vergleich zu den anderen Bedingungen keine personenspezifischen Daten dar, sondern beziehen sich jeweils auf ein evaluiertes Programm. In drei Programmen (2,6,7) gestalteten sich die Umfeld- und Prozessmerkmale in Hinsicht auf Nutzungsprozesse als günstig, in einem Programm (1) können diese noch als ‚eher günstig’ betrachtet werden und in drei weiteren Fällen (3,4,5) waren die Umfeld- und Prozessmerkmale ‚eher ungünstig’. a. Bei der untersuchten Stichprobe fand sich lediglich eine Programmevaluation (2), bei der Nutzungsprozesse und die Integration von Evaluationsempfehlungen schon durch das Untersuchungsdesign vorgesehen waren. Hier wurden Evaluationsergebnisse im Rahmen von drei Transfer- und Reflexionstagen pro Durchgang an das Programm und die Teilnehmerinnen zurückgemeldet. Folgende Interviewpassage einer der Evaluator(inn)en beschreibt einen Transfertag zu Beginn des Programms näher: „Dann gibt es die Transfer- und Reflexionstage, die haben wir von Anbeginn gemacht (…). Und da geben wir auch schon immer [Evaluations-]Ergebnisse mit herein zur Diskussion und das ist eigentlich was Gutes und ich glaube auch was, was den Prozess nicht nur für uns, sondern auch für die [Mentees] selbst voranbringt, dass wir eben währenddessen schon sagen: „Okay, da sind jetzt die und die Antworten gekommen und da würden wir denken, da steht ihr so und da könnt ihr euch noch hin entwickeln.“ Also dass wir das mit ihnen gemeinsam dann entwickeln, so dass es dann zu einem Prozess kommt (...). Also ich glaube diese Transfertage sind sehr wichtig, weil wir auch noch mal mit hinein kommen und nicht nur immer außen oder parallel dazu auftreten. (…) Im Grunde ist das nach dem Modell der klassi-

178

4 Auswertung

schen Feldforschung: Ergebniserarbeitung reingeben, Weiterentwicklung und auch Evaluationsfortschritte transparent machen und nicht am Ende sagen: ‚Ätschbobätsch, ihr wart so oder so oder so oder so.’ (2E, 25).“

Sechs der Programmevaluationen (1,3,4,5,6,7) hatten die Integration von Evaluationsprozessen und den Anstoß von Nutzungsprozessen nicht im Untersuchungsdesign vorgesehen, hier wurden eher indirekte Anstöße und dies in unterschiedlichem Ausmaß gegeben. Zum einen gab es ein Programm (7), wo eine relativ ausführliche Nachbereitung der Evaluation, in Form von intensiven und zahlreichen Vorbesprechungen und Diskussionen des Evaluationsberichts und einem Tagesworkshop gewählt wurde. Zum anderen gab es eine Reihe von Evaluationen, bei denen die Ergebnisse durch den Abschlussbericht (Programme 1,3,4,5,6) präsentiert wurden, ohne dass weitere Implementierungsstrategien verfolgt wurden. Gemeinsam ist diesen Programmen, dass Aktivitäten in Richtung Nutzung der Ergebnisse sich zumeist auf den Zeitraum kurz vor Beendigung bzw. nach dem Programmdurchlauf bezogen und auch nicht von vorneherein geplant waren. Die Verbreitung der Ergebnisse und die Umsetzung ins Alltagsverständnis wurden bis auf eine Ausnahme (Programm 2) nicht als Teil des Evaluationsauftrages formuliert oder angeregt. b. Ein wichtiger Aspekt, der durch die Interviews eruiert wurde und in dem von einigen Interviewpartner(inne)n ein Zusammenhang zur Evaluationsnutzung hergestellt wurde, war die Orientierung der Evaluation an den Informationsbedürfnissen (theoretische Bezüge zur Wichtigkeit dieser Bedingung lassen sich in den Arbeiten von Balthasar 2007; Patton 1997; Sanders 2006 finden). Vier Möglichkeiten der Orientierung konnten hier unterschieden werden: (1) Zum einen eine vollständige Orientierung der Evaluation an den Informationsbedürfnissen der Umsetzungsverantwortlichen, (2) zum Zweiten Evaluationen, die eher an den Informationsbedürfnissen der Umsetzungsverantwortlichen orientiert waren und (3) weiterhin Evaluationen, die eher und (4) Evaluationen, die voll an übergeordneten Stellen orientiert waren. Vier Evaluationen waren voll oder eher an den Informationsbedürfnissen der Umsetzungsverantwortlichen orientiert (Fall 1,2,3,6) während drei Evaluationen voll oder eher an den Informationsbedürfnissen übergeordneter Stellen orientiert waren (Fall 4,5,7). Interessanterweise wurden, wie bereits zu Beginn dieses Kapitels beschrieben, in allen Fällen die jeweiligen Umsetzungsverantwortlichen des Programms als Hauptinteraktionspartner(innen) der Evaluation benannt. Das bedeutet, dass die Hauptinteraktion, auch bei der Orientierung der Evaluation an den Fragestellungen von übergeordneten Stellen, auf einer anderen Ebene stattgefunden hat. Schwierigkeiten in der Interaktion werden so gegebenenfalls herausgefordert, dies zeigt sich auch in der Beurteilung der Zufrieden-

4.1 Deskriptive Auswertung der Fallstudien

179

heit mit der Gesamtinteraktiongestaltung und hier insbesondere bei den Programmen 4 und 5. Da wo in der Evaluation eher oder voll dem Informationsbedürfnis von übergeordneten Stellen entsprochen wurde, wurden in allen Fällen zusätzlich interne Evaluationen durchgeführt. Während in den Fällen, bei den die Evaluation hauptsächlich an den Bedürfnissen der Umsetzungsverantwortlichen Stellen orientiert war, nicht intern evaluiert wurde bzw. eher intern dokumentiert wurde. c. Wie vorab erläutert, sind Wirkungsnachweise im anspruchsvollen sozialwissenschaftlichen Sinne für die hier untersuchte Programmart nicht angemessen und mit den zur Verfügung stehenden Budgets der jeweiligen Evaluationsprojekte auch nicht möglich gewesen. Für die verantwortliche Evaluationspraxis kann das nur bedeuten, auf die Messung von Zielerreichung zu setzen und dies eventuell mit Abschätzungen von Wirkungen zu verbinden. Die Budgetierung für eine Evaluation ist eine Rahmenbedingung, die die Evaluation beeinflusst. Bei allen Fällen waren realistische Erwartungen aller Beteiligten gegeben was den Nutzen der Evaluation im Verhältnis zu den Kosten angeht. Eine Umsetzungsverantwortliche formulierte in Bezug dazu: „Wir müssen im Kostenrahmen bleiben und es sollte aber soviel bringen, dass wir irgendwas davon haben. Wir haben da so ein Mittelding [in Bezug auf das Evaluationsdesign] genommen, was so gemacht wird: Die Mentees bekommen bei der Auftaktveranstaltung einen Fragebogen (…). Sie werden in der Halbzeit oder vor der Halbzeit telefonisch interviewt (…) nach der Abschlussveranstaltung (…) wird der zweite Fragebogen rumgeschickt (6H, 22).“

Die formalen Erfordernisse80 wurden in den meisten Programmen (2, 3, 4, 5, 6, 7) eingehalten. Lediglich bei einem Evaluationsprogramm (1) gab es Schwierigkeiten in Bezug auf den Bericht, aber auch in Bezug auf die Vereinbarungen und Absprachen zwischen Umsetzungsverantwortlichen und Evaluator(inn)en. Folgende Interviewbeispiele sollen dies verdeutlichen: „Mit der ersten Abgabe des Berichts kam es zum Eklat. (…) Es gab so ein paar unschöne Dinge, so „not amused“ Sachen, wobei wir auch kein schlechtes Gewissen hatten, das so [im Bericht] auszudrücken. Da tauchte auch ein zusätzliches Problem auf, nämlich die Absprache zwischen mir und [dem/der anderen Evaluator(in)], die bis zu diesem Zeitpunkt auch kein Problem war. Also es war praktisch ein Problemdreieck, dass sich da erschloss (1E, 29).“ 80

Entsprechend den Richtlinien des Joint Committee beinhalten diese: N5 Klarheit des Berichts, N6 Rechtzeitigkeit und Verbreitung des Berichts, K2 Formale Vereinbarungen, K5 vollständige und faire Einschätzungen, K6 Offenlegung der Ergebnisse (Sanders 2006).

180

4 Auswertung

und „(…) Das hat mich auch unheimlich geärgert. Dann war der ganze Bericht nicht „gegendert“, also es wurde nur von ’der Mentee’ und ’der Mentor’ gesprochen. Ich war halt auch so innerlich schon so…Und dann wurde das Ganze aus einer Perspektive geschrieben, als wenn man uns total vernichten wollte. (…) Und an der Stelle mussten wir dann die Reißleine ziehen. (…) und dann war`s am Ende doch eine große Enttäuschung und ich glaube, dass sie auch intern halt Probleme hatten und auch sehr viel andere Arbeit und dass sie einfach zu viel Zeitdruck hatten (1H, 46, 54).“

d. Alle Evaluator(inn)en waren informiert über die ungleichen Geschlechterkonstellationen in verschiedenen Disziplinen und Führungspositionen und auch über die verschiedenen Perspektiven der Ursachendiskussion (vgl. Kapitel 3.1), wobei sich die Tiefe der Feldkenntnisse der einzelnen Evaluator(inn)en sehr unterschiedlich gestaltete und von Personen mit ausgeprägtem Expertenwissen (15jährige Tätigkeit in der Geschlechterforschung) bis zu Personen, die sich im Zuge der Evaluation in die Thematik einarbeiteten, reichte. Keine der untersuchten Evaluationen diente als Entscheidungsgrundlage für oder gegen eine Weiterführung des Programms. Allen Beteiligten war die jeweilige Länge des noch verbleibenden finanzierten Zeitraums bekannt. Von den sieben untersuchten Programmen war die Laufzeit bei drei Programmen (1,6,7) unbegrenzt und zum Zeitpunkt der Evaluation konnte von einer fortlaufenden Finanzierung ausgegangen werden. Bei vier Programmen (2,3,4,5) war zum Zeitpunkt der externen Evaluation unklar, wie das Programm in ein bis zwei Jahren weiter finanziert werden sollte. „Jetzt ist es die Schwierigkeit, dass das Haus so gesehen das Projekt übernehmen möchte, aber nicht kann. Faktisch heißt das, man hat mir noch mal ein halbes Jahr weiter bewilligt, damit ich neues Geld akquiriere, aber die Stelle wollen sie dann auf keinen Fall weiterbezahlen. (…) Das ist ein ganz unsicheres Terrain und keine eindeutige Zusage: ‚Das Programm ist ganz toll und wir wollen es weiter haben, weil es unsere Frauenpolitik stärkt’, also solche Aussagen gibt es nicht. Nicht wirklich von Herzen. Also es gibt versteckte Botschaften, so nach dem Motto, wenn ich hier weiter bleiben will, dann soll ich mich gefälligst drum kümmern, dass ich Geld an Land hole. Diese Haltung ist hier ziemlich präsent (4H, 25).“

Alle vier Programme endeten im Jahr 2006 bzw. 2007. Den Mitarbeiter(inne)n eines Programms (3) ist es gelungen, eine Finanzierung für die Weiterführung in modifizierter Form einzuwerben.

4.1 Deskriptive Auswertung der Fallstudien

181

4.1.5 Die deskriptive Auswertung im Überblick Im Rahmen der deskriptiven Auswertung wurden inhaltliche Anker für die Kalibrierung der Interviewdaten dargestellt (zur kritischen Diskussion dieser Vorgehensweise vgl. 3.7). Folgende Tabelle stellt gewissermaßen die Quintessenz dieser Verarbeitung der Daten dar. Sie zeigt alle Bedingungen und die Outcomes in einer Übersicht81: Die einzelnen sozialen Kompetenzen wurden entsprechend der unter 3.6 beschriebenen Vorgehensweise zu zwei Variablen soziale Kompetenzen 1 (SOC1), bestehend aus Handlungsorientierung, Sensitivität und Teamorientierung82 und soziale Kompetenzen 2 (SOC2) bestehend aus Kontaktfähigkeit, Durchsetzungsstärke, Flexibilität und Soziabilität83 zusammengefasst. Betrachtet man die Outcomes direkte und indirekte Evaluationsnutzungen wird deutlich, dass nur in einem Fall (4H), weder direkte noch indirekte Nutzungen wahrgenommen wurden. In einem weiteren Fall (2E) waren die Nutzungen der Evaluation insgesamt gesehen in hohem Maße gegeben. Alle restlichen Fälle zeigen Nutzungen in unterschiedlicher Ausprägung (vgl. Tab. 14). Insgesamt waren die direkten Nutzungen (Ø .52) in stärkerem Maße vorhanden als die indirekten Nutzungen (Ø .31). Die direkten Nutzungen wurden von den Befragten eher in Folge der Evaluation (N=17) als im Prozess (N=5) verortet. Grund hierfür könnte sein, dass nur eine der untersuchten Evaluationen in Bezug auf Nutzungen explizit prozessorientiert angelegt war. Evaluator(inn)en nahmen weniger direkte Nutzungen (N=10) als ihre Hauptinteraktionspartner(innen) (N=12) wahr, d.h. diese scheinen teilweise zu unterschätzen bzw. nicht nachzuverfolgen, welchen inhaltlichen Einfluss die Evaluation und somit auch ihre Arbeit tatsächlich auf das Programm hatte. Hingegen scheinen Evaluator(inn)en genauso oder sogar mehr als ihre Hauptinteraktionspartner(inn)en indirekt von den von Ihnen durchgeführten Evaluationen zu profitieren, dies trifft vor allem auf erfahrenere Evaluator(inn)en zu.

81

82 83

Für die Bedingungen Soziale Kompetenzen 1 (SOC1, VarK=.35), Soziale Kompetenzen 2 (SOC2, VarK=.45) und Interaktionsgestaltung (INACT, VarK=.47) ist die geringste relative Standardabweichung im Vergleich zu der Bedingung Umfeld- und Prozessmerkmale (UMGES, VarK=.51) und den Outcomes direkte Nutzungen (USEDIR, VarK=.67) und indirekte Nutzungen (USEIND, VarK=.85) zu verzeichnen. Cronbachs Į: .77 Cronbachs Į: .72

182

4 Auswertung

Tabelle 14: Übersicht über die Bedingungen und die Outcomes (kalibriert) Bedingungen CaseID

SOC1

Outcomes

SOC2

INACT

UMALL

USEDIR

USEIND

1E

1.0

0.7

0.3

0.7

0.3

1H

0.7

0.7

0.3

0.7

0.7

0.3

2E

0.7

0.7

1.0

1.0

0.7

1.0

0.3

2H

0.7

0.3

1.0

1.0

1.0

0

3E

0.7

0.3

1.0

0.3

0.3

0.3

3H

0.7

0.7

1.0

0.3

0.7

0.3

4E

1.0

0.3

1.0

0.3

0.3

0.3

4H

0.7

0.3

0.3

0.3

0

0

5E

1.0

0.3

1.0

0.3

0.3

0.3

5H

0.7

0.3

0.3

0.3

0

0.7

6E

0.3

0.3

0.3

1.0

0.3

0.3

6H

0.7

0.7

0.7

1.0

1.0

0

7E

0.3

0.3

1.0

1.0

1.0

0.3

7H

0.3

0.3

0.7

1.0

0.7

0.3

Im Folgenden wird die deskriptive Auswertung der Bedingungen Interaktionsgestaltung (INACT), soziale Kompetenzen 1 (SOC1), soziale Kompetenzen 2 (SOC2) und Umfeld- und Prozessmerkmale (UMALL) zusammenfassend geschildert. Die Interaktionsgestaltung stellte sich im Mittel positiv in den Programmen dar (Ø .71). Neun Personen von den 14 Befragten beurteilten die Interaktionsgestaltung, entsprechend den für diese Untersuchung festgelegten Kriterien, als positiv. Die Wahrnehmung und Beurteilung der Interaktionsgestaltung kann wie weiter oben beschrieben bei den Beteiligten sehr unterschiedlich sein, dies wird in dieser Untersuchung insbesondere bei drei Programmen deutlich (4,5,6). Obwohl jeweils zwei Hauptinteraktionspartner(innen) befragt wurden, zeigt sich, dass die Interaktion in diesen drei Fällen gegensätzlich beurteilt wurde. Während ein(e) Interaktionspartner(in) sich eher zufrieden oder sogar sehr zufrieden mit der Interaktionsgestaltung zeigte, war der/die andere eher unzufrieden. Herausgestellt werden soll auch, dass es sich hier um endogene Merkmale von Interaktionsgestaltung, d.h. solche Merkmale, die aus vorliegenden exogenen Merkmalen entstehen, handelt. Soziale Kompetenzen stellen demgegenüber entsprechend eher exogene Merkmale dar, die auch dann existieren, wenn eine gegebene so-

4.2 Komparative Analyse der Daten mittels fsQCA

183

ziale Beziehung noch nicht oder nicht mehr existiert (vgl. Irle 1975). Die Wichtigkeit dieser Unterscheidung wird insbesondere in den Programmen eins und sieben deutlich. Im ersten Beispiel verfügen sowohl Evaluator(in) als auch Hauptinteraktionspartner(in) über relativ hoch ausgeprägte soziale Kompetenzen, während die Interaktionsgestaltung in diesem Programm eher ungünstig verlief. Umgekehrt verfügen sowohl Evaluator(in) als auch Hauptinteraktionspartner(in) des Programms sieben über eher unterdurchschnittlich ausgeprägte soziale Kompetenzen, die Interaktionsgestaltung ist in diesem Programm jedoch positiv verlaufen. Hier findet sich zudem die theoretische Annahme bestätigt, dass durch Interaktion etwas erzeugt wird, das nicht bereits durch individuelle Eigenschaften oder Zustände der gemeinsamen Umwelt determiniert ist (vgl. Müller 1985). Die sozialen Kompetenzen 1 (Ø .68) sind im Mittel höher ausgeprägt als die sozialen Kompetenzen 2 (Ø .44). In keinem Fall sind die sozialen Kompetenzen 2 höher ausgeprägt als die sozialen Kompetenzen 1. Neun der 14 Befragten verfügen entsprechend ihrer Selbsteinschätzung über durchschnittliche bzw. überdurchschnittliche soziale Kompetenzen 1. In acht Fällen sind die sozialen Kompetenzen 1 und 2 in etwa gleich stark bzw. gleich schwach ausgeprägt, dementsprechend gibt es in sechs Fällen Unterschiede in Bezug auf die beiden Konstrukte. Die Umfeld- und Prozessmerkmale gestalteten sich bei vier Programmen, entsprechend der hier verwendeten Indikatoren, positiv bzw. eher positiv im Sinne von Nutzungen und in drei Programmen eher ungünstig. 4.2 Komparative Analyse der Daten mittels fsQCA Nachfolgend werden die Daten zunächst in einem Schritt analysiert. In einem weiteren Schritt erfolgt dann eine ’Two-Step Analyse’, die es erlaubt, einzelne Indikatoren genauer zu untersuchen. Das Hauptinteresse gilt den bislang wenig untersuchten sozialen Kompetenzen von Evaluator(inn)en und deren Hauptinteraktionspartner(inne)n. Ziel ist es, erste Anhaltspunkte über den Stellenwert von sozialen Kompetenzen der Beteiligten und der Interaktionsgestaltung für Evaluationsnutzungen zu generieren. 4.2.1 One-Step Analyse In Abgrenzung zur ’Two-Step-Analyse’ wurde an dieser Stelle der Term ’OneStep-Analyse’ gewählt, d.h es handelt sich um eine Fuzzy-Set-Analyse, in der nicht nach proximalen und distalen Faktoren unterschieden wird, sondern bei der

184

4 Auswertung

die vorhandenen Daten in gewissermaßen einem Schritt (mit kleineren Unterschritten) analysiert werden. 4.2.1.1 Notwendige Bedingungen für Evaluationsnutzungen Im ersten Analyseschritt werden die beobachteten Fälle in Tabelle 15 explizit gemacht. Es handelt sich um die in Konfigurationen aggregierte Datenmatrix. Die Anzahl der logisch möglichen Kombinationen der vier interessierenden Bedingungen für das Outcome beträgt (2)4 16. Der Übersicht halber wurde jede Bedingung mit einem Buchstaben gekennzeichnet. Großbuchstaben stehen dafür, dass die Bedingung vorhanden ist, Kleinbuchstaben dafür, dass die Bedingung nicht vorhanden ist84. A= soziale Kompetenzen 1 (HO, SEN, ~TO) B= soziale Kompetenzen 2 (KO, DU, FL, ~SOZ) C= endogene Merkmale der Interaktionsgestaltung D= Umfeld- und Prozessmerkmale In der Betrachtung der potentiellen Bedingungen (vgl. Tab. 15) fällt auf, dass zehn Merkmalskombinationen keine Fälle mit einer Mitgliedschaft von mehr als 0.5 aufweisen, d.h. es handelt sich hier um logisch mögliche Kombinationen von Bedingungen, für die keine empirische Evidenz vorliegt. Das überrascht bei der Datenlage zu sieben Evaluationeprogrammen mit Daten zu 14 Individuen nicht. Auf diesen Umstand wird explizit in der Two-Step-Analyse eingegangen.

84

Die Rohdatentabelle wird entsprechend der Vorschläge von Schneider/Wagemann (2007: 267; 2010) im Anhang zugänglich gemacht.

185

4.2 Komparative Analyse der Daten mittels fsQCA

Tabelle 15: Idealtypen bzw. logisch mögliche Kombination von Bedingungen A A Bc B D C D

A A A ab A aB A ab ab aB aB aB ab A B bC bc C bC C bc cD cd cD cd Cd Cd Bc Cd d d D D D D d

1

0.7

0.3

0.3

0.3

0.3

0

0.3

0

0.3

0

0

0

0

0

0

0.3

2

0.7

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

3

0

0.7

0

0

0

0.3

0.3

0.3

0

0

0

0

0

0

0

0

4

0

0.7

0

0

0

0.3

0.3

0.3

0

0

0

0

0

0

0

0

5

0

0.3

0.3

0.7

0

0.3

0.3

0.3

0

0

0

0

0

0.3

0.3

0

6

0

0.3

0.7

0.3

0

0.3

0.3

0.3

0

0

0

0

0

0.3

0.3

0

7

0

0

0

0.7

0

0

0.3

0

0

0

0

0

0

0

0

0

8

0.3

0.3

0.3

0.3

0.7

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

9

0

0

0

0.7

0

0

0.3

0

0

0

0

0

0

0

0

0

10

0.3

0.3

0.3

0.3

0.7

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

0.3

11

0.3

0.3

0

0

0

0.7

0.3

0.3

0.3

0.3

0

0.3

0

0

0

0

12

0

0.7

0

0

0

0.3

0.3

0.3

0

0

0

0

0

0

0

0

13

0

0

0

0

0

0.7

0.3

0

0

0

0

0

0

0

0

0

14

0

0

0

0

0

0.7

0.3

0

0.3

0.3

0

0

0

0

0

0

Im ersten Analyseschritt85 sollen die notwendigen Bedingungen sowohl für direkte Nutzungen (USEDIR) als auch das nicht-Vorhandensein von indirekten Nutzungen (~useind) bestimmt werden. Da es nur zwei Fälle gab, bei denen – entsprechend der Kalibrierung - indirekte Nutzungen aufgetreten sind, liegt im Folgenden der Fokus auf der Analyse des nicht-Auftretens bzw. nichtVorhandenseins von indirekten Nutzungen. In der Fuzzy-Set Theorie gilt eine Bedingung als notwendig, wenn der Wert der Bedingungen größer oder gleich dem Wert des Outcomes ist (Schnei85

Für alle Berechnungen wurde der Quine-McCluskey Algorithmus verwendet.

186

4 Auswertung

der/Wagemann 2007: 201) bzw. eine notwendige Bedingung muss anwesend sein, damit das Outcome anwesend ist, aber sie ist keine Garantie dafür, dass das Outcome anwesend ist (Ragin 2009: 109). Folgende Tabelle zeigt die getesteten Bedingungen (soziale Kompetenzen 1, soziale Kompetenzen 2, Interaktionsgestaltung, Umfeld- und Prozessmerkmale) und deren Konsistenz- und Abdeckungsmaß: Tabelle 16: Analyse der notwendigen Bedingungen für direkte Nutzungen (USEDIR) und das nicht-Vorhandensein von indirekten Nutzungen (~useind) USEDIR

~useind

Getestete BeKonsistenz dingungen

Abdeckung

Konsistenz

Abdeckung

soc1

0.77

0.59

0.78

0.78

~soc1

0.48

0.78

0.43

0.93

soc2

0.71

0.84

0.57

0.89

~soc2

0.65

0.61

0.74

0.91

Inact

0.90

0.67

0.77

0.75

~inact

0.26

0.46

0.39

0.90

Umall

1.00

0.73

0.84

0.81

~umall

0.25

0.45

0.38

0.90

Die strengen Kriterien für die Akzeptanz einer Bedingung als notwendige Bedingung sehen Konsistenzwerte von mindestens .90 und eine ausreichend hohe Abdeckung vor (Schneider/Wagemann 2007: 213f). Die Tabelle zeigt, dass günstige Umfeld- und Prozessmerkmale (UMALL) eine notwendige und relevante Bedingung für eine hohe direkte Nutzung (USEDIR) darstellen86. Zur Vorbereitung auf die Auswertung wurde zudem in einer separaten Analyse überprüft, inwieweit die einzelnen Indikatoren von Umfeld- und Prozessmerkmalen für sich genommen ggf. schon den Test für notwendige Bedingungen bestehen, dies war für keinen der Indikatoren der Fall. In dem Datensatz findet sich kein 86

Für die Abwesenheit des Outcomes direkte Nutzungen wurde keine Bedingung als notwendig identifiziert.

4.2 Komparative Analyse der Daten mittels fsQCA

187

USEDIR

einziger Fall, bei dem direkte Nutzungen aufgetreten sind und die Bedingung der günstigen Umfeld- und Prozessmerkmale gleichzeitig nicht erfüllt war. Dies zeigt sich auch in folgender Abbildung:

Abbildung 13: xy-Plot direkte Nutzungen (USEDIR) und Umfeld- und Prozessmerkmale (UMALL), Konsistenz: 1.0, Abdeckung: .73 Die Bedingung Interaktion (INACT) verhält sich auch konsistent zu den untersuchten Outcomes, ist aber trivialer bzw. unrelevanter (siehe Abdeckungsmaß) als die Umfeld- und Prozessmerkmale einer Evaluation für die Evaluationsnutzung. Sowohl für die Abwesenheit von indirekten Nutzungen (~useind) als auch für die Anwesenheit (USEIND) kann keine Bedingung als notwendig akzeptiert werden. 4.2.1.2 Hinreichende Bedingungen für direkte Nutzungen In der Fuzzy-Set-Theorie gilt eine Bedingung als hinreichend, wenn für alle untersuchten Fälle beobachtet wird, dass ihr Wert in der zu untersuchenden Be-

188

4 Auswertung

dingung (z.B. Interaktionsgestaltung) kleiner oder gleich dem Wert in dem interessierenden Outcome (z.B. direkte Nutzungen) ist. Man spricht von quasihinreichenden Bedingungen wenn ein Großteil der Untersuchungsfälle diese Voraussetzung erfüllt (Schneider/Wagemann 2007: 203f). Bei der Analyse der hinreichenden Bedingungen werden entsprechend der empfohlenen Vorgehensweise von Ragin (2009: 110) die vorab identifizierten notwendigen Bedingungen nicht berücksichtigt. Unter direkten Nutzungen werden, wie unter 2.2.4 erläutert, alle intendierten Veränderungen, die mit der Evaluation in Verbindung gebracht werden, verstanden. Es kann sich dabei beispielsweise um inhaltliche Neuerungen handeln. Die daraus resultierenden Veränderungen können für die involvierten Personen erwünschte oder unerwünschte Folgen haben. Im folgenden Abschnitt wird der Lösungsterm für konsistent hinreichende Bedingungen für direkte Evaluationsnutzungen ermittelt. Anschließend werden die Ergebnisse interpretiert. Es sei daran erinnert, dass als notwendige Bedingung bereits günstige Umfeld- und Prozessmerkmale identifiziert wurden (siehe Tabelle 16). Der ermittelte Lösungsterm für die hinreichenden Bedingungen sieht folgendermaßen aus: SOC1*SOC2*INACT + soc1*soc2*INACT (Abdeckung: .77, Konsistenz: .90, cut-off: .8587)

Æ

USEDIR

Das dargestellte Ergebnis bedeutet, dass direkte Nutzungen dann perfekt oder eher vorhanden waren (USEDIR), wenn: a. b.

sowohl die sozialen Kompetenzen 1 (SOC1) und 2 (SOC2) ausgeprägt waren, als auch die Interaktionsgestaltung (INACT) als positiv wahrgenommen wurde oder die sozialen Kompetenzen 1 (soc1) und 2 (soc2) wenig ausgeprägt waren und die Interaktionsgestaltung (INACT) als positiv wahrgenommen wurde.

Insgesamt trifft diese Lösung auf fünf (7E, 7H, 2E, 3H, 6H) der untersuchten 14 Fälle zu. Bevor mit der Interpretation begonnen wird soll vorab auch der minimalste Lösungsterm unter Berücksichtigung der ’logical remainders’ präsentiert werden. Unter Einbezug dieser zur Generierung einer logisch simpleren Lösung waren direkte Nutzungen dann perfekt oder eher vorhanden (USEDIR) wenn: 87

Der cut-off Wert für die Konsistenz wurde auf 0.85 festgelegt, d.h. dass 85% der FuzzyMitgliedswerte der Fälle in einer kausalen Kombination konsistent sein müssen.

189

4.2 Komparative Analyse der Daten mittels fsQCA

a. b.

sowohl die sozialen Kompetenzen 2 (SOC2) ausgeprägt waren, als auch die Interaktionsgestaltung (INACT) als positiv wahrgenommen wurde oder die sozialen Kompetenzen 1 (soc1) wenig ausgeprägt waren und die Interaktionsgestaltung (INACT) als positiv wahrgenommen wurde.

Formal ausgedrückt heißt das: SOC2*INACT + soc1*INACT Æ USEDIR (Abdeckung: .77, Konsistenz: .90, cut-off: .85) Um genauere Aussagen über die Beurteilung der Interaktion treffen zu können, wurde zusätzlich das Interaktionsverhältnis (VINACT) berücksichtigt. Bei den hier untersuchten Evaluationsfällen wurden in zwei Programmevaluationen (2,7) von beiden Interaktionspartner(inne)n sowohl die direkten Nutzungen als auch eine günstige Interaktionsgestaltung als perfekt oder eher vorhanden beurteilt. Eine Analyse unter Berücksichtigung des Interaktionsverhältnis zeigt, dass ein konsistenter Bezug zwischen einer positiven Beurteilung der Interaktionsgestaltung durch beide Interaktionspartner(innen) oder mindestens eine positive Beurteilung der Interaktionsgestaltung durch die Hauptinteraktionspartner(innen) zu direkten Nutzungen hergestellt werden kann. VINACT*INACT*soc2 + VINACT*INACT*SOC1 Æ (Abdeckung: .74, Konsistenz: .84, cut-off: .77)

USEDIR

Eine positive Beurteilung der Interaktion durch beide Interaktionspartner(inn)en bzw. mindestens eine positive Beurteilung der Interaktion durch den/die Hauptinteraktionspartner(in) (VINACT) und eine als günstig bewertete Interaktionsgestaltung (INACT) führten in den hier untersuchten Programmevaluationen zu direkten Nutzungen. Der minimalste Lösungsterm zeigt dies eindrucksvoll: INACT*VINACT Æ USEDIR (Abdeckung: .82, Konsistenz: .76, cut-off: .77) Oben stehender Term trifft in sieben Fällen (2E, 2H, 3E, 3H, 6H, 7E, 7H) zu, d.h. das Ergebnis kann als relevant für die hier vorliegende Untersuchung bezeichnet werden. Schlussfolgern lässt sich somit aus allen Lösungstermen: eine als positiv wahrgenommene Interaktionsgestaltung und eine positive Beurteilung der Interaktion durch beide Interaktionspartner(innen) oder mindestens durch die

190

4 Auswertung

Hauptinteraktionspartner(innen) sind quasi-hinreichend konsistente Bedingungen für das Auftreten von direkten Nutzungen. Auffallend ist, dass sich im Vergleich der Lösungsterme die sozialen Kompetenzen 1 und 2 inkonsistent bzw. sogar reziprok verhalten. Ohne dass Aussagen über einzelne soziale Kompetenzen getroffen werden können, scheinen diese, in den hier untersuchten Programmevaluationen, in keinem konsistenten Verhältnis zu direkten Nutzungen zu stehen. Die hier vorgenommene Operationalisierung der sozialen Kompetenzen in Form von zwei Macro-Variablen lässt keine Aussagen in Bezug auf direkte Nutzungen zu. Welche sozialen Kompetenzen gegebenenfalls bedeutsam im Hinblick auf direkte Nutzungen sind, wird im Kapitel 4.2.2 aufgezeigt. 4.2.1.3 Hinreichende Bedingungen für die Abwesenheit von indirekten Nutzungen Indirekte Nutzungen beinhalten, wie unter 2.2.4 erläutert, alle eher unintendierten „Produkte“, die nicht explizit mit der Fragestellung der Evaluation zusammen hängen. Es kann sich dabei z.B. um die Entstehung von nützlichen Kontakten oder die Sensibilisierung für bestimmte Themen durch die Evalution handeln. Da indirekte Nutzungen nur in zwei Fällen (2E, 5H) beschrieben wurden, liegt der Fokus der Auswertung zunächst auf der Analyse der Bedingungen bei den Fällen, bei denen eher keine indirekten Nutzungen wahrgenommen wurden. Es sei daran erinnert, dass keine Bedingung die Kriterien für eine notwendige Bedingung erfüllt hat (siehe Tabelle 16). Der Lösungsterm für hinreichende Bedingungen sieht folgendermaßen aus und trifft für vier Fälle (4E, 4H, 5E, 6E) zu: SOC1*soc2*umall + soc1*soc2*inact*UMALL Æ ~useind (Abdeckung: .75, Konsistenz: .94, cut-off: .86) Der Term besagt, dass keine bzw. wenig indirekte Nutzungen beschrieben worden sind wenn: a. die sozialen Kompetenzen 1 überdurchschnittlich ausgeprägt und die sozialen Kompetenzen 2 unterdurchschnittlich ausgeprägt waren und die Umfeld- und Prozessmerkmale ungünstig waren oder b. die sozialen Kompetenzen 1 oder 2 unterdurchschnittlich ausgeprägt waren, die Interaktionsgestaltung eher ungünstig verlief und die Umfeld- und Prozessmerkmale günstig gestaltet waren.

4.2 Komparative Analyse der Daten mittels fsQCA

191

Muster sind im Vergleich der beiden Lösungspfade nicht zu finden. Einzige Übereinstimmung stellen schwach ausgeprägte soziale Kompetenzen 2 (Kontaktfähigkeit, Durchsetzungsstärke, Flexibilität, Soziabilität) dar. Bei genauerer Betrachtung der einzelen Pfade, die zum Nicht-Auftreten von individuellen Nutzungen geführt haben, fällt zunächst auf, dass die alleinige Abdeckung88 (unique coverage) für beide Pfade sehr gering ist. Durch die Anzahl der Fälle, die den einzelnen Pfaden zugeordnet ist, kann ermessen werden, wie aussagekräftig bzw. trivial oben genannter Term ist. Die Kombination der Bedingungen des ersten Pfades trifft auf nur drei Fälle zu (4E, 4H, 5E), während der zweite Pfad sogar nur auf einen Fall (6E) zutreffend ist. Diese Ergebnisse lassen daher keine schlüssigen Aussagen auf hinreichende Bedingungen für die Abwesenheit von indirekten Nutzungen zu. 4.2.2 Two-Step-Analyse von proximalen und distalen Bedingungen für Evaluationsnutzungen Im Kapitel 2 dieser Arbeit wurden verschiedene Theorien zu Nutzungen von Evaluationen vorgestellt, die ihre Argumente häufig (implizit) auf bedingende Faktoren basieren, die in zwei Gruppen eingeteilt werden können: distale und proximale Bedingungen. Zur Durchführung der Two-Step-Analyse müssen die zu untersuchenden Bedingungen nun explizit in distale und proximale Bedingungen differenziert werden. Als distale Bedingungen gelten strukturelle und kontextuelle Faktoren, die relativ stabil über einen Zeitraum hinweg bestehen. Diese liegen (fast) vollständig außerhalb der bewussten Beeinflussbarkeit durch die Beteiligten. Proximale Bedingungen dagegen können im Zeitverlauf variieren und unterliegen Veränderungen. Ihre Entstehung liegt meist nicht weit in der Vergangenheit und stellt ein mehr oder weniger bewusst „produziertes“ Produkt menschlicher Interaktion dar. Weiterhin wird davon ausgegangen, dass proximale Faktoren häufig solche sind, die eng mit dem Outcome verbunden sind (Schneider/Wagemann 2006: 760). Zu den distalen, eher strukturellen Bedingungen, die relativ stabil über einen Zeitraum hinweg bestehen, zählen daher in der vorliegenden Analyse die Umfeld- und Prozessmerkmale. Zu den proximalen, stärker variierenden Bedingungen zählt dagegen die Interaktionsgestaltung. Die sozialen Kompetenzen wurden ebenfalls den proximalen Bedingungen zugeordnet, obwohl diese Zuordnung nicht zwingend ist. Ein Argument für die Zuordnung sozialer Kompetenzen zu proximalen Bedingungen ist, dass die Entwicklung von sozialen Kom88

Die alleinige Abdeckung gibt an, wie viel Fälle mit dem Outcome Y (in diesem Fall das nichtAuftreten von indivduellen Nutzungen: ~useind) durch den jeweiligen Pfad abgedeckt werden.

192

4 Auswertung

petenzen im professionellen Kontext ein sukzessiver und permanenter Prozess ist, dessen Verlauf eng mit der Lernbiografie und mit individuumspezifischen Selbstorganisationsprozessen verwoben ist (Vogel/Wörner 2002: 89). Eine weitere Begründung für die Zuordnung der sozialen Kompetenzen zu den proximalen Bedingungen können die Zeitverläufe von Evaluationen liefern. Die hier untersuchten Evaluationen dauerten zwischen sechs Monaten und fünf Jahren mit relativ häufigen Kontakten zwischen den Hauptinteraktionspartner(inne)n, d.h. es handelt sich in der Regel um eine längere Arbeitsbeziehung und nicht um einen punktuellen Kontakt. 4.2.2.1 Fünf Pfade zu direkten Nutzungen In einem ersten Schritt werden nachfolgend die distalen Faktoren für das Auftreten von direkten Nutzungen analysiert. Die Anzahl der logisch möglichen Kombinationen von Bedingungen für das zu untersuchende Outcome beträgt für fünf zu untersuchende Bedingungen (2)5 32. Da davon ausgegangen werden kann, dass nicht alle Bedingungen gleich wichtig für das Auftreten von direkten Nutzungen sind, soll zunächst die Komplexität der Daten reduziert werden. Dies gelingt durch den von Ragin (2004) entwickelten Truth-Table Algorithmus. Folgende Tabelle 16 zeigt in der Spalte ‚Konsistenz’ die Konsistenzwerte zwischen 0 und 1 und in der Spalte ‚N’, die Anzahl der Fälle, die eine Mitgliedschaft von größer als 0.5 in der jeweiligen kausalen Kombination aufzeigen. Zum dritten zeigt die Spalte ‚Outcome’ für jede kausale Kombination ob diese die Kriterien für „sehr oft hinreichend“ besteht89. Die Bedingungen sind folgende: a. b. c. d. e.

89

Integration von Nutzungsprozessen (INT) Orientierung der Evaluation (ORIE) Einhaltung formaler Erfordernisse (FOR) Politisches Klima (POL) Umfeld und Prozessmerkale insgesamt (UMALL)

Der cut-off Wert für die Konsistenz wurde auf 0.71 festgelegt, d.h. dass 71% der Fuzzy-Mitgliedswerte der Fälle in einer kausalen Kombination konsistent sein müssen. Dieser festgelegte Wert ist ungewöhnlich niedrig. Empfohlen wird ein cut-off von mindestens .75. In hier vorliegendem Fall würde ein höherer cut-off dazu führen, dass das Ergebnis zeigt, dass die Integration von Nutzungsprozessen (INT) zu direkten Nutzungen führt. Da diese Vorgehensweise nur in zwei Programmen praktiziert wurde, wurde das Zulassen eines niedrigeren cut-off Werts als sinnvoll erachtet, um die Datenlage besser abzubilden. Das im Anschluss präsentierte Ergebnis, welches sich mit den Erkenntnissen aus der One-Step Analyse deckt, zeigt zusätzlich, dass diese Vorgehensweise in diesem Ausnahmefall vertretbar ist.

193

4.2 Komparative Analyse der Daten mittels fsQCA

Wie Tabelle 17 zeigt90, können die 14 Fälle durch sechs Konfigurationen abgebildet werden. Das bedeutet auch, dass es 26 logisch mögliche Kombinationen von Bedingungen gibt, für die keine empirische Evidenz vorliegt. Beachtet man, dass durch die 14 untersuchten Personen sechs verschiedene, logisch mögliche Kombinationen abgedeckt werden, zeigt das, dass die untersuchten Programme recht unterschiedlich gestaltet waren. Ersteres ist keineswegs ungewöhnlich für komparative Studien (Schneider/Wagemann 2006: 768). Tabelle 17: Konsistenztest der distalen Bedingungen für direkte Nutzungen (cutoff: .71) Konfiguration

Umfeld- und Prozessmerkmale

1 2 3 4 5

1 1 0 0 0

0 1 1 1 1

1 1 1 1 0

1 0 1 0 1

UMAL L 1 1 1 1 1

6

0

0

1

0

0

INT

ORIE

FOR

POL

Outcome: USE DIR

Konsistenz

1 1 1 1 1

1.00 0.88 0.80 0.71 0.71

2 2 2 2 2

0

0.35

4

N

Fall

7E, 7H 2E, 2H 6E, 6H 3E, 3H 1E, 1H 4E ,4H 5E, 5H

… 32

Wie bereits bei der Beschreibung der Auswertungsmethode erwähnt, erzwingt die Anwendung von fsQCA und insbesondere der Two-Step-Analyse, dass bewusste Entscheidungen in Bezug auf die logisch möglichen Kombinationen von Bedingungen, für die keine empirische Evidenz vorliegt, getroffen werden. Für den ersten Analyseschritt werden alle logisch möglichen Kombinationen von Bedingungen mitberücksichtigt, wobei die Konfigurationen betrachtet werden, die das Outcome direkte Nutzungen (USEDIR = 1) zeigen. Bedingungen die das Outcome nicht zeigen (USEDIR = 0) werden zunächst nicht berücksichtigt. Würden keine Annahmen über die logisch möglichen Bedingungen, für die keine empirische Evidenz vorliegt, erlaubt werden, würde dies zu einer komplexen Lösung führen. Die Analyse der distalen Bedingungen zeigt dementsprechend einen minimalen (nicht komplexen) Lösungsterm: 90

Obwohl die Darstellungsweise der Mitgliedschaften dichotom erfolgt (vgl. dazu Ragin 2004), beruht die weitere Analyse durch die Software auf den kalibrierten Fuzzy-Werten.

194

4 Auswertung

UMALL Æ USEDIR (Abdeckung: 1.00, Konsistenz: .73) Der Term bedeutet, dass: a. insgesamt positiv gestaltete Umfeld- und Prozessmerkmale (UMALL) der Kontext sind, in dem „direkte Nutzungen“ (USEDIR) wahrscheinlich sind bzw. wahrgenommen werden. Die Bedingung „Umfeld- und Prozessmerkmale“ repräsentiert die vorhandenen Daten in einer logischen Minimierung und geht als Macro-Variable (Berg-Schlosser/De Meur 1997) in die weitere Analyse ein. Es ist intendiert, dass im ersten Schritt der Analyse nicht beweiskräftige und bis zu einem gewissen Grad auch unspezifische Ergebnisse produziert werden. Erst die Kombination von proximalen und distalen Bedingungen führt zu spezifischeren, theoretisch komplexeren und empirisch konsistenten Aussagen (Schneider/Wagemann 2006: 770f). Neben dieser eher technischen Begründung für oben genannten Term bietet sich jedoch auch eine theoretische Begründung an: günstig gestaltete Umfeld- und Prozessmerkmale werden immer wieder als Einflussfaktor für die Nutzungen von Evaluationen benannt (vgl. Kapitel 2.3.3). Es überrascht dementsprechend nicht, dass günstige Umfeld- und Prozessmerkmale insgesamt eine Bedingung darstellen, die mit direkten Nutzungen in Verbindung steht. Durch eine separate Fuzzy-Set-Analyse der Macro-Variablen in einem einzigen Schritt stellte sich zudem heraus, dass günstige Umfeld- und Prozessmerkmale eine notwendige Bedingung für direkte Nutzungen darstellen (siehe dazu 4.2.1.1). Vier der fünf Bedingungen sind – bei der hier vorgenommenen Festlegung der Testparameter für hinreichende Bedingungen – logisch redundant für die Repräsentation der Daten. ‚Insgesamt günstige Umfeldund Prozessmerkmale’ ist somit der hier identifizierte Kontext in dem direkte Nutzungen wahrscheinlich sind. Nun sollen im zweiten Analyseschritt Kombinationen der Interaktionsgestaltung und sozialen Kompetenzen der Involvierten gefunden werden, die innerhalb dieses Kontext zu direkten Nutzungen führen. Bevor mit der Analyse der Bedingungen fortgefahren wird, soll daran erinnert werden, dass im Vergleich der Personen nur zwei Evaluator(inn)en (2E, 7E) überhaupt ‚eher hohe’ oder ‚hohe’ direkte Nutzungen wahrgenommen haben, d.h. es ist erwartbar, dass vor allem die Daten in Bezug auf die Hauptinteraktionspartner(innen) auf individueller Ebene zum Verständnis der Bedingungen, die zu direkten Nutzungen führen, beitragen werden. Die Analyse der proximalen Faktoren innerhalb des distalen Kontexts bezieht neun Bedingungen ein (die Umfeld- und Prozessmerkmale als distaler Kontext plus 7 proximale Bedingungen). Aussagen über die Wichtigkeit von Sensitivität können nicht getroffen werden, da hier, wie beschrieben, kaum

195

4.2 Komparative Analyse der Daten mittels fsQCA

Varianz in den Daten vorhanden ist. Sensitivität wird daher in der Analyse nicht als Bedingung berücksichtigt. Die Anzahl der logisch möglichen Kombinationen von Bedingungen für das Outcome ‚direkte Nutzungen’ beträgt (2)8 256. Die Bedingungen sind folgende: a. b. c. d. e. f. g. h.

Umfeld- und Prozessmerkmale (UMALL) Flexibilität (FL) Handlungsorientierung (HO) Kontaktfähigkeit (KO) Soziabilität (SOZ) Teamorientierung (TO) Durchsetzungsstärke (DU) Interaktionsgestaltung (INACT)

Tabelle 18: Konsistenztest der proximalen Bedingungen für direkte Nutzungen (cut-off: .85) Bedingungen Konfiguration

1 2 3 4 5 6 7 8 9 10 11 12 … 256

Soziale Kompetenzen FL

HO

KO

SOZ

TO

DU

0 1 1 1 1 0 0 1 0 0 0 1

1 1 1 1 1 0 1 1 0 1 1 1

1 1 1 1 1 0 1 1 0 0 1 0

0 0 1 1 1 1 1 0 0 1 1 1

1 1 1 1 1 1 1 0 1 0 0 0

1 0 0 1 1 0 0 1 0 0 1 0

OutcoIN UM me: ACT ALL USE DIR 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 0 0 0 0 0 0 0 0

Kon -sistenz

N

Fall

1.00 1.00 1.00 1.00 1.00 0.91 0.86 0.69 0.56 0.46 0.30 0.30

1 1 1 1 1 2 1 1 1 2 1 1

6H 3H 2H 1H 2E 7E,7H 3E 1E 6E 4E,5E 4H 5H

Tabelle 18 zeigt die Ergebnisse des Konfigurationstests. Die 14 Fälle können durch 12 Konfigurationen abgebildet werden. In sieben Fällen zeigt sich das Outcome ‚direkte Nutzungen’. Die 244 logisch möglichen Kombinationen von

196

4 Auswertung

Bedingungen, für die keine empirische Evidenz vorliegt, werden für den nachfolgenden Analyseschritt als falsche Kombinationen berücksichtigt, d.h. dass keine vereinfachenden Annahmen oder Hypothesen über diese Kombinationen erlaubt werden. Dies führt zur komplexesten Lösung und zu höheren Konsistenzwerten für den Lösungterm, da sich nur auf die tatsächlich vorhandenen empirischen Informationen bezogen wird. Folgende Tabelle 19 zeigt die so ermittelten verschiedenen hinreichenden Konfiguartionen oder auch die verschiedenen Pfade, die zu direkten Nutzungen führen. Aufgrund logischer Redundanz bleiben fünf Konfigurationen oder auch Pfade bestehen, die im Folgenden in Bezug auf das Auftreten von direkten Nutzungen interpretriert werden sollen. Für den Gesamtlösungsterm beträgt die Abdeckung 0.7591 und die Konstistenz 0.89. Kleine Buchstaben kennzeichnen die Abwesenheit für eine Bedingung und Großbuchstaben die Anwesenheit einer Bedingung. Tabelle 19: Hinreichende Pfade zu direkten Nutzungen unter Einbezug aller Fälle (cut-off: .85) USEDIR =

Distaler Kontext

Proximale Konfigurationen

Konsistenz

N

Fälle

1

UMALL

FL*HO*KO*TO*du*INACT

1.00

2

2H, 3H

2

UMALL

FL*HO*KO*SOZ*TO*DU

1.00

2

1H, 2E

3

UMALL

Fl*HO*KO*soz*TO*DU*INACT

1.00

1

6H

4

UMALL

fl*ho*ko*SOZ*TO*du*INACT

0.91

2

7E, 7H

5

UMALL

HO*KO*SOZ*TO*du*INACT

0.89

2

2H, 3E

Es wird deutlich, dass verschiedene Faktoren gemeinsam zu direkten Nutzungen führen und dass in den hier untersuchten Programmevaluationen sowohl günstige Umfeld- und Prozessmerkmale und eine positive Interaktionsgestaltung als auch einige soziale Kompetenzen das Auftreten von direkten Nutzungen beeinflussen. Im Folgenden werden die vorliegenden Ergebnisse für ‚direkte Nutzungen’ interpretiert. Entsprechend des Forschungsstands stellen günstige Umfeld- und Prozessmerkmale, hier durch die Indikatoren: Integration von Nutzungsprozessen (INT), Orientierung der Evaluation (ORIE), Einhaltung formaler Erfordernisse (FOR) und politisches Klima (POL) repräsentiert, den Kontext für das 91

75% aller Fälle, bei denen hohe oder eher hohe direkte Nutzungen aufgetreten sind, werden von den in der Tabelle präsentierten Pfaden abgedeckt.

4.2 Komparative Analyse der Daten mittels fsQCA

197

Auftreten von direkten Nutzungen dar. Wenn die Umfeld- und Prozessmerkmale eher ungünstig gestaltet sind, sind bei den hier untersuchten Fällen nur wenige direkte Nutzungen zu verzeichnen. Das trifft auch zu, wenn die Interaktionsgestaltung positiv beurteilt wird. Weiterhin wird die Wichtigkeit der positiven Beurteilung der Interaktiongestaltung zwischen Evaluator(in) und dessen/deren Hauptinteraktionspartner(in) für das Auftreten von direkten Nutzungen deutlich. In Bezug auf die direkten Nutzungen kann eine gelungene und als positiv wahrgenommene Interaktionsgestaltung während einer Evaluation (in Kombination mit günstigen Umfeldund Prozessmerkmalen) auch individuelle Schwächen bei den sozialen Kompetenzen aufwiegen. Dies wird insbesondere bei den Interaktionspartner(inne)n des Programms 7 deutlich: Hier waren einige soziale Kompetenzen sowohl von Evaluator(in) als auch von der/dem Hauptinteraktionspartner(in) (gemessen an der Normung für Führungskräfte) eher unterdurchschnittlich ausgeprägt, während die Interaktionsgestaltung von beiden als positiv beurteilt wurde und eher hohe direkte Nutzungen der Evaluation stattgefunden haben. Im Kontrast zur Literatur wurden in einem Fall (1H) hohe direkte Nutzungen beschrieben, ohne dass die Interaktionsgestaltung als günstig empfunden wurde. Gleichzeitig waren bei der betreffenden Person alle sozialen Kompetenzen überdurchschnittlich hoch ausgeprägt. Der zweite Pfad zeigt daher, dass bei positiven Umfeld- und Prozessmerkmalen und einer hohen Ausprägung der sozialen Kompetenzen, ungeachtet dessen, ob die Interaktionsgestaltung als positiv wahrgenommen wird oder nicht, die direkten Nutzungen als hoch beurteilt werden können. In einer separaten Analyse wurde überprüft, ob es von Bedeutung für direkte Nutzungen ist, ob die Interaktionsgestaltung von beiden Interaktionspartner(inne)n ähnlich oder unterschiedlich beurteilt wurde. Entsprechend der Ergebnisse der One-Step Analyse kann auch hier ein konsistenter Bezug zwischen einer positiven Beurteilung der Interaktionsgestaltung durch beide Interaktionspartner(innen) oder mindestens einer positiven Beurteilung der Interaktionsgestaltung durch die Hauptinteraktionspartner(innen) und direkten Nutzungen hergestellt werden. Lediglich in einem Fall (1H) trifft das nicht zu. Trotz negativer Beurteilung der Interaktionsgestaltung durch beide Interaktionspartner(innen) befand der/die Hauptinteraktionspartner(in), dass Evaluationsnutzungen im Sinne von direkten Nutzungen stattgefunden haben. Auffallend in allen Lösungstermen (vgl. Tabelle 19) ist die Notwendigkeit des Vorhandenseins von Teamorientierung (TO). In der bisherigen Evaluationsnutzungsforschung wurde die Wichtigkeit der Fähigkeit zur Arbeit im Team insbesondere in Bezug auf Evaluator(inn)en betont (Patton 1997). Die Analyse zeigt jedoch, dass vor allem auch bei Nutzer(inne)n Teamorientierung in Zusammenhang mit Gesamtevaluationsnutzung gebracht werden kann. Betrachtet

198

4 Auswertung

man die Pfade, fällt auf, dass in allen relevanten Fällen eine ausgeprägte Teamorientierung der Hauptinteraktionspartner(innen) Teilaspekt der Bedingungen ist, die zu Gesamtevaluationsnutzungen führen. Das hier erhobene Konzept von Teamorientierung richtet sich, wie weiter oben beschrieben, auf eine hohe Wertschätzung von Teamarbeit und Kooperation, die Bereitschaft zur aktiven Unterstützung von Teamprozessen und beinhaltet auch die Zurücknahme eigener Profilierungsmöglichkeiten zugunsten der Arbeitsgruppe (Hossiep/Paschen 2003: 22). Überträgt man das auf den Evaluationskontext, scheint eine ausgeprägte Teamorientierung der Person die Ansprechpartner(in) für das Evaluationsteam ist und somit das Bindeglied zwischen Evaluation und Programm darstellt, günstig für Nutzungsprozesse zu sein. Eine Offenheit für Teamarbeit und die Bereitschaft für die Verteilung der Verantwortung und somit auch eine „Verteilung“ des Wissens um evalutionsrelevante Aspekte, Geschehnisse und Ergebnisse kann in den hier untersuchten Evaluationsstudien als positiv für das Auftreten von direkten Nutzungen gewertet werden. Aufschluss über weitere wichtige berufliche soziale Kompetenzen, für die aber kein unmittelbarer Einfluss auf direkte Nutzungen abgeleitet werden darf, bietet der minimalste Lösungsterm (unter Berücksichtigung der ‚logical remainders’). Hier zeigt sich, dass Handlungsorientierung, Kontaktfähigkeit und Soziabilität (Konsistenz zwischen 0.83 – 0.87) Teilaspekte von Konfigurationen in Bezug auf direkte Nutzungen darstellen, allerdings auch hier nur in Kombination mit einer ausgeprägten Teamorientierung. Ob eine Person durchsetzungsstark ist oder besonders flexibel im Berufsalltag handelt, scheint für die Gesamtevaluationsnutzung eher nachrangig zu sein. Die wenigen vorhandenen Untersuchungen zur Flexibilität zeigen widersprüchliche Ergebnisse: Die Flexibilität der Interagierenden, wurde von Johnson (1998) und Alkin et al. (1985) als Faktor mit Einfluss auf Nutzungen identifiziert. Die hier vorliegende Analyse stützt eher die Ergebnisse von Stamm (2003a), wonach die Veränderungsbereitschaft der Nutzer(innen) keine entscheidende Rolle für Nutzungen spielt und kann noch durch die These ergänzt werden, dass es sich scheinbar ebenso für die Gruppe der Evaluator(inn)en verhält. Patton (1997: 44) benennt die Durchsetzungsfähigkeit (assertiveness) als einen Aspekt des „personal factor“ und betont den positiven Einfluss auf Evaluationsnutzung, dies kann durch die hier vorliegenden Ergebnisse nicht bekräftigt werden. Hier wurde besonders viel Evaluationsnutzung wahrgenommen, wenn Evaluation im Kontext von integrierten Nutzungsprozessen stattgefunden hat92, d.h. wenn die Evaluator(inn)en von Beginn an oder bereits während des Evaluationsprozesses für Nutzungsprozesse sensibilisiert waren. Bei individueller Be92

INT Æ USEDIR (Abdeckung .72, Konsistenz .88, cut-off .75)

199

4.2 Komparative Analyse der Daten mittels fsQCA

trachtung der Bedingungen bei Evaluator(inn)en für direkte Nutzungen in diesem Kontext geben zwei Fälle einen genaueren Einblick. Folgende Tabelle zeigt die hier ermittelten Pfade zu direkten Nutzungen. Hohe direkte Nutzungen tritt dementsprechend dann auf, wenn Nutzungsprozesse integriert werden und/oder berücksichtigt werden, die Interaktionsgestaltung als positiv beurteilt wird und insbesondere die Soziabilität und Teamorientierung der Evaluator(inn)en ausgeprägt ist. Die Analyse der Bedingungen für die Abwesenheit von direkten Nutzungen ergibt keine weiterführenden Hinweise. Tabelle 20: Hinreichende Pfade zu direkten Nutzungen unter Ausschluss der Hauptinteraktionspartner(innen) (cut-off: .99, Abdeckung .63, Konsistenz 1.0) USEALL =

Distaler Kontext

Proximale Konfigurationen

Konsistenz

N

Fälle

1

INT

Fl*ho*ko*SOZ*TO*du*INACT

1.00

1

7E

2

INT

FL*HO*KO*SOZ*TO*DU*INACT

1.00

1

2E

Entsprechend der erarbeiteten Dimensionen von Evaluationsnutzungen (vgl. Kapitel 2.2.4) werden zunächst zusammenfassend die Befunde zu den Fragen, wann, durch wen und wie Evaluationen genutzt werden erläutert. Die einzelnen Dimensionen von Nutzungen stellen ein Kontinuum dar, d.h. die einzelnen Ebenen liegen aufeinander und bedingen sich interdependent. Entsprechend des Untersuchungsmodells (vgl. Abb. 11) werden anschließend die Ergebnisse der Analysen der Einflüsse Umfeld- und Prozessmerkmale, Interaktionsgestaltung und soziale Kompetenzen beschrieben. Zur zeitlichen Dimension und somit zur Frage, wann Evaluationen genutzt werden, kann festgehalten werden, dass dort, wo Evaluationen sehr prozessorientiert verlaufen, hauptsächlich Transferwissen generiert wird, das kontinuierlich integriert und umgesetzt wird. Bei Evaluationen, bei denen wenig Interaktion und Rückmeldung während des Prozess stattfindet und wo der Fokus auf dem Abschlussbericht liegt, zeigen sich Nutzungen entsprechend eher in Folge der Evaluation. In der vorliegenden Untersuchung überwog die Anzahl der Programme, bei denen Nutzungen in Folge der Evaluation stattgefunden haben. Auf inhaltlicher Ebene wurden unter Einbezug von Kirkhart’s Modell (2000) direkte (intendierten, erwünschten oder unerwünschten) und indirekte (unintendierten oder intertierten, erwünschten oder unerwünschten) Nutzungen

200

4 Auswertung

differenziert. Direkte Nutzungen (z.B. inhaltliche Veränderungen am Programm, Legitimation des Programms) werden häufiger benannt als indirekte Nutzungen (z.B. Entstehung von nützlichen Kontakten), wobei Evaluator(inn)en weniger direkte Nutzungen wahrnehmen als ihre Hauptinteraktionspartner(innen), d.h. diese scheinen teilweise zu unterschätzen bzw. nicht nachzuverfolgen, welchen inhaltlichen Einfluss die Evaluation und somit auch ihre Arbeit tatsächlich auf das Programm hatte. Um die gegebenenfalls unterschiedlichen Referenzrahmen von Evaluator(inn)en und ihren Hauptinteraktionspartner(inne)n zu berücksichtigen, wurden hier auch Daten zu vorangegangenen Tätigkeiten abgefragt. So konnte kontrolliert werden, ob die jeweilige Person die Nutzungen hoch oder niedrig im Vergleich zu einem vorherigen oder parallelen Projekt beurteilt. Wenn ‚eher hohe’ oder ‚hohe’ direkte Nutzungen von Evaluator(inn)en wahrgenommen wurden, wurden Nutzungsprozesse von diesen bereits integriert oder berücksichtigt, d.h. die Evaluator(inn)en waren von Beginn an für eventuelle Evaluationsnutzungen sensibilisiert. 4.2.2.2 Indirekte Nutzungen – eine individuelle Strategie Wie bereits ausgeführt, beinhalten indirekte Nutzungen alle „Produkte“, die nicht explizit mit der Fragestellung der Evaluation zusammen hängen. Dazu gehören z.B. die Entstehung von nützlichen Kontakten, die Sensibilisierung für bestimmte Themen durch die Evaluationsbefragung, das Lernen für die Evaluationspraxis bzw. den Umgang mit Evaluationen (Lerneffekte in Form konzeptioneller Auswirkungen auf zukünftige Evaluationen), die Verbesserung der Kompetenzen im Verstehen von Evaluationen, die Beratung für die interne Evaluation oder ein Motivationsanschub für die weitere Arbeit u.a.. Die indirekten Nutzungen der Evaluationen waren im Vergleich zu den direkten Nutzungen bei den hier untersuchten Programmen eher gering. Nur bei zwei Programmen berichtete jeweils eine Person von hohen indirekten Nutzungen (Fall 2E, 5H). Aus diesem Grund wird im Folgenden untersucht, wann indirekte Nutzungen nicht aufgetreten sind.

201

4.2 Komparative Analyse der Daten mittels fsQCA

Tabelle 21: Konsistenztest der distalen Bedingungen für das Nicht-Auftreten von indirekten Nutzungen (~useint) (cut-off: .88) Konfiguration

Outco- Konsime: UM ~use stenz FOR POL ALL ind

Umfeld- und Prozessmerkmale

N

Fall

2 2 2 2

1E, 1H 3E, 3H 6E, 6H 7E, 7H 4E, 4H 5E, 5H 2E, 2H

INT

ORIE

1 2 3 4 5

0 0 0 1

1 1 1 0

0

0

1

0

0

1

0.88

4

6 … 32

1

1

1

0

1

0

0.61

2

0 1 1 1

1 0 1 1

1 1 1 1

1 1 1 1

1.00 1.00 1.00 1.00

Für die Analyse werden nun alle Konfigurationen betrachtet, die das Outcome ‚indirekte Nutzungen’ nicht zeigen. Die 26 logisch möglichen Kombinationen von Bedingungen, für die keine empirische Evidenz vorliegt, werden in diesem Analyseschritt mitberücksichtigt. Die Analyse der distalen Bedingungen führt zu folgendem minimalen Lösungsterm: int + orie + POL Æ ~useind (Abdeckung: 0.90, Konsistenz: 0.75, cut-off: .88) Wie bereits beschrieben, führt erst die Kombination von proximalen und distalen Bedingungen zu spezifischeren, theoretisch komplexeren und empirisch konsistenten Aussagen (Schneider/Wagemann 2006: 770f). Hier können bislang keine schlüssigen Aussagen generiert werden, der Vollständigkeit halber soll oben stehender Term jedoch zumindest ausformuliert werden: In Bezug auf die Umfeld- und Prozessmerkmale wurde in einem ersten (noch nicht aussagekräftigen Term) ermittelt, dass wenig oder keine direkten Evaluationsnutzungen stattgefunden haben wenn: a. b.

Nutzungsprozesse nicht in das Evaluationdesign integriert oder während der Evaluation berücksichtigt waren (int) oder das Erkenntnis- bzw. Informationsinteresse der Evaluation eher oder ausschließlich an übergeordneten Stellen als an den Umsetzungsverantwortlichen ausgerichtet war (orie) oder

202

4 Auswertung

c.

das politische Klima günstig gestaltet war, d.h. wenn zum Zeitpunkt der Evaluation bekannt war, dass die Weiterführung des Programms nicht gefährdet ist (POL).

Im zweiten Analyseschritt werden die proximalen Faktoren schrittweise innerhalb des distalen Kontexts analysiert, hierzu werden acht Bedingungen einbezogen (jeweils ein distales Kontextmerkmal plus 7 proximale Bedingungen). Die Abdeckung für den Gesamtlösungsterm beträgt .91 und die Konsistenz .97. Folgende Tabelle zeigt die intermediären Lösungstermini, d.h. es wurde entsprechend der distalen Analyse festgelegt, dass: 1. die Integration von Nutzungsprozessen abwesend sein muss (int), 2. die Evaluation eher oder ganz an den Informationsbedürfnissen übergeordneter Stellen ausgerichtet sein muss und (orie), 3. die Weiterführung des Programms nicht gefährdet sein darf (POL). Tabelle 22: Hinreichende Pfade zum nicht-Auftreten von indirekten Nutzungen (intermediäre Lösung, cut-off: 81.) ~useind =

Distaler proximale Konfigurationen Kontext

Konsistenz

N Fälle

1

int

INACT*du*TO*SOZ*KO*HO

1.00

1

3E

2

int

INACT*du*TO*KO*HO*FL

1.00

1

3H

3

POL*int

inact*du*TO*soz*ko*ho*fl

1.00

1

6E

4

orie*int

INACT*du*to*SOZ*ko*HO*fl

1.00

2

4E, 5E

5

POL*orie

INACT*du*TO*SOZ*ko*ho*fl

1.00

2

7E, 7H

6

orie*int

inact*DU*to*SOZ*KO*HO*fl

1.00

1

4H

7

POL*int

inact*DU*to*soz*KO*HO*FL

1.00

1

1E

8

POL*int

INACT*DU*TO*soz*KO*HO*fl

1.00

1

6H

9

POL*int

inact*DU*TO*SOZ*KO*HO*FL

1.00

1

1H

INACT*du*TO*SOZ*KO*HO*FL

0.89

1

2H

10

Die Analyse der hinreichenden Pfade zum nicht-Auftreten von indirekten Nutzungen zeigt keine systematischen Unterscheidungen oder Gemeinsamkeiten

4.2 Komparative Analyse der Daten mittels fsQCA

203

(keine Muster) hinsichtlich der hier im Zentrum stehenden Bedingungen Umfeld- und Prozessmerkmale, Interaktionsgestaltung und soziale Kompetenzen, vielmehr scheinen die erhobenen Faktoren das Phänomen nicht zu erfassen. Zudem unterscheiden sich die beiden Personen (2E, 5H), die hohe indirekte Nutzungen beschrieben haben, in nahezu allen hier untersuchten Bedingungen, so dass auch hier eine Interpretation oder genauere Fallanalyse wenig sinnvoll erscheint. Ob eine Evaluation zu indirekten Nutzungen führt, liegt demnach mit hoher Wahrscheinlichkeit in den Interessen der einzelnen Person begründet, in jedem Fall jedoch nicht in den Umfeld- und Prozessmerkmalen, der Interaktionsgestaltung während der Evaluation oder der Ausprägung der beruflichen sozialen Kompetenzen.

5.1 Ergebnisse der empirischen Untersuchung

205

5 Ergebnisse und Ausblick

In Form einer resümierenden Nachbetrachtung geht es in diesem Kapitel um die Darstellung der Ergebnisse und die Ableitung von Implikationen für die Forschung und die Evaluationspraxis. 5.1 Ergebnisse der empirischen Untersuchung Zentrale Fragestellung dieser Arbeit war die Abklärung der Bedeutung von Interaktionsgestaltung und sozialen Kompetenzen der Hauptinteraktionspartner(innen) für die Evaluationsnutzungen bei Mentoring-Programmevaluationen. Zudem wurden einige zentrale Umfeld – und Prozessmerkmale93 bei der Analyse berücksichtigt. Alle drei Bedingungen – Interaktionsgestaltung, soziale Kompetenzen der Hauptinteraktionspartner(innen) und Umfeld- und Prozessmerkmale – wurden in ihrer Bedeutung sowohl für direkte als auch für indirekte Evaluationsnutzungen analysiert. Die Ergebnisse der Untersuchung werden im Folgenden zunächst in Bezug auf direkte, dann in Bezug auf indirekte Evaluationsnutzungen zusammengefasst und diskutiert. In Bezug auf Umfeld- und Prozessmerkmale und ihre Bedeutung für direkte Evaluationsnutzungen wurde in dieser Untersuchung in Übereinstimmung mit dem Forschungsstand deutlich: ƒ

Günstige Umfeld- und Prozessmerkmale stellen eine notwendige Bedingung für direkte Nutzungen dar.

Eine Schlüsselrolle scheint dabei der Integration von Nutzungsprozessen zuzukommen. Dies konnte in vorliegender Untersuchung nicht näher analysiert werden, da nur zwei Programme tatsächlich aktiv Nutzungsprozesse in das Design implementiert bzw. auch ohne Implementierung Nutzungsprozesse stark berücksichtigt haben. Verschiedene Autor(inn)en (z.B. Alkin et al. 1985; Hannum/ Martineau 2008; Huberman/Cox 1990; Stamm 2003a) weisen jedoch auf die 93

Indikatoren: Integration von Nutzungsprozessen, Orientierung der Evaluation, Einhaltung formaler Erfordernisse, politisches Klima

M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_6, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

206

5 Ergebnisse und Ausblick

Wichtigkeit der Integration von Nutzungsprozessen, die im Idealfall bereits in der Planungsphase ansetzen sollte, hin und unterstützen dementsprechend das hier vorliegende Ergebnis, dass der Integration von Nutzungsprozessen eine Schlüsselrolle für das Auftreten von direkten Nutzungen zukommt. Die Bedeutung der Interaktionsgestaltung für direkte Nutzungen wurde durch die vorliegende Untersuchung in mehrerlei Weise herausgearbeitet. Damit konnten erste empirische Ergebnisse, mit Fokus auf einen komplementären Betrachtungsaspekt, für diesen Bereich geliefert werden. Die historische Sichtweise (vgl. Kapitel 2.2.3) hat gezeigt, dass zwar eine Tendenz hin zur Beachtung der Interaktionsperspektive für Nutzungsprozesse im Theoriediskurs zu beobachten ist, dass die Dimensionen der sozialen Beziehungen und Interaktionen in den aktuellen empirischen und theoretischen Arbeiten zu Evaluation jedoch nicht explizit behandelt werden. Durch die vorliegende Untersuchung wurde dieses Forschungsdesiderat aufgegriffen. Die komparative Analyse mittels fsQCA hat in Bezug auf die Interaktionsgestaltung während einer Evaluation zwei Ergebnisse hervorgebracht: ƒ

Eine positive Interaktionsgestaltung zwischen Evaluator(in) und dessen/deren Hauptinteraktionspartner(in)94 und eine positive Beurteilung der Interaktion durch beide Interaktionspartner(innen) oder mindestens durch die Hauptinteraktionspartner(innen) sind quasi-hinreichend konsistente Bedingungen für die Wahrnehmung von direkten Nutzungen.

ƒ

In Bezug auf direkte Nutzungen kann eine gelungene und als positiv wahrgenommene Interaktionsgestaltung während einer Evaluation (in Kombination mit günstigen Umfeld- und Prozessmerkmalen) auch individuelle Schwächen bei den beruflichen sozialen Kompetenzen der Interaktionspartner(innen) aufwiegen.

Die Ergebnisse zeigen, dass die Interaktionsgestaltung eine konsistente Bedingung darstellt, die Einfluss auf die Wahrnehmung von Nutzungs- und Disseminationsprozessen hat. Das zuerst genannte Ergebnis hebt hervor, dass die Person der Evaluator(inn)en und deren subjektive Wahrnehmung des Verlaufs der Interaktion während einer Evaluation als marginal wirksame Einflussgröße auf Nutzungsprozesse charakterisiert werden müssen. Vielmehr ist die Zufriedenheit der Umsetzungsverantwortlichen mit der Interaktionsgestaltung mitbestimmend dafür, ob Evaluationsinformationen tatsächlich rezipiert werden. Diese Ergebnisse entsprechen den Befunden von Stamm (2003a). Bei detaillierter Ergebnisin94

Indikatoren: Verfügbarkeit, wertschätzende Grundhaltung, Gestaltung der Kommunikation, Zufriedenheit mit der Interaktion insgesamt

5.1 Ergebnisse der empirischen Untersuchung

207

terpretation sieht man sich vor die Frage gestellt, inwiefern Nutzungskonzepte, die die Interaktion von Evaluator(inn)en mit verschiedenen Stakeholdern ins Zentrum rücken, empirisch überprüfbar gemacht werden können. Dies gilt sowohl in Hinblick auf den Nachweis von Nutzungen als auch auf die Erfassung von Interaktionsaktivitäten. Ein komplementärer Betrachtungsaspekt ist bislang kaum in der Forschung zu Nutzungsprozessen vorhanden, d.h. es wird in empirischen Untersuchungen weitgehend ausgeblendet, dass es sich bei Programmevaluationen nicht nur um einen sozialen, sondern auch um einen interaktiven Prozess handelt, an dem mehrere Interaktionspartner(innen) beteiligt sind. Der zweite genannte empirische Befund zur Interaktionsgestaltung wurde bislang kaum diskutiert, d.h. es liegen keine empirischen Vergleichsergebnisse vor. Verschiedene Autor(inn)en gehen jedoch von einem starken bis „substanziellen“ (Cousins/Leithwood 1993: 328) Einfluss interaktiver Prozesse auf die Nutzungen von Evaluationen aus (Alkin et al. 1985; Dewey et al. 2008; Engle et al. 2006; Johnson 1998; Leviton/Hughes 1981; Stevahn/King 2005). Vor dem Hintergrund der aktuellen Diskussion um Kern- bzw. Schlüsselkompetenzen (vgl. Kapitel 2.4) macht das Ergebnis deutlich, dass ggf. eine Fokusverschiebung von individuellen sozialen Kompetenzen von Evaluator(inn)en zu interaktiven Prozessen angezeigt ist. Herausstechend in Bezug auf die Bedeutung von sozialen Kompetenzen der Hauptinteraktionspartner(innen) für die direkten Nutzungen von Evaluationen sind vor allem drei empirische Befunde dieser Untersuchung: ƒ

Nicht alle sozialen Kompetenzen der Evaluator(inn)en und ihrer Hauptinteraktionspartner(innen) haben einen gleichbedeutenden Einfluss auf direkte Evaluationsnutzungen.

ƒ

Ob eine(r) der Interaktionspartner(innen) besonders durchsetzungsstark oder flexibel im Berufsalltag handelt, scheint für Nutzungen von Evaluationen eher nachrangig zu sein.

ƒ

Eine ausgeprägte Teamorientierung der Person, die Ansprechpartner(in) für das Evaluationsteam ist und somit das Bindeglied zwischen Evaluation und Programm darstellt, kann als relevant in Bezug auf direkte Nutzungsprozesse gewertet werden.

Als erstes entscheidendes Ergebnis dieser Untersuchung kann in Bezug auf die sozialen Kompetenzen für Evaluationsnutzungen festgehalten werden, dass durchaus fein zwischen unterschiedlichen sozialen Kompetenzen der Beteiligten unterschieden werden muss. Die hier vorgenommene Analyse stützt und erwei-

208

5 Ergebnisse und Ausblick

tert in diesem Zusammenhang die empirischen Ergebnisse von Stamm (2003a), wonach die Veränderungsbereitschaft der Nutzer(innen) keine entscheidende Rolle für Nutzungen spielt. Dies scheint sich, entsprechend der hier durchgeführten Analyse, ebenso für die Gruppe der Evaluator(inn)en zu verhalten. Die Ergebnisse stehen damit zugleich im Widerspruch zu den (meta)theoretischen Annahmen von Alkin et al. (1985) und Johnson (1998), die eine hohe Flexibilität als einen Faktor mit Einfluss auf Nutzungen von Evaluationen betrachten. Patton (1997) verknüpft Durchsetzungsfähigkeit als Kompetenz von Evaluator(inn)en mit Nutzungsaspekten. Auch für diese These finden sich in der vorliegenden Untersuchung keine Anhaltspunkte. Das drittgenannte Ergebnis zu sozialen Kompetenzen zeigt, dass die Dissemination von Ergebnissen vor allem bei den Umsetzungsverantwortlichen von Evaluationen liegt. Es sollte dementsprechend im Interesse einer nutzungsorientierten Evaluation sein, die potentiellen Nutzer(innen) einzubeziehen, sie zur Teamorientierung und somit Kommunikation in den eigenen Reihen zu animieren und so den Boden für die Nutzungen von Evaluation zu bereiten. Obwohl Stakeholder-basierte Evaluationen in der Fachliteratur ausführlich beschrieben werden, bleibt dieser Aspekt in Trainingsprogrammen zu Evaluation weitgehend unberücksichtigt (Michalski/Cousins 2001: 37); dies wird im nachfolgenden Kapitel 5.2 zur weiteren Diskussion aufgegriffen. Im Folgenden erfolgt eine Zusammenfassung der empirischen Ergebnisse dieser Untersuchung zur Bedeutung der drei Bedingungen – Interaktionsgestaltung, soziale Kompetenzen der Hauptinteraktionspartner(innen) und Umfeldund Prozessmerkmale – für indirekte Nutzungen. Indirekte Nutzungen, verstanden als Nutzung von nicht explizit mit der Fragestellung der Evaluation zusammen hängenden Produkten, sind nur wenig präsent in der Nutzungsliteratur (theoretisch haben sich damit u.a. Fitzpatrick et al. 2004 und Patton 1996 beschäftigt). Da indirekte Nutzungen bei der hier vorliegenden Untersuchung nur in zwei Fällen in hinreichendem Maße beschrieben wurden, stand die Abwesenheit von indirekten Nutzungen im Zentrum der komparativen Untersuchung. Die Analyse der hinreichenden Pfade zur Abwesenheit von indirekten Nutzungen zeigt keine systematischen Unterscheidungen oder Gemeinsamkeiten (keine Muster) hinsichtlich der hier untersuchten Bedingungen, vielmehr scheinen die erhobenen Faktoren das Phänomen nicht zu erfassen. Geschlussfolgert werden kann: ƒ

Es liegt bei den Interessen der einzelnen Person – in jedem Fall jedoch nicht bei den Umfeld- und Prozessmerkmalen, der Interaktionsgestaltung während der Evaluation oder der Ausprägung der beruflichen sozialen Kompetenzen – ob eine Evaluation zum Nicht-Auftreten von indirekten Nutzungen führt.

5.2 Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis

209

Es zeigte sich zudem, dass bei den beiden Fällen, in denen indirekte Nutzungen in hohem Maße aufgetreten sind, die Evaluator(inn)en über langjährige Berufserfahrung verfügten. Weiterführende Untersuchungen könnten hier z.B. Konzepte wie Erfahrungslernen in den Fokus nehmen, um diesen Aspekt von Evaluationsnutzungen näher zu bestimmen. 5.2 Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis Im Anschluss an die Präsentation der empirischen Ergebnisse lassen sich eine Reihe zukunftsweisender Aspekte für die Evaluationsnutzungsforschung und daran anschließend an die Evaluationspraxis adressieren. Drei Schwerpunkte sollen im Folgenden konturiert werden: ƒ ƒ ƒ

Integration der Interaktionsperspektive in Nutzungskonzeptionen Taxonomische Auseinandersetzung mit bestehender Forschung zu nutzungsbeeinflussenden Faktoren und Implikationen für die Aus- und Weiterbildung in Evaluation.

Integration der Interaktionsperspektive in Nutzungskonzeptionen Entsprechend dem Resümee von Stamm (2003a: 290) zeigt auch diese Untersuchung, dass es an der Zeit ist, sich von Nutzungskonzepten, die ausschließlich auf eine Optimierung der so genannten kontrollierbaren Faktoren durch die Evaluator(inn)en setzen, zu verabschieden. Einige neuere Konzeptionen von Evaluationsnutzungen beziehen die so genannten Prozess-bezogenen Nutzungen, aber auch das Konzept von lernenden Organisationen ein (Michalski/Cousins 2001: 50). Dies stellt eine signifikante Entwicklung dar, weil über die klassischen Konzeptualisierungen von Nutzungen als symbolische, konzeptionelle und instrumentelle hinausgegangen wird. Die Evaluationsnutzungsforschung impliziert in ihrer bisherigen Ausrichtung, dass Evaluation (als Theorie) und Nutzung (als Praxis) sich ursächlich gegenüberstünden (vgl. Stamm 2003a: 327). Die theoretische Abhandlung (vgl. Kapitel 2) und empirische Analyse (vgl. Kapitel 4) haben hingegen deutlich gemacht, dass auf Evaluationen nicht logischerweise Nutzungen (im Sinne der klassischen Konzeptualisierung) von Evaluationsbefunden und Verbreitungsprozesse folgen. Weit häufiger finden transformative Umdeutungsund Reduktionsprozesse statt und ggf. werden methodisch elaborierte Evaluationen kaum genutzt (vgl. Stamm 2003a; Weiss 1988a). Eindrücklich verdeutlicht wird dies (ironischer Weise) in der Rezeption des Wissens um Nutzungsprozesse im Evaluationsfeld selbst. So wird beispielsweise das Wissen, welches für den

210

5 Ergebnisse und Ausblick

hier im Zentrum stehenden Bereich der interpersonellen Kompetenzen von der Evaluationsgemeinschaft als akzeptiert gilt, kaum in Evaluationsstandards (z.B. Sanders 2006), Aus- und Weiterbildungs-Kerncurricula oder sogar in aktuelle empirische Nutzungsuntersuchungen integriert und somit genutzt. Es bestehen Hinweise darauf, dass die Annahme und Umsetzung der bereits gewonnenen Kenntnisse der Nutzungsforschung teilweise noch ganz am Anfang stehen; die Community entwickelt jedoch langsam ein Verständnis für die Wichtigkeit von sinnvollen, innovativen und dynamischen Konzepten für follow-ups und die Entwicklung systematischer Disseminationsmethoden für verschiedene Stakeholder (Sandison 2006). Die bestehenden Rekonzeptualisierungsbemühungen des Nutzungsbegriffs (z.B. von Kirkhart 2000; Henry/Mark 2003a; 2003b) sollten dementsprechend in Zukunft verstärkt aufgenommen und weiterentwickelt werden. Die empirischen Befunde vorliegender Untersuchung zeigen zwar in Übereinstimmung mit dem Forschungsstand, dass günstige Umfeld- und Prozessmerkmale eine notwendige Bedingung für direkte Nutzungen darstellen, aber auch, dass die bislang wenig berücksichtigte Interaktionsgestaltung als konsistent hinreichende Bedingung in Bezug auf direkte Nutzungen für die untersuchten Programmevaluationen akzeptiert werden kann. Auch hier muss nochmals betont werden, dass die Literatur zu diesem Thema zwar extensiv ist95, dass Interaktionsgestaltungsaspekte als Kernkompetenzen jedoch, bevor sie z.B. in ein Masterprogramm speziell zur Aus- und Weiterbildung von Evaluator(inn)en aufgenommen werden, durch empirische Untersuchungen von Interaktionen praktizierender Evaluator(inn)en und ihren Interaktionspartner(inne)n konkretisiert und kontextualisiert werden sollten. Da die Evaluationstätigkeit, wie unter 2.1 zusammengefasst, ein Pluralitätsbekenntnis ist, scheinen theoretische Diskussionen und systematische empirische Untersuchungen - mit Anleihen in den entsprechenden Wissenschaftsgebieten unter dem Dach der Evaluations(nutzungs)forschung vielversprechend und stellen eine zentrale Herausforderung dar. Für die Zukunft sind für den deutschsprachigen Raum weiterführende Studien mit größeren Stichproben, die die konzeptuellen Überschneidungen der Definitionen der einzelnen sozialen und interpersonellen Kompetenzen (mit ihren Subkategorien) adressieren, und andere method(olog)ische Optionen der Untersuchung (wie z.B. explorative Ansätze, Delphi-Methode) in Betracht ziehen, erforderlich.

95

Zu den detailliertesten Arbeiten mit Empfehlungen für den Aus- und Weiterbildungsbereich in Evaluation gehört die von Cronbach et al. (1980). Preskill und Russ-Eft (2005) haben eine Monographie mit 72 Aktivitäten für praxisnahes Lehren und Lernen für den Bereich Evaluation veröffentlicht.

5.2 Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis

211

Taxonomische Auseinandersetzung mit bestehender Forschung zu nutzungsbeeinflussenden Faktoren Wie in Kapitel 2 ausgeführt, liegen eine Reihe nutzungsbeeinflussenden Faktoren und Annahmen (mit dazugehörigen Modellen) für Evaluationen vor. Nicht alle Faktoren sind empirisch verifiziert bzw. in vielen Fällen liegen widersprüchliche Ergebnisse bezüglich des Einflusses auf Nutzungsprozesse vor. Es wurde im Rahmen der Generierung des Untersuchungsmodells der vorliegenden Studie weiterhin aufgezeigt, dass Befunde zu beruflicher Identität und Grundeinstellungen zu Evaluation, sozialen Kompetenzen und kommunikativen Fähigkeiten als Einflussfaktoren auf Evaluationsnutzungen bislang wenig differenziert dargestellt werden. Hier gibt es keine gemeinsame Fachsprache, d.h. unter identischen Begrifflichkeiten werden verschiedene Inhalte untersucht, oder für ein und dasselbe Konstrukt werden unterschiedliche Termini genutzt. Bei allen Schwierigkeiten der Abgrenzbarkeit der Konstrukte zueinander und der dadurch erschwerten Vergleiche verschiedener bereits bestehender Studien muss es zum Anliegen der Evaluationsnutzungsforschung werden, dass nicht weiter intuitiv mit den Begrifflichkeiten umgegangen wird, sondern diese zumindest reflexiv in ihrer Bedeutung ausgewiesen werden. Erst anschließend können valide Untersuchungen zu Kernkompetenzen von Evaluator(inn)en erfolgen und damit in Verbindung strukturlogische Überlegungen zu Vermittlungs- und Lernprozessen angestellt werden. Angesichts der vorliegenden Studien und den unterschiedlichsten Operationalisierungen und Definitionen der so genannten „soft skills“ muss die kritische Frage gestellt werden, inwiefern die bislang vorliegenden Ergebnisse überhaupt eine Vergleichbarkeit und Aussagen über den Status Quo der nutzungsrelevanten Faktoren und der damit in Verbindung stehenden Kompetenzen von Evaluator(inn)en zulassen. Implikationen für die Aus- und Weiterbildung in Evaluation Als Einstieg in das Thema Implikationen für die Aus- und Weiterbildung in Evaluation soll zunächst ein(e) erfahren(e) Evaluator(in), der/die im Rahmen der vorliegenden Untersuchung interviewt wurde, zitiert werden: „Sie [junge Programmevaluator(innen)] müssen ja auch irgendwie so eine Mischung hinkriegen zwischen nachgeben, durchsetzen und verbindlich sein. Das hinzubekommen kommt einem so ein bisschen vor wie Kunst. Fast niemand hat wirklich eine Ausbildung: Machen, sich Feedback geben lassen, machen, sich wieder Feedback geben lassen. So würde ich sagen. Das ist ganz wichtig. Wir haben es eigentlich so gemacht, indem wir eigentlich immer jemanden geschickt haben, der es einigermaßen konnte oder von dem man ausgegangen ist, dass er es kann und haben immer einen Neuen mitgenommen. Das Schlimmste denke ich ist, wenn man jemanden völlig Unerfahrenen in ein schwieriges Feld schickt, da sind schon viele verheizt worden (7E, 51-52).“

212

5 Ergebnisse und Ausblick

Bisherige Diskussionen im Bereich Aus- und Weiterbildung von Evaluator(inn)en sind hauptsächlich auf Trends in der Ausbildung (Altschuld/Thomas 1991; Engle et al. 2006; Fitzpatrick 1994) oder Kompetenzen von Evaluator(inn)en (Dewey et al. 2008; King et al. 2001; Mertens 1994; Stevahn et al., 2005) fokussiert. Systematische Untersuchungen zur Rezeption evaluationsspezifischen Wissens für den Bereich der Aus- und Weiterbildung im deutschsprachigen Raum stehen bisher aus und sind aufgrund der gerade erst etablierten Studiengänge (vgl. Kapitel 2.4) frühestens in einigen Jahren zu erwarten. Vor dem Kontext der Ergebnisse dieser Arbeit können zwei Forderungen fokussiert werden: Zum einen ist von Seiten der Weiterbildungsprogramme für Evaluator(inn)en dringend eine verstärkte Aufmerksamkeit auf die Interaktionsgestaltung bzw. den Umgang mit Stakeholdern zu richten. Zum zweiten müssen Anlaufstellen für die Auftraggeber(innen) bzw. potentiellen Nutzer(innen) von Evaluationen geschaffen werden (siehe dazu auch DeGEval 2007; Greene 1987, 1988; Stockmann 2004: 38). Bislang herrscht ein Ungleichgewicht zwischen dem Bedeutungszuwachs von Evaluationen und der Verpflichtung einzelner Programme (und auch Organisationen) auf Ergebnisverantwortung einerseits und fehlenden unabhängigen Anlaufstellen und Weiterbildungsmöglichkeiten für die Auftraggeber(innen) andererseits. Mit dieser Entwicklung stehen auch Fragen der Reorganisation des Personals zur Klärung an, dies ist insbesondere dann der Fall, wenn es sich um die Evaluation größerer Kontexte handelt. Fast alle Publikationen zum Thema Aus- und Weiterbildung von Evaluator(inn)en betonen die Wichtigkeit von praktischen Erfahrungen (z.B. Cronbach et al. 1980; Morris 1994; Preskill 1992; Rossi/Freeman 1993), wobei als Ansätze Simulationen, Rollenspiele (vgl. z.B. Alkin/Christie 2002), einzelne praktisch orientierte Projektkurse (vgl. z.B. Fitzpatrick 1994; Wildt 1997) und Praktika unterschieden werden (Trevisan 2004: 256). Die „professionelle Sozialisation“ (Fitzpatrick 1994: 44) bzw. „socialisation into the profession“ (Mertens 1994: 24) ist dabei gerade im Feld der Evaluation auf die praktische Tätigkeit ausgerichtet; d.h. die Mehrheit der Absolvent(inn)en eines Masterstudiengangs in Evaluation wird anschließend in der Praxis tätig sein; deshalb müssen auch hauptsächlich Praktiker(innen) ausgebildet werden (Fitzpatrick 1994: 42ff). Fitzpatrick schlägt daher vor, sich bei der Konzeption von Curricula an anderen praxisnahen Studiengängen zu orientieren (ebd.: 43f). Einen relevanten Aspekt stellen in diesem Zusammenhang und zu gegebenem Zeitpunkt dann auch die didaktischen Kompetenzen der Lehrenden bezogen auf Praxisorientierung und Kernkompetenzen dar (vgl. dazu z.B. von Richthofen/Wentzlaff 2005: 21). Einschränkend gilt zu bedenken, dass kognitive Fähigkeiten, verschiedene persönliche Stile und emotionale Qualitäten Komponenten von Kernkompetenzen darstellen. Die interindividuellen Unterschiede bezogen auf die genannten

5.2 Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis

213

Aspekte können jedoch enorm sein und es ist weitgehend ungeklärt, inwieweit eventuelle Defizite insbesondere in Bezug auf soziale Kompetenzen und interpersonelle Kompetenzen durch Lernprozesse kompensiert werden können. Für interpersonelle Kompetenzen gilt zu hinterfragen, inwieweit sie durch spezifische Programme und Trainings überhaupt erworben werden können. Besonderes Augenmerk ist hier auf schwierige Interaktionssituationen mit einer Vielzahl von Beteiligten zu legen. Die Effekte von Trainings zu sozialen Kompetenzen, die sich in Interaktionssituationen offenbaren, wurden beispielsweise bislang keiner systematischen Evaluation unterzogen (vgl. Seyfried 1995b: 29). Auch gibt es keine systematischen Untersuchungen dazu, wie der Transfer von gewonnenen Erkenntnissen zu den so genannten „soft skills“, die im Rahmen eines Weiterbildungskurses erworben worden sind, in den Berufsalltag eines/einer Evaluators/ Evaluatorin gelingen. Bislang wenig berücksichtigt sind zudem vielversprechende Ansätze aus anderen Berufskontexten und Disziplinen wie z.B. Supervision, Fokusgruppen, Coaching oder Shadowing als Ergänzungen für Berufsanfänger(innen) bzw. Evaluator(inn)en in Ausbildung. Angesichts der in dieser Untersuchung herausgestellten Bedeutung der Interaktionsperspektive für Evaluations- und Evaluationsnutzungsprozesse erscheint eine stärkere Berücksichtigung solcher Instrumente für eine zukunftsorientierte Professionalisierung des Evaluationssektors diskutierenswert.

Literaturverzeichnis

215

Literaturverzeichnis

Aadne, J. H. (2000): Social Interaction in Strategy Processes: Applied Action Research in the Scandinavian Media World. Bamberg: Difo Druck OHG Abele, A. E. (2000): A dual-impact model of gender in career-related processes. In: T. Eckes and H. M. Trautner (eds.), The developmental social psychology of gender. Mahmah, NJ: Lawrence Erlbaum.361-388 Abele, A. E. (2000): Gender gaps in early career development of university graduates. Why are women less successful than men? In: European Bulletin of Social Psychology, 12, 3. 22-38 Abma, T. A. (2006): The social relations of evaluation. In: M. M. Mark, J. C. Greene, and I. F. Shaw (eds.), Handbook of Evaluation. Thousand Oaks: Sage. 184-200 Alkin, M. C., J. Koescoff, C. T. Fitz-Gibbon, and R. Seligman (1974): Evaluation and decision making: the title VII experience. Los Angeles: Center for the study of evaluation Alkin, M. C. (1975): Evaluation Reflections. Evaluation: Who needs it? Who cares? In: Studies in Educational Evaluation, 1, 3. 201-212 Alkin, M. C., R. Daillak, and P. White (1979): Using Evaluation. Does Evaluation Make a Difference? Beverly Hills: Sage Alkin, M. C. (1980): Naturalistic study of evaluation utilization. In: New directions for program evaluation, 5, 19-28 Alkin, M. C. and Stecher, B. (1983): Evaluation in context: Information use in elementary school decision making. In: Studies in Educational Evaluation, 9, 23-32 Alkin, M. C. and F. S. Ellett (1984): Development of evaluation models. In: H.J. Walberg and G.D. Haertel (eds.), International Encyclopedia of Education. Oxford: Pergamon Press. 15-21. Alkin, M. C., P. Jacobson, J. Burry, J. Ruskus, P. White, and L. Kent (1985): A guide for evaluation decision makers. Beverly Hills: Sage Alkin, M. C. (1990): Debates on Evaluation. Newbury Park: Sage Alkin, M. C. and Christie, C. A. (2002): The use of role-play in teaching evaluation. In: American Journal of Evaluation, 209-218 Alkin, M. C. and C. A. Christie (2004): Evaluation Roots. Tracing Theorists' Views and Influences. Thousand Oaks: Sage Alkin, M. C. and C. A. Christie (2004): An evaluation theory tree. In: M. C. Alkin (ed.), Evaluation Roots. Tracing Theorists' Views and Influences. Thousand Oaks: Sage. 12-66

M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

216

Literaturverzeichnis

Alkin, M. C., C. A. Christie, and M. Rose (2006): Communicating Evaluation. In: M. M. Mark, H. Greer, and I. F. Shaw (eds.), Handbook of Evaluation. Thousand Oaks: Sage. 384-404 Allen, T. D. and Finkelstein, L. M. (2003): Beyond mentoring: alternative sources and functions fo developmental support. In: Career Development Quarterly, 51, 346-355 Allen, T. D. and Eby, L. T. (2004): Factors related to Mentor Reports of Mentoring Funtions Provided: Gender and Relational Characteristics. In: Sex Roles, 50, 1/2, 129139 Allmendinger, J. and Podsialowski, A. (2001): Segregation in Organisationen und Arbeitsgruppen. In: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Sonderheft 41, 276-307 Altschuld, J. W. and Thomas, P. M. (1991): The Teaching of Evaluation: Twenty Five Years of Growth and Change. In: Theory into Practice, 30, 1, 22-29 Amenta, E. and Poulsen, J. D. (1994): Where to Begin: A Survey of Five Approaches to Selecting Independent Variables for Qualitative Comparative Analysis. In: Sociological Methods Research, 23, 22, 22-53 American Evaluation Association (AEA) (1994): Guiding principles for evaluators. In: American Evaluation Association (AEA) (ed.), Evaluation Practice News. Anwander, A. (1992): SKAI. Ein Konzept zum Training sozialer Kompetenz zum Ausgleich von Interessen auf der Basis einer Integration von Planspiel und Rollenspiel. Tübingen: Dissertation Argyle, M. (1972): Soziale Interaktion. Köln: Kiepenheuer und Witsch Azzam, T. (2010): Evaluator Responsiveness to Stakeholders. In: American Journal of Evaluation, 31, 1. 45-65 Balthasar, A. and Rieder, S. (2000): Learning from Evaluations - Effects of the Evaluation of the Swiss Energy 2000 Programme. In: Evaluation, 6, 3, 245-260 Balthasar, A. (2007): Institutionelle Verankerung und Verwendung von Evaluation. Zürich, Chur: Rüegger Verlag Balthasar, A. and C. Spiel (2009): Vorwort. In: T. Widmer, W. Beywl, and C. Fabian (eds.), Evaluation. Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaft. 11-12 Balzer, L. (2005): Wie werden Evaluationsprojekte erfolgreich? Landau: Verlag Empirische Pädagogik Bauler, T. (2007): Indicators for Sustainable Development: A Discussion of their Usability. Université Libre de Bruxelles : unpublished dissertation Becker, R. E. and R. G. Heimberg (1988): Assessment of social skills. In: A. Bellack and M. Hersen (eds.), Behavioral assessment. Oxford: Pergamon Press. 365-395 Bellas, M. L. (1994): Comparable Worth in Academia: The Effects on Faculty Salaries of the Sex Composition and Labor-Market Conditions of Academic Disciplines. In: American Sociological Review, 59, 6. 807-821 Bergman, M. M., Cattacin, S., and Läubli-Loud, M. (1998): Evaluators Evaluating Evaluators: Peer-assessment and Training Opportunities in Switzerland. Working Paper 1/98 RESOP. 1998. http://unige.ch/ses/resop/PUBLICATIONS/wp98-1.pdf Beywl, W. and T. Widmer (2000): Die 'Standards' im Vergleich mit weiteren Regelwerken zur Qualität fachlicher Leistungserstellung. In: Joint Committee on Standards

Literaturverzeichnis

217

for Educational Evaluation and J. R. Sanders (eds.), Handbuch der Evaluationsstandards. Opladen: Leske + Budrich. 259-295 Beywl, W. and Harich, K (2007): University-Based Continuing Education in Evaluation. The Baseline in Europe. In: Evaluation, 13, 1, 121-134 Beywl, W. (2009): Erstmals Evaluatorinnen lizenziert - ein professionspolitisches Thema? In: Zeitschrift für Evaluation, 1, 158-162 Bierbaumer, S. and D. Kersic (2002): Mentoring – eine Strategie! In: C. Goldberg and S. K. Rosenberger (eds.), KarriereFrauenKonkurrenz. Innsbruck: Studien Verlag. 229-242 Bilden, H. (1991): Geschlechtsspezifische Sozialisation. In: K. Hurrelmann and U. Dieter (eds.), Neues Handbuch der Sozialisationsforschung. Weinheim: Beltz. 279-303 Bilden, H. (2001): Die Grenzen von Geschlecht überschreiten. In: B. Fritzsche, J. Hartmann, A. Schmidt, and A. Tervooren (eds.), Dekonstruktive Pädagogik. Opladen: Leske + Budrich. 137-148 Blank, S. and Löwenbein, O. (2009): Inwiefern kann Evaluation mittels systemtheoretischem Ansatz und Netzwerkansatz die Steuerung von Projekten durch Lernprozesse befördern? In: Theorie, Methoden und Praxis der Evaluation, 8, 1, 75-85 Bledsoe, K. L. and Graham, J. A. (2005): The Use of Multiple Evaluation Approches in Program Evaluation. In: American Journal of Evaluation, 26, 3, 302-319 Block, J. H. (1983): Differential premises arising form differential socialization of the sexes: Some conjectures. In: Child Development, 54, 1335-1354 Blumer, H. (1973): Der methodologische Standort des Symbolischen Interaktionismus. In: Arbeitsgruppe Bielefelder Soziologen (ed.), Alltagswissen, Interaktion und gesellschaftliche Wirklichkeit. Hamburg: Rowohlt. 80-145 Borkenau, P. and F. Ostendorf (1993): NEO -Fünf-Faktoren-Inventar. Göttingen: Hogrefe Bortz, J. and N. Döring (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Heidelberg: Springer Brandt, T. (2009): Evaluation in Deutschland, Professionalisierungsstand und perspektiven. Münster: Waxmann Braskamp, L. A., Brown, R. D., and Newman, D. L. (1978): The credibility of a local educational program evaluation report: Author, source, and client audience characteristics. In: American Educational Research Journal, 15, 3, 441-450 Braybrooke, D. and C. Lindblom (1963): A strategy of decision: policy evaluation as a social process. New York: Free Press Brown, R. D., Braskamp, L. A, and Newman, D. L. (1978): Evaluator credibility as a function of report style: Do jargon and data make a difference? In: Evaluation Quarterly, 2, 2, 331-341 Buhrmester, D., Furman, W., Wittenberg, M. T., and Reis, H. T. (1988): Five domains of interpersonal competence in peer relationships. In: Journal of Personality and Social Psychology, 55, 991-1008 Burry, J., M. C. Alkin, and J. Ruskus (1984): Organizing Evaluations for Use as a Management Tool. University of California, Los Angeles: Center for the Study of Evaluation Bussmann, W., U. Klöti, and P. Knoepfel (1997): Einführung in die Politikevaluation. Basel: Helbling & Lichtenhahn

218

Literaturverzeichnis

Campbell, D. J. (1984): Can we be scientific in applied social science? In: Educational Studies Review Annual, 9, 26-48 Caracelli, V. J. (2000): Evaluation Use at the Threshold of the Twenty-First Century. In: New Directions for Evaluation, 88, 99-111 Carter, R. K. (1971): Client's resistance to negative findings and the latent conservative function of evaluation studies. In: American Sociologist, 6, 118-124 Carver, C. S. and M. F. Scheier (1981): Attention and Self-Regulation: A Control-Theory Approach to Human Behavior. New York: Springer Cheauré, E. (2000): Frauenförderung, Frauenforschung und anderer Provokationen – Erfahrungen aus der Praxis in Baden-Württemberg. In: A. Mischau (ed.), Frauen in Hochschule und Wissenschaft: Strategien zur Förderung zwischen Integration und Autonomie. Baden Baden: Nomos Verlagsgesellschaft. 51-60 Chelimsky, E. (1995): The Political Environment of Evaluation and What it Means for the Development of the Field. In: Evaluation Practice, 16, 3, 215-225 Chen, H. T. (1990): Theory-driven evaluations. Newbury Park, CA: Sage Chen, H. T. (2005): Practical Program Evaluation. Assessing and Improving Planning, Implementation, and Effectiveness. Thousand Oaks, CA: Sage Christie, C. A. and Alkin, M. C. (2003): The User-Oriented Evaluator's Role in Formulating a Program Theory: Using a Theory-Driven Approach. In: American Journal of Evaluation, 24, 3, 373-385 Christie, C. A., Ross, R. M., and Klein, B. M. (2004): Moving Toward Collaboration By Creating A Participatory Internal-External Evaluation Team: A Case Study. In: Studies in Educational Evaluation, 30, 125-134 Clarke, A. and R. Dawson (1999): Evaluation Research. An introduction to principles, methods and practice. London u.a.: Sage Clement, U. and R. Arnold (2002): Kompetenzentwicklung in der beruflichen Bildung. Opladen: Leske und Budrich Cohen, S., Sherrod, D. R., and Clark, M. S. (1986): Social skills and the stress-protective role of social support. In: Journal of Personality and Social Psychology, 50, 5, 963973 Cook, T. D. and Pollard, W. E. (1977): Guidelines: How to recognize and avoid some common problems of mis-utilization of evaluation research findings. In: Evaluation, 4, 161-164 Cook, T. D. and W. W. Wittmann (1998): Lessons Learned about Evaluation in the United States and Some Possible Implications for Europe. In: European Journal of Psychological Assessment, 14, 2, 97-115 Coryn, C. L. S. (2005): Practical program evaluation: Assessing and improving planning, implementation, and effectiveness. In: American Journal of Evaluation, 26, 3, 405407 Cousins, J. B. and Earl, L. M. (1992): The case for participatory evaluation. In: Educational evaluation and policy analysis, 14, 4, 397-418 Cousins, J. B. and K. A. Leithwood (1993): Enhancing Knowledge Utilization as a Strategy for School Improvement. In: Knowledge: Creation, Diffusion, Utilization, 14, 3. 305-333

Literaturverzeichnis

219

Cousins, J. B. and L. M. Earl (1995): Participatory evaluation in education: Studies in evaluation use and organisational learning. London: Falmer Press Cousins, J. B. and L. M. Shulha (2006): A comparative analysis of evaluation utilization and its cognate fields of inquiry: Current issues and trends. In: M. M. Mark, J. C. Greene, and I. F. Shaw (eds.), Handbook of Evaluation. London u.a.: Sage. 266-291 Cousins, J. B. and K. A. Leithwood (1986): Current Empirical Research on Evaluation Utilization. In: Review of Educational Research, 56, 3. 331-64 Crandall, D. P. (1989): Implementation Aspects of Dissemination. Reflections Toward an Immodest Proposal. In: Knowledge: Creation, Diffusion, Utilization, 11, 1, 79-106 Cronbach, L. J., S. R. Ambron, S. M. Dornbusch, R. Hess, R. C. Hornik, and D. C. e. al. Philipps (1980): Toward reform of program evaluation. San Francisco: Jossey-Bass Cronbach, L. J. (1982): Designing Evaluations of Educational Social Programs. San Francisco, Washington, London: Josey-Bass Cummings, R. (2002): Rethinking Evaluation Use. In: Paper presented at the 2002 Australasian Evaluation Society International Conference Daillak, R. (1982): What is evaluation utilization? In: Studies in Educational Evaluation, 8, 157-162 Damm-Rüger, S. and B. Stiegler (1996): Soziale Qualifikation im Beruf. Eine Studie zu typischen Anforderungen in unterschiedlichen Tätigkeitsfeldern. Bielefeld: Bertelsmann Davidson, E. J. (2005): Evaluation Methodology Basics, The nuts and bolts of sound evaluation. Thousand Oaks: Sage Davis, M. H. (1983): Measuring individual difference in empathy: Evidence for a multidimensional approach. In: Journal of Personality and Social Psychology, 44, 113126 Dawson, J. A. and D'Amico, J. J. (1985): Involving program staff in evaluation studies. In: Evaluation Review, 9, 2, 173-188 De Dreu, C., Evers, A., Beersma, B., Kluwer, E., and Nauta, A. (2001): A theory-based measure of conflict management strategies in the workplace. In: Journal of Organizational Behavior, 22, 645-668 DeGEval - Deutsche Gesellschaft für Evaluation e.V. (2002): Impulse für die Evaluation. In: DeGEval...News, 1, 1-8 DeGEval - Gesellschaft für Evaluation e.V. (2002): Standards für Evaluation. Köln: DeGEval DeGEval - Gesellschaft für Evaluation e.V. (2004): Empfehlungen für Aus- und Weiterbildung in der Evaluation, Anforderungsprofile für Evaluatorinnen und Evaluatoren. Mainz: DeGEval DeGEval - Gesellschaft für Evaluation e.V. (2007): Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung. Mainz: DeGEval DeGEval - Gesellschaft für Evaluation e.V. (2008): Standards für Evaluation. Mainz: DeGEval DeGEval - Gesellschaft für Evaluation e.V. (2008): Empfehlungen für die Aus- und Weiterbildung in der Evaluation. Anforderungsprofile an Evaluatorinnen und Evaluatoren. Mainz: DeGeval

220

Literaturverzeichnis

Denzin, N. K. (1989): The Research Act. Englewood Cliffs: Prentice Hall Derlien, H.-U. (1990): Program Evaluation in the Federal Republic of Germany. In: R. C. Rist (ed.), Program Evaluation in the Management of Government. New Brunswick: Transaction Publishers. 37-51 Derlien, H.-U. (1994): Evaluation zwischen Programm und Budget. In: A. Hofmeister (ed.), Möglichkeiten und Grenzen der Programmsteuerung: Controlling und Evaluation. Verwaltungspraxis in Ost und West in Zeiten des Wandels. Band 21: Schriftenreihe der Schweizerischen Gesellschaft für Verwaltungswissenschaft. 43-61 Dewey, J., Montrosse, B. E., Schröter, D. C., Sullins, C. D., and Mattox, J. R. II (2008): Evaluator Competencies. What's thaught versus What's sought. In: American Journal of Evaluation, 29, 3, 268-287 Dickey, B. (1980): Utilization of evaluation of small-scale educational projects. In: Educational evaluation and policy analysis, 2, 6, 65-77 Dickman, F. B. (1981): Work activities, settings, methodologies and perceptions: Correlates of evaluative research utilization. In: Knowledge: Creation, Diffusion, Utilization, 2, 3, 375-387 Drerup, H. (1982): Anwendungsprobleme in der Evaluation. In: Bildungsforschung/ Bildungspraxis, 4, 2, 154-170 Drolet, A. L., Larrick, R. P., and Morris, M. W. (1998): Thinking of others, friends and foes: How do effects of perspective-taking on fairness perceptions and aspirations in conflict resolution depend on the relationship between negotiators? In: Basic and Applied Social Psychology, 20, 23-31 Duval, T. S. and R. A. Wicklund (1972): A theory of objective self-awareness. New York: Academic Press Eby, L. T. and McManus, S. E. (2004): The protégé role in negative mentoring experiences. In: Journal of Vocational Behavior, 65, 2, 255-275 Engle, M., Altschuld, J. W., and Kim, Y.-C. (2006): 2002 survey of evaluation preparation programs in universities: An update of the 1992 American Evaluation Association-sponsored study. In: American Journal of Evaluation, 27, 353-359 Erpenbeck, J. and V. Heyse (1999): Die Kompetenzbiographie. Strategien der Kompetenzentwicklung durch selbstorganisiertes Lernen und mulitmediale Kommunikation. Münster, New York, München, Berlin: Waxmann Verlag Erzberger, C. (2006): Steuerung externer Evaluation durch Kommunikation. In: Projekt eXe (ed.), Aushandlungsprozesse zur Steuerung externer Evaluation. München: Deutsches Jugendinstitut e.V., 19-28 Etzel, S. and A. Küppers (2000): Professional Assessment by Computer for Training and Selection (pro facts). Göttingen: Hogrefe Etzkowitz, H., Kemelgor, C., Neuschatz, M., and Uzzi, B. (1992): Athena unbound: barriers to women in academic science and engineering. In: Science and Public Policy, 19, 3, 157-179 Euler, D. (2001): Manche lernen es - aber warum? In: Zeitschrift für Berufs- und Wirtschaftspädagogik, 97, 3, 346-374 Evers, R. (2000): Soziale Kompetenz zwischen Rationalisierung und Humanisierung eine erwachsenenpädagogische Analyse. Münster u.a.: LIT

Literaturverzeichnis

221

Faix, W. G. and A. Laier (1991): Soziale Kompetenz: Das Potential zum unternehmerischen und persönlichen Erfolg. Wiesbaden: Gabler Fear, W. J. (2007): Programme Evaluation Theory: The Next Step Toward a Synthesis of Logic Models and Organisational Theory. In: Journal of MultiDisciplinary Evaluation, 4, 7, 13-25 Fend, H. (1982): Erziehungswissenschaft - Bildungspolitik - Kultusverwaltung. Geschichten unglücklicher Liebschaften oder Modernisierungsprozess von Bürokratien? In: R. Brockmeyer and R. Hamacher (eds.), Schule zwischen Recht, Politik und Planung. Paderborn: Schöningh. 124-147 Fend, H. (1990): Bilanz der empirischen Bildungsforschung. In: Zeitschrift für Pädagogik, 5, 687-709 Fennekels, G. P. (1995): Qualitative Führungsstilanalyse (QFA). Göttingen: Hogrefe Fennekels, G. P. and S. D'Souza (1999): Managementfallstudien (MFA). Göttingen: Hogrefe Fennekels, G. P. (1999): Multidirektionales Feedback - MDF. Göttingen: Hogrefe Fetterman, D. (1994): Empowerment evaluation. In: Evaluation Practice, 15, 1-15 Fetterman, D., S. J. Kaftarian, and A. Wanderman (1996): Empowerment evaluation: Knowledge and tools for self-assessment and accountability. Thousand Oaks, CA: Sage Fetterman, D. (1997): Empowerment Evaluation: A Response to Patton and Scriven. In: Evaluation Practice, 18, 3, 253-266 Fielding, N. G. and J. L. Fielding (1986): Linking Data. Beverly Hills: Sage Fischer, F. (2003): Discursive Politics and Deliberative Practices. Oxford: Oxford University Press Fitzpatrick, J. (1994): Alternative models for the structuring of professional preparation programs. In: New directions for program evaluation, 62, 41-50 Fitzpatrick, J. L. (2000): Dialog with David Fetterman. In: American Journal of Evaluation, 21, 2, 242-259 Fitzpatrick, J. L., J. R. Sanders, and B. R. Worthen (2004): Program Evaluation. Alternative Approaches and Practical Guidelines. Allyn & Bacon Flick, U., E. v. Kardorff, and I. Steinke (2008): Qualitative Forschung - Ein Handbuch. Reinbek: Rowohlt Forgas, P. J. (1995): Soziale Interaktion und Kommunikation. Weinheim: PsychologieVerlag-Union Forss, K., Rebien, C. C., and Carlsson, J. (2002): Process use of evaluations: Types of use that precede lessons learned and feedback. In: Evaluation, 8, 1, 29-45 Fox Keller, E. and H. E. Longino (2001): Feminism & Science. Oxford: Oxford University Press Fox, M. F. (1995): Women in Scientific Careers. In: S. Jasanoff, G. E. Markle, J. C. Petersen, and T. Pinch (eds.), Handbook of Science and Technology Studies. Thousand Oaks: Sage. 205-223 Friebertshäuser, B. and A. Prengel (2003): Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. Weinheim und München: Juventa Verlag

222

Literaturverzeichnis

Friede, C. K. (1995): Ein multi-modales Prozeßmodell von Sozialkompetenz. In: G. Pätzold and G. Walden (eds.), Lernorte im dualen System der Berufsbildung. Bielefeld: Bundesinstitut für Berufsbildung. Galinsky, A. D. and Moskowitz, G. B. (2000): Perspective-Taking: Decreasing Stereotype Expression, Stereotype Accessibility, and In-Group Favorism. In: Journal of Personality and Social Psychology, 78, 4, 708-724 Galinsky, A. D. and Mussweiler, T. (2001): First Offers as Anchors: The Role of Perspective-Taking and Negotiator Focus. In: Journal of Personality and Social Psychology, 81, 4, 657-669 Galtung, J. (1965): Institutionalized conflict resolution: A theoretical paradigm. In: Journal of Peace Research, 2, 348-397 Gephart, W. J. (1981): Watercolor painting. In: N. L. Smith (ed.), Metaphors for evaluation. Newbury Park: Sage. 247-272 Gildemeister, R., Maiwald, K. O., Seyfarth-Konau, E., and Scheid, C. (2003): Geschlechterdifferenzierung im Berufsfeld Familienrecht: Empirische Befunde und geschlechtertheoretische Reflexionen. In: Zeitschrift für Soziologie, 32, 5, 373-395 Gilomen, H., D. S. Rychen, and L. H. Salganik (2001): Concluding Remarks. In: D. S. Rychen and L. H. Salganik (eds.), Defining and Selecting Key Competencies. Seattle u.a.: Hogrefe & Huber Publishers. 247-251 Glaser, B. G. and A. L. Strauss (1967): The Discovery of grounded theory. London: Weidenfeld and Nicolson Glaser, B. G. and A. L. Strauss (1998): Grounded theory - Strategien qualitativer Forschung. Bern: Huber Glass, G. and Ellett, F. S. (1980): Evaluation Research. In: Annual Reviews Psychology, 211-228 Glass, G. V., V. L. Willson, and J. M. Gottman (1975): Design and Analysis of TimeSeries Experiments. Boulder: Colorado Associated University Press Goertz, G. (2003): The Substantive Importance of Necessary Condition Hypotheses. In: G. Goertz and H. Starr (eds.), Necessary Conditions. Lanham: Rowman & Littlefiled Publishers. 65-94 Goffman, E. (1971): Interaktionsrituale. Über Verhalten in direkter Kommunikation. Frankfurt a. M.: Suhrkamp Goffman, E. (1973): Interaktion: Spaß am Spiel, Rollendistanz. München: Piper Goffman, E. (1981): Strategische Interaktion. München: Carl Hanser Grawe, K., R. Donati, and F. Bernauer (1993): Psychotherapie im Wandel. Von der Konfession zur Profession. Göttingen: Hogrefe Greene, J. C. (1987): Stakeholder Participation In Evaluation Design: Is It Worth The Effort? In: Evaluation and Program Planing, 10, 379-394 Greene, J. C. (1988): Stakeholder participation and utilization in program evaluation. In: Evaluation Review, 13, 96-116 Greenspan, S. and Granfield, J. M. (1992): Reconsidering the construct of mental retardation: Implications of a model of social competence. In: American Journal of Mental Retardation, 96, 442-453

Literaturverzeichnis

223

Greif, S. (1997): Soziale Kompetenz. In: D. Frey and S. Greif (eds.), Sozialpsychologie. Ein Handbuch in Schlüsselbegriffen. Weinheim: Psychologie Verlags Union. 312320 Grofman, B. and Schneider, C. Q. (2009): An introduction to crisp-set QCA with a comparison to binary logistic regression. In: Political Research Quarterly, 62, 4, 662-667 Gross, M. A. and Guerrero, L. K. (2000): Managing conflict appropirately and effectively: An applicatoin of the competence model to Rahim's organizational conflict styles. In: The International Journal of Conflict Management, 11, 200-226 Guba, E. G. and Y. Lincoln (1981): Effective Evaluation: Improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco: Jossey-Bass Guba, E. G. and Y. Lincoln (1989): Fourth generation evaluation. Newbury Park, London, New Dehli: Sage Gudmundsson, H. (2003): The policy use of environmental indicators - Learning from evaluation research. In: Journal of Transdisciplinary Environmental Studies, 2, 2, 112 Hagemann-White, C. (1993): Die Konstrukteure des Geschlechts auf frischer Tat ertappen? Methodische Konsequenzen aus einer theoretischen Einsicht. In: Feministische Studien, Kritik der Kategorie "Geschlecht", 2, 68-78 Hall, J. C. (2003): Mentoring and Young People. A literature review. Glasgow: SCRE Centre, University of Glasgow Hannum, K. M. and J. W. Martineau (2008): Evaluating the Impact of Leadership Development. San Francisco: Pfeiffer Hark, S. (2007): Dis/Kontinuitäten: Feministische Theorie. Wiesbaden: VS Verlag Haubrich, K., G. Struhkamp, and C. Lüders (2006): Einleitung: Aushandlungsprozesse in externen Evaluationen - Aufarbeitung eines "stillen Themas". In: Projekt eXe (ed.), Aushandlungsprozesse zur Steuerung externer Evaluation. Dokumentation der Fachtagung München 1. bis 3. Dezember 2004. München: Deutsches Jugendinstitut e.V., 5-18 Heiner, M. H. (1996): Qualitätsentwicklung durch Evaluation. Freiburg im Breisgau: Lambertus Heintz, B., M. Merz, and C. Schumacher (2004): Wissenschaft, die Grenzen schafft. Geschlechterkonstellation im disziplinären Vergleich. Bielefeld: Transcript Verlag Hellstern, G.-M. and H. Wollmann (1984): Handbuch zur Evaluierungsforschung. Opladen: Westdeutscher Verlag Henry, G. T. and Rog, D. J. (1998): A realist theory and analysis of utilization. In: New Directions for Evaluation, 78, 89-102 Henry, G. T. and Mark, M. M. (2003a): Beyond Use: Understanding Evaluation's Influence on Attitudes and Actions. In: American Journal of Evaluation, 24, 3, 293-314 Henry, G. T. and Mark, M. M. (2003b): Toward an agenda for research on evaluation. In: New Directions for Evaluation, 97, 69-80 Herrle, M. (2007): Selektive Kontextvariation. Die Rekonstruktion von Interaktionen in Kursen der Erwachsenenbildung auf der Basis audiovisueller Daten. Frankfurt a.M.: Johann Wolfgang Goethe Universität

224

Literaturverzeichnis

Hirschauer, S. (1994): Die soziale Fortpflanzung der Zweigeschlechtlichkeit. In: Kölner Zeitschrift für Soziologie und Sozialpsychologie, 4, 668-693 Hofmann, T. and K. Maag (2000): Chancen und Grenzen von Mentoring-Programmen: Reproduktion bestehender Verhältnisse oder Gegenstrategie zu Ausgrenzung und Diskriminierung von Frauen? Schlussfolgerungen aus der Workshop-Diskussion. In: J. Page and R. J. Leemann (eds.), Karriere von Akademikerinnen. Bedeutung des Mentoring als Instrument der Nachwuchsförderung. Dokumentation der Fachtagung vom 27. März 1999 an der Universität Zürich. Bern: Bundesamt für Bildung und Wissenschaft. 27-29 Homburg, C. and Stock, R. (2001): Kundenorientiertes Führungsverhalten: Die weichen Faktoren messbar machen. In: Zeitschrift für Führung und Organisation, 70, 1, 1319 Homburg, C. and Stock, R. (2002): Führungsverhalten als Einflussgröße der Kundenorientierung von Mitarbeitern: Ein dreidimensionales Konzept. In: Marketing - Zeitschrift für Forschung und Praxis, 24, 2, 123-137 Hossiep, R., M. Paschen, and O. Mühlhaus (2000): Persönlichkeitstest im Personalmanagement. Grundlagen, Instrumente und Anwendungen. Göttingen: Hogrefe Hossiep, R. and M. Paschen (2003): BIP. Das Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung. Göttingen: Hogrefe House, E. R. (1993): Professional Evaluation. Newbury Park u.a.: Sage Höppel, D. (2000): Mentoring - eine Strategie zur Nachwuchsförderung. In: A. Mischau (ed.), Frauen in Hochschule und Wissenschaft - Strategien der Föderung zwischen Integration und Autonomie. Baden Baden: Nomos. 81-89 Huberman, M. (1987): Steps toward an integrated model of research utilization. In: Knowledge: Creation, Diffusion, Utilization, 8, 586-611 Huberman, M. and Cox, P. (1990): Evaluation reflections. Evaluation utilization: Building lings between action and reflection. In: Studies in Educational Evaluation, 16, 157179 Huberman, M. (1990): Linkage between Researchers and Practitioners: A qualitative study. In: American Educational Research Journal, 27, 363-391 Hülsheger, U. R., Specht, E., and Spinath, F. M. (2006): Validität des BIP und des NEOPI-R. Wie geeignet sind ein berufsbezogener und ein nicht explizit berufsbezogener Persönlichkeitstest zur Erklärung von Berufserfolg? In: Zeitschrift für Arbeits- und Organisationspsychologie, 50, 3, 135-147 Irle, M. (1975): Lehrbuch der Sozialpsychologie. Göttingen: Hogrefe Janasz, S. C. and Sullivan, S. E. (2004): Multiple mentoring in academe: Developing the professorial network. In: Journal of Vocational Behavior, 64, 263-283 Janssen, J. and W. Laatz (2005): Statistische Datenanalyse mit SPSS für Windows. Heidelberg: Springer Johnson, B. W. and Huwe, J. M. (2002): Toward a Typology of Mentorship Dysfunction in Graduate School. In: Psychotherapy: Theory, Research, Practice, Taining, 39, 1, 44-55 Johnson, R. B. (1995): Estimating an evaluation utilization model using conjoint measurement and analysis. In: Evaluation Review, 19, 3, 313-338 Johnson, R. B. (1998): Toward a theoretical model of evaluation utilization. In: Evaluation and Program Planing, 21, 93-110

Literaturverzeichnis

225

Joint Committee on Standards for Educational Evaluation (1981): Standards for evaluations of educational programs, projects, and materials. New York: McGraw-Hill Joint Committee on Standards for Educational Evaluation (1994): The program evaluation standards. How to assess evaluations of educational programs. Thousand Oaks: Sage Kanning, U. P. (2002): Soziale Kompetenz - Definiton, Strukturen und Prozesse. In: Zeitschrift für Psychologie, 210, 4, 154-163 Kanning, U. P. (2003): Diagnostik sozialer Kompetenzen. Göttingen: Hogrefe Kanning, U. P. and Bergmann, N. (2006): Bedeutung sozialer Kompetenzen für die Kundenzufriedenheit: Zwei Studien. In: Zeitschrift für Arbeits- und Organisationspsychologie, 50, 148-154 Kanning, U. P. (2009): Inventar sozialer Kompetenzen (ISK). Göttingen: Hogrefe Keiner, E. H. (2001): Evaluation (in) der Erziehungswissenschaft. Weinheim und Basel: Beltz Verlag Kelle, U. (2008): Computergestützte Analyse qualitativer Daten. In: U. Flick, E. v. Kardorff, and I. Steinke (eds.), Qualitative Forschung . Ein Handbuch. Reinbek: Rowohlt. 485-502 King, J. A., Stevahn, L., Ghere, G., and Minnema, J. (2001): Toward a Taxonomy of Essential Evaluator Competencies. In: American Journal of Evaluation, 22, 2, 229247 King, J. A. (2003): The Challenge of Studying Evaluation Theory. In: New Directions for Evaluation, 97, 57-67 Kirkhart, K. E. (2000): Reconceptualization Evaluation Use: An Integrated Theory of Influence. In: New Directions for Evaluation, 88, 5-23 Konzendorf, G. (2009): Institutionelle Einbettung der Evaluationsfunktion in Politik und Verwaltung in Deutschland. In: T. Widmer, W. Beywl, and C. Fabian (eds.), Evaluation. Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften. 27-39 Kosmitzki, C. and John, O. P. (1993): The implicit use of explicit conceptions of social intelligence. In: Personality and Indiviual Differences, 15, 11-23 König, E. and G. Volmer (1993): Systematische Organisationsberatung. Grundlagen und Methoden. Weinheim: Deutscher Studien Verlag Krais, B. (2000): Wissenschaftskultur und Geschlechterordnung. Über die verborgenen Mechanismen männlicher Dominanz in der akademischen Welt. Frankfurt Main u.a.: Campus Krais, B. and Y. Haffner (2008): Arbeit als Lebensform? Beruflicher Erfolg, private Lebensführung und Chancengleichheit in akademischen Berufsfeldern. Frankfurt Main: Campus Kram, K. (1988): Mentoring at Work. Developmental Relationship in Organizational Life. Lanham: University Press of America Kromrey, H. (2004): Qualität und Evaluation im System Hochschule. In: R. Stockmann (ed.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske + Budrich. 233-258 Kuckartz, U. (1999): Computerunterstützte Analyse qualitativer Daten. Eine Einführung in Methoden und Arbeitstechniken. Opladen: Westdeutscher Verlag Kuper, H. (2005): Evaluation im Bildungssystem. Stuttgart: Kohlhammer

226

Literaturverzeichnis

Kvist, J. (2006): Diversity, ideal types and fuzzy sets in comparative welfare state research. In: B. Rihoux and H. Grimm (eds.), Innovative comparative methods for policy analysis. Beyond the quantitative-qualitative divide. New York: Springer. 167-184 Kyvik, S. and Teigen, M. (1996): Child Care, Research Collaboration, and Gender Differences in Scientific Productivity. In: Science, Technology, & Human Values, 21, 1, 5471 LaVelle, J. M. and S. I. Donaldson (2010): University-Based Evaluation Training Programs in the United States 1980-2008: An Empirical Examination. In: American Journal of Evaluation, 31, 1, 9-23 Lee, B. (2000): Theories of Evaluation. In: R. Stockmann (ed.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske + Budrich. 127-164 Lehmann, R. J. (2002): Chancenungleichheit im Wissenschaftssystem. Wie Geschlecht und soziale Herkunft Karrieren beeinflussen. Zürich: Rüegger Leicht-Scholten, C. (2005): Chancengleichheit durch Mentoring? Chancen und Grenzen von Mentoringprogrammen für Frauen in der Wissenschaft und im disziplinären Vergleich. In: Zeitschrift des Interdisziplinären Zentrums für Frauen- und Geschlechterforschung, 30, 103-106 Leviton, L. and Hughes, E. (1981): Research on Utilizatin of Evaluations: A review and synthesis. In: Evaluation Review, 525-548 Lieberson, S. (2004): Comments on the Use and Utility of QCA. In: Qualitative Methods.Newsletter of the American Political Science Association Organized Section on Qualitative Methods, 2, 2, 13-14 Liebsch, B. (2008): Menschliche Sensibilität. Inspiration und Überforderung. Weilerswist: Velbrück Wissenschaft Long, J. S. and Fox, M. F. (1995): Scientific Careers: Universalism and Particularism. In: Annual Review of Sociology, 21, 45-71 Love, A. J. (1994): Should evaluators be certified? In: New directions for program evaluation, 62, 29-40 Luhmann, N. (2004): Einführung in die Systemtheorie. Heidelberg: Carl-Auer-Systeme Maccoby, E. E. (2000): Psychologie der Geschlechter. Stuttgart: Klett-Cotta Mader, L. (2009): Die institutionelle Einbettung der Evaluationsfunktion in der Schweiz. In: T. Widmer, W. Beywl, and C. Fabian (eds.), Evaluation. Ein systematisches Handbuch. Wiesbaden: VS Verlag. 52-63 Marcus, B. (2004): Rezension der 2. Auflage des Bochumer Inventars zur berufsbezogenen Persönlichkeitsbeschreibung (BIP) von R. Hossiep und M. Paschen. In: Zeitschrift für Arbeits- und Organisationspsychologie, 48, 79-86 Mark, M. M., J. C. Greene, and I. F. Shaw (2006): Handbook of Evaluation. London u.a.: Sage Marquis, D. G. and Allen, T. J. (1966): Communication Patterns in Applied Technology. In: American Psychologist, 21, 1052-1060 Mayring, P. (2002): Einführung in die Qualitative Sozialforschung. Eine Anleitung zu qualitativem Denken. Weinheim und Basel: Beltz Mead, G. H. (1973): Geist, Identität und Gesellschaft. Frankfurt a.M.: Suhrkamp Verlag Mertens, D. M. (1974): Schlüsselqualifikationen. Thesen zur Schulung für eine moderne Gesellschaft. In: Mitteilungen aus der Arbeitsmarkt- und Berufsforschung, 7, 36-43

Literaturverzeichnis

227

Mertens, D. M. (1994): Training evaluators: unique skills and knowledge. In: New directions for program evaluation, 62, 17-27 Mertens, D. M. (1998): Research methods in education and psychology: Integrating diversity with quantitative and qualitative approaches. Thousand Oaks: Sage Michalski, G. V. and Cousins, J. B. (2001): Multiple Perspectives on Training Evaluation: Probing Stakeholder Perceptions on a Global Network Development Firm. In: American Journal of Evaluation, 22, 1, 37-53 Mischau, A. (2000): Frauen in Hochschule und Wissenschaft - Strategien der Förderung zwischen Integration und Autonomie. Baden Baden: Nomos Verlagsgesellschaft Morabito, S. M. (2002): Evaluator Roles and Strategies for Expanding Evaluation Process Influence. In: American Journal of Evaluation, 23, 3, 321-330 Morell, J. (1990): Evaluation: Status of a Loose Coalition. In: Evaluation Practice, 11, 213-219 Morris, L. L., C. T. Fitz-Gibbon, and M. E. Freeman (1987): How to communicate evaluation findings. Newbury Park: Sage Morzinski, J. A. and Fisher, J. C. (1996): An Evaluation of Formal Mentoring Studies and a Model of their Improvement. In: Evaluation Practice, 17, 1, 43-56 Müller, G. F. (1985): Prozesse sozialer Interaktion. Göttingen: Hogrefe Müller, G. F. (1987): Dilemmata psychologischer Evaluationsforschung. In: Psychologische Rundschau, 38, 204-212 Newman, D. L., Brown, R. D., and Littman, M. I. (1979): Evaluatior, report, and audience characteristics which influence the impact of evaluation reports: Does who says what to whom make a difference? In: CEDR Quarterly, 12, 2, 14-18 O'Sullivan, M. and J. P. Guilford (1966): Six Factor Test of Social Intelligence, manual of instructions and interpretations. Beverly Hills: Sheridan Psychological Services Oman, R. C. and Chitwood, S. R. (1984): Management evaluation studies: factors affecting the acceptance of recommendations. In: Evaluation Review, 8, 283-305 Owen, J. M. (1992): Towards a meta-model of evaluation utilization. Seattle: Paper presented at the Annual Meeting of the American Evaluation Association Parsons, T. (1967): The Structure of Social Action. New York: Free Press Patton, M. Q. (1987): How to use qualitative methods in evaluation. Newbury Park: Sage Patton, M. Q. (1988a): The evaluators responsibility for utilization. In: Evaluation Practice, 9, 5-24 Patton, M. Q. (1988b): Six honest serving men for evaluation. In: Studies in Educational Evaluation, 14, 301-330 Patton, M. Q. (1994): Developmental evaluation. In: Evaluation Practice, 15, 3, 311-319 Patton, M. Q. (1997): Utilization Focused Evaluation. Thousand Oaks u.a.: Sage Patton, M. Q. (1998): Discovering process use. In: Evaluation, 4, 2, 225-233 Petermann, F. (1977): Psychotherapieforschung. Weinheim: Beltz Petermann, F. (1995): Training sozialer Kompetenzen bei Kindern und Jugendlichen. In: J. Margraf and K. Rudolf (eds.), Training sozialer Kompetenzen. Baltmannsweiler: Röttger-Schneider. 109-126 Picciotto R. (2005): The Value of Evaluation Standards: A Comparative Assessment. In: Journal of MultiDisciplinary Evaluation, 3, 30-59 Pinnow, D. F. (2008): Führen. Worauf es wirklich ankommt. Wiesbaden: Gabler

228

Literaturverzeichnis

Porter, L. W., E. E. Lawler III, and J. R. Hackman (1975): Behavior in Organizations. New York: McGraw-Hill Posavac, E. J. and C. G. Raymond (1980): Program evaluation: Methods and Case Studies. Englewood Cliffs: Prentice-Hall Preissing, C. (2003): Qualität im Situationsansatz. Qualitätskriterien und Materialien für die Qualitätsentwicklung in Kindertageseinrichtungen. Weinheim: Beltz Preskill, H. (1992): Students, Client, and Teacher: Observations from a Practicum in Evaluation. In: Evaluation Practice, 13, 39-46 Preskill, H. and Caracelli, V. (1997): Current and Developing Conceptions of Use: Evaluation Use TIG Survey Results. In: Evaluation Practice, 18, 3, 209-225 Preskill, H. and D. Russ-Eft (2005): Building evalution capacity: 72 activities for teaching and training. Thousand Oaks: Sage Probst, P. (1982): Empirische Untersuchung zum Konstrukt der "sozialen Intelligenz". In: K. Pawlik (ed.), Multivariante Persönlichkeitsforschung. Bern: Huber. 201-226 Projektgruppe "Mentoring für Frauen in Europa" (2000): Mentoring für Frauen - eine berufliche Strategie im europäischen Vergleich. In: A. Mischau (ed.), Frauen in Hochschule und Wissenschaft - Strategien der Förderung zwischen Integration und Autonomie. Baden Baden: Nomos Verlagsgesellschaft. 103-109 Pruitt, D. G. and J. Rubin (1986): Social conflict: Escalation, stalemate and settlement. New York: Random House Ragin, C. C. (1987): The Comparative Method. Moving beyond Qualitative and Quantitative Strategies. Berkley: University of California Press Ragin, C. C. (2000): Fuzzy-Set Social Science. Chicago: University of Chicago Press Ragin, C. C. and Rihoux, B. (2004): Replies to Commentators: Reassurances and Rebuttals. In: Qualitative Methods.Newsletter of the American Political Science Association Organized Section on Qualitative Methods, 2, 2, 22-24 Ragin, C. C. (2008): Redesigning Social Inquiry: Fuzzy Sets and Beyond. Chicago: The University of Chicago Press Ragin, C. C. (2009): Qualitative Comparative Analysis Using Fuzzy Sets (fsQCA). In: B. Rihoux and C. C. Ragin (eds.), Configurational Comparative Methods. Thousand Oaks: Sage. 87-121 Ragins, B. R. and Cotton, L. (1999): Mentor Functions and Outcomes: A Comparison of Men and Women in Formal and Informal Mentoring Relationships. In: Journal of Applied Psychology, 84, 529-550 Rathus, S. A. (1973): A 30-item schedule for assessing assertive behavior. In: Behavior Therapy, 4, 398-406 Reemtsma-Theis, M. (1998): Moralisches Urteilen und Handeln. Eine wirtschaftspädagogische Studie. Markt Schwaben: Eusl-Verlagsgesellschaft mBH Reisner, E. R., M. C. Alkin, R. F. Boruch, R. L. Linn, and J. Millman (1982): Assessment of the Title I evaluation and reporting system. Washington D.C.: U.S. Departement of Education Reschke, K. (1995): Soziale Kompetenz entwickeln - Ressourcen entdecken helfen. Interventive Forschung auf der Basis des Kompetenzmodells von Vorwerg & Schröder (1980). In: J. Margraf and K. Rudolf (eds.), Training sozialer Kompetenzen. Hohengeren: Schneider. 205-228

Literaturverzeichnis

229

Reuschenbach, B. and J. Funke (2000): Rezension zu Georg Fennekels & Simone D'Souza (1999): Management-Fallstudien (MFA). In: E. Fay (ed.), Tests unter der Lupe III. Lengerich: Pabst Science Publishers. 83-112 Rich, R. F. (1977): Uses of social science information by federal bureaucrats. In: C. H. Weiss (ed.), Using social research for public policy making. Lexington: D.C. Health. 199-221 Richthofen, A. v. and Wentzlaff, G. (2005): Schlüsselkompetenzen von Absolventen - Die Perspektive von Arbeitsgebern im Rahmen von Evaluationsverfahren. In: Neues Handbuch Hochschullehre, I2.5 Ridgeway, C. L. (2001): Gender, Status, and Leadership. In: Journal of Social Issues, 57, 4, 637-655 Ridings, J. M. and Stufflebeam, D. L. (1981): The project to develop standards for educational evaluation: Its past and future. In: Studies in Educational Evaluation, 7, 1, 316 Riemann, R. and Allgöwer, A. (1993): Eine deutschsprachige Fassung des "Interpersonal Competence Questionnaire (ICQ). In: Zeitschrift für Differentielle und Diagnostische Psychologie, 14, 153-163 Riggio, R. E. (1986): Assessment of Basic Social Skills. In: Journal of Personality and Social Psychology, 51, 3, 649-660 Rihoux, B. and C. C. Ragin (2009): Configurational Comparative Methods. Thousand Oaks: Sage Robinson, T. T. and Cousins, J. B. (2004): Internal Participatory Evaluation as an Organizational Learning System: A longitudinal Case Study. In: Studies in Educational Evaluation, 30, 1-22 Rogers, E. M. and F. F. Shoemaker (1971): Communication of Innovations: A CorssCultural Approach. New York: Free Press Rolfsen, M. and Torvatn, H. (2005): How to "Get Through". Communication challenges in formative evaluation. In: Evaluation, 11, 3, 297-309 Rosenstiel, L. v. (1980): Grundlagen der Organisationspsychologie. Stuttgart: Poeschel Rossi, P. H., H. E. Freeman, and S. R. Wright (1979): Evaluation: A systematic approach. Newbury Park: Sage Rossi, P. H. and H. E. Freeman (1993): Evaluation: A systematic Approach. Newbury Park: Sage Salovey, P. and Mayer, J. D. (1989): Emotional Intelligence. In: Imagination, Cognition and Personality, 9, 185-211 Sanders, J. R. and Joint Committee on Standrads for Educational Evaluation (2006): Handbuch der Evaluationsstandards. Die Standards des "Joint Committee on Standards for Educational Evaluation". Wiesbaden: VS Verlag Sandison, P. (2006): The utilisation of evaluations. In: ALNAP (ed.), London: ANALP, 13-19 Sarason, I. G., Sarason, B. R., and Shearin, E. N. (1986): Social support as an individual difference variable: Its stability, origins, and relational aspects. In: Journal of Personality and Social Psychology, 50, 845-855 Schliesselberger, E. and S. Strasser (2000): Integration oder Abhängigkeit? Zur Ambivalenz von Mentoring als politische Praxis in der Wissenschaft. In: J. Page and R. J. Leemann

230

Literaturverzeichnis

(eds.), Karriere von Akademikerinnen. Bedeutung des Mentoring als Instrument der Nachwuchsförderung. Dokumentation der Fachtagung vom 27. März 1999 an der Universität Zürich. Bern: Bundesamt für Bildung und Wissenschaft. 13-25 Schliesselberger, E. and S. Strasser (2002): Mentoring: ein widersprüchliches Konzept als Instrument der Frauenförderung in der Wissenschaft. In: C. Goldberg and S. K. Rosenberger (eds.), KarriereFrauenKonkurrenz. Innsbruck: Studien Verlag. 215-227 Schmidt, J. U. (1995): Psychologische Meßverfahren für soziale Kompetenzen. In: Bundesinstitut für Berufsbildung and B. Seyfried (eds.), "Stolperstein" Sozialkompetenz: was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen. Bielefeld: Bertelsmann. 117-135 Schmidt, U. (2003): Evaluation als Profession - Professionalisierung der Evaluation. Bericht zur 5. Jahrestagung der Deutschen Gesellschaft für Evaluation (DeGEval) vom 16.-18. Oktober 2002 in Mainz. In: Zeitschrift für Evaluation, 2, 1, 143-150 Schneider, C. Q. and Wagemann, C. (2006): Reducing complexity in Qualitative Comparative Analysis (QCA): Remote and proximate factors and the consolidation of democracy. In: European Journal of Political Research, 45, 751-786 Schneider, C. Q. and C. Wagemann (2007): Qualitative Comparative Analysis und Fuzzy Sets. Ein Lehrbuch für Anwender und jene, die es werden wollen. Opladen, Farmington Hills: Verlag Barbara Budrich Schneider, C. Q. and Wagemann, C. (2010): Standards of Good Practice in Qualitative Comparative Analysis (QCA) and Fuzzy-Sets. In: Comparative Sociology, 9, 3, 397418 Schneider, R., Ackerman, P. L., and Kanfer, R. (1996): To "act wisely in human relations": Exploring the dimensions of social competence. In: Personality and Indiviual Differences, 21, 469-481 Schneider, W. L. (2008): Grundlagen der soziologischen Theorie. Band 1: Weber - Parsons - Mead - Schütz. Wiesbaden: VS Verlag Schuler, H. (1992): Das multimodale Einstellungsinterview. In: Diagnostica, 38, 281-300 Schuler, H. and D. Barthelme (1995): Soziale Kompetenz als berufliche Anforderung. In: Bundesinstitut für Berufsbildung and B. Seyfried (eds.), "Stolperstein Sozialkompetenz": was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? Bielefeld: Bertelsmann. 77-116 Schwarz, N. and Oyserman, D. (2001): Asking Questions about Behavior: Cognition, Communication, and Questionnaire Construction. In: American Journal of Evaluation, 22, 2, 127-160 Scriven, M. (1991): Evaluation Thesaurus. London: Sage Scriven, M. (1996): Types of evaluation and evaluator. In: Evaluation Practice, 17, 2, 151161 Scriven, M. (1997): Empowerment Evaluation Examined. In: Evaluation Practice, 18, 2, 165-175 Seawright, J. (2004): Qualititative Comparative Analysis vis-a-vis Regression. In: Qualitative Methods.Newsletter of the American Political Science Association Organized Section on Qualitative Methods, 2, 2, 14-17 Segerman-Peck, L. M. (1994): Frauen fördern Frauen. Netzwerke und Mentorinnen. Ein Leitfaden für den Weg nach oben. Frankfurt Main u.a.: Campus

Literaturverzeichnis

231

Seyfried, B. (1995a): Team und Teamfähigkeit. In: Bundesinstitut für Berufsbildung and B. Seyfried (eds.), "Stolperstein" Sozialkompetenz: was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? Bielefeld: Bertelsmann. 15-31 Seyfried, B. (1995b): Soziales Verhalten: Die Illusion "objektiver" Beurteilung. In: Bundesinstitut für Berufsbildung and B. Seyfried (eds.), "Stolperstein Sozialkompetenz": was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? Bielefeld: Bertelsmann. 137-152 Shadish, W. R., T. D. Cook, and L. C. Leviton (1991): Foundations of Program Evaluatin. Theories of practice. Newbury Park u.a.: Sage Shadish, W. R., Chacón-Moscoso, S., and Sánchez-Meca, J. (2005): Evidence-based Decision Making: Enhancing Systematic Reviews of Program Evaluation Results in Europe. In: Evaluation, 11, 1, 95-109 Shea, G. F. (2002): Mentoring. How to Develop Successful Mentor Behaviors. Menlo Park: Crisp Publications, Inc. Shulha, L. M. and Cousins, J. B. (1997): Evaluation use: Theory, research, and practice since 1986. In: Evaluation Practice, 18, 3, 195-208 Stamm, M. (2003a): Evaluation und ihre Folgen für die Bildung. Eine unterschätzte pädagogische Herausforderung. Münster: Waxmann Stamm, M. (2003b): Evaluation im Spiegel ihrer Nutzung: Grande idée oder grande illusion des 21. Jahrhunderts? In: Zeitschrift für Evaluation, 2, 183-200 Stevahn, L. and King, J. A. (2005): Managing Conflict Constructively in Program Evaluation. In: Evaluation, 11, 4, 415-427 Stevahn, L., King, J. A., Ghere, G., and Minnema, J. (2005): Establishing Essential Competencies for Program Evaluators. In: American Journal of Evaluation, 26, 1, 43-59 Stockmann, R. (2004): Evaluation in Deutschland. In: R. Stockmann (ed.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske + Budrich. 13-43 Stockmann, R. (2007): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann Stöger, H., A. Ziegler, and D. Schimke (2009): Mentoring: Theoretische Hintergründe, empirische Befunde und praktische Anwendungen. Lengerich u.a.: Pabst Science Publishers Stufflebeam, D. L., G. F. Madaus, and T. Kellaghan (2000): Evaluation Models. Boston: Kluver Academic Publishers Thorndike, E. L. (1920): A constant error in psychological ratings. In: Journal of Applied Psychology, 4, 25-29 Thorndike, E. L. and Stein, S. (1937): An evaluation of the attempts to measure social intelligence. In: Psychological Bulletin, 34, 275-284 Torres, R. T., Preskill, H., and Piontek, M. E. (1997): Communicating and Reporting: Practices and Concerns of Internal and External Evaluators. In: Evaluation Practice, 18, 2, 105-125 Tyler, R. W. (1949): Basic priciples of curriculum and instruction. Chicago: University of Chicago Press Varone, F., Jacob, S., and De Winter, L. (2005): Polity, Politics and Policy Evaluation in Belgium. In: Evaluation, 11, 3, 253-273

232

Literaturverzeichnis

Varone, F., B. Rihoux, and A. Marx (2006): A new method for policy evaluation? Longstanding challenges and the possibilities of qualitative comparative analysis (QCA). In: B. Rihoux and H. Grimm (eds.), Innovative comparative methods for policy analysis. Beyond the quantitative-qualitative divide. New York: Springer. 213-236 Vedung, E. (2004): Evaluation Research and Fundamental Research. In: R. Stockmann (ed.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske + Budrich. 111-133 Vogel, N. and A. Wörner (2002): Erwachsenenpädagogische professionelle Kompetenz für die Weiterbildung. In: U. Clement and R. Arnold (eds.), Kompetenzentwicklung in der beruflichen Bildung. Opladen: Leske + Budrich. 81-92 Wagemann, C. and Schneider, C. Q. (2010): Qualitative Comparative Analysis (QCA) and Fuzzy-Sets: Agenda for a Research Approach and a Data Analysis Technique. In: Comparative Sociology, 9, 3, 376-396 Watzlawick, P., J. H. Beavin, and D. D. Jackson (1969): Menschliche Kommunikation: Formen, Störungen, Paradoxien. Bern: Hans Huber Weinert, F. E. (2001): Concept of Competence: A Conceptual Clarification. In: D. S. Rychen and L. H. Salganik (eds.), Defining and Selecting Key Competencies. Seattle u.a.: Hogrefe & Huber Publishers. 45-65 Weiss, C. H. (1972): Utilization of Evaluation: Toward Comparative Study. In: C. H. Weiss (ed.), Evaluating Action Programs. Boston: Allyn and Bacon, Inc. Weiss, C. H. (1974): Evaluierungsforschung. Opladen: Westdeutscher Verlag Weiss, C. H. and M. J. Bucuvalas (1980): Social Science Research and Decision Making. New York: Columbia University Press Weiss, C. H. (1982): Measuring the use of evaluation. In: Evaluation Studies Review Annual, 129-145 Weiss, C. H. (1983): Ideology, interest, and information: The basis of policy decision. In: D. Gallahan and B. Jennings (eds.), Ethics, the social sciences, and policy analysis. New York: Plenum. 213-245 Weiss, C. H. (1986a): Research and policy-making: a limited partnership. In: F. Heller (ed.), The Use and Abuse of Social Science. Newbury Park: Sage. Weiss, C. H. (1986b): The many meanings of research utilization. In: M. e. al. Bulmer (ed.), Social Science and Social Policy. London: Allen and Unwin. 3-14 Weiss, C. H. (1988a): Evaluation research for decisions. Is anybody there? Does anybody care? In: Evaluation Practice, 9, 1, 5-19 Weiss, C. H. (1988b): If Program Descision Hinged Only on Information: A Response to Patton. In: Evaluation Practice, 9, 3, 15-28 Weiss, C. H. (1998): Have we learned anything new about the use of evaluation? In: American Journal of Evaluation, 19, 1, 21-33 Weiss, C. H., Murphy-Graham, E., and Birkeland, S. (2005): An Alternate Route to Policy Influence. How Evaluations Affect D.A.R.E. In: American Journal of Evaluation, 26, 1, 12-30 Westermann, R. (2002): Merkmale und Varianten von Evaluationen: Überblick und Klassifikation. In: Zeitschrift für Psychologie, 210, 1, 4-26 Westley, F. R. (1990): Middle managers and strategy: Microdynamics of inclusion. In: Strategic Management Journal, 11, 337-351

Literaturverzeichnis

233

Weymann, A. (2007): Interaktion, Institution und Gesellschaft. In: H. Joas (ed.), Lehrbuch der Soziologie. Frankfurt a.M., New York: Campus. 108-124 Widmer, T. (2004): Qualität der Evaluation - Wenn Wissenschaft zur praktischen Kunst wird. In: R. Stockmann (ed.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske und Budrich. 83-109 Widmer, T. (2006): Meta-Evaluation: Kriterien zur Bewertung von Evaluationen. Bern u.a.: Verlag Paul Haupt Widmer, T. and F. L. Leeuw (2009): Die institutionelle Einbettung der Evaluationsfunktion: Deutschland, Österreich und die Schweiz im Vergleich. In: T. Widmer, W. Beywl, and C. Fabian (eds.), Evaluation. Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften. 64-71 Widmer, T., W. Beywl, and C. Fabian (2009): Evaluation. Ein systematisches Handbuch. Wiesbaden: VS Verlag Wildt, J. (1997): Fachübergreifende Schlüsselqualifikationen - Leitmotiv der Studienreform? In: U. Welbers (ed.), Das integrierte Handlungskonzept Studienreform. Aktionsformen für die Verbesserung der Lehre an Hochschulen. Neuwied: Luchterhand. 198-213 Wingens, M. (1988): Soziologisches Wissen und politische Praxis: Neuere theoretische Entwicklungen der Verwendungsforschung. Frankfurt a.M.: Campus Worthen, B. R. and J. R. Sanders (1973): Educational evaluation: Theory and practice. Worthington: Charles A. Jones Wottawa, H. and H. Thierau (2003): Lehrbuch Evaluation. Bern: Hans Huber Zadeh, L. A. (1965): Fuzzy sets. In: Information and Control, 8, 3, 338-353 Ziegler, A. (2009): Mentoring: Konzeptuelle Grundlagen und Wirksamkeitsanalyse. In: H. Stöger, A. Ziegler, and D. Schimke (eds.), Mentoring: theoretische Hintergründe, empirische Befunde und praktische Anwendungen. Lengerich: Pabst Science Publishers. 7-29

Anhang

Anhang

M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011

235

236 A

Anhang

Erhebungsinstrumente

A.1 Begleitanschreiben zum Kurzfragebogen

Erziehungswissenschaft und Psychologie Empirische Erziehungswissenschaft Prof. Dr. Hans Merkens Dipl. Päd. Mary Meyer Fabeckstr. 13 14195 Berlin Telefon +49 30 838-55265 Fax +49 30 838-54796 E-Mail [email protected] Internet www.ewi-psy.fu-berlin.de

Sehr geehrte Dame, sehr geehrter Herr, wir freuen uns, dass Sie sich bereit erklärt haben, uns einige Minuten Ihrer wertvollen Zeit für die Beantwortung des beiliegenden Fragebogens zu schenken. Geplant ist eine deutschlandweite Vollerhebung aller aktuell existierender universitärer Mentoringprogramme. Der Fragebogen hat zwei Beweggründe: 1. Im Rahmen einer Untersuchung zu Mentoring-Programmen werden Deutschlandweit alle universitären Mentoringprogramme angeschrieben, um zum einen eine Übersicht über die Mentoringprogramme nach Zielgruppen getrennt zu erstellen und zum zweiten, um zu erfassen, welche Programme evaluiert worden sind bzw. aktuell evaluiert werden. Um eine bessere Übersicht von Mentoringprogrammen in Deutschland zu gewährleisten und ggf. die gezielte Suche nach Kontakten/ Austauschmöglichkeiten zu vereinfachen ist geplant, diese Übersicht digital – in Kooperation mit der Forum-Mentoring Website - zur Verfügung zu stellen. 2. Im Rahmen einer Dissertation zur Thematik Interaktion zwischen Programmmitarbeiter(inne)n und Evaluator(inn)en ist geplant, mit jeweiligen Vertreter(inne)n beider Gruppen Interviews durchzuführen. Falls Ihr Programm extern evaluiert wird, würden wir ggf. zu einem späteren Zeitpunkt nochmals anfragen, ob die Möglichkeit besteht, ein Interview durchzuführen. Für Rückfragen stehen wie Ihnen natürlich gern zur Verfügung. Mit freundlichen Grüßen Prof. Dr. Hans Merkens, Dipl. Päd. Mary Meyer

237

Anhang

A.2 Kurzfragebogen Mentoring-Programm-Befragung Sind Sie damit einverstanden, dass der Programmname Ihres MentoringProgramms in Verbindung mit Ihren Angaben zu den folgenden Fragen veröffentlicht wird? †1 ja †2 ja, bis auf Angaben zu der/den Frage/n: __________________________________(Nr. der Frage/n) †3 nein Falls Sie nicht einverstanden sind, werden alle Angaben anonymisiert. A. Angaben zum Programm 1a. Wie heißt das Mentoring Programm: _______________________________ (Name des Programms)

1b. An welchen Einrichtungen/ welcher Einrichtung (z.B. Universität) ist das Programm verankert: (1) ________________________ (4) ________________________ (2) ________________________ (5) ________________________ (3) ________________________ (6) ________________________ 2.

An wen richtet sich das Programm: (Mehrfachantworten möglich) †1 †2 †3 †4

Schüler(innen) Student(innen) Doktorand(inn)en Berufseinsteiger(innen)

†5 †6 †7 †8

Post Docs PD´s Auszubildende andere: …………………

238

Anhang

3.

Gibt es eine fachliche Zugangsbeschränkung? †2 nein weiter bei Frage 4 †1 ja und zwar: †a nur für Geisteswissenschaftler(innen) †b nur für Naturwissenschaftler(innen) †c nur für Techniker(innen) †d nur für Mediziner(innen) †e anderes: ……………………………………………

4.

Wie viele Teilnehmer(innen) nehmen pro Durchgang an dem Pro gramm teil? ______________

5.

Wie viele Mentor(inn)en nehmen pro Durchgang an dem Programm teil? ______________

6.

Seit wann existiert das Programm/ Projekt?

(Anzahl)

(Anzahl)

seit: ____________________ Monat/

7.

Jahr

Wie lang ist die geplante Laufzeit insgesamt? bis: ____________________ Monat/

8.

Jahr

In welcher Phase befindet sich das Programm/ Projekt? †1 †2 †3 †4 †5

Planungsphase Pilotphase Konsolidierungsphase Programm ist abgeschlossen anderes: …………………………………………………..

239

Anhang

9.

Wie ist Ihr Team zusammengesetzt? Leitungspersonen Wissenschaftliche Begleitung (Beirat) wissenschaftliche Mitarbeiter/innen stud. Mitarbeiter/innen Praktikanten/innen anderes: …………………………

_____________ (Anzahl) _____________ (Anzahl) _____________ (Anzahl) _____________ (Anzahl) _____________ (Anzahl) _____________ (Anzahl)

10. a. Welche Mentoringformen werden durch Ihr Programm genutzt? (Mehrfachantworten möglich) †1 Peer-Mentoring †2 One-to-One Mentoring †3 Gruppenmentoring †4 E-Mentoring †5 anderes: ………………………………………………….. b.

Arbeitet Ihr Mentoring-Programm zusätzlich mit anderen Bausteinen außer Mentoring? †2 nein weiter bei Frage 11 †1 ja und zwar: †a Seminare/ Trainings/ Workshops †b Netzwerktreffen †c anderes und zwar: ………………………………… †d anderes und zwar: …………………………………

B. Fragen zur Evaluation des Programms 11. Wird/ wurde das Programm evaluiert? †1 ja †2 nein weiter bei Abschnitt C

240

Anhang

12. Falls ja, wie wird/ wurde das Programm evaluiert? (Mehrfachantworten möglich) a. †1 intern (z.B. durch eigene Befragungen) †2 extern (z.B. durch eine mit der Evaluation beauftragte Firma) †3 intern und extern †4 anderes: …………………………………………… b. †1 summativ (Output-Evaluation) †2 formativ (während der Entwicklung, Erprobung und Ausführung einer Maßnahme)

†3 summativ und formativ †4 anderes: …………………………………………… 13. Von wem wird/ wurde das Programm evaluiert? _______________________________________ (Name/ Firma/ Institution)

14. Wieviele Personen sind im Evaluationsteam beschäftigt? (entsprechendes bitte ankreuzen und ausfüllen) †1 intern

____

(Anzahl)

†2 extern

____

(Anzahl)

†3 anderes

____

(Anzahl)

15. Welche Person/en aus Ihrem Team ist/sind Ansprechpartner(in/nen) für die Evaluator(inn)en? (1) ________________________

(Funktion der Person)

(2) ________________________

(Funktion der Person)

(3) ________________________

(Funktion der Person)

241

Anhang

C.

Raum für Kommentare, Ergänzungen, Empfehlungen von Ihnen bekannten Mentoringprogrammen, Kritik:

Vielen Dank!

242

Anhang

A.3 Interviewleitfaden Themenkomplexe

Fragen

Projekt-/ Programmbeschreibung

ƒ Sie sind/ waren Evaluator(in) (bzw. Tätigkeit) des Mentoring Programms xy. Können sie mir beschreiben, worum es in dem Programm geht? Mir geht es insbesondere um Zielsetzungen des Programms und den Ablauf. ƒ Wie und bis wann ist das Programm finanziert?

Evaluationsgeschehen und Nutzungen der Evaluation

ƒ Das Mentoring-Programm wurde, wie ich aus dem Fragebogen weiß, extern evaluiert. Welche Assoziationen fallen Ihnen ein, wenn Sie an Evaluation denken? ƒ Können Sie mir den Ablauf der Evaluation aus Ihrer persönlichen Sicht schildern? ƒ Wer initiierte die Evaluation? ƒ Wie wurde der Auftrag vergeben? ƒ In welchen Bereichen konnten Sie Einfluss nehmen? Wer war seitens der Auftraggeber in die Evaluation eingebunden? ƒ Wozu diente die Evaluation? ƒ Wie schätzen Sie die Qualität der Evaluation ein? ƒ Ich komme nun zu dem Stichwort „Nutzung“ der Evaluationsresultate: Welcher Nutzen, glauben Sie, wurde bislang aus der Evaluation und ihren Ergebnissen gezogen? (inhaltlicher Nutzen, Legitimation, Bestätigung von bereits Gewusstem, Diskussionen) ƒ Gab es auch einen indirekten Nutzen der Evaluation vielleicht auch für Sie persönlich oder für andere Mitarbeiter(innen), der gar nicht unbedingt mit der Fragestellung der Evaluation zusammen hing? (Kontakte, Wissenszuwachs, Sensibilisierung für bestimmte Themen, Umgang mit Evaluationen, Motivationsanschub) ƒ War Ihnen von Beginn der Evaluation an klar, in welcher Weise diese nützlich sein könnte? Wenn nein, wann wurde das deutlich?

Soziale Interaktionsgestaltung

ƒ Wie oft haben sie sich im Rahmen der Evaluation getroffen? ƒ Gab es formale Absprachen (bezüglich Termineinhaltung, Häufigkeit der Treffen, Gestaltung des Evaluati-

243

Anhang

ƒ ƒ ƒ

ƒ ƒ

onsberichts etc.) und wenn ja welche? Wurden diese eingehalten? Wie gestaltete sich die Kommunikation mit Ihrem/Ihrer Hauptinteraktionspartner(in) (bzw. mit den Evaluator(inn)en)? Was denken Sie, sehen andere Evaluator(inn)en (bzw. Tätigkeit) als problematisch bei Evaluationen an? Hat es im Verlauf der Evaluation Schwierigkeiten, Konflikte oder Widerstände gegeben und wenn ja welcher Art? ƒ Wie sind Sie mit diesen Schwierigkeiten umgegangen (Beispiele)? Wenn Sie die Zusammenarbeit und die Interaktion im Rahmen des Evaluationsgeschehens bilanzieren, wie fällt Ihre Beurteilung aus? Würden Sie sagen, dass die Kontakte von gegenseitiger Achtung geprägt waren?

Kontext der interviewten Person

ƒ

Ich würde nun gern etwas zu Ihrem Hintergrund wissen. Erzählen Sie, wie Sie Evaluator(in) (bzw. Tätigkeit) geworden sind! ƒ Was ist Ihr gelernter Beruf? ƒ Haben Sie vorher bereits Erfahrungen mit Mentoringprogrammen und/ oder Evaluationen gesammelt? ƒ Wie autonom sind Sie, Entscheidungen zu treffen (Beispiele)? ƒ Fühlen Sie sich in Ihrer Arbeit genügend gewürdigt (Beispiele)?

Reflexion der Projekt-/ Programmevaluation

ƒ

Wenn Sie heute auf die Evaluation des Programms blicken und auch ein wenig daran denken, was bislang genutzt wurde. Würden Sie heute etwas anders gestalten oder anders vorgehen und wenn ja wie?

244 B

Anhang

Rohdaten

Tabelle 23: Rohdaten gesamt CaseID

SOC1

SOC2

INACT

UMGES

USEDIR

USEIND

1_E

8.0

7.0

2

2.5

1

1

1_H

6.0

5.0

2

2.5

2

1

2_E

5.7

6.5

4

3.5

2

4

2_H

5.0

4.5

4

3.5

3

0

3_E

5.3

4.5

4

2.0

1

1

3_H

5.0

5.5

4

2.0

2

1

4_E

8.7

2.8

4

2.0

1

1

4_H

6.3

4.5

2

2.0

0

0

5_E

8.7

2.8

4

2.0

1

1

5_H

6.3

3.0

2

2.0

0

2

6_E

3.7

4.0

3

4.0

1

1

6_H

5.7

5.5

3

4.0

3

0

7_E

4.0

3.0

4

4.0

3

1

7_H

4.7

2.3

3

4.0

2

1

245

Anhang

Tabelle 24: Rohwerte sozialen Kompetenzen anhand des BIP (Hossiep, Paschen, 2003) (E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen)), 9-stufige Normierung CaseID

FL

HO

SEN

KO

SOZ

TO

DU

1_E

7

8

8

6

1

2

6

1_H

6

7

7

5

6

6

5

2_E

8

9

6

8

6

8

5

2_H

6

5

6

5

6

6

3

3_E

4

6

6

6

8

6

4

3_H

5

6

5

5

3

6

4

4_E

3

8

9

4

8

1

2

4_H

2

5

6

6

5

1

5

5_E

3

8

9

4

8

1

2

5_H

5

5

7

2

7

3

2

6_E

3

4

5

3

3

7

3

6_H

4

5

7

6

3

5

5

7_E

2

3

4

4

5

5

1

7_H

3

4

6

3

8

6

1

246 C

Anhang

Kalibrierung der Daten für die Fuzzy-Set Analyse

C.1 Auswertungskategorien und Kalibrierungsschlüssel für direkte und indirekte Nutzungen Tabelle 25: Auswertungskategorien für wahrgenommene direkte und indirekte Nutzungen (inhaltliche Ebene) Auswertungskategorien

Wahrgenommene direkte Nutzungen

Wahrgenommene indirekte Nutzungen

Ausgewählte Referenzquellen

Inhaltliche Veränderungen aufgrund der Shadish et al. 1991; Evaluation Rossi/Freeman 1993 Evaluation zu Legitimationszwecken Johnson 1998; Clarke/Dawson 1999; Huberman 1987 Bestätigung von bereits Gewusstem durch Alkin et al. 1979 die Evaluation Diskussion der Evaluationsergebnisse Cook/Pollard 1977 Netzwerkerweiterung als direkte (geplante) in Anlehnung an Nutzungsmöglichkeit der Evaluation Fitzpatrick/ Sanders 2004; durch explorativen Zugang Netzwerkerweiterung (Kontakte) Forss et al. 2002 Wissenszuwachs durch Erfahrungsaus- Forss et al. 2002 tausch mit anderen Expert(inn)en Sensibilisierung für ein bestimmtes Thema Alkin et al. 1979; durch die Durchführung der Evaluation Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 1999 Wissenszuwachs für den Umgang mit Forss et al. 2002 Evaluationen Motivationsanschub Forss et al. 2002 Nutzung einzelner Ergebnisse oder Instru- Forss et al. 2002; mente für andere Projekte durch explorativen Zugang

Punkte (bei Vorhandensein) 1 1 1 1 1

1 1

1

1 1 1

247

Anhang

Tabelle 26: Kalibrierungsschlüssel für direkte Nutzungen (USEDIR) Rohwertpunkte Kalibrierung Erläuterung 3-5

1.0 Perfekt vorhandene direkte Nutzung

2

0.7 Eher vorhandene als nicht vorhandene direkte Nutzung

1

0.3 Eher nicht vorhandene als vorhandene direkte Nutzung

0

0 Perfekt nicht vorhandene direkte Nutzung

Tabelle 27: Kalibrierungsschlüssel für indirekte Nutzungen (USEIND) Rohwertpunkte Kalibrierung Erläuterung 4-6 2-3 1 0

1.0 Perfekt vorhandene indirekte Nutzung Eher vorhandene als nicht vorhandene indirekte Nutzung Eher nicht vorhandene als vorhandene indirekte Nut0.3 zung 0.7

0 Perfekt nicht vorhandene indirekte Nutzung

C.2 Soziale Kompetenzen

Abbildung 14: Prozentuale Anteile der Vergleichsgruppen in den Normstufen, 9stufige Normierungsskala , Normstichprobe waren 6869 berufstätige Fach- und Führungskräfte (vgl. Hossiep/ Paschen 2003: 133)

248

Anhang

Tabelle 28: Kalibrierungsschlüssel für die einzelnen sozialen Kompetenzen Normstufe

Kalibrierung Erläuterung

8.0 - 9.0

1.0 Überdurchschnittlich vorhanden

5.0 – 7.9

0.7

2.0 - 4.9 1.0 – 1.9

Eher überdurchschnittlich als unterdurchschnittlich vorhanden Eher unterdurchschnittlich als überdurchschnittlich vor0.3 handen 0 Unterdurchschnittlich vorhanden

C.3 Auswertungskategorien und Kalibrierungsschlüssel für soziale Interaktionsgestaltung Tabelle 29: Auswertungskategorien für Interaktionsgestaltung Auswertungskategorien

Wahrgenommene Interaktionsgestaltung

Verfügbarkeit Wertschätzende Grundhaltung Gestaltung der Kommunikation

Ausgewählte Referenzquellen

Punkte (bei Vorhandensein) 1 1

Sanders 2006 Sanders 2006 Cousins/ Leithwood 1993; 1 Mertens 1994; Sanders 2006 Zufriedenheit mit der Interaktionsgestal- durch explorativen 1 tung insgesamt Zugang

249

Anhang

Tabelle 30: Kalibrierungsschlüssel für soziale Interaktionsgestaltung (INACT) Rohwertpunkte Kalibrierung Erläuterung 4

1.0 Perfekt positive Beurteilung der Interaktionsgestaltung

3 (incl. Zufriedenheit mit der Interaktionsgestaltung insgesamt) 2; 3 (ohne Zufriedenheit mit der Interaktionsgestaltung insgesamt)

0.7 Eher positive als negative Beurteilung der Interaktionsgestaltung

0-1

0 Perfekt negative Beurteilung der Interaktionsgestaltung

0.3 Eher negative als positive Beurteilung der Interaktionsgestaltung

C.4 Auswertungskategorien und Kalibrierungsschlüssel für Umfeld- und Prozessmerkmale Tabelle 31: Auswertungskategorien für Umfeld- und Prozessmerkmale Auswertungskategorien Umfeld und Prozessmerkmale

Ausgewählte Punkte Referenzquellen

Integration von Nutzungsprozessen

Hannum/Martineau 2008; Huberman/Cox 1990; Sanders 2006; Stamm 2003a Orientierung der Evaluation Balthasar 2007; in Anlehnung an Sanders 2006 Einhaltung formaler Erfordernisse Alkin 1975; in Anlehnung an Sanders 2006 Politisches Klima/ Weiterführung des Weiss 1986, 1998; Programms Sanders 2006

je nach Ausprägung: 1.0; 0.7; 0.3; 0 je nach Ausprägung: 1.0; 0.7; 0.3; 0 1; 0 1; 0

250

Anhang

Tabelle 32: Kalibrierungsschlüssel Umfeld- und Prozessmerkmale (UMALL) Rohwertpunkte Kalibrierung Erläuterung 3.0 – 4.0

1.0 Perfekt günstige Umfeld- und Prozessmerkmale

2.0 – 2.9

0.7

1.0 - 1.9 0 – 0.9

Eher günstige als nicht günstige Umfeld- und Prozessmerkmale Eher nicht günstige als günstige Umfeld- und Prozess0.3 merkmale 0 Perfekt nicht günstige Umfeld- und Prozessmerkmale