Externe Evaluierung durch Peer Review: Qualitatssicherung und -entwicklung in der beruflichen Erstausbildung

Maria Gutknecht-Gmeiner Externe Evaluierung durch Peer Review

VS RESEARCH

Maria Gutknecht-Gmeiner

Externe Evaluierung durch Peer Review Qualitätssicherung und -entwicklung in der beruflichen Erstausbildung

Mit einem Geleitwort von Prof. Dr. Elke Gruber und Prof. Dr. Ada Pellert

VS RESEARCH

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

Dissertation der Universität Klagenfurt, 2006

1. Auflage 2008 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH, Wiesbaden 2008 Lektorat: Christina M. Brian / Dr. Tatjana Rollnik-Manke VS Verlag für Sozialwissenschaften ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-531-16233-1

Geleitwort

Das Schulwesen und die berufliche Erstausbildung waren in der Vergangenheit gekennzeichnet durch eine hohe strukturelle und rechtliche Regelungsdichte. Über sie wurde auch die Qualität der Prozesse und Abschlüsse gesichert. Im Kontext gesellschaftlicher Modernisierungsprozesse, in dem Bildung eine wichtige Rolle bei der Konstituierung einer künftigen Wissensgesellschaft einnimmt, wird nun nach flexibleren und weniger regulierten Formen der Qualitätssicherung und Qualitätsentwicklung im Bildungsbereich gesucht. Während im angelsächsischen Raum offene, auf Partizipation und Beteiligung ausgerichtete Verfahren schon länger im Einsatz sind, werden mit fortschreitender und sich professionalisierender Qualitätssicherungsdebatte auch im deutschsprachigen Bildungswesen die einzelnen Konzepte der Qualitätssicherung eingehender und fundierter betrachtetet. Ein Konzept, das im akademischen Bereich von Forschungseinrichtungen schon seit vielen Jahrzehnten erprobt und laufend eingesetzt wird, wird nun auch im Schulbereich zur Diskussion gestellt. Peer Review ist als Medium der Professionsentwicklung und der Kompetenzerweiterung ein äußerst interessantes Instrument in der aktuellen Qualitätssicherungsdebatte, das nicht nur gut zu zunehmend institutionell autonomeren Bildungseinrichtungen passt, sondern auch zur Kultur der „Vereinbarung und Aushandlung“, die als neues Steuerungsmodell im deutschsprachigen Bildungssystem zunehmend Einzug erhält. Die Autorin hat sich der Herausforderung gestellt, das aus einer anderen Bildungskultur stammende Instrument des Peer Review auf dessen Umsetzungsmöglichkeiten in der beruflichen Erstausbildung und dem Schulwesen im deutschsprachigen Raum – insbesondere Österreich  zu überprüfen. Das Buch von Maria Gutknecht-Gmeiner arbeitet Chancen, allerdings auch Grenzen dieses Konzepts kenntnisreich heraus. Da die Autorin mit ihrer Fragestellung hierzulande wissenschaftliches „Neuland“ betritt, bietet sich ein Blick über die Grenzen an. Kern des Buches bildet die Analyse von Konzepten des Peer Review Verfahrens in unterschiedlichen europäischen Ländern. Diese erweist sich als außerordentlich fruchtbringend, um auch hierzulande einen Wandel im Qualitätsverständnis des schulischen Bildungsbereiches anzustoßen. Neben einer profunden Aufarbeitung des Theoriestandes und den Einsatzmöglichkeiten zu Peer Review im Bildungsbereich zeichnet sich das Buch von

6

Geleitwort

Maria Gutknecht-Gmeiner vor allem durch eine überzeugende Darstellung der Fallstudien aus. Aufgrund ihrer beruflichen Funktion am Österreichischen Institut für Berufsbildungsforschung verfügt sie über langjährige Expertise und entsprechendes Fallmaterial, um die Einsatzmöglichkeiten von Peer Review im berufsbildenden Schulwesen schlüssig zu beleuchten. So gelingt es ihr, das Konzept des Peer Review auch im Hinblick auf verschiedene Funktionen und Einsatzmöglichkeiten (sowohl auf der Ebene des Bildungssystems als auch auf der Ebene von Bildungseinrichtungen) so darzustellen, dass der/die praktisch interessierte Leser/Leserin wertvolle Implementierungshinweise für den Einsatz von Peer Review erhält. Auch durch den Vergleich mit Bildungssystemen und Kulturen, die über diese Steuerungsmodelle schon seit längerem verfügen und daher Peer Review schon wesentlich intensiver auch im Bereich des Schulwesens einsetzen, ist diese Arbeit mit großem Gewinn zu lesen. Univ.-Prof. Dr. Elke Gruber Abteilung für Erwachsenen- und Berufsbildung Alpen-Adria-Universität Klagenfurt Univ. Prof. Dr. Ada Pellert Department für Weiterbildungsforschung und Bildungsmanagement Donau-Universität Krems

Vorwort

Der Abschluss der vorliegenden Dissertation liegt zwei Jahre zurück. In diesen zwei Jahren ist die Entwicklung von Peer Review als externes Evaluationsverfahren in der beruflichen Erstausbildung weiter fortgeschritten: Das in der Einleitung zur Dissertation erwähnte Leonardo da Vinci Projekt „Peer Review in der beruflichen Erstausbildung in Europa“, das den Anlass für die intensive Beschäftigung mit Peer Review bot, und ein zweites Projekt zum Thema „Peer Review Extended“ wurden erfolgreich abgeschlossen, ein weiteres Folgeprojekt ermöglicht die Fortführung der europäischen Zusammenarbeit bis Herbst 2009. Fünfzehn europäische Länder sind mittlerweile an der Erprobung von Peer Review in der beruflichen Bildung beteiligt, in zwölf Ländern wurde das „Europäische Peer Review Verfahren“ bereits pilotiert und evaluiert, in einigen Ländern, darunter auch Österreich, ist auch eine Implementierung des Verfahrens in den nationalen/regionalen Qualitätssicherungssystemen in Vorbereitung. Auf der Suche nach Formen der externen Evaluation abseits gängiger (Voll-)Inspektionen nach angelsächsischem/niederländischem Vorbild gewinnt Peer Review als kollegiales, entwicklungsorientiertes Verfahren sowohl für die Steuerungsebene der Bildungssysteme als auch für die Bildungseinrichtungen selbst an Attraktivität. Auf europäischer Ebene hat sich das Europäische Netzwerk für die Qualitätssicherung in der beruflichen Bildung (ENQA-VET) der weiteren Nutzbarmachung des entwickelten Peer-Review-Verfahrens verschrieben. Grenzüberschreitende Peer Reviews in einem europäischen Netzwerk von Berufsbildungseinrichtungen sollen zur Entwicklung eines „Europäischen Raums der Berufsbildung“ beitragen, eine thematische Arbeitsgruppe zum Thema „Peer Review“ ist gerade dabei, die notwendigen Kooperationsstrukturen und Verfahren für die Umsetzung dieses Ziels zu klären. Als Koordinatorin der oben genannten Projekte konnte ich sämtliche Ergebnisse meiner Recherchen und Analyen laufend in den europäischen Entwicklungs- und Diskussionsprozess einbringen, meine Grundlagenarbeit konnte also direkt vom Projektteam genutzt werden. Gleichzeitig erfuhr meine wissenschaftliche Auseinandersetzung mit Peer Review durch die vielfältigen Rückmeldungen, Erfahrungen und Anregungen der Projektpartner aus ganz Europa eine ständige Bereicherung. Ich möchte daher an dieser Stelle dem Entwicklungsteam des Projekts „Peer Review in der beruflichen Erstausbildung“ sowie den vielen beteiligten Berufsbildungseinrichtungen einschließlich ihrer Peer

8

Vorwort

Teams, die in der Pilotierung von grenzüberschreitenden Peer Reviews in mehrfacher Hinsicht Neuland betraten, meinen herzlichen Dank dafür aussprechen, dass ich an ihrer Expertise, ihren Ideen und der Reflexion ihrer Erfahrungen teilhaben durfte. Sie alle aufzuzählen, würde den Rahmen dieses Vorworts sprengen, besonders erwähnen möchte ich Leena Koski, Pirjo Väyrynen, Giorgio Allulli, Willem de Ridder, Rick Hollstein und Bill Stalker. Danken möchte ich auch meinen beiden Betreuerinnen, Elke Gruber und Ada Pellert, sowie den KollegInnen der Universität Klagenfurt – ihre inhaltliche Unterstützung bzw. ihr Entgegenkommen in organisatorisch-administrativen Belangen machten mir ein nebenberufliches Dissertationsstudium in Klagenfurt möglich. Berufstätigkeit und Promotion miteinander zu verbinden wurde mir auch durch Peter Schlögl vom Österreichischen Institut für Berufsbildungsforschung (öibf) erleichtert, der mein Vorhaben begrüßte und stets Verständnis zeigte, wenn ich auf zeitliche Flexibilität angewiesen war. Mein ganz besonderer Dank gilt meinem Mann Thomas und meinen Söhnen Philipp und Florian Gmeiner, für die mein Dissertationsstudium und die Zeit, die ich diesem Unterfangen widmete, eine Selbstverständlichkeit war. Abschließend möchte ich noch einmal darauf hinweisen, dass die Dissertation meinen Interessen- und Erkenntnisstand von Juli 2006 wiedergibt. Weiterentwicklungen hat es seither in Bezug auf die Definition von Peer Review als Evaluation gegeben: Einerseits zeigte sich, dass diese Zuordnung in bestimmten Fällen sinnvoll und möglich ist, andererseits erscheint nun eine genaue Untersuchung, welche Arten der Umsetzung von Peer Review als Evaluation gelten können und welche nicht, als notwendig, um in dieser Frage zu einem tieferen Verständnis zu kommen. Weiters wurde im Rahmen der europäischen Zusammenarbeit mein Verständnis der für Peers notwendigen Evaluationskompetenzen weiter geschärft. Auch sind einige der Vorhaben, die in den „weiterführenden Fragestellungen“ angesprochen werden, bereits in Umsetzung oder in Planung: So wird vom öibf aktuell eine erste Machbarkeitsstudie zu Peer Review in Österreich durchgeführt, eine Meta-Evaluation zu Wirkungsweise und Nutzen von Peer Review ist geplant. Weitere Forschung und Entwicklung zum Thema Peer Review halte ich für unerlässlich und freue mich auf Rückmeldungen von PraktikerInnen und ForscherInnen zu den in der Dissertation angeschnittenen Fragestellungen. Maria Gutknecht-Gmeiner

Inhaltsverzeichnis

Geleitwort .......................................................................................5 Vorwort ...........................................................................................7 Inhaltsverzeichnis...........................................................................9 0

Einleitung ...............................................................................17 0.1 Ausgangslage und Problemdarstellung ............................................... 17 0.1.1 Status Quo der theoretischen Auseinandersetzung mit Peer Review.......................................................................... 19 0.2 Forschungsfragen, Abgrenzung und inhaltliche Übersicht ................. 20 0.2.1 Eingrenzung bezüglich des Bildungssektors............................... 21 0.2.2 Erste Hypothesen zu Vor- und Nachteilen des Einsatzes von Peer Review ......................................................................... 22 0.2.3 Fragestellungen und Struktur der Arbeit..................................... 24 0.3 Methoden ............................................................................................ 25 0.4 Geschlechtergerechter Sprachgebrauch .............................................. 26

1

Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen ..................................................................27 1.1 1.2 1.3

2

Einfluss gesellschaftlicher Entwicklungen auf das Bildungswesen .... 27 Neue Formen der Steuerung und Qualitätssicherung.......................... 30 Peer Review als Evaluierungsverfahren.............................................. 35

Aktuelle Definition(en) von Peer Review ............................37 2.1 Wörtliche Definition von Peer Review ............................................... 37 2.1.1 Peer ............................................................................................. 37 2.1.2 Review ........................................................................................ 39 2.2 Definitionen von Peer Review in der Evaluationsforschung............... 41

10

Inhaltsverzeichnis 2.2.1 Definition von Evaluation........................................................... 41 2.2.2 Einordnung von Peer Review als Evaluationsverfahren ............. 42 2.2.3 Exkurs: Definition von Selbstevaluation .................................... 46 2.2.4 Weitere aktuelle Definitionen ..................................................... 47 2.3 Definitionen von Peer Review im Hochschulbereich ......................... 49 2.3.1 Peer Review als Begutachtungsverfahren im Forschungsbereich ...................................................................... 49 2.3.2 Peer Review als externe Evaluierung von Hochschulen ............. 50 2.3.3 Peer Review als Evaluierung von Unterrichtenden..................... 51 2.4 Zusammenfassung, erste Definition und weitere Fragestellungen ...... 51

3

Anwendungsbereiche von Peer Review...............................55 3.1 Anwendungskontexte außerhalb von Forschung und Bildung............ 55 3.2 Peer Review in der Forschung ............................................................ 57 3.3 Anwendung von Peer Review im Bildungsbereich............................. 60 3.3.1 Peer Review auf verschiedenen Ebenen des Bildungssystems ... 60 3.3.2 Peer Review in verschiedenen Bildungssektoren........................ 64

4

Peer Review of Teaching.......................................................67 4.1 4.2

Entstehung und Zielsetzungen von „Peer Review of Teaching”......... 67 Verwendungsformen und Funktionen des „Peer Review of Teaching“................................................................. 70 4.3 Methoden des „Peer Review of Teaching“ ......................................... 72 4.4 Fallstudien........................................................................................... 73 4.4.1 „Peer Assistance and Review Programs” an U.S. Schulen ......... 73 4.4.2 „Peer review of teaching” an der University of Wisconsin-Madison ................................... 75

5

Peer Review auf Organisationsebene im Hochschulbereich.............................................................79 5.1 5.2 5.3 5.4

Vorläufer des modernen Peer-Review-Verfahrens ............................. 79 Peer Review als Element der Qualitätssicherung von Universitäten... 83 Aktuelle Entwicklungen...................................................................... 91 Offene Fragen ..................................................................................... 94

Inhaltsverzeichnis

11

5.5 Fallstudien: Peer Review im Hochschulbereich.................................. 96 5.5.1 “Academic peer review of higher education” in England........... 96 5.5.2 Peer Review im österreichischen Fachhochschulsektor............ 105

6

Peer Review in der beruflichen Erstausbildung: Fallstudien............................................................................113 6.1 6.2 6.3

Einleitung.......................................................................................... 113 Auswahl der Fallstudien.................................................................... 113 Methodisches Vorgehen bei der Erstellung des Erhebungsleitfadens .......................................................................... 114 6.4 Fallstudien......................................................................................... 118 6.4.1 Evaluating quality in school education. A European pilot project (Fallbeispiel 1)................................. 118 6.4.2 Peer Review an der Grund- und Hauptschule Buchholz – Heideschule, Niedersachsen, Deutschland (Fallbeispiel 2)....... 125 6.4.3 ISO-basierte Peer Reviews in der beruflichen Erstausbildung in Katalonien, Spanien (Fallbeispiel 3) ..................................... 130 6.4.4 Peer Review im Verband der Berufsbildungszentren des Salesianerwerks, Piemont, Italien (Fallbeispiel 4) .................... 134 6.4.5 Peer Review anhand von Benchmarks im Netzwerk finnischer Gastgewerbeschulen (Fallbeispiel 5) ....................... 140 6.4.6 Projekt eiver – Evaluation im Verbund als Beitrag zur Qualitätsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken, Hessen, Deutschland (Fallbeispiel 6) ..... 144 6.4.7 Intensivprojekt Schule IPS, Kanton Bern, Schweiz (Fallbeispiel 7)............................................................ 150 6.4.8 Peer Review an Regionalen Berufsbildungszentren (ROCs) in den Niederlanden (Fallbeispiel 8) ......................................... 157 6.4.9 Peer Review an “Further Education Colleges” in Schottland, Vereinigtes Königreich (Fallbeispiel 9) ............. 164 6.4.10 EVIT – Externe schulische Evaluation im Team in Schleswig-Holstein, Deutschland (Fallbeispiel 10) .............. 172 6.4.11 Weitere ähnliche externe Evaluierungsverfahren ..................... 180

12

7

Inhaltsverzeichnis

Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien.......................................................187 7.1 Rahmenbedingungen für Qualitätssicherung und Evaluation ........... 187 7.1.1 Struktur der Bildungssysteme ................................................... 187 7.1.2 Steuerungsmodelle.................................................................... 188 7.2 Exkurs: Definition der „Bildungseinrichtung“ als (Handlungs)Einheit? .................................................................... 192 7.3 Initiative für Peer Reviews, Ort der Steuerung und Reichweite........ 194 7.3.1 Initiative .................................................................................... 194 7.3.2 Ort der Steuerung...................................................................... 194 7.3.3 Reichweite ................................................................................ 195 7.4 Verbindung von Peer Review und Selbstevaluierung ....................... 196 7.5 Ziele und Funktionen von Peer Review ............................................ 197 7.5.1 Definitionen .............................................................................. 197 7.5.2 Analyse ..................................................................................... 199 7.6 Explizite oder implizite Evaluierungskriterien und Standards .......... 202 7.7 Gegenstand des Peer Reviews (Qualitätsbereiche) ........................... 204 7.7.1 Umfang des Evaluationsgegenstands........................................ 204 7.7.2 Lehren und Lernen als zentraler Evaluationsgegenstand .......... 207 7.7.3 Peer Review als Meta-Evaluation der Qualitätsevaluierung bzw. des Qualitätsmanagementsystems .................................... 208 7.8 Peer Review des Unterrichts auf individueller Ebene....................... 208 7.9 Peers.................................................................................................. 209 7.9.1 Wer sind die Peers? Woher kommen sie? Welche Qualifikationen werden von ihnen erwartet? ............... 209 7.9.2 Wer wählt die Peers aus? .......................................................... 214 7.9.3 Wie groß ist das Peer-Team? Welche Rollen gibt es? Wie setzt sich das Team zusammen? ........................................ 215 7.9.4 Rolle, Funktion und Aufgaben der Peers .................................. 217 7.9.5 Schulung der Peers.................................................................... 221 7.10 Vorbereitung und Organisation......................................................... 223 7.11 Selbstberichte .................................................................................... 224

Inhaltsverzeichnis

13

7.12 Peer-Besuch ...................................................................................... 225 7.12.1 Dauer......................................................................................... 225 7.12.2 Ablauf und Aktivitäten ............................................................. 227 7.12.3 Beratungen im Peer-Team ........................................................ 228 7.12.4 Rückmeldegespräche ................................................................ 229 7.13 Einbezug von Betroffenen und Beteiligten ....................................... 230 7.14 Bericht ............................................................................................. 231 7.14.1 Gibt es einen schriftlichen Bericht? .......................................... 231 7.14.2 Wer verfasst den Bericht? ......................................................... 232 7.14.3 Wie wird der Bericht akkordiert?.............................................. 232 7.14.4 Wer sind die AdressatInnen? Wird der Bericht auch öffentlich zugänglich gemacht?................................................................. 233 7.14.5 Zusammenfassung: Funktion des Berichts................................ 233 7.15 Follow-up.......................................................................................... 234 7.15.1 Planung, Vereinbarung und Umsetzung von Verbesserungsmaßnahmen........................................................ 234 7.16 Exkurs: Art der Rückmeldung und Ausmaß der Involviertheit der Peers............................................................................................ 235 7.17 Meta-Evaluation................................................................................ 236 7.18 Zusammenfassung und allgemeine Charakteristiken von Peer Review ............................................................................... 237 7.18.1 Wie weit handelt es sich bei den dargestellten Verfahren um Peer Review? ...................................................................... 237 7.18.2 Abgrenzung zu anderen Verfahren der Qualitätssicherung und Qualitätsentwicklung ................................................................ 238 7.18.3 Typologie von Peer Reviews in Hinblick auf Funktion sowie Einpassung in die Qualitätssicherung auf Systemebene ........... 238

8

Überprüfung und (Neu)Bestimmung der Definition von Peer Review..........................................................................243 8.1 8.2 8.3 8.4 8.5 8.6

Peer Review als Evaluationsverfahren .............................................. 244 Peer Review als mehrstufiges Verfahren .......................................... 246 Peer Review als externe Evaluation zwischen Staat und Profession. 250 Funktionen und Ort der Steuerung von Peer Review........................ 259 Evaluationsgegenstand von Peer Review auf Organisationsebene ... 264 Standards, Evaluationskriterien und Qualitätsverständnis ................ 267

14

Inhaltsverzeichnis 8.7 Definition der Peers: Wer sind die Peers?......................................... 270 8.7.1 Puristischer Peer-Begriff vs. erweiterte Definition ................... 271 8.7.2 Peers als ExpertInnen aus verschiedenen Institutionen und Professionen.............................................................................. 271 8.7.3 Peers als Personen, die aus gleichen/ähnlichen professionellen Arbeitszusammenhängen stammen........................................... 272 8.7.4 Peers als Gleichgestellte ........................................................... 273 8.7.5 Peers als unabhängige EvaluatorInnen...................................... 274 8.7.6 Internationale Peers................................................................... 275 8.7.7 Resümee: Wer sind die Peers? .................................................. 276 8.7.8 Zusammenstellung von Peer-Teams ......................................... 277 8.7.9 Motivation der Peers und Kosten.............................................. 278 8.7.10 Rekrutierung von Peers............................................................. 279 8.8 Rolle und Aufgaben der Peers........................................................... 279 8.8.1 Aufgaben der Peers ................................................................... 280 8.8.2 Sind Peers EvaluatorInnen? ...................................................... 282 8.9 Kompetenzen der Peers..................................................................... 282 8.10 Peer Review und Betroffene & Beteiligte......................................... 283 8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten.................................................................................. 284 8.11.1 Peer Review und Audit ............................................................. 284 8.11.2 Peer Review und Inspektion ..................................................... 286 8.11.3 Peer Review und kollegiale Beratung (Peer Learning) ............. 290 8.11.4 Peer Review und Benchmarking............................................... 290 8.11.5 Peers und „kritische FreundInnen“ ........................................... 291 8.12 Zusammenfassung: Was ist Peer Review und was nicht?................. 292

9

Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung .....................................295 9.1 Güte von Peer Review als externes Evaluierungsverfahren.............. 295 9.1.1 Die Standards für Evaluation der Deutschen Gesellschaft für Evaluation ..................................... 295 9.1.2 Analyse und Empfehlungen anhand der Standards für Evaluation........................................................... 297 9.1.3 Resümee und Zusammenfassung der Empfehlungen................ 307

Inhaltsverzeichnis

15

9.2 Chancen und Grenzen von Peer Review ........................................... 310 9.2.1 Grenzen von Peer Review......................................................... 311 9.2.2 Chancen von Peer Review aus der Sicht der Bildungseinrichtungen .............................................................. 313 9.2.3 Chancen von Peer Review aus der Sicht der Systemebene....... 314 9.2.4 Peer Review und Kompetenzerweiterung................................. 315 9.2.5 Peer Review und Professionsentwicklung ................................ 316 9.2.6 Peer Review und eine neue Kultur der Aushandlung und Vereinbarung ............................................................................ 318 9.2.7 Peer Review und Vernetzung.................................................... 319 9.2.8 Peer Review und Internationalisierung ..................................... 321 9.2.9 Peer Review und Kosten ........................................................... 322 9.3 Varianten der Implementierung und Positionierung von Peer Review ...................................................................................... 323 9.3.1 Gestaltungsfaktoren und Maßnahmen zur Einführung von Peer Review .............................................................................. 323 9.3.2 Abstimmung mit anderen Verfahren der Qualitätssicherung und Qualitätsentwicklung in einem umfassenden Qualitätssystem ....................................................................................... 326

10 Zusammenfassung und weiterführende Fragestellungen 331 10.1 10.2

Zusammenfassung............................................................................. 331 Weiterführende Fragestellungen ....................................................... 334

11 Quellen..................................................................................337 11.1 11.2 11.3 11.4

Literatur............................................................................................. 337 Websites............................................................................................ 349 Handreichungen, ausgefüllte Leitfäden, Projektbeschreibungen ...... 350 Interviews.......................................................................................... 351

0 Einleitung

0.1 Ausgangslage und Problemdarstellung Peer Review: Evaluation, usually of proposals or college faculty, done by a panel of judges with qualifications approximating those of the author or candidate. The traditional approach but extremely shaky. Matched panels produce different results; fatigue and learning and halo effects are widespread; secret-contract bias or fear of reprisals often corrupt it completely, and so on. The process can be greatly improved, but there’s little interest in doing so, possibly because it’s often serving as a legitimating or symbolic kind of evaluation, not a truth-seeking one. Possibly, too, the reluctance is mainly due to ignorance of the social costs of errors, plus nervousness about the time-costs of panelists. (Scriven 1991, 255) Why Peer Reviews? Peer Reviews combine internal evaluation with external assessment by the peers. They tap the professional expertise and knowledge of the peers and can stimulate a mutual learning process between peers and the institution which is reviewed. As colleagues, peers are expected to meet with higher acceptance than other external evaluators. Quality development is fostered while at the same time the assessment by peers also enhances external accountability and credibility of the procedure. (öibf 2005, Peer Review in initial VET, Projektfolder)

Als „extrem unsicher“ und unverlässlich charakterisierte der amerikanische Evaluationswissenschafter Michael Scriven im Jahr 1991 das Peer-ReviewVerfahren in der vierten Ausgabe seines bekannten „Evaluation Thesaurus“. Vom wissenschaftlichen Standpunkt aus weise es laut Scriven eine ganze Reihe gravierender Mängel auf, ja es handle sich dabei offensichtlich in vielen Fällen um Pseudoevaluation, die nicht so sehr der Aufdeckung der wahren Verhältnisse als vielmehr der Legimitation des Status quo diene. Scriven räumt jedoch ein, dass das Verfahren „stark verbessert“ werden könne, mithin also ein noch ungenütztes Potential hat.

18

0 Einleitung

Trotz verschiedenster Vorbehalte gegenüber Peer Review, das lange Zeit auch als Paradebeispiel für ein subjektives Bewertungsverfahren angesehen wurde, hat sich seine Anwendung seit 1991 stark ausgeweitet. Insbesondere ist das Verfahren in den letzten 15 Jahren (in einigen Ländern wie den Niederlanden schon früher) aus dem angelsächsischen Raum auf die Hochschulbildung in ganz Europa übertragen worden und hat sich mittlerweile im tertiären Sektor als „State of the Art“ der Qualitätssicherung etabliert. Peer Review kommt demnach als Verfahren der Hochschulevaluierung gegenwärtig eine überragende Bedeutung zu. Allerdings ist „Peer Review“ als Terminus technicus bislang noch nicht umfassend analysiert und definiert worden. Peer Review ist ein schillernder Begriff, unter dem unterschiedliche Formen von Bewertung und Begutachtung, die sich auf verschiedenste Gegenstände und Zielsetzungen beziehen, subsumiert werden. Bisweilen kann nur aus dem Kontext erschlossen werden, worum es sich bei einer bestimmten Form von Peer Review tatsächlich handelt – wenn denn überhaupt ein Verständnis dafür vorhanden ist, dass es verschiedenste Ausprägungen von Peer Review gibt. Widersprüchliche Aussagen zu Peer Review (Warum sollte ein als subjektiv charakterisiertes Verfahren für die flächendeckende Evaluierung von Universitäten eingesetzt werden?) sind auch auf fehlende Klarstellungen, was im jeweiligen Fall unter Peer Review verstanden wird, zurückzuführen. Es gilt daher als Erstes, Peer Review in seinen verschiedensten Erscheinungsformen zu erfassen und einzuordnen. Vielfältige Veränderungen in den Bildungssystemen haben in den meisten europäischen Staaten zur Entwicklung neuer Formen der Steuerung und Evaluierung geführt. Davon ist nicht nur der bereits erwähnte Hochschulbereich betroffen, sondern auch die Primar- und Sekundarstufe einschließlich der beruflichen Erstausbildung, wo vor allem auf Selbstevaluierung der einzelnen Einrichtungen, auf neue Formen der Inspektion und externen Evaluierung sowie  gerade im Bereich der Berufsbildung  auch auf Qualitätssicherungsverfahren aus der Wirtschaft (ISO 9000ff, TQM, EFQM, BSC etc.) gesetzt wird. Die Entwicklung geeigneter Evaluierungsverfahren und Qualitätssicherungsinstrumente genießt gegenwärtig in vielen Ländern hohe bildungspolitische Priorität. In dieser Situation erhebt sich die Frage, ob Peer Review als bewährtes Verfahren der Hochschulevaluierung auch im Schulwesen bzw. in der beruflichen Erstausbildung eingesetzt werden kann und soll. Tatsächlich wird in der beruflichen Erstausbildung / im Schulwesen bereits mit Peer Review experimentiert. Eine erste Recherche zu Peer-ReviewVerfahren in der beruflichen Erstausbildung in Europa im Jahr 2003 ließ darauf schließen, dass Peer Review außer im Vereinigten Königreich, wo es eine Weiterentwicklung des Inspektionsverfahrens darstellt, so gut wie gar nicht ange-

0.1 Ausgangslage und Problemdarstellung

19

wendet wird (vgl. Gutknecht-Gmeiner 2004). Weitere Recherchen und Analysen, die auch Modellprojekte bzw. erst im Versuchs- oder Einführungsstadium befindliche Verfahren mit einschlossen, haben gezeigt, dass Peer Review auch für den Bereich der Erstausbildung zunehmend relevant werden könnte. Weiters gibt es einen politischen Willen auf europäischer Ebene, den Einsatz von Peer Review als innovatives Verfahren, das verschiedene Zwecke erfüllen kann, über die Hochschulbildung hinaus voranzutreiben.1 Die Erprobung von Peer Review als Evaluierungsverfahren für den Bereich der beruflichen Erstausbildung / für das Schulwesen befindet sich mithin gerade erst in einem Anfangsstadium. Eine wissenschaftliche Aufarbeitung der Verfahrensvarianten und Einsatzmöglichkeiten von Peer Review erscheint in dieser Situation für die Weiterentwicklung des Verfahrens hilfreich, um Gelingensbedingungen zu definieren, verschiedene Ausgestaltungsmöglichkeiten gegeneinander abzuwägen sowie die Chancen und Grenzen von Peer Review als externes Evaluierungsverfahren in diesem Kontext insgesamt einschätzen zu können. Dabei kann eine vergleichende Analyse verschiedener bereits in der Praxis angewandter Peer-Review-Varianten zur Klärung der Frage beitragen, wie die Besonderheiten des Sektors bei der Ausgestaltung des Peer-Review-Verfahrens berücksichtigt werden können und welchen Beitrag Peer Review im Rahmen von neuen Konzepten zur Qualitätssicherung in diesem Bildungsbereich zu leisten imstande ist. Dadurch wird auch das Verständnis für Peer Review als externes Evaluierungsverfahren vertieft, was eine Neudefinition von Peer Review v.a. in Hinblick auf seine Anwendung in der beruflichen Erstausbildung / im Schulwesen ermöglicht. 0.1.1 Status Quo der theoretischen Auseinandersetzung mit Peer Review Trotz der hohen praktischen Bedeutung, die Peer Review als Instrument der externen Evaluierung und Qualitätssicherung mittlerweile v.a. im postsekundären Bereich innehat, gibt es kaum wissenschaftliche Literatur, die sich auf einer

1 In Folge der Erklärung von Kopenhagen, die Qualitätssicherung als wichtiges europäisches Ziel in der beruflichen Bildung vorgibt, wurde 2003 eine hochrangige ExpertInnengruppe, die Technische Arbeitsgruppe zur Qualität in der Berufsbildung, von der Europäischen Kommission mit der Ausarbeitung konkreter Vorschläge und Instrumente beauftragt. Das Mandat an diese technische Arbeitsgruppe beinhaltet auch den folgenden Auftrag: „to outline a proposal for a co-operation framework in order to develop common activities between countries on specific issues, to promote the exchange of good practice and the use of voluntary peer review at different levels. […] [Hervorhebung MGG]“ (Europäische Kommission 2002). Daraus entstand unter anderem ein europäisches Projekt zur Entwicklung von Peer Review als Instrument der Qualitätssicherung und Qualitätsverbesserung für die berufliche Erstausbildung in Europa (vgl. Kapitel 0.2.1).

20

0 Einleitung

theoretischen Ebene mit dem Verfahren des Peer Reviews auseinandersetzt. Insbesondere wurde bislang nicht auf die Bandbreite dessen, was unter Peer Review verstanden werden kann, Bezug genommen. Einer kritischen Diskussion wurde Peer Review nur im Rahmen einer allgemeinen Auseinandersetzung mit der Evaluierung des Hochschul- bzw. Fachhochschulwesens unterzogen. Dabei stand jedoch meist nicht so sehr das Verfahren des Peer Reviews im Vordergrund, sondern allgemeine Fragen der Hochschulevaluierung. Ein sehr intensiver und kontroverser Diskurs zum Thema Peer Review existiert seit langem in Hinblick auf die Evaluierung von Forschungsleistungen: Hier wurde und wird die gängige Praxis bei der Auswahl von Artikeln für die Veröffentlichung in (renommierten) wissenschaftlichen Fachzeitschriften sehr kritisch durchleuchtet (vgl. Kapitel 3). Eine vergleichende, internationale Darstellung und Analyse von Peer Review, die auch die Bildungssektoren einbezieht, in denen Peer Review aktuell noch nicht so weit verbreitet ist wie im postsekundären Bereich, liegt noch nicht vor. Publikationen zu Peer Review sind abseits der oben genannten Themen aus dem Bereich der Forschungsevaluierung v.a. in der sogenannten „grauen Literatur“ zu finden. Es handelt sich dabei in erster Linie um Handbücher und praxisorientierte Verfahrensanweisungen sowie einzelne Projektberichte, in denen Resultate von wissenschaftlicher Begleitforschung und Meta-Evaluationen zu finden sind. Ansonsten wird Peer Review nur im Rahmen von übergeordneten Themenstellungen wie z.B. Evaluierung und Qualitätssicherung behandelt. Eine umfassende Darstellung und kritische Auseinandersetzung mit Peer Review fehlte bislang. 0.2 Forschungsfragen, Abgrenzung und inhaltliche Übersicht Die Idee für diese Arbeit ist der Tatsache geschuldet, dass Peer Review als Form der externen Evaluierung im Bildungsbereich zwar sehr wohl existiert und immer stärker Anwendung findet, in der Fachliteratur aber über eine vergleichsweise geringe Rezeption verfügt. Diese Dissertation soll sich daher einer umfassenden Analyse des Verfahrens und seiner Chancen und Grenzen als externes Evaluierungsverfahren im Bereich der beruflichen Erstausbildung bzw. des Schulwesens widmen.

0.2 Forschungsfragen, Abgrenzung und inhaltliche Übersicht

21

0.2.1 Eingrenzung bezüglich des Bildungssektors Der primäre Fokus dieser Arbeit auf die berufliche Erstausbildung ergibt sich einerseits aus meinem persönlichen und beruflichen Interesse am Berufsbildungsbereich, mit dem ich mich als wissenschaftliche Mitarbeiterin am Österreichischen Institut für Berufsbildungsforschung (öibf) seit Jahren intensiv beschäftige, andererseits haben erste europaweite Recherchen gezeigt, dass das PeerReview-Verfahren aktuell in einigen europäischen Ländern in der beruflichen Erstausbildung bereits erprobt wird. Es handelt sich dabei v.a. um Eigeninitiativen von Berufsbildungseinrichtungen sowie um staatlich geförderte Modellversuche. Das große Interesse an einem Peer-Review-Verfahren für die berufliche Erstausbildung hat auch zur Entstehung eines europäischen Modellversuchs zum Thema „Peer Review als Instrument der Qualitätssicherung und Qualitätsentwicklung in der beruflichen Erstausbildung in Europa“ geführt. Dieses dreijährige, vom öibf koordinierte Projekt wird im Rahmen des europäischen Berufsbildungsprogramms Leonardo da Vinci als Kooperationsprojekt mit 22 Partnereinrichtungen aus elf europäischen Ländern2 umgesetzt. Zwischen Oktober 2004 und September 2007 soll ein gemeinsames europäisches Peer-Review-Verfahren für die berufliche Erstausbildung erarbeitet und von Bildungseinrichtungen in den beteiligten Ländern pilotiert und getestet werden. Da sich Peer Review als Instrument der Qualitätssicherung und Qualitätsverbesserung in der beruflichen Erstausbildung, wie oben bereits erwähnt, gerade in einer experimentellen Erprobungsphase befindet, ist es ein wichtiges Anliegen, durch die wissenschaftliche Auseinandersetzung mit dem Thema eine fundierte Grundlage für Entscheidungen über die weitere Implementierung von Peer Review in der beruflichen Erstausbildung zu schaffen. Dies betrifft die Abklärung von möglichen Verfahrensvarianten und ihren jeweiligen Vor- und Nachteilen in Hinblick auf spezifische Evaluierungsziele (v.a. den Kontroll- und den Entwicklungsaspekt) sowie die analytische Aufarbeitung von Erfolgsbedingungen und Best Practice. Weiters soll aufgezeigt werden, welche Möglichkeiten es gibt, Peer Review in das „Regelsystem“ von Qualitätssicherung und -entwicklung auf der Ebene der Bildungssysteme zu integrieren. Da die Pilotierung von Peer Review bislang (noch) nicht auf die betriebliche Ausbildung ausgedehnt wurde, soll sich diese Arbeit auf das berufsbildende

2 Partnerländer sind: Österreich, Dänemark, Deutschland, Finnland, die Niederlande, Italien, Portugal, Ungarn, Rumänien, Großbritannien (Schottland) und die Schweiz. Assoziierte Partner gibt es in Spanien und in der Tschechischen Republik. Website des Projekts: http://www.peer-revieweducation.net

22

0 Einleitung

Schulwesen konzentrieren. Dabei wird es zu Überschneidungen mit dem allgemeinbildenden Schulwesen kommen bzw. werden viele Befunde dieser Arbeit auch auf diesen Bildungsbereich zutreffen. Gerade in Fragen der Systemsteuerung und Qualitätsevaluation ist nicht so sehr die Unterscheidung zwischen Berufsbildung und Allgemeinbildung ausschlaggebend, sondern die Bildungsstufe. Für die Auseinandersetzung mit Peer Review bedeutet dies, dass v.a. zwischen der Sekundarstufe des Bildungswesens und dem postsekundären Bereich eine Zäsur verläuft, da hier ganz andere Systemvoraussetzungen gegeben sind. Allerdings ist in einigen europäischen Ländern die berufliche Bildung (oder Teile davon), selbst wenn sie vorwiegend an Bildungseinrichtungen stattfindet, doch auch strukturell vom allgemeinbildenden Schulwesen zu unterscheiden. Der ursprüngliche Fokus auf die berufliche Erstausbildung soll in dieser Arbeit also erhalten bleiben (so stammt die Mehrzahl der in Kapitel 6 und 7 analysierten Fallbeispiele aus dem Berufsbildungsbereich). Er wurde jedoch für die Fragestellungen, in denen Analysen und Befunde auch auf das allgemeinbildende Schulwesen zutreffen, erweitert und umfasst dann den gesamten Bereich, d.h. die berufliche Erstausbildung sowie das Schulwesen im Allgemeinen. Wo dies zutrifft, wird es im Text deutlich gemacht. Auch wenn das Erkenntnisinteresse der Dissertation vornehmlich auf der beruflichen Erstausbildung mit ihrem stärkeren Arbeitsmarkt- und Praxisbezug liegt, sollen also in den Fragen, in denen eine breitere Betrachtungsweise inhaltlich angebracht erscheint, auch die Bezüge zum Schulwesen insgesamt hergestellt werden. 0.2.2 Erste Hypothesen zu Vor- und Nachteilen des Einsatzes von Peer Review Was spricht für eine Einführung des Peer Reviews für die Evaluierung von Einrichtungen der beruflichen Erstausbildung? Die Gründe für das Interesse sowohl von Bildungseinrichtungen als auch der Bildungspolitik an diesem Verfahren sind bis jetzt nicht umfassend empirisch erhoben und analysiert worden. Als Hypothesen können genannt werden: Ausgehend von der Notwendigkeit, auch in der beruflichen Erstausbildung interne Evaluierung durch externen Evaluierung zu ergänzen und zu validieren, bieten Peer Reviews eine prinzipiell flexibel handhabbare Form der externen Evaluierung: Das Peer Review kann sehr umfassend, strukturiert und komplex ausgestaltet werden, um hohen Ansprüchen der Kontrolle und Rechenschaftslegung zu genügen oder auch einfach und unaufwendig. Im zweiten Fall ist Peer Review ein eher niederschwelliges Verfahren, das sich eventuell auch für Bildungseinrichtungen, die noch keine oder wenig Erfahrung mit Qualitätssicherung mitbringen, eignet. Das Verfahren ist grundsätzlich simpel und scheint im Vergleich zu anderen externen Qualitätssicherungssystemen, wie sie z.B. in der

0.2 Forschungsfragen, Abgrenzung und inhaltliche Übersicht

23

Wirtschaft Anwendung finden, relativ wenig spezifisches Verfahrenswissen zu erfordern. Die Kernidee – externe (Fach)KollegInnen einzuladen, die die Qualität der professionellen Arbeit mit ihrem Blick von außen evaluieren – kann daher von Bildungssystemen bzw. auch von den Bildungseinrichtungen selbst leicht für die eigenen Bedürfnisse adaptiert werden. Weiters kann davon ausgegangen werden, dass KollegInnen als EvaluatorInnen höhere Akzeptanz zu erwarten haben als die übergeordnete Behörde oder fachfremde Personen, die zwar Evaluationserfahrung aufweisen aber vielleicht nicht die nötige Feldkompetenz mitbringen (vgl. auch die immer wieder geäußerte Kritik an Qualitätsverfahren wie ISO und EFQM, dass diese nur mit einigen Mühen überhaupt für die Qualitätssicherung im Bildungsbereich angepasst werden können). Bei einer formativen, entwicklungsorientierten Ausrichtung hat das Verfahren sowohl für die Institution bzw. die Personen, die sich einem Peer Review unterziehen, als auch für die „Peers“ selbst ein hohes Potential für die Weiterentwicklung des professionellen Handelns. Die einschlägige Fachexpertise der Peers sowie die direkte Auseinandersetzung und Diskussion zwischen den Evaluierenden und den Evaluierten – wie sie im Verlauf der Vor-Ort-Besuche meist üblich ist – ermöglicht ein gegenseitiges Voneinander-Lernen, von dem oft beide Seiten in gleichem Maße profitieren, was für eine hohe Effizienz des Verfahrens als Instrument der Qualitätsentwicklung spricht. Da das Verfahren international angewandt wird und im tertiären Bildungsbereich weite Verbreitung genießt, bietet es gerade für die berufliche Erstausbildung die Möglichkeit, ein über die Institution, über den Bildungssektor und auch über die Grenzen des nationalen Bildungssystems hinaus bekanntes Verfahren anzuwenden, das dann auch entsprechend anerkannt werden könnte. Gleichzeitig kann die konkrete Ausgestaltung des Verfahrens aber besser auf die Bedürfnisse vor Ort eingehen als andere bekannte internationale Verfahren des Qualitätsmanagements. Von der Systemebene aus betrachtet können Peer Reviews auch dazu beitragen, das professionelle Selbstverständnis und die Selbstverantwortung des Berufsstands zu heben: Die Profession setzt sich eigene Qualitätsstandards und überprüft deren Einhaltung durch kollegiale Bewertungen, oft unter Nutzung oder Neukonstituierung von professionellen Verbünden und Netzwerken. Beispiele für diese Funktion des Peer Reviews gibt es nicht nur aus dem Forschungsbereich sondern auch aus Gebieten wie z.B. dem Wirtschaftstreuhänderwesen und der Medizin (s. Kapitel 3). Selbstverständlich gibt es auch eine Kehrseite der Medaille. Den genannten Vorteilen von Peer Reviews stehen einige nicht zu vernachlässigende Nachteile gegenüber, die z.T. auch nicht durch besondere Vorkehrungen in der Verfah-

24

0 Einleitung

rensausgestaltung gänzlich ausgeschaltet werden können. So stellt sich natürlich die Frage nach der spezifischen Evaluationskompetenz der Peers (d.h. Peers sind zwar ExpertInnen im jeweiligen Fachbereich, verstehen aber vielleicht wenig von Qualitätssicherungsverfahren und bringen auch nicht die notwendigen persönlichen, sozialen und kommunikativen Fähigkeiten mit). Weiters kann die Verlässlichkeit und Glaubwürdigkeit des Verfahrens unterminiert werden, wenn die Objektivität der externen Peers zu wünschen übrig lässt („Freundschaftsgutachten“, „eine Krähe hackt der anderen kein Auge aus“). Auch ist ungeklärt, inwieweit Peer Review als Evaluationsverfahren auch allgemeinen wissenschaftlichen Standards bzw. Evaluationsstandards genügt und wie es in ein nationales System zur Qualitätssicherung eingepasst werden kann. Es stellt sich in diesem Zusammenhang die Frage, ob Peer Review rein als formatives entwicklungsorientiertes Instrument verwendet werden kann und soll, oder ob es auch zur externen Qualitätssicherung eingesetzt werden kann. Ein weiterer wichtiger Faktor v.a. hinsichtlich der Durchführbarkeit von Evaluationen sind Aufwand und Kosten eines Verfahrens. Hier könnten aber Peer Reviews im Vergleich zu anderen externen Verfahren positiv abschneiden, da es sich bei den Peers nicht um professionelle AuditorInnen oder EvaluatorInnen handelt und daher auch oft geringere (oder auch gar keine) Honorare für die GutachterInnentätigkeit anfallen. 0.2.3 Fragestellungen und Struktur der Arbeit Die Dissertation ist in drei Teilen angelegt. Im ersten Teil (Kapitel 1 bis 5) wird das Thema in die aktuellen gesellschaftlichen und bildungspolitischen Entwicklungen eingebettet und anhand der aktuellen Praxis die Frage geklärt, was unter Peer Review alles verstanden werden kann und wo Peer Review eingesetzt wird. Ausgehend von der Darstellung einiger gängiger Definitionen sowohl aus der Evaluationsforschung als auch aus dem Anwendungsbereich (d.h. v.a. aus der Hochschulevaluierung), wird in einem ersten Teil eine umfassende Übersicht gegeben, in welchen Kontexten und auf welchen Ebenen Peer Review zur Anwendung kommt und welche Varianten von Peer Review in der Praxis existieren. Im zweiten Teil (Kapitel 6 und 7) wird mittels ausgewählter Beispiele aufgezeigt werden, in welchen Formen Peer Review in der beruflichen Erstausbildung / im Schulwesen bereits angewandt wird: Eine internationale Recherche zeigt auf, in welcher Weise das Verfahren für die (berufliche) Erstausbildung adaptiert bzw. weiterentwickelt wurde. In Fallstudien werden Verfahrensvarianten anhand einer einheitlichen Struktur beschrieben und anschließend einer kom-

0.3 Methoden

25

parativen Analyse unterzogen. Dabei werden wichtige Merkmale von Peer Review herausgearbeitet und verschiedene Typen von Peer Review definiert. Im dritten Teil (Kapitel 8 bis 10) werden auf der Basis der Ergebnisse der empirischen Untersuchung die oben genannten gängigen Definitionen von Peer Review einer Revision unterzogen und an die Gegebenheiten in der beruflichen Erstausbildung / im Schulwesen angepasst. Dabei werden insbesondere die Einsatzmöglichkeiten von Peer Review in Hinblick auf die z.T. divergierenden Ziele der Qualitätssicherung und Qualitätsentwicklung thematisiert. Auch werden Abgrenzungen zu anderen ähnlichen Verfahren, Maßnahmen und Aktivitäten vorgenommen. Abschließend wird die Güte von Peer Review als Evaluierungsverfahren anhand einschlägiger Qualitätsstandards (konkret anhand der auf den Standards des „Joint Committee on Standards for Educational Evaluation“ beruhenden Standards der Deutschen Gesellschaft für Evaluation) bewertet und es werden Chancen und Grenzen von Peer Review als externes Evaluierungsinstrument im Kontext aktueller Entwicklungen in der Steuerung von Bildungssystemen erörtert werden. Mit einer Zusammenfassung der wichtigsten Befunde und der Identifikation von weiterführenden Fragestellungen endet die Arbeit. 0.3 Methoden Die vorliegende Arbeit basiert auf einer umfassenden internationalen Recherche und Analyse bestehender Peer-Review-Verfahren. Eine traditionelle Literaturanalyse wurde ergänzt durch eine Internetrecherche sowie eine leitfadengestützte Erhebung, Interviews und beobachtende Teilnahmen an Peer Reviews bzw. an Auswertungsgesprächen zu Peer Reviews. Wo möglich wurde auf bereits vorhandene Daten und Dokumente zurückgegriffen, in mehreren Fällen – v.a. bei Modellversuchen – war eine schriftliche Dokumentation nicht in ausreichendem Maße vorhanden und wurde unter Mithilfe von Personen aus der Praxis, wie z.B. Projektverantwortlichen, erstellt. Neben einschlägiger wissenschaftlicher Literatur wird vor allem „graue Literatur“ wie Handbücher, Leitfäden, Projekt- und Erfahrungsberichte etc. als empirische Basis für die Untersuchung herangezogen. Es werden Varianten des Peer-Review-Verfahrens als Fallstudien beschrieben und nach einem einheitlichen Raster verglichen und analysiert. Nach der Analyse und Einordnung der bereits vorhandenen Umsetzungsvarianten von Peer Review und Erfahrungen aus der Praxis, ist der Kern der Dissertation eine theoretische Auseinandersetzung mit dem Thema, die auf einer Auswertung der empirischen Befunde basiert. Die im ersten Teil dargestellten Definitionen von Peer Review werden anhand der Rechercheergebnisse revidiert.

26

0 Einleitung

In der Analyse der Güte von Peer Review als Evaluierungsverfahren und der Einsatzmöglichkeiten von Peer Review als Instrument der Qualitätssicherung und Qualitätsentwicklung wird Bezug genommen auf Standardwerke der Evaluation(sforschung) sowie wissenschaftliche Literatur zum Thema Qualität in der Bildung. Wichtige Dimensionen von Bildungsqualität sowie Evaluationsstandards dienen als Referenzrahmen für die Bewertung von Peer Review als Evaluationsverfahren. 0.4 Geschlechtergerechter Sprachgebrauch Es wird in dieser Arbeit durchgängig ein geschlechtergerechter Sprachgebrauch, angelehnt an die Empfehlungen des (ehemaligen) Bundesministeriums für Frauenangelegenheiten (Kargl et al 1997) praktiziert. Aus Gründen der Lesbarkeit und weil damit Frauen nicht als Variante der männlichen Form genannt werden (wie bei der Schreibung „-/inn/en“), wird meist das große „I“ verwendet, bei grammatikalisch komplizierteren Ausdrücken (Hauptworte in der Einzahl mit Attributen, Relativsätze in der Einzahl etc.) werden beide Geschlechter mit Schrägstrich angeführt. Sollte nur ein Geschlecht genannt sein, so ist auch nur das jeweilige Geschlecht betroffen. Zitate wurden jedoch selbstverständlich nicht umgeschrieben. Das bedeutet, dass in einigen Zitaten das generische Maskulinum zu finden ist (und die LeserInnen in diesen Fällen also „umdenken“ müssen).

1 Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen

1.1 Einfluss gesellschaftlicher Entwicklungen auf das Bildungswesen Der technische und soziale Wandel der letzten Jahrzehnte hat bekanntlich auch Veränderungen in den Bildungssystemen mit sich gebracht. Ein dynamisches und komplexes gesellschaftliches Umfeld und eine sich wandelnde Arbeitswelt haben zu neuen Anforderungen an die Bildung – und insbesondere an die berufliche Bildung mit ihrem direkten Arbeitsmarktbezug – geführt. Als Herausforderungen an das Bildungswesen werden insbesondere folgende gesellschaftliche Entwicklungen, die in einem komplexen Wirkungsgefüge auf vielfältige Weise verbunden sind, in der Literatur als besonders bedeutsam genannt: Der sich ständig beschleunigende technische Fortschritt bringt mit sich, dass Wissen und Qualifikationen immer schneller obsolet werden, gleichzeitig in der Wissensgesellschaft als Kapital (der Individuen, der Organisationen, aber auch der Staaten) im Wettbewerb um wirtschaftlichen Erfolg (bisweilen geht es auch einfach nur ums Überleben) immer bedeutsamer werden. Neue Qualifikationsanforderungen umfassen daher nicht nur die im Rahmen der Ausbildung erworbene Befähigung, die aktuellen Technologien anwenden zu können, sondern auch die Fähigkeit, sich bei Bedarf neues Wissen und neue Qualifikationen anzueignen (Stichwort: „Lernen lernen“). Damit in Zusammenhang steht, dass „statische Fähigkeiten“, also die Eignung und Bereitschaft, „monotone, mechanische Arbeit zu verrichten, und die fraglose Ausführung vorgegebener Pläne“ (Posch/Altrichter 1997, 4) nicht ausreichen bzw. zu Hindernissen werden können, wenn die Anforderungen komplexer Situationen im voraus nicht festgelegt und damit adäquate Handlungsweisen auch nicht gelehrt werden können. Gefragt sind für das Überleben am postmodernen (Arbeits)Markt „dynamische Qualifikationen“, d.h. die Fähigkeit „zur Entscheidungsfindung in unklaren Situationen; zur Verantwortungsübernahme beim Umgang mit Sachthemen aber auch zur Abstimmung mit anderen Akteuren im jeweiligen Feld, zur Selbstkontrolle der eigenen Handlung“ (Posch/Altrichter 1997, 4). Gerade in der beruflichen Bildung sollten die weitere Entwicklung des Arbeitsmarkts und der zukünftig gefragten Kompetenzen geradezu vorweggenommen werden, um eine adäquate

28 1 Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen Qualifizierung zu gewährleisten (für eine kritische Betrachtung dieser Entwicklungen s. Gruber 2001, 19–96, zur angesprochenen Problematik v.a. 54f.) Auf all diese Anforderungen müssen die Bildungssysteme in ihrem Angebot reagieren, das können sie aber nur, so wird argumentiert, wenn sie gleichzeitig auch selbst „dynamischer“ werden, d.h. Strukturen und Prozesse entwickeln, die eine adäquate und zeitgerechte Reaktion auf die Inputs des Umfelds fördern. Eine weitere Veränderung ist die steigende Bildungsbeteiligung seit den 60er Jahren des letzten Jahrhunderts. Die Bildungsexpansion hat einerseits die Bildungssysteme rein größen- und zahlenmäßig (in Bezug auf die Anzahl der Lernenden, Lehrende, der Bildungseinrichtungen sowie in Bezug auf die Kosten) anwachsen lassen. Dies hat v.a. im Hochschulbereich, der bis dahin einen relativ überschaubaren Bereich dargestellt hatte, nicht nur zu Finanzierungsproblemen sondern auch zu Diskussionen über die Steuerung eines immer unübersichtlicher werdenden Systems geführt (vgl. z.B. Pechar 1993, 7f und 17; Müller-Böling 1997, 91). Kosten- und Steuerungsproblematiken sind auch auf der Ebene der Primar- und Sekundarstufen des Bildungswesens zu beobachten, auch dort haben sie zu Reformen geführt, die allerdings meist (noch) nicht so einschneidend sind wie im Hochschulbereich. Mit der Expansion der Bildungswesen in direktem Zusammenhang steht auch die wachsende Heterogenität der Lernenden. Immer mehr Heranwachsende bleiben immer länger im formalen Bildungswesen, auch Jugendliche aus bildungsfernen Schichten streben in höhere Ausbildungsgänge. Diese Veränderung ist v.a. in den Bildungssträngen, die früher in Bezug auf sozialen Status und Vorbildung relativ homogen waren und die nun ein breiteres Segment des Leistungsspektrums umfassen, besonders evident. Der Zugang möglichst breiter Bevölkerungsschichten ist im Kontext der Anhebung des Wissens- und Qualifikationskapitals auch politisches Ziel: Einerseits soll damit der Wirtschaftsstandort gesichert werden, andererseits erhoffen sich die politischen EntscheidungsträgerInnen positive Effekte in Bezug auf Beschäftigungsfähigkeit und soziale Integration.3 Die Bewältigung der Integration von heterogenen Lernendenpopulationen, insbesondere auch Kindern und Jugendlichen mit Lernschwierigkeiten und Behinderungen, bleibt daher auch und gerade in Zeiten von Sparmaßnahmen eine Herausforderung für das Bildungswesen. Einfluss auf das Bildungswesen haben auch Veränderungen in der Einstellung zum Gemeinwesen. Neue Lebensformen und neue gesellschaftliche Werte räumen heute der einzelnen Person mehr Bedeutung und mehr Rechte ein als in

3 Bildung als (Allheil)Mittel für die Erreichung verschiedener wirtschafts- und gesellschaftspolitischer Ziele ist spätestens seit den Beschlüssen des Europäischen Rats von Lissabon (2000) auf der politischen Agenda der Europäischen Union.

1.1 Einfluss gesellschaftlicher Entwicklungen auf das Bildungswesen

29

früheren Zeiten. Davon betroffen ist auch das Erziehungs- und Bildungssystem. Eine zunehmende Individualisierung bedeutet, dass sich Beteiligte und Betroffene im Bildungswesen nicht mehr widerspruchslos vorgegebenen Anforderungen und Bedingungen unterordnen, sondern in steigendem Maße Aushandlungsprozesse fordern, in denen ihre eigenen Interessen und Bedürfnisse berücksichtigt werden. Damit einher geht auch die Abnahme von Obrigkeitshörigkeit. Wieweit es sich hier um eine selbstverantwortliche, kritische Einstellung im Sinne demokratischer Mündigkeit handelt, oder ob diese Haltung eher der Konsumgesellschaft, in der – jedenfalls in der offiziellen Darstellungsweise – die KundInnen KönigInnen sind (und damit auch bestimmen können), zu verdanken ist, sei dahingestellt. Für das Bildungswesen bedeutet dies, dass einerseits stärker auf individuelle Bedürfnisse und Bedarfe eingegangen werden soll und neue Formen der Aushandlung in den Bildungsinstitutionen gefunden werden müssen, andererseits, dass auch indirekt Betroffene wie z.B. die Eltern vermehrt Information, Transparenz und eventuell auch Mitbestimmung einfordern. Die Bedeutung von Selbstverantwortung und Eigeninitiative in unseren individualistischen Gesellschaften hat aber auch dazu geführt, dass die Bildungseinrichtungen selbst sich ebenso gegenüber der Bildungsverwaltung emanzipieren wollen. Die zentrale Steuerung der Bildungssysteme wurde damit auch auf der Ebene der Bildungsinstitutionen in Frage gestellt. Knapper werdende Ressourcen im Verein mit dem Wachstum der Bildungssysteme haben weiters den Ruf nach Effizienzsteigerung mit sich gebracht: Es geht nicht mehr nur darum, dass Bildungssysteme effektiv sind, sondern es soll auch gewährleistet werden, dass die Kosten-Nutzen-Relation günstig ausfällt. Das Schlagwort hiezu ist „value for money“. Verteilungsfragen generieren darüber hinaus auch einen Informationsbedarf über das Verhältnis zwischen eingesetzten Ressourcen und Leistungen. Das Kostenargument in den staatlichen Bildungssystemen ist verbunden mit einer zunehmenden generellen Ökonomisierung aller gesellschaftlichen Bereiche seit den 80er Jahren des 20. Jahrhunderts. Konzepte aus der Privatwirtschaft sollen helfen, die Effizienz zu steigern. Wettbewerb und individuelle Profilbildung wird groß geschrieben. Dies steht prinzipiell in starkem Kontrast zum bis dahin vorherrschenden System, in dem darauf abgezielt worden war, einheitliche Bildungsangebote in gleicher Qualität im ganzen System zu gewährleisten. Diese Tendenz der Übernahme von Marktlogiken in staatliche Systeme traf auf die zunehmende Unzufriedenheit – v.a. auch auf Seiten der Bildungseinrichtungen  mit einer als schwerfällig und langsam wahr genommenen Bürokratie, der vorgeworfen wurde, nicht adäquat, rasch und effizient genug auf gesellschaftliche Veränderungen reagieren zu können. Die Wirksamkeit von traditionellen Verfahren zentraler Steuerung und Qualitätssicherung wurde bezwei-

30 1 Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen felt. Posch und Altrichter schreiben: „Die wachsende Komplexität der Lebensund Arbeitsverhältnisse führt fast notwendigerweise zur Dezentralisierung von Entscheidungskompetenzen, weil den Zentralen das erforderliche Wissen nicht mehr zur Verfügung steht und die Gefahr weit reichender Fehlentscheidungen zunimmt. Gewisse traditionelle Formen der Machtausübung über detaillierte zentrale Regelungen greifen nicht mehr, weil sie mangels Funktionalität von den PraktikerInnen nicht mehr ernst genommen werden (können) (Posch/Altrichter 1999, 10).“ Kompetenzen sollten deshalb an die unteren Systemebenen (regionale/lokale Bildungsverwaltung, Bildungseinrichtungen) abgegeben werden, die vor Ort – so die Prämisse  in vielen Fällen besser in der Lage wären, auf die vielfältigen Anforderungen zu reagieren. Damit sollten auch nachhaltige Innovationen und eigenständige Qualitätsentwicklung auf der Ebene der Bildungseinrichtungen, für die sich die zentrale Verwaltung oft als hemmend erwiesen hatte, ermöglicht werden. 1.2 Neue Formen der Steuerung und Qualitätssicherung In vielen europäischen Staaten ist in den letzten zehn bis zwanzig Jahren daher das Ausmaß der zentralen Regulierung der Bildungssysteme abgebaut worden. Die Bildungseinrichtungen wurden im Gegenzug mit einem größeren Maß an Autonomie ausgestattet. Die Bildungseinrichtungen waren bis zu den Reformen mehr oder weniger reine Verwaltungseinheiten, alle organisationalen Strukturen, Prozesse und Ressourcen von der zentralen Autorität vorgegeben, die Schulleitungen waren Vollzugs- und nicht Managementorgane. Der Gestaltungsspielraum der einzelnen Einrichtung war minimal. Mit der Diskussion über die Deregulierung und Schulautonomie rückte die einzelne Bildungseinrichtung in den Mittelpunkt der Bemühungen um Qualitätssicherung. Unterstützt wurde diese Entwicklung durch einen Paradigmenwechsel in der Schul- und Bildungsforschung, der vor allem von Forschungen im angloamerikanischen Raum in den 70er und 80er Jahren ausging. Anstelle von systembezogenen Strategien der Schulentwicklung wurde nun die einzelne Bildungseinrichtung in den Mittelpunkt der Qualitätskonzepte gestellt, da Forschungsergebnisse zeigten, „dass schulindividuelle Faktoren, wie die Zusammenarbeit der LehrerInnen, gemeinsame Ziele, die Qualität der Führung usw., sehr viel mehr Einfluss auf die Qualität und den Erfolg von Schule haben als die Schulorganisation, nationale Curricula oder zentrale Leistungsvorgaben“ (Altrichter/Posch 1999, 15).

1.2 Neue Formen der Steuerung und Qualitätssicherung

31

Autonomie und Qualitätsevaluation auf der Ebene der Bildungseinrichtungen stehen in vielfältigem Bezug zueinander. Einerseits erfordert (Teil-)Autonomie, will der Staat seinen Einfluss auf das Bildungssystem weiter geltend machen, neue Formen der Qualitätssicherung, andererseits ermöglicht eine gewisse Autonomie erst eigenständige Entwicklungen an den einzelnen Institutionen: Umgekehrt wird aber auch das Interesse einer Institution an Qualitätsentwicklung und damit verbundener Qualitätsevaluation von ihrem Handlungsspielraum beeinflußt, d.h. also vom Ausmaß, in dem sie selbst auf die Ziele und die Wege zu den Zielen Einfluß nehmen kann. Wenn der Handlungsspielraum nur gering ist, ist im allgemeinen auch das Interesse, sich der Qualität der Handlungen zu vergewissern, relativ gering. Eine gewisse Autonomie (bzw. das Bewußtsein, selbst wichtige Entscheidungen treffen zu können) ist eine (wenn auch keineswegs die einzige) Voraussetzung dafür, daß Initiativen zur Qualitätsevaluation aus der Sicht der MitarbeiterInnen einer Institution sinnvoll erscheinen. Es zeigt sich hier ein enger Zusammenhang zwischen Autonomieentwicklung und der Bereitschaft zur Qualitätsevaluation. (Posch/Altrichter 1997, 11)

In diesem Punkt decken sich bis zu einem bestimmten Grad die Bedürfnisse der Bildungsverwaltung nach Überprüfung, Kontrolle und Vergleich der (teil)autonomen Standorte (die sich nun unterschiedlich entwickeln können) einerseits und der Wunsch der Bildungseinrichtungen nach Steuerungsinformation und einer Selbstvergewisserung über die von ihnen durchgeführten Entwicklungsprojekte (sowie im Anschluss daran zur besseren Orientierung oft auch eine Möglichkeit des Vergleichs mit anderen Bildungseinrichtung) andererseits. Dass Bildungseinrichtungen tatsächlich auch von sich aus aktiv werden, zeigen die vielen freiwilligen Projekte und Initiativen zur Qualitätssicherung und Qualitätsentwicklung der letzten zehn bis fünfzehn Jahre. Evaluation ist hier ein wichtiges Instrument der Schulentwicklung. Für die Sicherung von Qualität an den Bildungseinrichtungen konnte auf verschiedene Verfahren zurückgegriffen werden. Im Bildungswesen Tradition hat die Verwendung sozialwissenschaftlicher Evaluierungsmethoden, von denen verlässliche und valide Steuerungsinformationen erwartet werden. Diese Methoden wurden bzw. werden v.a. in Selbstevaluationen von Bildungseinrichtungen angewendet und für die Bedürfnisse der Schulen weiterentwickelt. So wurden auch eigene Verfahren zur Qualitätssicherung und Qualitätsentwicklung speziell für das Bildungswesen konzipiert. Gerade in der beruflichen Bildung mit ihrer Nähe zur beruflichen Praxis und zu Unternehmen wurden und werden aber auch Verfahren aus der Wirtschaft (wie IS0 9000ff, EFQM) entweder direkt oder in adaptierter Form eingesetzt.

32 1 Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen Ein Anspruch, der durch Evaluationen auf Ebene der Bildungseinrichtung bislang kaum eingelöst wurde, ist der auf eine stärkere Rechenschaftspflicht der Lehrenden. Da sich die staatliche Einflussnahme, so umfassend sie in anderen Belangen war, auch im traditionellen System nicht auf die Lehr/Lernsituation erstreckte, sondern sozusagen an den Türen der Klassenzimmer (Labors, Werkstätten, Turnsäle etc.) endete, hatten Lehrende schon immer in ihrem konkreten pädagogischen Handeln sehr große Autonomie. Daraus ergibt sich eine hohe professionelle Verantwortung des LehrerInnenberufs. Die Wahrnehmung dieser Verantwortung wird jedoch nach wie vor kaum explizit eingefordert oder gar überprüft. Auch die meisten der in den letzten Jahren eingeführten Qualitätsprojekte befassen sich vorrangig mit den Prozessen und Strukturen auf der Organisationsebene, auf der Ebene des Unterrichts setzen nur wenige Evaluationsverfahren (wie z.B. FQS) an. Weitere Faktoren, die die Reform der Bildungssysteme in Bezug auf die Qualitätsentwicklung und Qualitätssicherung mitbestimmen, sind systemübergreifende Vergleiche der Leistungsfähigkeit der Bildungssysteme (TIMSS, PISA), die v.a. bei schlechtem Abschneiden eines Landes einen Reformschub auslösen können, sowie die Entwicklung eines „Marktes“ von Bildungseinrichtungen mit unterschiedlichen Profilen, wodurch der Informationsbedarf der SchülerInnen und deren Eltern steigt. Relevante und glaubwürdige Informationen können durch die Schulen selbst bereitgestellt werden, zunehmend etablieren sich aber auch externe Vergleiche der verschiedenen Standorte. Dazu zählen z.B. Rankings, wie sie vor allem von Medien durchgeführt und veröffentlicht werden (wobei diese Rankings allerdings oft schwere methodologische Mängel aufweisen). Grundsätzlich gilt, dass mit der Abkehr von der direkten staatlichen Regulierung der Bedarf nach anderen, neuen Formen der Kontrolle und Einflussnahme steigt, einerseits um dem Rechenschaftsanspruch gegenüber der Öffentlichkeit gerecht zu werden, andererseits um die Steuerbarkeit der Bildungssysteme zu gewährleisten: „Macht wir abgegeben, um Macht zu erhalten.“ (Posch/Altrichter 1997, 10). Wenn infolge von Deregulierung und Dezentralisierung die Steuerung nun nicht mehr durch detaillierte Gesetze und Verordnungen erfolgen soll, sondern (teil)autonome Leistungsträger selbstverantwortlich agieren, dann muss das Kontrollinteresse des Staates auf anderen Wegen befriedigt werden: Je weniger der Staat direkt in die Praxis eingreift, desto stärker muss er in Evaluierungsverfahren investieren, die nach einer Erprobungsphase, in der noch mit verschiedenen Varianten experimentiert werden kann, meist auch stark standardisiert und reguliert werden, um Vergleichbarkeit und Transparenz herzustellen.

1.2 Neue Formen der Steuerung und Qualitätssicherung

33

Im New Public Management erfolgt die Steuerung nicht mehr über Direktiven der Verwaltung sondern über Zielvorgaben und Leistungsvereinbarungen, die in einen allgemeinen Qualitätsrahmen eingebettet sind: Verbindliche Bildungsziele und -standards werden definiert, Indikatoren erarbeitet, Verfahren zur Bewertung entwickelt. Die Bildungseinrichtungen selbst legen nun in diesem System Rechenschaft über Ressourcenverwendung und Zielerreichung ab. Leistungsvereinbarungen zwischen Kostenträger, d.h. dem Staat, und der einzelnen Einrichtung ersetzen allgemein gültige gesetzliche Vorschriften, die Ex-anteKontrolle wird durch Ex-post-Evaluierungen ersetzt. Diese Entwicklung erfordert auch neue Mechanismen der Qualitätskontrolle durch den Staat. Anstelle der inputorientierten Steuerung durch gesetzliche Bestimmungen, deren Einhaltung durch staatliche InspektorInnen überprüft werden, müssen nun auch die Bildungsprozesse (Throughput) sowie die Ergebnisse (Output) und eventuell auch die (längerfristigen) Wirkungen (Outcome) evaluiert werden. Gleichzeitig werden zusätzlich zur staatlichen auch andere Formen der Qualitätskontrolle ins Spiel gebracht. Kogan (1986, zitiert nach Pechar 1993, 12ff. bzw. Posch und Altrichter 1997, 20ff.) nennt neben der staatlichen Rechenschaftslegung die professionell kontrollierte Rechenschaftslegung sowie die durch KonsumentInnen kontrollierte Rechenschaftslegung. Diese beiden Formen der Kontrolle haben jedoch im primären und sekundären Bildungssektor (noch) nicht allzu große Bedeutung erlangt. Es ist davon auszugehen, dass der Staat in den meisten Ländern die Kontrolle über diese Sektoren des Bildungssystems nicht aufgeben wird. Auch in stärker marktorientierten Systemen ist einerseits der Staat ein wichtiger (in der Erstausbildung meist der wichtigste) Geldgeber, andererseits ist Bildung ein soziales Gut, das innerhalb der staatlichen Kontrolle verbleiben soll (vgl. unten Kapitel 7.1.2). Die Kontrollmechanismen allerdings wurden und werden den geänderten Strukturen und Bedingungen anpasst. Es hat sich in den letzten zehn bis zwanzig Jahren ein breites Spektrum vielfältiger Verfahren entwickelt, die auf verschiedenen Ebenen der Bildungssysteme ansetzen, sich verschiedenartiger Methoden bedienen und auf jeweils unterschiedliche Art und Weise in die Qualitätssicherung auf Systemebene eingebettet werden können. Methoden der Qualitätsevaluierung sind z.B.: traditionelle (kontinentale) Inspektionen, Inspektionen nach angelsächsischem (bzw. niederländischem) Muster, Selbstevaluation, Peer Evaluation, Verfahren aus der Wirtschaft, Verpflichtung zur Qualitätsevaluation (ev. nach einem bestimmten Verfahren), Meta-Evaluation von Selbstevaluationen, Akkreditierungsverfahren, externe Moderation von Prüfungen, vergleichende externe Leistungstests, die bereits erwähnten Rankings, fokussierte Evaluationen, Vergleich von Indikatoren (Benchmarking) etc. (vgl. auch Posch und Alt-

34 1 Gesellschaftliche Entwicklungen und Qualitätssicherung im Bildungswesen richter 1997, 33 – 114 bzw. die Typologie verschiedener Regulierungsarten in Kapitel 7.1.2). Zusätzlich zur Problematik der Qualitätskontrolle stellt sich auch die Förderung der Qualitätsentwicklung als Herausforderung an die staatlichen Behörden dar. Eine Qualitätssicherung, die einen Status Quo festschreibt, verhindert Entwicklung und kreatives Reagieren auf geänderte Umweltbedingungen. Es geht darum festzustellen, wie das System und seine Komponenten, d.h. die Bildungseinrichtungen, dynamisiert werden können: Braucht es dazu bestimmte Rahmenbedingungen und wenn ja, wie lassen sich diese mit dem Kontrollanspruch vereinen? Welche Verfahren sind geeignet, die eigenständige Entwicklung in den Bildungseinrichtungen zu fördern? Wie kann diese Entwicklung evaluiert werden und für die Systemebene nutzbar gemacht werden? Deregulierung und Autonomisierung sind in den verschiedenen Ländern Europas unterschiedlich fortgeschritten. Dies hat seine Gründe in der traditionellen Struktur der Bildungssysteme, aber auch in kulturellen und wirtschaftlichen Bedingungen. Das Tempo der Veränderungen wurde in manchen Ländern (wie z.B. Deutschland) auch durch äußere Faktoren – wie z.B. die Ergebnisse aus dem internationalen Vergleichstest PISA – beeinflusst. In Österreich z.B. umfasst die Autonomie der Schulen begrenzte Bereiche und Qualitätsevaluierung auf Schulebene erfolgte bislang auf freiwilliger Basis. Für den Bereich der schulischen Berufsbildung wird ein umfassendes Qualitätsmanagement auf System- und Organisationsebene unter dem Schlagwort „QualitätsInitiative BerufsBildung“ (QIBB) gerade eingeführt (vgl. http://www.qibb.at/, 30.3.2006). Die Art der Steuerung auf Systemebene wird in der Analyse der Peer-Review-Verfahren auf Organisationsebene in der beruflichen Erstausbildung berücksichtigt (s. Kapitel 7.1). Zuletzt sei noch darauf hingewiesen, dass die Deregulierung und die Vielzahl neuer Formen der Qualitätssicherung und Qualitätsentwicklung nicht unbedingt für alle Anspruchsgruppen zur Transparenz und Vergleichbarkeit in Qualitätsfragen beitragen. Auch steht zu erwarten, dass die Kosten für neue Formen der Evaluierung und Steuerung höher sein werden als die der herkömmlichen Qualitätssicherung. Qualitätsevaluation und Qualitätsmanagement ist ein nach wie vor boomender Markt für Anbieter von Qualitätsverfahren und Managementsystemen sowie für UnternehmensberaterInnen und professionelle EvaluatorInnen.

1.3 Peer Review als Evaluierungsverfahren

35

1.3 Peer Review als Evaluierungsverfahren Peer Review kann im Rahmen dieser Entwicklung, wie oben aufgezeigt, als ein Evaluierungsverfahren unter vielen gelten. Als Verfahren, das auf professioneller Selbststeuerung aufbaut, stellt es die Verantwortung und die Kompetenzen der Lehrenden in den Mittelpunkt und unterstützt diese in der Weiterentwicklung ihrer Praxis. Es eröffnet sich dadurch die Möglichkeit zwischen betriebswirtschaftlichen Qualitätskonzepten und staatlichen vorgegebenen Inspektionen Peer Review als eine dritte Methode vorzuschlagen, die sowohl alleine stehen als auch in andere Verfahren integriert werden kann. Soll Peer Review nutzbringend eingesetzt werden, so muss untersucht werden, wie es im Spannungsfeld der Evaluationsinteressen positioniert werden kann. Es muss einerseits geklärt werden, in welcher Weise es zur Qualitätssicherung beitragen kann, d.h. wie glaubwürdig und verlässlich es als Verfahren zur Qualitätskontrolle ist, andererseits interessiert auch sein Potential zur Stimulierung und Förderung interner Qualitätsentwicklung. Davor gilt es, abzuklären, was Peer Review ist bzw. sein kann, welche Verfahrensvarianten es gibt und wie und wo diese zu welchem Zweck eingesetzt werden.

2 Aktuelle Definition(en) von Peer Review

In diesem Kapitel wird einleitend der Terminus in seiner wörtlichen Bedeutung erklärt, darauf folgend wird die Einordnung von Peer Review als Evaluationsverfahren in der aktuellen Literatur dargestellt. Weiters werden gängige Definitionen aus dem Bereich der Anwendung von Peer Review in der Qualitätssicherung – v.a aus dem Bereich der Hochschulen – angeführt. Auf der Grundlage dieser Definitionen werden offene Fragen identifiziert. 2.1 Wörtliche Definition von Peer Review Der Terminus „Peer Review“ kommt aus dem Englischen. 2.1.1 Peer In Webster’s Third New International Dictionary of the English Language (Unabridged, 1981) wird das Wort folgendermaßen definiert: “1a) one that is of the same or equal standing (as in law, rank, quality, age, ability) with another: equal (synonym) 1b) fellow citizen 2) archaic: companion, fellow 3a) a member of one of the five ranks of British peerage (as a duke, marques, earl, viscount, or baron)4 3b) a man of high rank or position in any country or organization that recognizes different orders.”

Das Wort „peer“ bezeichnet also eine Person, die „gleich“ bzw. „gleichgestellt“ ist mit einer anderen Person, wobei dieser gleiche Status oder Rang sich auf verschiedenste Merkmale beziehen kann, z.B. auf den rechtlichen Stand, den

4 Diese Bedeutung wird in anderen Ausgaben verkürzt als „Adelige/Adeliger“ („noble“) wiedergegeben, vgl. Webster's New Encyclopedic Dictionary (Revised Edition 1995).

38

2 Aktuelle Definition(en) von Peer Review

sozialen Status, das Alter, aber auch auf Können und Fähigkeiten. Es hat seinen Ursprung im Lateinischen „par“, das bereits die Bedeutung „gleich“ hat, und kam dann über das Altfranzösische „peer“, dann „per“ (aus dem später das heutige „pair“ wurde), ins Englische5, wobei die ursprünglich adjektivische Form substantiviert wurde. Das Hauptwort „peer“ existiert im Englischen nur als männliche Form, das weibliche Pendant ist „peeress“. Im heutigen Sprachgebrauch wird es, da Frauen in ehemals männerdominierte Bereiche, in denen „Peers“ Bedeutung haben, Einzug gehalten haben, auch als generisches Maskulin für Frauen verwendet. Im Sinne des geschlechtergerechten Sprachgebrauchs müssten also männliche und weibliche Form, d.h. „Peer“ und „Peeress“ zur Anwendung kommen. „Peeress“ ist jedoch außerhalb der Wortbedeutung von „Adelige“ nicht gebräuchlich ist und wirkt im aktuellen Sprachgebrauch der modernen Demokratien antiquiert und anachronistisch. Ich schlage deshalb folgende Sprachverwendung vor: Da „Peer“ in der im vorliegenden Kontext maßgeblichen Bedeutung als „gleich(rangig)“ auf dem substantivischen Gebrauch des Adjektivs „peer“ fußt, das für beide Geschlechter gleich ist, könnte „Peer“ neu definiert werden als Substantiv, das für beide Geschlechter gilt (Substantivum commune). Ich möchte es in dieser Form verwenden. Neben dieser Grundbedeutung bezeichnet „peer“ im auch altertümlichen englischen Sprachgebrauch eine Gefährtin/einen Gefährten bzw. einen Kameraden/eine Kameradin. Diese Konnotation der freundschaftlichen Begleitung durch eine/einen Peer kommt auch durch die im Qualitätskontext vielfach synonym für „peer“ verwendete Bezeichnung „critical friend“ (kritische Freundin/ kritischer Freund) zum Ausdruck. Gleichzeitig kann das englische Wort „peer“ jedoch auch ein Mitglied des britischen Adels bzw. des englischen Oberhauses bezeichnen. Die Bedeutung „gleichgestellt“ bezieht sich hier nur auf die Mitglieder eines bestimmten, genau abgegrenzten (elitären) Personenkreises. Auch diese Konnotation findet sich ansatzweise im Konzept des Peer Reviews, da „Peers“ in vielen Fällen aus Mitgliedern einer bestimmten Profession oder eines bestimmten Fachgebiets ausgewählt werden. Gerade im Forschungsbereich kann der Kreis der in Frage kommenden Peers relativ klein, ja elitär, sein. Eine positive Beurteilung durch renommierte Peers kann da durchaus einer Auszeichnung gleichkommen. Auch sind gerade Universitäten, an denen Peer Reviews bislang hauptsächlich zum Einsatz kamen, sicherlich Organisationen, die  wie in der Definition des Webs-

5 Vgl. Robert, Paul (1986). Das aus diesen älteren Formen entstandenen französische „pair“ hat übrigens ähnliche Kernbedeutungen wie das englische „peer“.

2.1 Wörtliche Definition von Peer Review

39

ter’s Dictionary so treffend formuliert wird  „verschiedene Rangordnungen anerkennen“. Als Übersetzung bzw. Synonym findet sich in vielen Publikationen zu Peer Review das deutsche „(Fach)Kollegin“/„(Fach)Kollege“, manchmal auch „Sachverständige“/„Sachverständiger“. 2.1.2 Review 1) a looking over or examination with a view to amendment or improvement – revision 2) an inspection (as of troops under arms or of a naval force) by a high officer (as for the purpose of ascertaining the state of discipline and equipment), specifically: a march past a reviewing officer usually following an inspection6 3) a general survey or view (as of the events of a period) 4) an act of inspecting or examining  reviewing 5) a judicial re-examination (as of the proceedings of a lower tribunal by a higher) 6)a) an explanatory and critical account of an artistic production or performance (as a book, play, exhibition, or concert) usually in a periodical  criticism, critique 6)b) a periodical containing primarily critical articles 7)a) a second or repeated view  re-examination 7)b) a retrospective view or survey (as of one’s life) 7)c) 1) renewed study of material previously studied 2) an exercise facilitating such a study 8) revue. (Webster’s Third New International Dictionary of the English Language 1981)

Bei einem Review handelt es sich um eine nochmalige bzw. rückschauende Sichtung (Lateinisch „videre“ bedeutet „sehen“), Überprüfung und Bewertung eines Sachverhalts bzw. eines Verfahrens, mit dem Ziel, eine Übersicht zu erlangen bzw. (auch) Verbesserungen vorzunehmen. Als synonyme Begriffe werden sowohl die Inspektion (die ja auch von der Etymologie her eine „Besichtigung“ („inspicere“) beinhaltet) als auch die kritische Bewertung genannt. Bei Peer Review handelt es sich also um eine Überprüfung und Bewertung durch „Gleichgestellte“, d.h. im professionellen Kontext in der Regel durch Fachkolleginnen und Fachkollegen.

6 In einer anderen Ausgabe des Wörterbuchs werden diese Bedeutungen mit „formal military inspection / honorary ceremony“ wieder gegeben, vgl. Webster' New Encyclopedic Dictionary (Revised Edition 1995).

40

2 Aktuelle Definition(en) von Peer Review

Die Frage des grammatikalischen Geschlechts von „Peer Review“ im Deutschen kann nicht eindeutig geklärt werden. Weder das Österreichisches Wörterbuch (2001) noch der Duden (Band 5, Fremdwörterbuch 2005) können darauf Antwort geben, da der Begriff „Review“ in der hier relevanten Bedeutung nicht zitiert wird.7 Peer Review findet sich sowohl als weibliches, als männliches und auch als sächliches Hauptwort. In der Schweizer Literatur wird Peer Review weiblich dekliniert (vielleicht angelehnt an die Übersetzung mit „die Überprüfung“ bzw. „die Bewertung“) (vgl. z.B. Stamm/Büeler 1999; Stamm 2003). In der österreichischen und deutschen Literatur ist der Begriff eher sächlich oder männlich. Als sächliches Substantiv wird Peer Review z.B. in der OnlineEnzyklopädie Wikipedia (http://de.wikipedia.org/wiki/Peer-Review, 24.2.2005) verwendet. In anderen Publikationen findet sich das Wort in männlicher Form (z.B. Kozar 1999), aber auch das weibliche Genus wird verwendet (z.B. in den Artikeln zum Thema Peer Review im journal für lehrerInnenbildung 4/2004). Laut Auskunft der Duden-Hotline8 ist der Begriff in dieser Bedeutung noch nicht eingetragen. Die mögliche Vorgangsweise in diesem Fall ist die, dass eine adäquate deutsche Übersetzung gesucht wird und das Genus dann auf das Fremdwort übertragen wird. Im Falle von „Peer Review“ würde sich einerseits das weibliche Geschlecht anbieten, wenn „Review“ als „Bewertung, Überprüfung, Inspektion, Evaluierung“ etc. übersetzt wird, oder das sächliche Geschlecht, wenn an „Review“ als „Evaluierungsverfahren“ gedacht wird. Eine weitere Möglichkeit, das Geschlecht zu bestimmen, ist dem aktuellen Gebrauch zu folgen. Laut einer Häufigkeitsrecherche im Internet, die von der DudenHotline vorgenommen wurde, findet sich der Begriff „Peer Review“ 718 Mal als sächlicher Ausdruck, 712 Mal als männliches Substantiv, und mit 472 Mal deutlich weniger oft als weiblicher Begriff. Ich schließe mich aus pragmatischen Gründen dem vorherrschenden Sprachgebrauch an und verwende „Peer Review“ als sächlichen Begriff in der Bedeutung „Evaluierungsverfahren“. Als Detail am Rande sei hier erwähnt, dass das Wort „Peer“ im Deutschen vor allem die Bedeutung „Gleichaltrige/Gleichaltriger“ hat und als Begriff meistens in der Verbindung mit dem Wort „Gruppe“ als „Peergroup“ verwendet wird.9 Auch die wissenschaftliche Literatur, die sich unter dem Stichwort „Peer“

7 Das Österreichische Wörterbuch listet „Review“ als sächlichen Begriff aus der Elektrotechnik in der Beutung von „schneller Rücklauf“ bei elektronischen Geräten. Das Fremdwörterbuch des Duden kennt „Review“ nur als „Titel oder Bestandteil des Titels englischer und amerikanischer Zeitschriften“, das grammatikalische Geschlecht kann weiblich oder männlich sein (vgl. auch Wahrig (2000), Deutsches Wörterbuch). 8 Kostenpflichtige Servicestelle (0900 844 144), Gespräch am 13.6.2005. 9 Vgl. sowohl Duden (Band 5, 2005) als auch das Österreichische Wörterbuch (2001), wo unter „Peer“ nur die Bedeutung „Mitglied des englischen Hochadels“ bzw. im Duden auch „Mitglied des

2.2 Definitionen von Peer Review in der Evaluationsforschung

41

an österreichischen Bibliotheken findet, bezieht sich zum allergrößten Teil auf Untersuchungen zum Thema „Gleichaltrige“ als Bezugsgruppe von Jugendlichen. 2.2 Definitionen von Peer Review in der Evaluationsforschung 2.2.1 Definition von Evaluation Als Ausgangspunkt für die Definition von Peer Review als Evaluierungsverfahren soll vorweg eine Begriffsbestimmung von Evaluation vorgenommen werden. Kromrey (2001) bezeichnet Evaluation als ein „empirisch-wissenschaftliches Verfahren“: „Es handelt sich [bei Evaluation, MGG] um eine besondere Form angewandter Sozialwissenschaft (nicht nur Sozialforschung). Es ist eine methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen.“ (Kromrey 2001, 112)

Eine ähnliche allgemeine Definition gibt Beywl aufbauend auf Begriffsbestimmungen des amerikanischen „Joint Committee on Standards for Educational Evaluation“ und der „American Evaluation Association“: „Wissenschaftliche Evaluation bezeichnet die Summe systematischer Untersuchungen, die empirische, d.h. erfahrungsbasierte Informationen bereitstellen über den Wert eines (in der Regel sozialen) Gegenstandes, des Evaluationsgegenstandes.“ (Beywl 1999, 31)

Eine fast identische Definition findet sich in Beywl/Speer (2004), wo allerdings die Begriffsbestimmung nicht nur auf „wissenschaftliche“ Evaluation bezogen wird und der zu beurteilende „Wert“ des Evaluationsgegenstandes durch „Güte“ und „Verwendbarkeit“ noch näher bestimmt wird. Damit rückt auch die Forde-

britischen Oberhauses“ genannt wird. Unter „Peergroup“ findet sich dann im Österreichische Wörterbuch die allgemeine Definition als „Gruppe einander unterstützender Menschen“, im Duden wird die Gruppe noch genauer spezifiziert als „Gruppe von etwa gleichaltrigen Jugendlichen, die als Orientierung von familienorientierter Kindheit zum Erwachsenendasein fungiert“.

42

2 Aktuelle Definition(en) von Peer Review

rung nach der „Nützlichkeit“ von Evaluation mehr in den Vordergrund. (Beywl/Speer 2004, 10; Stichwort Evaluation10) 2.2.2 Einordnung von Peer Review als Evaluationsverfahren Bei der Einordnung von Peer Review als Evaluierungsverfahren interessiert als Erstes der Bezug zu zentralen Kriterien wie „formativ“ und „summativ“, „selbst“ und „fremd“, bzw. „intern“ und „extern“. Die Definitionen von Peer Review sind in diesen Punkten nicht eindeutig. So wird es als Verfahren der Selbstevaluation benannt, aber auch als Fremdevaluation bzw. wird es in einigen Publikationen als ein Verfahren beschrieben, das zwischen Selbst- und Fremdevaluation liegt. Auf die Problematik wird weiter unten genauer eingegangen, eine Übersicht und ein Vergleich möglicher Varianten und Anwendungsmodelle von Peer Review soll die empirische Grundlage für weitere theoretische Überlegungen bilden (vgl. unten Kapitel 8). Fürs Erste werden aktuelle Definitionen aus der Fachliteratur angeführt. Liebald (1996) z.B. verortet im folgenden Schema verschiedene Evaluationsansätze nach den oben genannten Kriterien (formativ/summativ, selbst/fremd, intern/extern). Peer Review ist nach Liebald den externen Verfahren zuzuordnen, hat aber v.a. formativen Charakter. Die Ergebnisüberprüfung und Erfolgskontrolle nennt sie als primäre Funktion der „summativen Fremdevaluation“. Peer Review hingegen hat mehr den Charakter einer ExpertInnenberatung im Dialog zwischen Evaluierenden und Evaluierten. Ziel und Funktion von Peer Review liegen in der Unterstützung der Qualitätsentwicklung und der Systemsteuerung (vgl. Liebald 1996, 243; zitiert nach Hartz/Meisel 2004, 50).

10 „Evaluation bezeichnet die Summe systematischer Untersuchungen, die empirische, d.h. erfahrungsbasierte Informationen bereitstellen, so dass es möglich wird, den Wert (Güte und Verwendbarkeit) eines (in der Regel sozialen) Evaluationsgegenstandes einzuschätzen.“

Peer-Review-Verfahren

Responsive Evaluation externes Evaluatorenteam interne Steuerung durch Beteiligte Interne Evaluation

Selbstevaluation

Expertenberatung Dialogcharakter

Beteiligtengruppen werden aktiv einbezogen

Beteiligte sind Akteure der Evaluation

Quelle: Liebald 1996, 243; nach Hartz/Meisel 2004, 50

Interne Dimension

Summative Fremdevaluation Wissenschaftliche Begleitforschung

Evaluation von außen; Beteiligte sind nicht aktiv eingebunden

Selbstreflexion Handlungsorientierung

Qualitätsentwicklung Organisationsentwicklung Systemsteuerung Praxisveränderung Teilnehmerorientierung Qualitätsentwicklung Rechenschaft Selbstkontrolle

Ergebnisüberprüfung, Erfolgskontrolle

Ziele/Funktion

Abbildung 1:

Evaluation durch betriebsinterne Evaluation

Evaluationsansatz

Merkmale

Externe Dimension

2.2 Definitionen von Peer Review in der Evaluationsforschung Evaluationsansätze

43

44

2 Aktuelle Definition(en) von Peer Review

„Peerevaluation“ wird auch in einem Begriffs- und Konzeptinventar der Schweizerischen Evaluationsgesellschaft (SEVAL) als Beispiel für eine von Personen außerhalb der Institution durchgeführte, und daher externe Evaluation genannt (vgl. Donzallaz 2005, 5). Die beiden Gegensatzpaare „intern/extern“ und „selbst/fremd“ werden im allgemeinen Sprachgebrauch oft synonym gebraucht. Beywl (bzw. Beywl und Speer) bezieht (beziehen) „intern/extern“ auf die Organisationszugehörigkeit und „selbst/fremd“ darauf, ob Personen ihr eigenes Handeln evaluieren oder ob die Evaluierung von anderen vorgenommen wird (vgl. Beywl 2004, Beywl/Speer 2004, vgl. auch Liebald 1996 s.o.).

Abbildung 2:

Arten der Evaluation

Fremdevaluation Interne

Evaluation fremd

Arbeitsteilig evaluierend

Peers / Critical Friends

selbst

Steuerungsverantwortung

Referenzsystem der Bezugswerte

EvaluationsInstitut/-Firma

Evaluieren & Umsetzen in einer Hand

SelbstPeerevaluation

Nicht-Mitglied = extern

Mitglied = intern

evaluation

Position der Evaluierenden zur Organisation

Quelle: nach Beywl 2004 Beywl macht als Ergebnis von systematischer Typenbildung vier Arten von Evaluation aus. Kriterien für die Typenbildung sind einerseits die Position der

2.2 Definitionen von Peer Review in der Evaluationsforschung

45

Evaluierenden zur Organisation, andererseits das Referenzsystem der Bezugswerte: Peers sind nicht organisationsangehörig und somit extern, teilen aber mit den Personen und Institutionen, die evaluiert werden, ein gemeinsames Referenzsystem. Das bedeutet, dass die evaluierenden Peers die fachliche Perspektive des Systems übernehmen (bzw. mitbringen), und insofern „selbstbezüglich“ sind (vgl. auch Beywl, Speer 2004, 11, Stichwort „Evaluationsarten“). Im Gegensatz dazu steht die Fremdevaluation, in der „die Evaluatoren und Evaluatorinnen gegenüber dem Fach und Wissensgebiet, zu dem der Evaluationsgegenstand gehört, ‚fremd’ sind. Sie verfügen somit über eine geringe Fach- und Feldkompetenz im Evaluationsfeld. Da sie den Geltungsansprüchen des jeweiligen Evaluationsfeldes weniger verpflichtet sind, fällt es ihnen oft leichter, eine unabhängige Position zu wahren und neue Perspektiven der Beschreibung und Bewertung einzubringen.“ (Beywl, Speer 2004, 19, Stichwort Fremdevaluation) Eine externe Evaluierung durch ausgebildete EvaluatorInnen ist der Prototyp einer Fremdevaluierung. Aber auch in der internen Evaluierung innerhalb einer Organisation kommt es zu Fremdevaluierungen, wenn Mitglieder der Organisation, die aus einem anderen fachlichen Bereich kommen als die zu Evaluierenden, die Evaluierung durchführen. Dies nennt sich dann interne Fremdevaluation. Von Selbstevaluierung sprechen Beywl und Speer nur, wenn „Akteure ihre eigenen Tätigkeiten systematisch und datenbasiert bewerten“ (Beywl/Speer 2004, 37, Stichwort „Selbstevaluation“). So erhellend diese Kategorisierung für ein Verständnis des Wesens von Peers als EvaluatorInnen ist, lässt sie doch noch einiges offen. So wird die Frage der Steuerung von Evaluationen nicht explizit von der Frage der Durchführung getrennt. Die Peers würden zudem nach dieser Definition eine „externe Selbstevaluierung“ durchführen, was auch im Gegensatz zu Definitionen von Selbstevaluierung steht, die im gängigen Sprachgebrauch sich entweder auf Personen oder (im weiteren Sinn) auf Organisationen. 2.2.3 Exkurs: Definition von Selbstevaluation Eine Selbstevaluation wird nach Beywl von den handelnden Personen selbst entweder alleine oder maximal im Team vorgenommen. Das, was in vielen Evaluierungsansätzen und Qualitätsmanagementsystemen als „Selbstevaluierung“ bezeichnet wird – nämlich dass Verantwortliche innerhalb der Organisation die Evaluierung von Teilen der Organisation bzw. auch der ganzen Organisation federführend planen und durchführen, ist dieser Definition nach unter „interner

46

2 Aktuelle Definition(en) von Peer Review

Fremdevaluierung“ einzuordnen.11 Im allgemeinen Sprachgebrauch wird unter Selbstevaluierung auch die „interne Fremdevaluierung“ subsumiert. Man könnte eventuell auch von einer Selbstevaluierung im engeren Sinne sprechen, wenn Personen ihre eigene Tätigkeit tatsächlich selbst evaluieren12, und von einer Selbstevaluierung im weiteren Sinne, wenn eine Organisation sich selbst evaluiert, wobei bestimmte Personen für die Durchführung der Evaluation verantwortlich sind. In den folgenden Kapiteln werde ich dem vorherrschenden Sprachgebrauch folgen, der sowohl Selbstevaluation i.e.S. als auch Selbstevaluierung i.w.S. unter „Selbstevaluierung“ subsumiert. Eine weitere Diskussion und Differenzierung der Begrifflichkeiten soll erst in Kapitel 8 vorgenommen werden. Evaluation als systematische Untersuchung und Bewertung bedient sich sozialwissenschaftlicher Methoden. Dabei interessiert als wichtiges Bestimmungsmerkmal eines Evaluationsverfahrens, ob es eher auf quantitativen oder qualitativen Methoden fußt. Dies war in der Vergangenheit aufgrund des Paradigmenstreites zwischen quantitativen, experimentellen bzw. quasi-experimentellen Ansätzen (die von ihren VerfechterInnen für „(natur-)wissenschaftlicher“ und damit als den qualitativen Methoden überlegen angesehen wurden) und qualitativen Evaluationsmodellen, ein bedeutsames Kriterium. In der aktuellen Evaluationsforschung werden quantitative und qualitative Ansätze zumeist als gleichwertig anerkannt bzw. wird ein flexibler Einsatz von quantitativen und qualitativen Methoden je nach Erkenntnisinteresse der jeweiligen Evaluation empfohlen. Peer Review wird hier klar den qualitativen Verfahren zugeordnet. Das bedeutet jedoch nicht, dass quantitative Daten in einem Peer Review keine Rolle spielen. Im Gegenteil, quantitative Informationen sind auch in einem Peer-ReviewVerfahren im Sinne der Triangulation eine wichtige Ergänzung zu qualitativen Daten. Sie werden jedoch meist bereits im Vorfeld erhoben (z.B. im Rahmen der Selbstevaluierung). Den Peers kommt dann v.a. die Aufgabe zu, diese Daten zu analysieren und zu bewerten bzw. gegebenenfalls auch zu überprüfen.

11 „Einige Verfahren des Qualitätsmanagements enthalten Verfahren mir der Bezeichnung Selbstevaluation. Diese werden jedoch vielfach auf Organisationen und nicht auf das Handeln von Personen bezogen, wie es die hier gegebene Definition verlangt.“ (Beywl/Speer 2004, 37) 12 siehe auch die Angaben auf der Seite von Univation zum Thema Selbstevaluation. „Selbstevaluation im engeren Sinne liegt dann vor, wenn der Gegenstand der Evaluation das eigene Handeln (und seine Resultate) ist und nicht das Handeln Anderer sowie die Steuerung des Evaluationsprozesses durch die Programmverantwortlichen selbst und nicht arbeitsteilig durch andere Interne oder Externe erfolgt.“ http://www.univation.org/index.php ?class=seite&id=9025, 30.3.2006.

2.2 Definitionen von Peer Review in der Evaluationsforschung

47

2.2.4 Weitere aktuelle Definitionen Bezug auf die praktische Anwendung von Peer Review im Bildungsbereich nimmt Stamm. Sie nennt Peer Review unter dem Stichwort „Organisationsformen“ von Evaluation, wo sie erst eine Unterscheidung zwischen interner und externer Evaluierung bzw. Selbstevaluierung und Fremdevaluierung vornimmt. Peer Review ergibt sich für sie aus der Verknüpfung dieser Organisationsformen. Gleichzeitig verweist sie auf die im Peer-Review-Verfahren inhärente Chance, die Vorteile der beiden Evaluationsarten miteinander zu verbinden: Werden die beiden Verfahren der Selbst- und Fremdevaluation kombiniert, so spricht man von einer Peer Review. Sie besteht aus einer vorangegangenen Selbstevaluation mit nachgelagerter Begutachtung durch externe Fachexperten. Ziel dieses Verbundes ist es, die fundamentalen Prioritäten, die jede Evaluation kennzeichnen – selbstbestimmte und verordnete Evaluationsgegenstände versus verhandlungsfähige oder geschlossene Beurteilung – in einem einzigen Verfahren zu kombinieren. Gleichzeitig stellt der Verbund eine vielschichtige und fachorientierte Analyse des evaluierten Gegenstands sicher. (Stamm 2003, 55; Verweis auch auf Stamm 1998, 165ff.)

Hartz und Meisel sehen das Peer-Review-Verfahren im Vergleich mit anderen externen Evaluierungsverfahren als „weniger anonym“. Das Verständnis der Peers für die Personen bzw. die Institution, die sie evaluieren, ist ein wichtiges Merkmal: „Zwar handelt es sich ebenfalls um ein Expertenteam von außen, dem man kritische Distanz gegenüber der Einrichtung unterstellt. Zugleich kann man aber auch mit einer hohen Empathie der Peers rechnen“ (Hartz/Meisel 2004, 48). Hartz und Meisel gehen ebenfalls auf die aktuelle Verwendung ein, wenn sie Peer Review als ein Evaluierungsverfahren sehen, das auf eine bereits erfolgte Datenerhebung aufbaut: Beim Peer-Review-Verfahren geht es weniger um eine forschungsmethodisch gesicherte Datenerhebung als um eine sachverständige Beurteilung, die auf Kernprobleme und potentielle Entwicklungslinien hinweist und diese dem Auftraggeber verdeutlicht. Die Peers stützen sich dabei auf bereits vorhandene Daten und holen sich durch Befragungen oder Begehungen (Audits) zusätzliche Informationen. Ein solches Verfahren kann prinzipiell auf der Systemebene, der Organisationsebene und der interaktiven Ebene der Lehr-Lern-Situation angewandt werden. […] Auf der organisationalen Ebene kommt der Ansatz häufig in der Startphase eines systematischen Organisationsentwicklungsprozesses zur Anwendung. (Hartz/Meisel 2004, 48)

48

2 Aktuelle Definition(en) von Peer Review

Sie weisen darauf hin, dass Peer Review auch in der Weiterentwicklung der Unterrichtspraxis eingesetzt werden kann: Auf der interaktiven Ebene der Lehr-Lern-Situation wird eine Peer-ReviewEvaluation häufig in Form von kollegialer Hospitation praktiziert. Im Vorfeld werden Beobachtungsperspektiven abgesprochen. In Verbindung mit dem Nachzeichnen realer Verläufe von Lehr- und Lernprozessen werden unterschiedliche Situationsdeutungen ausgetauscht, um damit die Reflexionsqualität des eigenen pädagogischen Handelns anzuregen. (Hartz/Meisel 2004, 48)

KollegInnen, die einander als Peers in der Unterrichtssituation evaluieren, sind nicht notwendigerweise organisationsextern, interne Peer Reviews bieten sich hier aufgrund der einfachen Realisierbarkeit an. Auf diese Möglichkeit nimmt auch Basel (2004) Bezug, der den Einsatz von Peer Review an beruflichen Schulen folgendermaßen umreißt: Peer-Evaluationen liegen im Grundsatz zwischen Selbst- und Fremdevaluationen. In der beruflichen Schule ist mit Peer-Evaluation die Evaluation von Produkten, Projekten, Vorhaben, Bildungsangeboten in Berufsschulen durch Berufsschullehrer/innen gemeint, die nicht unmittelbar an deren Leistungserstellung beteiligt sind. Peer-Evaluation kann sowohl intern organisiert werden, d.h. dass die Lehrer/innen aus evaluierten Schule kommen, als auch extern, d.h. dass Lehrer/innen und andere Expert/innen aus anderen Schulen für eine Evaluation hinzugezogen werden. Im Austarieren zwischen einerseits Expertenwissen in Bezug auf die Arbeitszusammenhänge und andererseits der Distanz zu diesen liegt die Stärke von PeerEvaluationen. Die Peer-Evaluator/innen kennen in den Grundzügen die Arbeitszusammenhänge der zu evaluierenden Schule, da sie selbst Lehrer/innen sind. Entscheidend ist jedoch, dass sie selbst nicht in die Arbeitszusammenhänge verstrickt sind und somit im Sinne eines „kritischen Freundes“ neue Impulse und Feedback geben können. (Basel 2004, 44)

Peer Review auch in verschiedenen deutschsprachigen Publikationen zu Schulevaluation (offensichtlich der Vollständigkeit halber) als theoretisch mögliches Verfahren erwähnt, ohne dass genauer auf Verfahren oder Implikationen eingegangen wird. Dabei wird meist implizit oder explizit auf Verfahren aus dem angelsächsischen Raum bzw. aus dem Hochschulbereich verwiesen. Auch wird nicht nach Evaluationsgegenständen und Typen von Peer Review unterschieden (vgl. z.B. Posch/Altrichter 1997, 80; Altrichter 1998, 278 und 314; Burkard/Eikenbusch 2000, 69; Specht 1999b)

2.3 Definitionen von Peer Review im Hochschulbereich

49

2.3 Definitionen von Peer Review im Hochschulbereich Peer Review als Verfahren zur Qualitätssicherung hat sich v.a. an den Universitäten etabliert. Im Gegensatz zu den oben genannten, sehr allgemeinen Definitionen von Peer Review als externe Evaluierung durch Gleichgestellte bzw. FachkollegInnen, die die konkreten Abläufe und Methoden des Verfahrens offen lassen, hat Peer Review im Hochschulbereich bestimmte Formen angenommen, die als konstitutiv bezeichnet werden können. Im Folgenden sollen gängige Definitionen, die sich auf die traditionellerweise wichtigsten Evaluationsgegenstände von Peer Review beziehen, angeführt werden. 2.3.1 Peer Review als Begutachtungsverfahren im Forschungsbereich In der online Enzyklopädie “Wikipedia” findet sich folgende Begriffsbestimmung: Peer Review (known as refereeing in some academic fields) is a scholarly process used in the publication of manuscripts and in the awarding of funding for research. Publishers and funding agencies use peer review to select and to screen submissions. The process also assists authors in meeting the standards of their discipline. Publications and awards that have not undergone peer review are liable to be regarded with suspicion by scholars and professionals in many fields. (http://en.wikipedia.org/wiki/Peer_review, 4.10.2004)

Diese Definition bezieht sich allein auf die Anwendung von Peer Review in der Forschungsevaluierung, v.a. als akademisches Begutachtungs- und Auswahlverfahren für Forschungsanträge und für die Publikation von Forschungsergebnissen in wissenschaftlichen Zeitschriften. (Für weitere Ausführungen dazu siehe Kapitel 3.2.) 2.3.2 Peer Review als externe Evaluierung von Hochschulen Breite Anwendung findet Peer Review mittlerweile auch als Instrument der Evaluierung von Hochschulen als Bildungseinrichtungen. Dabei geht es nicht um Einzelleistungen, sondern um die Organisation bzw. Teile der Organisation. Evaluiert werden kann die Forschung, vor allem aber auch die Lehre. Auf diese Variante von Peer Review zielt die Definition des „Council for Higher Education Accreditation“ (U.S.A.):

50

2 Aktuelle Definition(en) von Peer Review Peer Review: External review and evaluation of the quality and effectiveness of an institution's academic programs, staffing, and structure, carried out by a team of external evaluators who are specialists in the fields reviewed and knowledgeable about higher education in general. Reviews may be based on standards set by the accrediting organizations or on quality standards set more broadly. (http://www.chea.org/ international/inter_glossary01.html, 5.11.2004)

In dieser Definition wird Peer Review als externe Evaluierung benannt. Diese wird von einem Team externer EvaluatorInnen durchgeführt, die ExpertInnen in dem evaluierten Fachgebiet sind und allgemeines Wissen um den Hochschulbereich mitbringen. Evaluiert werden akademische Studiengänge, Personal und die Struktur der Einrichtung, die verwendeten Evaluierungsstandards können verschiedenen Ursprungs sein. Im gleichen Glossar werden weitere Evaluierungsmethoden angesprochen, die auch Teil eines Peer Reviews sein können bzw. meist sind. Self-study: The review and evaluation of the quality and effectiveness of an institution's own academic programs, staffing, and structure, based on standards set by an outside quality assurance body, carried out by the institution itself. Self-studies usually are undertaken in preparation for a quality assurance site visit by an outside team of specialists. Results in a self-study report. Site Visit: Evaluation by a team of peer reviewers who examine the institution's self-study; interview faculty, students, and staff; and examine the structure and effectiveness of the institution and its academic programs. Usually results in an evaluation. Normally part of the accreditation process, but may be initiated by the institution itself. (http://www.chea.org/international/ inter_glossary01.html, 5.11.2004)

Mit Self-Study ist eine Selbstevaluierung auf der Grundlage externer Standards gemeint, die für gewöhnlich in einem eigenen Bericht dokumentiert wird und als Vorbereitung für einen Besuch externer EvaluatorInnen dient. Dieser Besuch wird von Peers wahrgenommen, die den Selbstbericht der zu evaluierenden Einrichtung analysieren und ergänzend vor Ort Interviews mit verschiedenen Beteiligten und Betroffenen (Lehrende, Studierende, nicht-lehrendes Personal) vornehmen. Der Vor-Ort-Besuch ist Teil eines Evaluierungs- oder Akkreditierungsverfahrens, kann aber auch auf freiwilliger Basis von der Einrichtung initiiert werden.

2.4 Zusammenfassung, erste Definition und weitere Fragestellungen

51

2.3.3 Peer Review als Evaluierung von Unterrichtenden Peer Review wird auch auf der Ebene des Unterrichts angewandt: Peer review is evaluation, by colleagues or peers, of all teaching related activities for either formative (for development) or summative (for personnel decision) purposes. (http://www.ncsu.edu/provost/peer_review/definereview.htm, 10.6.2005)

Die Peers können sowohl extern bestellt werden, als auch organisationsintern (s.o. kollegiales Hospitieren). 2.4 Zusammenfassung, erste Definition und weitere Fragestellungen Bei „Peer Review“ handelt es sich der wörtlichen Bedeutung nach um eine Überprüfung und Bewertung, d.h. Evaluierung, durch „Gleichgestellte“, d.h. im professionellen Kontext in der Regel durch Fachkolleginnen und Fachkollegen. Die Einordnung von Peer Review als Evaluierungsverfahren ist komplex. In der Regel ist mit Peer Review eine externe Evaluierung gemeint in dem Sinne, dass die Peers einer anderen Organisation angehören. Generell dient Peer Review der Einholung einer Außensicht und der Bewertung durch Dritte. Dies kann auch innerhalb einer Organisation erfolgen, v.a. im Bereich der Evaluierung des Unterrichts (Stichwort „kollegiales Hospitieren“) ist dies oft der Fall. Nach der oben genannten Typologie handelt es sich dann allerdings um eine interne Evaluierung. Peer Review kann als Fremdevaluierung definiert werden, da sich die Evaluierten nicht selbst evaluieren. Gleichzeitig verfügen Peers als KollegInnen aber über spezifische Fachkompetenzen und Erfahrungswissen, die sie von anderen externen EvaluatorInnen abheben. Sie bringen eine interne Sichtweise in Bezug auf die Profession mit, sind aber nicht in die Arbeitszusammenhänge direkt involviert und können sich deshalb eine Außensicht bewahren. Eine erste Definition von Peers könnte folgendermaßen lauten: Ein “Peer” ist eine Person ƒ ƒ ƒ

die gleichgestellt ist mit der Person / den Personen, deren Leistung überprüft wird, die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in einer ähnlichen Einrichtung die meist aus einer anderen Einrichtung kommt, also extern ist

52

2 Aktuelle Definition(en) von Peer Review

und die ƒ ƒ

über spezifische professionelle Fachkenntnisse und Erfahrung verfügt (professionelle Feldkompetenz, Verständnis, Werte, Sprache, …) und dadurch sozusagen “Insiderwissen“ über den Gegenstand der Evaluierung in den Prozess einbringt und dieses mit der externen Perspektive verbindet (“externer Insider”).

Eine oft synonym benutzte Bezeichnung ist „kritischer Freund“ / “kritische Freundin“ (bzw. „critial friend“ im Englischen). Peer Review kann sowohl als formatives als auch als summatives Evaluierungsverfahren zum Einsatz kommen. Inwieweit es sich um ein reines Begutachtungsverfahren handelt bzw. in welchem Umfang von den Peers auch eine eigenständige Datenerhebung vorgenommen wird, ist abhängig von der jeweiligen Ausgestaltung. Während Peer Review prinzipiell auf jeden beliebigen Evaluationsgegenstand angewandt werden kann und das tatsächliche Evaluationsverfahren beliebig wählbar ist, haben sich in der Praxis bestimmte Vorgehensweisen etabliert, die mittlerweile in der Evaluierung von Einrichtungen v.a. im Hochschulbereich allgemein verbreitet sind. Es handelt sich dabei um die Verbindung einer externen Evaluierung durch Peers mit einer vorangegangen Selbstevaluierung. Auch ist meist ein Vor-Ort-Besuch durch die Peers Teil des Verfahrens. Im Bereich der Evaluierung auf Organisationsebene könnte Peer Review daher fürs Erste folgendermaßen definiert werden: ƒ ƒ

ƒ

Peer Review ist eine Form der externen Evaluierung mit dem Ziel die Institution, die sich dem Verfahren unterzieht, in ihren Bemühungen um Qualitätssicherung und Qualitätsentwicklung zu unterstützen. Ein Peer Review Verfahren wird von einer Gruppe externer ExpertInnen, so genannter Peers, durchgeführt, die eingeladen werden, die Qualität verschiedener Bereiche der Bildungseinrichtung zu beurteilen. Zentrales Element des Peer Reviews ist für gewöhnlich ein Vor-Ort-Besuch durch die Peers. Das Verfahren wird mit einem Bericht abgeschlossen. Bewertet werden kann z.B. die Qualität des Unterrichts und/oder andere spezifische Fragestellungen in einzelnen Fachbereichen oder auch die ganze Organisation. Die Evaluierung erfolgt meist auf der Basis eines Selbstevaluierungsberichts.

2.4 Zusammenfassung, erste Definition und weitere Fragestellungen Abbildung 3:

53

Drei Schritte eines Peer Reviews auf der Organisationsebene

1. Selbstevaluierung Vorbereitung

2. Peer-Besuch Evaluierung Kern des Verfahrens

3. Peer-Bericht Rückmeldung

Quelle: eigene Darstellung Ausgehend von diesen ersten Begriffsbestimmungen soll nun die Praxis von Peer Review untersucht werden, um in der Folge zu einer differenzierteren Definition zu kommen. Der Schwerpunkt der Darstellung wird auf dem Einsatz von Peer Review auf der Ebene der Organisation liegen und hier vor allem in der schulischen beruflichen Erstausbildung. Gerade weil das Verfahren einfach und damit auch einfach zu adaptieren ist, sind verschiedenste Varianten entwickelt worden. Die ständige Adaptierung für die konkrete Situation und die spezifischen Bedürfnisse von Bildungssektoren bzw. einzelnen Einrichtungen haben zu einer Vielzahl an Ausprägungen geführt. Unterschiede zwischen den einzelnen Formen der Ausgestaltung betreffen zum Beispiel: ƒ ƒ ƒ ƒ ƒ ƒ ƒ ƒ

Das Ausmaß der Reglementierung (und durch wen?), Ziel(e) und Zweck des Peer Reviews bzw. die formative oder summative Verwendung, die Definition der Peers (Wer sind die Peers? Welche Qualifikationen müssen sie mitbringen?), die Auswahl der Peers (Wer darf die Peers auswählen, nominieren, bestellen?), die Definition der Evaluierungsbereiche (einschließlich etwaiger Standards und Indikatoren) und damit verbunden der konkrete Gegenstand und Umfang des Reviews (Lehr-Lernsituation, einzelne Fragestellungen (Problembereiche, Projekte, etc.), Fachbereiche, oder ganze Einrichtung), die Art der Vorbereitung auf das Peer Review durch die Institution (v.a. die konkrete Ausgestaltung von Selbstevaluierung und Selbstbericht), die Art der Vorbereitung durch die Peers sowie die Information der Peers im Vorfeld (Wie und worüber werden sie informiert? Gibt es einen Selbstreport?),

54 ƒ ƒ ƒ ƒ ƒ

2 Aktuelle Definition(en) von Peer Review die Intensität der Kommunikation mit den Peers (im Vorfeld, während, danach) sowie die Feedbackmechanismen, die Ausgestaltung des Peer-Besuchs (angewandte Evaluierungsmethoden, Ablauf, Anzahl der Peers, zeitlicher Umfang), die (Gesamt)Dauer und Häufigkeit der Peer Reviews, mögliche Konsequenzen der Peer Reviews sowie damit verbunden die Einbindung von Peer Reviews in das institutionelle Qualitätssicherungssystem bzw. in die Qualitätssicherung auf Systemebene (s. auch oben Reglementierung, Auswahl der Peers etc.).

Zusätzlich sollen andere Kontexte und Bereiche der Anwendung von Peer Review ebenfalls berücksichtigt werden. Dies betrifft vor allem den Einsatz von Peer Review zur Evaluierung von Lehrenden, wo eigene Methoden und Verfahren entwickelt wurden: Da Lehren und Lernen das „Kerngeschäft“ von Bildungseinrichtungen ist, werden auch Peer Reviews zwischen Lehrenden in die weiteren Analysen mit einbezogen werden, insbesondere auch im Hinblick auf ihre Einbindung in umfassende Qualitätsbemühungen auf Organisationsebene.

3 Anwendungsbereiche von Peer Review

3.1 Anwendungskontexte außerhalb von Forschung und Bildung Peer Review als Verfahren einer kollegialen Evaluierung kann prinzipiell in jedem professionellen Kontext zum Einsatz kommen. Tatsächlich wird es vor allem in Bereichen des Dienstleistungssektors genutzt, in denen sowohl aus einem Selbstverständnis der Profession heraus als auch aufgrund äußerer Anforderungen durch KonsumentInnen, KlientInnen und andere Anspruchsgruppen (hohe) professionelle Standards eingehalten werden sollen. Beispiele für Anwendungsbereiche sind die Medizin, die Krankenpflege oder die Sozialarbeit. Neben den sozialen und Gesundheitsdienstleistungen machen aber auch wirtschaftsorientierte Berufsstände von Peer Review Gebrauch. So ist Peer Review im Bereich der Wirtschaftsprüfung, ausgehend von den Vereinigten Staaten, mittlerweile auch in Europa verbreitet13. Ein weiteres Beispiel wären Kranken- und Rentenversicherungen.14 In den genannten Bereichen kann sich Peer Review sowohl auf die Leistung von Einzelnen als auch von Organisationen beziehen. Peer Reviews werden primär eingesetzt, um die Einhaltung professioneller Standards zu gewährleisten. Sie dienen der Absicherung, der Imagepflege bzw. dem Aufbau von Vertrauen gegenüber externen AbnehmerInnen aber auch der Selbstregulierung des Berufsstands und der Ausschließung „schwarzer Schafe“. So wird in der Beschreibung eines Buches für Peer Reviews im Wirtschaftsprüferwesen ausgeführt: Inferior quality service threatens the accounting profession's existence. To reduce instances of substandard service, the profession requires firms to have a system of quality control -- this book shows how to develop a quality control system, prepare for an annual review and earn a good report. (McCabe 1993)

13 Vgl. das Peer-Review-Programm des „American Institute of Certified Public Accountants“ (AICPA): http://www.aicpa.org/members/div/practmon/, 4.10.2004. 14 Vgl. z.B. das Verfahren des Verbands Deutscher Rentenversicherungsträger: http://www.vdr.de/internet/vdr/hme.nsf/index.htm?OpenPage&content=http://www.vdr.de/internet/v dr/reha.nsf/0/BD3F3DAB62CA7580C1256B7D003AB1DB?OpenDocument, 24.2.2005.

56

3 Anwendungsbereiche von Peer Review

Zusätzlich haben Peer Reviews neben der Qualitätssicherung oft auch das Ziel, durch eine kritische Beobachtung und Bewertung durch die Peers und ein Voneinander-Lernen die eigenen Dienstleistungen zu verbessern. Dieser Aspekt ist vor allem im Sozial- und Gesundheitsbereich anzutreffen. Ein weiterer wichtiger Faktor ist auch die relativ günstige Kosten-NutzenRelation: ein Selbst-Audit in Verbindung mit der externen Begutachtung durch FachkollegInnen kostet deutlich weniger als eine externe Überprüfung durch speziell ausgebildete AuditorInnen. Als typisches Beispiel kann ein Programm zur Verbesserung und Qualitätssicherung der medizinischen Dokumentation im niedergelassenen Bereich angeführt werden. Unter der Überschrift „Using Peer Review for Self-Audits of Medical Record Documentation“ versprechen die Anbieter: You might be surprised at how much doctors can help one another improve in coding and documentation. […] We have made self-audit work for our group of 14 family physicians and one nurse practitioner. It's easy and cheap, especially compared with the cost of external audits, which may be prohibitive for smaller groups (a small practice can expect to pay from $2,500 to more than $10,000 for an external audit, depending on its extent and the number of physicians involved). The only prerequisite for self-audits is having a good grasp of your coding and billing procedures before you implement the process. […] Key points: A vital part of an effective compliance program is implementing a method to monitor your practice's coding and documentation. The peer-review self-audit process minimizes demands on physicians' time, requires no special audit training and can be completed in four one-hour sessions annually. A peer-review self-audit is not only a cost-effective way to protect against fraud and abuse, it's also a valuable educational tool for physicians to improve their coding and documentation skills. (http://www.aafp.org/fpm/20000400/28usin.html, 10.6.2005).

Peer Review als Möglichkeit, von erfahrenen und renommierten FachkollegInnen wichtige Einschätzungen und Hinweise für die Verbesserung der eigenen Arbeit zu erhalten (bzw. auch extern geäußerte Argumente für Veränderungen), war auch der Hintergrund des Peer Reviews des Schweizerischen Statistiksystems.15

15 Der Direktor des Bundesamtes für Statistik schreibt dazu: „In der jetzigen entscheidenden Phase [eines tief greifenden Veränderungsprozesses] hielten wir es für unerlässlich, die Erfahrungen und Fachkenntnisse renommierter Institutionen und Personen von internationalem Ruf herbeizuziehen.

3.2 Peer Review in der Forschung

57

Abschließend soll auf eine weitere Möglichkeit der Arbeit mit Peers hingewiesen werden, die allerdings auf einer anderen Ebene anzusiedeln ist (vgl.u.3.3.1). Es handelt sich um den Einsatz von Peers als Gleichgestellte der KonsumentInnen/KlientInnen innerhalb der Leistungserbringung. Dabei geht es aber nicht um eine Bewertung durch Peers, sondern um Beratung. So werden z.B. zunehmend Peers im Rahmen von Beratungs- und Unterstützungsprogrammen in der Sozialarbeit eingesetzt. Grund für den Einsatz von Peers in diesem Kontext ist die Erwartung, dass Peers einen direkteren und einfacheren Zugang zu KlientInnen als professionelle BeraterInnen haben und auch Hilfs- und Beratungsangebote von Peers besser akzeptiert werden. 3.2 Peer Review in der Forschung Peer Review spielt eine wichtige Rolle in der Forschung, in Wikipedia wird es als „Rückgrat der Wissenschaft“ (http://de.wikipedia.org/wiki/Peer-Review; 24.2.2005) bezeichnet. Das Verfahren wurde in der zweiten Hälfte des 17. Jahrhunderts erstmals in England eingesetzt, um die wissenschaftliche Güte von Artikeln zu überprüfen, die der Royal Society zur Veröffentlichung vorgeschlagen wurden (vgl. Rigby 2004, 216). Der Einsatz von Peers als GutachterInnen in der Forschung ist v.a. darauf zurückzuführen, dass in den hochspezialisierten wissenschaftlichen Disziplinen nur FachexpertInnen Forschungsleistungen inhaltlich (z.B. bezüglich wissenschaftlicher Methodik, Innovation, Bedeutung von Ergebnissen für die Disziplin) adäquat beurteilen können. Es handelt sich dabei vornehmlich um Verfahren, mit denen die Leistungen oder Vorhaben einzelner ForscherInnen bzw. ForscherInnenteams beurteilt werden. Peer Review dient als zentraler „Mechanismus der internen Begutachtung und damit der Selbststeuerung der Wissenschaft“ (Weingart 2001, 284). Durch

Im Bereich der amtlichen Statistik gelten Statistics Canada und ihr Generaldirektor Ivan P. Fellegi als Pioniere. Die äusserst effiziente Organisation und Struktur, die Fellegi und sein Führungsteam nach der Festlegung der Gesetze und Normen eines modernen statistischen Systems aufgebaut haben, diente bereits zahlreichen Ländern als Beispiel.“(Fellegi/Ryten 2000, 5) Das Evaluationsmandat umfasste „zwei Hauptziele: die Identifizierung der Stärken und Schwächen des in der Schweiz bestehenden statistischen Systems und insbesondere des BFS; Formulierung von Vorschlägen und Empfehlungen zur Verbesserung der Situation“ (Fellegi/Ryten 2000, 5). http://www.bfs.admin.ch/bfs/portal/de/index/institutionen/oeffentliche_statistik/bundesstatistik/entwi cklungen__trends/peer_review.html, 10.6.2005. 16 Rigby gibt in diesem Artikel auch eine historische Übersicht über die wissenschaftlichen Zeitschriften, deren Artikel durch Peers evaluiert wurden, allen voran Philosophical Transactions, deren erste Ausgabe 1665 erschien (vgl. auch http://www.royalsoc.ac.uk/page.asp?id=2176, 2.11.2005).

58

3 Anwendungsbereiche von Peer Review

Peer Review werden die Offenheit der Kommunikation innerhalb der wissenschaftlichen Gemeinde sowie die Qualitätskontrolle sichergestellt. Peer Review schafft die Voraussetzung für Vertrauen in die Ergebnisse wissenschaftlichen Arbeitens sowohl innerhalb der Wissenschaft – als „institutionelle[r] Kern des wissenschaftlichen Kommunikationsprozesses“ (Weingart 2001, 285)  als auch bei Geldgebern und Öffentlichkeit. Peer Review kommt v.a. im Bereich der Grundlagenforschung zum Einsatz – wo es keine andere Instanz für die Bewertung von Forschungsergebnissen und Forschungsvorhaben gibt , ist aber auch in der angewandten Forschung als Mechanismus der Qualitätssicherung unerlässlich (vgl. Weingart 2001, 284ff.) Auch über die Wissenschaftskreise hinaus bekannt ist v.a. die Begutachtung von Forschungsergebnissen für die Publikation in renommierten wissenschaftlichen Fachzeitschriften. Es soll verhindern, dass mangelhafte Studien veröffentlich werden und geht von einer „selbstregulierenden Wissenschaftsgemeinde“ aus (vgl. Markert 2004, 5). Das Verfahren wird in Wikipedia folgendermaßen charakterisiert: Im akademisch-wissenschaftlichen Bereich sind Peer-Reviews von Zeitschriftenartikeln üblich, bei denen der zur Veröffentlichung vorgesehene Artikel durch einen oder mehrere Experten des entsprechenden Gebietes bewertet wird. Üblicherweise schickt der Autor seinen Artikel an einen Verantwortlichen (z.B. der Editor der Zeitschrift). Dieser wählt zwei oder drei anonyme Gutachter, die entscheiden, ob der Artikel in der gegebenen Form veröffentlicht werden soll, bzw. Verbesserungsvorschläge machen. Diese Experten dürfen beim Peer Review nicht aus dem Umfeld des Autors stammen. Die Unabhängigkeit des Gutachters vom zu bewertenden Objekt ist das wesentliche Kriterium eines Peer Reviews. Anonymität des Gutachters ist dagegen nicht erforderlich, aber oftmals gegeben. In einem weiteren Sinn wird Peer-Review auf für andere wissenschaftliche Publikationsformen verwendet. Die Tätigkeit der Gutachter wird meistens freiwillig und unentgeltlich erbracht. Das Peer Review ist im Allgemeinen keine Methode, um Fälschungen oder in betrügerischer Absicht gemachte Experimente aufzudecken. Der Gutachter muss auf den guten Willen und die Angaben des Autors vertrauen. Er kann nur die Resultate auf Plausibilität im Kontext überprüfen und auf methodische Fehler hinweisen. (http://de.wikipedia.org/wiki/Peer-Review; 24.2.2005)

Obwohl das Verfahren „einen weltweit anerkannten Bestandteil der Wissenschaftskultur dar[stellt]“ und „als das zentrale Element in der akademischen Laufbahn angesehen“ wird, ist der Prozess selbst nicht standardisiert: „[D]er Ablauf kann im Einzelnen ganz unterschiedlich sein“ (Ernst; Warwas 2003, 4).

3.2 Peer Review in der Forschung

59

Auf Peer Review fußende Entscheidungen der Verleger haben weit reichende Folgen für die Forscherin/den Forscher, aber auch für die Weiterentwicklung des Fachgebietes: Da wissenschaftliche Leistung aufgrund von bibliometrischen Verfahren gemessen wird – die Anzahl der Publikationen in durch Peer Review begutachteten wissenschaftlichen Zeitschriften sowie die Anzahl der Zitate dienen als Indikatoren für wissenschaftliche Leistung – ist es für die Karriere von WissenschafterInnen von großer Bedeutung, Artikel in bekannten Zeitschriften platzieren zu können.17 Weiters werden nicht offiziell publizierte Artikel, da sie sozusagen als „nicht vollwertig“ punziert sind, auch meist nicht so stark rezipiert, sodass die Forschungsergebnisse nicht oder in geringerem Maß in der „Scientific Community“ Verbreitung finden. Aufgrund des übermächtigen Einflusses von Peer Review in manchen Bereichen der Forschung (alternative Publikationspraktiken über elektronische Medien sind gerade im Entstehen, sind aber noch weit entfernt davon, als gleichwertig angesehen zu werden) und aufgrund von Verfahrensmängeln ist die gängige Praxis der Begutachtung durch Peers immer wieder kritisiert worden. Die umfangreiche akademische Debatte kann hier nur auszugsweise wiedergegeben werden. Einwände gegen das Verfahren betreffen v.a. die Intransparenz und die unzureichende Gewährleistung von Objektivität. So ist oft für die LeserInnen nicht klar, welche Zeitschriften tatsächlich begutachtet werden und welche Verfahren zur Anwendung kommen (z.B. wie viele GutachterInnen zum Einsatz kommen, Anwendung von Blind-, Doppelblind- oder Dreifachblindverfahren), aber selbst die Begutachteten kennen oft die GutachterInnen nicht und erhalten auch nicht immer ein (vollständiges) Feedback. Fröhlich bezeichnet dieses Vorgehen als „Arkanpraxis“ der Zeitschriftenverlage (Fröhlich 2002, 2). Auch haben empirische Studien aufgezeigt, dass GutachterInnen nicht unbedingt unabhängig und unvoreingenommen agieren, es wurden sowohl Freundschaftsgutachten als auch sexistische und andere Vorurteile (z.B. gegenüber fremdsprachigen AutorInnen) nachgewiesen. Weiters fördert die Praxis nicht unbedingt die Innovation, da Gutachten eher dem traditionellen Mainstream entsprechen. Auch gibt es nicht immer explizite Evaluierungskriterien18. Inwieweit durch ein Offenlegen der GutachterInnen bzw. die vollständige Anonymisierung19 – GutachterInnen kennen Begutachtete nicht (Doppelblindverfahren) bzw. nicht einmal die He-

17 Die kritische Bedeutung von Peer Review für das „Überleben“ von WissenschafterInnen, zeigt die Existenz von spezieller Ratgeberliteratur zum Thema, wie z.B. der Ratgeber mit dem plakativen Titel „How to Survive Peer Review“ (Wager/Godlee, 2002). 18 Eine Übersicht gibt Fröhlich, Gerhard (2002): Anonyme Kritik. Peer Review auf dem Prüfstand der empirisch-theoretischen Wissenschaftsforschung, In: Pipp (2002), 129-146. 19 Diese ist voraussichtlich gerade in hoch spezialisierten Disziplinen nicht immer möglich, da alle AkteurInnen von vornherein bekannt sind bzw. aufgrund der Themenstellung zu eruieren sind.

60

3 Anwendungsbereiche von Peer Review

rausgeberInnen kennen die Begutachteten (Dreifachblindverfahren) – oder Begutachtungsleitfäden, in denen Kriterien zur Bewertung enthalten sind, die Methode verbessern können, ist allerdings umstritten. Die Frage nach der Verlässlichkeit von Peer Review als objektives Verfahren der wissenschaftlichen Selbststeuerung, ist nicht nur brisant, weil dadurch die Qualität von Forschung sichergestellt und wichtige Entscheidungen über Forschungskarrieren sowie die Zukunft von Forschungsthemen gefällt werden, sondern weil das Peer Review „aufgrund seiner für die Autonomie der Wissenschaft strategischen Funktion einen hohen Symbolwert [hat], der über die tatsächliche Steuerungsfunktion hinausgeht“ (Weingart 2001, 291). Ein weiteres Feld der Peer Review ist die Begutachtung von Forschungsanträgen, die ebenfalls einen beachtlichen Einfluss sowohl auf individuelle ForscherInnenkarrieren als auch auf die Entwicklung des Fachs haben kann, wird doch entschieden, welche Personen und welche Themen finanziell unterstützt werden und welche nicht. Diese Begutachtungen werden in der Regel auch von FachkollegInnen vorgenommen. Bezüglich Transparenz und anderer Verfahrensmerkmale sind ähnliche Probleme wie bei der Begutachtung von zur Publikation eingereichten Artikeln zu beobachten20. Weiters kann Peer Review in der Forschung auch als institutionelle Evaluierung durchgeführt werden. Im Zentrum stehen dann nicht die Leistungen einzelner ForscherInnen, sondern Forschungseinrichtungen bzw. Teile von Forschungseinrichtungen (Institute, Fakultäten). 3.3 Anwendung von Peer Review im Bildungsbereich 3.3.1 Peer Review auf verschiedenen Ebenen des Bildungssystems Die vorhergehenden Beschreibungen von Anwendungen von Peer Review bezogen sich v.a. auf die Evaluierung von Institutionen, d.h. den universitären Einrichtungen als Ganze, oder auf die Forschungsleistungen Einzelner. Grundsätzlich kann Peer Review auf allen Ebenen des Bildungssystems eingesetzt werden: ƒ

Auf der Makroebene – Systemebene: Hier wird Peer Review meist auf der Ebene der nationalen Bildungssysteme durchgeführt, denkbar ist aber auch

20 Vgl. z.B. Ernst und Warwas (2003). Sie gehen auf beide Einsatzbereiche von Peer Review – Publikationen und Forschungsförderungen – ein und thematisieren geschlechtsspezifische Auswirkungen.

3.3 Anwendung von Peer Review im Bildungsbereich

ƒ ƒ

61

der Einsatz auf der regionalen, lokalen, sektoralen (Berufsbereiche, Branchen) Ebene. Auf der Mesoebene – Ebene der Organisation/Institution: Bildungseinrichtungen werden mittels Peer Review evaluiert. Auf der Mikroebene – individuelle Ebene: Lehrende oder Studierende werden von Ihresgleichen evaluiert.

Peer Reviews auf der Makroebene werden schon seit langem von internationalen Organisationen wie der OECD durchgeführt. Auch innerhalb der Europäischen Union kommt das Instrument zum Einsatz: So wurde und wird es z.B. im Bildungsbereich von der European Training Foundation verwendet, um die Bildungs- und Innovationssysteme der Beitrittsländer zu prüfen. Ein weiteres Beispiel sind die Peer Reviews zum Thema Qualität in der beruflichen Bildung, die von der Technischen Arbeitsgruppe (TWG – Technical Working Group) ‘Qualität in der Berufsbildung’ seit 2004 durchgeführt werden. Jedes „Review“ konzentriert sich auf ein bestimmtes relevantes Spezialthema. Vorbereitend wird eine ländervergleichende Analyse durchgeführt. Gastland ist immer ein Land, das besondere Erfahrungen und Best Practice bezüglich des Themas aufweisen kann bzw. ein besonderes Interesse daran hat. Als Peers eingeladen werden ExpertInnen, die einerseits über umfassendes Wissen zu dem Spezialthema verfügen, andererseits auch die Möglichkeit haben, die Ergebnisse des Peer Reviews im eigenen Land an wichtige „Stakeholder“ weiterzugeben. Auch müssen die Peers in der Vorbereitungsphase einen Bericht über die Situation in ihrem Land verfassen, der dann in die vergleichende Analyse einfließt.21 Da es bei den bislang durchgeführten Besuchen eher um einen Erfahrungsaustausch und ein Kennenlernen von Good (bzw. Best) Practice ging und weniger um eine Bewertung, wurde das Verfahren in „Peer Learning“ umbenannt. In der internationalen Zusammenarbeit ist Peer Review ein wichtiges Instrument, um supranationale Transparenz und Vergleichbarkeit zu schaffen. Ein 21 Im Jahr 2004 waren Themen: Indikatoren (Finland), matching of supply and demand (France), Selbstbewertung (UK), die Verwendung des Common Quality Assurance Framework (Denmark). Weitere Informationen finden sich in: European Commission (2004): „Copenhagen Process“. Quality Assurance in VET. Technical Working Group Progress Report, December 2004, 9 – 14 oder Kim Farschou (2005): Peer Learning. Experiences from Practice, presentation held at the conference „Quality Assurance in VET. Exchange of Good Practices and Promotion of Institutional Cooperation“, Espoo, Finland, February 11, 2005 http://www.oph.fi/english/pageLast.asp?path=447,490,35909,38122, 10.6.2005. Alle „Peer Learning“ Besuche sind umfassend dokumentiert, Informationen sowie der TWG Fortschrittsbericht (Progress Report) sind auf der Internetplattform von CEDEFOP zur Qualität in der beruflichen Bildung abrufbar http://communities.trainingvillage.gr/quality, 30.3.2006.

62

3 Anwendungsbereiche von Peer Review

von dem jeweiligen Land vorgelegter Bericht wird von einem international besetzten ExpertInnengremium geprüft. Auch ein Vor-Ort-Besuch ist für gewöhnlich Teil des Reviews, mit der Möglichkeit, sich ein eigenes Bild zu machen und gegebenenfalls fehlende Informationen zu erheben. Für die europäische Integration sind Peer Reviews auch deshalb von Bedeutung, weil sie eine Möglichkeit des Austausches zwischen den Ländern bieten und so die Kooperation und das „Lernen von den Besten“ in bestimmten Politikfeldern unterstützen. So findet sich das Instrument europäischer Peer Reviews nicht nur im Bildungsbereich, sondern auch z.B. in der Arbeitsmarktpolitik und im Bereich der Maßnahmen zur sozialen Eingliederung. Dahingestellt sei, inwieweit diese Peer Review Programme tatsächlich der Bewertung und Überprüfung dienen.22 Auf der Mesoebene werden Einrichtungen bewertet, wobei es dabei um die Evaluierung von einzelnen Teilbereichen gehen kann – z.B. Fachbereiche oder Studiengänge bzw. Abteilungen – oder um die ganze Einrichtung. Gegenstand der Überprüfung können organisatorische oder inhaltlich-fachliche Fragestellungen sein, auch eine Meta-Evaluation der Evaluierungs- und Qualitätssicherungsverfahren ist möglich. Im Bildungsbereich steht vor allem die Evaluierung von Lehren und Lernen im Mittelpunkt, an den Universitäten und Fachhochschulen kommt die Evaluierung der Forschung hinzu. Die Analyse von Peer Review auf der Mesoebene ist das Kernthema der vorliegenden Arbeit. In Abgrenzung zu anderen Ebenen der Bildungssysteme, nenne ich diese Evaluierungen „Peer Review auf Organisationsebene“, da der Begriff „Institutionelle Evaluierung“ bereits besetzt ist, und die Evaluierung einer ganzen Einrichtung bzw. deren Qualitätsmanagement bezeichnet im Gegensatz zu der Evaluierung von einzelnen Studiengängen, Fachbereichen oder spezifischen Fragestellungen. Peer Review auf Organisationsebene kann alle diese Evaluierungsgegenstände beinhalten. Detailliertere Ausführungen folgen in den nächsten Kapiteln.

22 Peer-Review-Programm für aktive Arbeitsmarktpolitik / Peer Review Programme of the European Employment Strategy, http://www.peerreview.almp.org/de/, 10.6.2005. Peer Review im Bereich der Strategien zur sozialen Eingliederung / Peer Review in the Field of Social Inclusion Policies, http://www.peer-review-social-inclusion.net/peer/de/general_information, 2.11.2005. Auch in anderen Politikbereichen werden Peer-Review-Verfahren verwendet. So entwickelt ein europäisches Projekt, „PRESUD – Peer Reviews for European Sustainable Development“, das von der OECD zur Evaluierung der Umweltsituation von OECD-Mitgliedstaaten verwendete Verfahren weiter, um ein „europaweit einsetzbares Instrument zur Bewertung und Förderung der Umsetzung der Nachhaltigkeit der Entwicklung in europäischen Städten“ zu schaffen. http://taten.municipia.at/alle/f0002033.html, 2.11.2005.

3.3 Anwendung von Peer Review im Bildungsbereich

63

Auf der Mikroebene, kann Peer Review zur Bewertung des Unterrichts von individuellen Lehrenden eingesetzt werden. Meist wird Peer Review in diesem Zusammenhang mit „kollegialer Hospitation“ gleichgesetzt. Tatsächlich gibt es aber ein weites Spektrum verschiedener Methoden, die zu diesem Zweck eingesetzt werden können. Auch hier kann die kollaborative Funktion mit einer bewertenden Funktion kombiniert werden. Im Englischen hat sich für Peer Review auf der Mikroebene im Bildungsbereich der Ausdruck „Peer Review of Teaching“ etabliert. Da es hier um eine zentrale Dimension der Leistungserbringung von Bildungseinrichtungen geht, das tatsächliche Lehr- und Lerngeschehen, wird diesem Thema weiter unten noch ein Kapitel gewidmet. Weiters soll auch im analytischen Teil dargestellt werden, wie Peer Review auf der individuellen Ebene mit Peer Review auf der organisationalen Ebene verknüpft werden kann. Nicht Thema dieser Arbeit, aber doch erwähnenswert, ist der Einsatz von Peer Reviews in der Bewertung der Leistungen von Studierenden – also die Beurteilung von Studierenden durch Studierende. Dies wird hauptsächlich im angelsächsischen Raum an Colleges und Universitäten vor allem in Fächern wie „(Creative) Writing“ bzw. generell für die Beurteilung von Aufsätzen und Seminararbeiten eingesetzt. Hier wird Peer Review als pädagogisches Instrument verstanden, das gemeinsames Lernen fördern und die Kompetenzen der Studierenden verbessern soll. Sowohl die Beurteilten als auch die Beurteilenden sollen davon profitieren: „While simply incorporating and practicing key lessons in their own work can bring great results, creating an atmosphere in which students are encouraged to evaluate the writing decisions made by others helps develop the critical thinking and editorial skills that translate into increased effectiveness in their own writing.“ (www.turnitin.com/static/products_services/peer:review.html; 10.6.2005) Peer Review umfasst für gewöhnlich auch Elemente von kollegialer Beratung und Unterstützung und gemeinsamen Lernens (im Englischen werden dafür Begriffe wie „peer learning“, „peer assistance“ und „peer counselling“ verwendet), v.a. in formativen Evaluierungen. Diese Funktion von Peer Reviews stellt auch einen besonderen Anreiz für die Anwendung des Verfahrens dar. Lernen von und durch Peers kann jedoch auch als eigenständige Maßnahme bestehen und erfreut sich zunehmender Beliebtheit auf allen oben genannten Ebenen. Auf der Ebene der SchülerInnen bzw. Studierenden wird „Peer Education” v.a. als Erziehung und Unterricht von Gleichaltrigen durch Gleichaltrige praktiziert23. Beratung und Unterstützung durch Peers kann auch ein zentrales Element von Personalentwicklungsmaßnahmen für Lehrende sein.

23 Vgl. auch oben „kollegiale Beratung“ in der Sozialarbeit.

64

3 Anwendungsbereiche von Peer Review

Auf der Meso- und Makroebene kann jedes Peer Review Programm auch seinen Schwerpunkt auf formative und entwicklungsorientierte Aspekte verschieben. Auch gibt es ja bereits Netzwerke und Verbünde zwischen Bildungseinrichtungen, die den Erfahrungsaustausch und das „Voneinander-Lernen“ zum Inhalt haben – nicht zuletzt wird dies auch auf europäischer Ebene durch die EUBildungsprogramme Sokrates und Leonardo da Vinci im Rahmen von Lernpartnerschaften oder gemeinsamen Entwicklungsprojekten gefördert. In weiterer Folge wird sich die Arbeit nun v.a. mit der Anwendung von Peer Reviews auf der institutionellen Ebene beschäftigen, wobei hier die Evaluierung von Teilen von Bildungseinrichtungen (wie z.B. einzelnen Fachbereichen) sowie einzelner spezieller Fragestellungen auch eingeschlossen sein sollen. Da Lehren und Lernen das „Kerngeschäft“ von Bildungseinrichtungen ist, werden auch Peer Reviews zwischen Lehrenden in die Analysen mit einbezogen werden. 3.3.2 Peer Review in verschiedenen Bildungssektoren Ausgehend vom Hochschulbereich, wo Peer Review sowohl in der Forschung als auch als dreistufiges Verfahren (bzw. eine Variante davon) für die Qualitätssicherung auf der institutionellen Ebene zur Anwendung kommt, wird das Verfahren gegenwärtig auch in anderen Bildungssektoren pilotiert: So finden sich Peer Reviews auch in der Sekundarstufe, in Einzelfällen, wie z.B. im Berner „Intensivprojekt Schule“ sogar im Primarbereich und im Kindergarten. Eine Darstellung und Analyse der verschiedenen Peer-Review-Modelle in der Sekundarstufe bzw. in der beruflichen Erstausbildung wird in Kapitel 6 und 7 vorgenommen. Peer Review kann aber auch in der Erwachsenenbildung/Weiterbildung verwendet werden, auch wenn es dort noch nicht verbreitet ist. Ein Beispiel sind die Peer-Review-Evaluationen, die vom Deutschen Institut für Erwachsenenbildung (DIE) in Weiterbildungseinrichtungen durchgeführt werden. Das Procedere ist an das dreistufige universitäre Verfahren angelehnt: Zunächst wird gemeinsam vereinbart, was das Ziel und was der Gegenstand der Evaluation ist und wie das Verfahren geregelt ist. Daraufhin wird ein Evaluationskontrakt geschlossen, der Kosten, Zeiten, Pflichten und Arbeitsformen beschreibt. Seitens des DIE wird eine fachkundige Evaluationskommission berufen. In einem weiteren Schritt stellt die Organisation der Evaluationskommission eine Reihe von Daten und Dokumenten zur Verfügung: Satzung, formulierte Ziele, Programme, Statistiken, Haushaltspläne, Organigramm etc.

3.3 Anwendung von Peer Review im Bildungsbereich

65

Auf der Grundlage der Dokumentenanalyse erstellt die Kommission einen Statusbericht und kristallisiert Fragen an die Organisation heraus. Diese werden von der Einrichtung schriftlich beantwortet. Sie erhält damit einen Anstoß zur Selbstevaluation zu Themen, die von außen als relevant angesehen werden. Bei einer Begehung der Einrichtung werden offene Fragen mit den Mitarbeiter/innen und der Leitung besprochen. Die Einrichtung erhält damit einen Bewertungsbericht mit Entwicklungsempfehlungen. Diese werden mit der Einrichtung abschließend kommuniziert. (Hartz/Meisel 2004, 48f.)

4 Peer Review of Teaching

„Peer Review of Teaching“ ist v.a. an Hochschulen im angelsächsischen Raum (USA, Australien, England) verbreitet. Um es abzugrenzen von dem, was im Deutschen unter „Peer Review der Lehre“, verstanden wird, nämlich die organisationsbezogene Evaluation der Lehre im Hochschulbereich, wird der Begriff mit „Peer Review des Unterrichts“ übersetzt. Diese Art des Peer Reviews setzt für gewöhnlich auf der individuellen Ebene an, d.h. Einzelpersonen und nicht Organisationen oder Teile von Organisationen werden evaluiert. Theoretisch könnte der Begriff „Peer Review of Teaching“ auch im deutschen Sinne als Evaluation der Lehre einer Organisationseinheit24 verwendet werden, diese Bedeutung hat er umfangreichen Recherchen zufolge im aktuellen englischen Sprachgebrauch aber eher nicht: In den Evaluationsprogrammen, die sich „Peer Review of Teaching“ nennen, geht es nicht um die Evaluation von Institutionen oder Studienprogrammen, sondern dezidiert um Personalevaluation. Peer Review des Unterrichts soll daher im Rahmen der folgenden Ausführungen als eine Form der Evaluation individueller Lehrtätigkeit verstanden werden. Es setzt direkt an der zentralen Leistungserbringung von Bildungseinrichtungen an, im „Kerngeschäft“ des Unterrichtens: Lehrende untersuchen und evaluieren die Unterrichtstätigkeit von KollegInnen. 4.1 Entstehung und Zielsetzungen von „Peer Review of Teaching“ „Peer Review of Teaching“ entstand an Hochschulen im angloamerikanischen Raum als Pendant zum Forschungs-Peer-Review. Ausgangssituation war die Sorge um die Gewährleistung der Qualität der Lehre. Dieser war im angelsächsischen Bildungswesen aufgrund des stärkeren Wettbewerbs zwischen den Universitäten und der größeren Marktmacht der „KonsumentInnen“, also der (zahlenden) Studierenden, traditionell mehr Aufmerksamkeit gewidmet worden als an kontinentaleuropäischen Universitäten. Trotzdem herrschte eine gewisse Unzufriedenheit mit der universitären Lehre sowie der Art, wie Lehrende evaluiert

24 Eine Analyse von Lehre bzw. Unterricht als Gegenstand eines institutionellen Peer Review findet sich in Kapitel 7. Peer Review der Lehre wird auch in den beiden Fallbeispielen zur Peer Review auf Organisationsebene im Hochschulbereich dargestellt (Kapitel 5).

68

4 Peer Review of Teaching

wurden. Ziel war es, sowohl die Qualität des Unterrichts an Universitäten zu heben als auch die Evaluierungsmethoden zu verbessern. Vor diesem Hintergrund entwickelten verschiedene Universitäten einzeln oder im Verbund „Peer Review of Teaching“ als neues Evaluierungsverfahren, von dem man sich positive Effekte sowohl in Hinsicht auf die Entwicklung der Unterrichtspraxis als auch in Hinsicht auf adäquatere und verlässlichere Evaluierungen versprach. Ein bekanntes Projekt ist „From Idea to Prototype: The Peer Review of Teaching“, das von der American Association for Higher Education (AAHE) in den 1990er Jahren als nationales Kooperationsprojekt mit einer Reihe von Universitäten für ausgewählte akademische Disziplinen durchgeführt wurde. Das Ziel des Projekts wurde folgendermaßen umrissen: „ [...] [S]haping strategies for peer collaboration and review that are intellectually rigorous, appropriate to their disciplines, and practically useful in improving the quality of teaching and learning“25. Wenn es um die Anhebung der Qualität der Lehre geht, ist die Bedeutung, die der Lehre im wissenschaftlichen Bereich zugemessen wird, ein wichtiger Anreizfaktor. Für gewöhnlich steht das Ansehen der Lehrtätigkeit weit hinter dem der Forschung zurück, das wissenschaftliche Personal an Universitäten konzentriert sich daher auf die Forschungstätigkeit und sieht die Lehre als Nebenschauplatz, der kaum Relevanz für die eigene Karriere hat. Ein Ansatz zur Förderung der Qualitätsbemühungen in der Lehre ist daher, die Unterrichtstätigkeit an Universitäten als wichtigen Teil akademisch-wissenschaftlicher Betätigung der Forschung gleich zu stellen. Neben der Forschungsleistung sollte auch ein „scholarship of teaching“ unter den UniversitätslehrerInnen gefördert werden, Evaluierungen der Unterrichtstätigkeit ebenso für Personalentscheidungen herangezogen werden wie Bewertungen der Forschungstätigkeit. Weiters ist der Austausch zwischen Lehrenden und der Aufbau von pädagogischer Kompetenz in den akademischen Disziplinen unabdingbar für eine Weiterentwicklung der Lehre. Während Kooperationen und wissenschaftlicher Austausch (im Rahmen von Veranstaltungen oder durch Publikationen) im Forschungsbereich Tradition haben, gilt dies für die Lehre nicht. Im Gegenteil, Lehrende (nicht nur an Hochschulen, s.u. Kapitel 8.3) sind, was ihre Unterrichtstätigkeit betrifft, autonom, gleichzeitig aber auch isoliert. Auch dies behindert die Ausbildung eines „scholarship of teaching“ und eine offene Auseinandersetzung mit der Qualität der Lehre (vgl. Chism 1999, 6).

25 http://www.aahe.org/teaching/Peer_Review.htm, 4.10.2004.

4.1 Entstehung und Zielsetzungen von „Peer Review of Teaching“

69

Schließlich geht es darum, analog zum Forschungsbereich eine professionelle Selbstregulierung der Gemeinschaft der Lehrenden26 einzuführen. Dazu bedarf es einerseits eines steigenden Interesses seitens der HochschullehrerInnen, andererseits aber auch geeigneter Verfahren und Strukturen. Evaluierungen der Lehrenden mittels Fragebogenerhebungen zu Lehrangeboten bei den Studierenden („student ratings“) sind im angloamerikanischen Raum bereits seit langem gebräuchlich, aufgrund mangelnder Validität und Reliabilität werden sie als alleinige Quelle für Bewertungen jedoch als nicht ausreichend erachtet27. Studierendenfeedback gibt nur die Einschätzungen einer Gruppe von Beteiligten wider, deren Ziele und Werthaltungen nicht unbedingt denen der Bildungseinrichtung oder denen der Lehrenden entsprechen müssen28. Weiters können Studierende zwar das Verhalten der Lehrenden im Unterricht beurteilen, nicht jedoch, ob die Lehrveranstaltung die aktuellen Forschungsergebnisse aufgreift oder die im jeweiligen Fachgebiet anerkannten Lehrmethoden einsetzt. Um der Komplexität der Lehre gerecht zu werden, bedarf es daher – wie in jeder Evaluierung – multiperspektivischer Verfahren, die auf verschiedenen Methoden basieren. Peer Review der Lehrenden kann also als Ergänzung zu anderen Formen der Evaluierung von Lehrenden (Selbstevaluierung, Evaluierung durch Studierende, Evaluierung durch Vorgesetzte) eingesetzt werden, um durch Triangulation faire und aussagekräftige Bewertungsergebnisse zu gewährleisten. Ähnlich wie in der Forschung können bestimmte Fragen, wie z.B. die Aktualität und die Angemessenheit von Lehrveranstaltungsinhalten und Lehrunterlagen, nur von KollegInnen aus demselben Fach adäquat beurteilt werden. Zusätzlich erfordert Peer Review eine Auseinandersetzung der akademischen Disziplinen mit der Güte der Lehre, damit werden sowohl Qualitätsstandards gehoben als auch Transparenz erzeugt. Peer Review als inhärent akademisches Evaluierungsverfahren verweist auf die steigende Bedeutung der Lehre im Hochschulbereich. Es öffnet nicht nur die Seminarräume, Labors etc. für externe Beobachtung und Bewertung sondern erzeugt auch Austausch zwischen den Lehrenden und fördert die Ausbildung eines professionellen Selbstbewusstseins in Bezug auf die Lehre. Hutchings (1994) fasst die Argumente für die Einführung von Peer Reviews folgendermaßen zusammen:

26 Im Englischen wird auch von der Lehre als „community property“ gesprochen (vgl. Hutchings 1994). 27 Die gleiche Diskussion in Zusammenhang mit Studierendenevaluierungen ist auch in Europa zu beobachten. (vgl. z.B. Kromrey 2001) 28 So können Studierende anspruchslose Lehrveranstaltungen und leichte Prüfungen als gut beurteilen, weil sie mit einem geringen Lernaufwand verbunden sind, aus einer anderen Perspektive sind dies keine Gütekriterien.

70

4 Peer Review of Teaching Student evaluations of teaching, though essential, are not enough; there are substantive aspects of teaching that only faculty can judge. Teaching entails learning from experience, a process that is difficult to pursue alone. Collaboration among faculty is essential to educational improvement. The regard of one's peers is highly valued in academe; teaching will be considered a worthy scholarly endeavour -- one to which large numbers of faculty will devote time and energy -- only when it is reviewed by peers. Peer review puts faculty in charge of the quality of their work as teachers; as such, it's an urgently needed alternative to more bureaucratic forms of accountability that otherwise will be imposed from outside academe. “ (Hutchings 1994)

Gleichzeitig gibt es z.B. in den Vereinigten Staaten bereits seit den 80er Jahren auch Versuche, Peer Review im Schulbereich einzusetzen. Auch in diesem Fall geht es sowohl um die Verbesserung der Qualität des Unterrichts, als auch um neue und adäquatere Evaluierungsformen sowie um Verantwortungsübernahme durch die Lehrenden und die Professionalisierung des Berufsstands. Ein bekanntes, von den Gewerkschaften in Kooperation mit den Schuldistrikten getragenes Projekt wird weiter unten als Fallbeispiel beschrieben. 4.2 Verwendungsformen und Funktionen des „Peer Review of Teaching“ Peer Review des Unterrichts von Lehrenden kann als eigenes Programm oder Projekt an einer Institution bestehen oder, wenn es institutionelle Reviews gibt, in diese integriert werden. In letzterem Fall werden Peer Reviews der Lehrenden während der Selbstevaluierungsphase durchgeführt (vgl. das Fallbeispiel der Academic Review an Universitäten in England in Kapitel 5 und die Fallbeispiele 2, 7 und 9 in Kapitel 6). Die aggregierten und anonymisierten Ergebnisse dieser individuellen Reviews können dann auch als wertvolle Informationsquelle für die Qualität des Unterrichts in den institutionellen Selbstbericht inkludiert werden bzw. können als zusätzliche Dokumentation der Bemühungen der Bildungseinrichtung in diesem Bereich dienen. Peer Review des Unterrichts wird üblicherweise über einen längeren Zeitraum hinweg durchgeführt, meist dauern die Programme ein Semester oder auch länger. Eine längere Zeitspanne erscheint erforderlich um eine verlässliche und valide Datenbasis für eine Bewertung sicherzustellen. Momentaufnahmen des Unterrichtsgeschehens sind dafür nicht geeignet, es bedarf einer längeren Auseinandersetzung und Beobachtung. Sollen Peer Reviews des Unterrichts Entwicklung fördern, braucht es zudem Zeit für Unterstützung und Beratung, um nachhaltige Lerneffekte sicherzustellen. Chism grenzt Peer Review klar von sporadischen Unterrichtsbesuchen ab, wie sie bei Neueinstellungen oder vor Personal-

4.2 Verwendungsformen und Funktionen des „Peer Review of Teaching“

71

entscheidungen vorgenommen werden: „Richtiges“ Peer Review bedeutet „informed peer judgements about faculty teaching for either improvement of judgement purposes“ (Chism 1998, xi). Diese Beurteilungen müssen sich auf eine Erhebung und Analyse von Daten stützen. Review kann als formative oder als summative Evaluierung durchgeführt werden. In formativen Peer Reviews steht der Beratungs- und Unterstützungseffekt stärker im Vordergrund, der/die Peer ist meist eine erfahrene Lehrkraft, die Reputation und Ansehen genießt. Zwischen der/dem Evaluierten und der/dem Peer kann sich eine Mentor-Mentee-Beziehung entwickeln, das Peer Review nimmt dann Aspekte von Supervision an. Formative Peer Reviews können aber auch von Lehrenden mit gleicher Erfahrung durchgeführt werden, sie sind dann eher symmetrisch und auf gemeinsames bzw. gegenseitiges Lernen angelegt. Damit ist der Übergang von Peer Review zu Formen der kollegialen Beratung, wie sie auch in Kontinentaleuropa v.a. aus dem schulischen Bereich bekannt sind, fließend. Formative Peer Reviews stellen damit ein wichtiges Element der Personalentwicklung dar. Zu den eher formativen Peer Reviews gehören auch Programme, die der Einführung und Unterstützung von Lehrenden während ihrer ersten Zeit im Beruf dienen („induction programs“, vgl. auch unten Kapitel 4.4.1)29. Diese zielen aber letztlich oft darauf ab, Entscheidungen bezüglich der Weiterbeschäftigung bzw. Übernahme von Lehrenden vorzubereiten, d.h. auch summative Bewertungen abzugeben. Summative Peer Reviews werden oft für Personalentscheidungen verwendet, sei es bei der Übernahme von LehrerInnen nach der Einführungsphase, sei es bei Entscheidungen über Beförderung oder Definitiv-Stellung („tenure“). Summative Peer Reviews können in einem zweistufigen Verfahren auf vorangehende formative Evaluierungen aufbauen, d.h. die Ergebnisse eines formativen Reviews werden mit berücksichtigt. Aus Gründen der Fairness und um den Unterstützungs- und Entwicklungscharakter formativer Peer Reviews nicht zu hintertreiben, werden diese zwei Stufen oft personell getrennt, d.h. das formative Review wird von anderen Personen durchgeführt als das summative. Für eine angemessene Evaluierung des Unterrichts bedarf es einer Triangulation von Daten des/der Lehrenden, die/der evaluiert wird (Daten der Selbstevaluation), von Rückmeldungen der Studierenden, sowie von FachkollegInnen, d.h. Peers30.

29 An den österreichischen Universitäten gibt es derartiges meiner Kenntnis nach nicht, im Schulbereich wäre es vergleichbar mit dem österreichischen Unterrichtspraktikum oder dem deutschen Referendariat. 30 Vgl. Chism 1998, xi: „Consensus exists among experts that effective evaluation of teaching requires some combination of evidence from the person whose teaching is being evaluated, from that person’s students, and from professional colleagues.”

72

4 Peer Review of Teaching

Schlussfolgerungen und Empfehlungen aus summativen Peer Reviews sind daher meist nur eine Quelle, wenn auch oft eine sehr einflussreiche, für Entscheidungen in Personalangelegenheiten. Peers können interne oder externe Personen sein, je nach Ziel und Funktion des Reviews, sie können frei wählbar sein (tendenziell bei formativen Peer Reviews) oder von vorgesetzten Stellen vorgegeben werden (eher bei summativen Reviews). Sowohl bei formativen als auch bei summativen Reviews spielen die Expertise und die Reputation der evaluierenden Person(en) eine wichtige Rolle: etwa wenn Lehrende von einer/einem Peer etwas lernen wollen oder wenn Gutachten für Personalevaluierungen Gewicht haben sollen. Oft werden Peer Reviews zwischen zwei Personen durchgeführt, es sind aber auch mehrere Peers möglich. Die Peer Reviews können reziprok sein oder nur in eine Richtung gehen. Generell werden Peer Review Programme zur Beratung und Unterstützung von Lehrenden besser angenommen als Peer Reviews mit summativer Bewertungsfunktion. Es gilt nach wie vor als kontrovers, wenn KollegInnen einander beurteilen. 4.3 Methoden des „Peer Review of Teaching“ Die Methode, die meist mit Peer Review des Unterrichts assoziiert wird, ist die Unterrichtsbeobachtung, die in einer offenen, meist nicht-teilnehmenden Form durchgeführt wird. Im Deutschen ist auch der Terminus “kollegiales Hospitieren“ gebräuchlich. In den Peer Review of Teaching Programmen ist die Unterrichtsbeoachtung allerdings nur eine Methode von vielen. Aus Gründen der Objektivität, Validität und Fairness wird sie meist über einen längeren Zeitraum hinweg angewandt. Beobachtungen sind insofern wertvoll, als sie direkte Informationen über tatsächliches Verhalten geben. Sollen Unterrichtsbeobachtungen Ergebnisse erbringen, die über allgemeine, spontane und subjektive Rückmeldungen hinausgehen, müssen sie jedoch sorgfältig vorbereitet werden und erfordern sowohl Erfahrung und spezielle Fähigkeiten als auch ein Vertrauensverhältnis zwischen der evaluierten Person und der/dem Peer. Es muss ein strukturiertes Verfahren vereinbart werden, um gezielt bestimmte Elemente beobachten und bewerten zu können. Unterrichtshospitationen können auch auf gegenseitiger Basis durchgeführt werden. Andere an Universitäten im angelsächsischen Raum verbreitete Methoden umfassen das Erstellen von „Teaching Portfolios“31, die gemeinsame Entwick-

31 „Teaching Portfolios“ liefern eine umfassende Dokumentation zur Unterrichtstätigkeit individueller Lehrender. Sie können sich auf eine bestimmte Lehrveranstaltung beziehen oder auf die gesamte

4.4 Fallstudien

73

lung von Kursen, externe Bewertung von Kursinhalten, Interviews mit Studierenden, gegenseitiges Mentoring, pädagogische Qualitätszirkel, eine „teaching library“ (Sammlung von schriftlichen Lehrveranstaltungsplanungen (Syllabi), Unterrichtsmaterialien, Prüfungen und Tests, Projekte von Studierenden etc.) u.ä.m. 4.4 Fallstudien 4.4.1 “Peer Assistance and Review Programs” an U.S. Schulen Peer Review unter LehrerInnen wird in den Vereinigten Staaten in einigen Schulbezirken (school districts) bereits seit den 1980er Jahren auf der Ebene der Primar- und Sekundarstufen praktiziert.32 Die Programme, die vor allem als „Peer Assistance and Review Programs“ (PAR) bekannt sind, werden zwischen der Schulverwaltung und der LehrerInnengewerkschaft auf Bezirksebene ausverhandelt und gemeinsam umgesetzt. Sie dienen v.a. als Programme zur Einführung von JunglehrerInnen und als Verfahren zur Bewertung und Verbesserung der Kompetenzen von LehrerInnen. Ausgangspunkt für die Einführung dieser Programme war das Anliegen, die Qualität des Unterrichts zu steigern, indem die Erweiterung der Unterrichtskompetenzen der LehrerInnen gefördert wird (vgl. AFT/NEA 1998, 6). Im Besonderen sollte auch dem Mangel an einer institutionalisierten fachlichen Betreuung von JunglehrerInnen in der Eingangsphase zum Beruf abgeholfen werden. „Peer Review“ und „Peer Assistance“ werden als zwei getrennte Komponenten gesehen. Während jedoch „Peer Assistance“ auch alleine bestehen kann,

Unterrichtstätigkeit einer Person. „Teaching Portfolios“ werden auch für formative oder summative Personalevaluierungen herangezogen. Potfolios beinhalten schriftliche Lehrveranstaltungsvorbereitungen und -planungen (Syllabi), Aufgaben und Prüfungen für die Studierenden, erstellte Materialien, Arbeiten der Studierenden, Evaluierungen von Studierenden und Peers. Oft umfassen Teaching Portfolios auch eine Stellungsnahme der/des Lehrenden zu ihren/seinen Werten und Überzeugungen als LehrerIn, ihren/seinen pädagogischen Zielsetzungen und Methoden. Portfolios können auch die Kompetenzentwicklung von Lehrenden dokumentieren. 32 „Toledo Plan“ (erstellt 1981); Folgende weitere Schulbezirke haben “Peer Assistance and Review” Programme eingeführt: Cincinnati; Cleveland; Columbus, Ohio; Rochester, NY; New York City; Minneapolis; Pittsburgh and Philadelphia; Kalifornien, wo seit 2000 ein Gesetz zu „peer assistance and review“ in Kraft ist, stellt zusätzliche Gelder für Schulbezirke zur Verfügung, die Peer Review Programme aushandeln. Wenn nicht anders angeben, beziehe ich mich im Folgenden auf das Handbuch zu „Peer Assistance and Review“ der American Federation of Teachers und der National Education Association (AFT/NEA 1998).

74

4 Peer Review of Teaching

sind die Gewerkschaften davon überzeugt, dass Elemente der Unterstützung und Beratung für Peer-Review-Programme unverzichtbar sind: „[P]eer review without intensive peer assistance for the teachers in the program does not represent sound educational policy" (AFT/NEA 1998, 3). Es ist v.a. der ReviewAspekt der nach wie vor umstritten ist, auch wenn die Programme vor allem unterstützend wirken: „While much [public] attention has focused on the idea of teachers helping to dismiss incompetent colleagues, most programs devote more time and resources to mentoring new teachers“ (Hertling 1999). Zielgruppe der Programme sind vor allem „neue“ LehrerInnen (LehrerInnen in ihrem ersten Unterrichtsjahr bzw. LehrerInnen, die im Schulsystem neu sind) sowie LehrerInnen, die Probleme im/mit dem Unterrichten haben  „veteran teachers experiencing serious problems with their teaching who have been referred into the program for 'intervention' through a carefully safeguarded process“ (AFT/NEA 1998, F12). Probleme im Unterricht beziehen sich v.a. auf mangelnde pädagogische Kompetenzen, auf Probleme im Umgang mit den SchülerInnen, fehlende Fachkenntnisse und dergleichen. Persönliche Probleme von LehrerInnen oder Drogenprobleme sind nicht Gegenstand der Programme. LehrerInnen, die schon länger im Schuldienst sind, können sich auch freiwillig für das Unterstützungsprogramm melden  in diesem Fall kommt es jedoch nicht zu einem Review, d.h. einer abschließenden Bewertung. Die Programmteilnahme ist für ein Jahr angesetzt, da dann die Entscheidung über eine Weiterbeschäftigung fällt. In Ausnahmefällen können auch längere Betreuungszeiträume vereinbart werden. Die Peers, die BeratungslehrerInnen („consulting teachers“) genannt werden sind sehr erfahrene LehrerInnen mit fünf bis zehn Jahren Unterrichtserfahrung. Sie werden durch ein strenges Auswahlverfahren bestimmt. Im „N.Y. City Peer Review Program“ z.B. umfassen die Anforderungen an Peers die folgenden Qualifikationen: - minimum of 10 years’ experience under regular appointment in the New York City school system, including at least five years of classroom teaching; - demonstrated outstanding classroom teaching ability; - demonstrated knowledge of, and successful experience with, adult learners; - exemplary knowledge and evidence of creativity and initiative with respect to curriculum content, materials and methods; - knowledge of current research in educational methodology and the change process; - demonstrated ability in oral and written communication; and - background demonstrating ongoing use of effective interpersonal skills. (AFT/NEA 1998, 11f.)

4.4 Fallstudien

75

Die BeratungslehrerInnen können aus der gleichen Schule kommen wie die „teilnehmende Lehrkraft“, können aber auch aus einer anderen Schule oder einem anderen Schulbezirk stammen. Den TeilnehmerInnen werden BeratungslehrerInnen unter Berücksichtigung des Unterrichtsfaches bzw. aufgrund fallspezifischer Anforderungen zugeteilt. Die Position einer Beratungslehrerin/ eines Beratungslehrers ist eine Vollzeitstelle, eine/ein Peer betreut für gewöhnlich mehrere TeilnehmerInnen. Die Funktion der BeratungslehrerInnen ist jedoch zeitlich limitiert, die LehrerInnen kehren nach dem Auslaufen ihrer Zeit zu ihrer ehemaligen Stelle zurück. Für die Bewerbung um Posten im höheren Verwaltungsdienst gilt eine einjährige Wartefrist. Damit soll sichergestellt werden, dass die BeratungslehrerInnen tatsächlich Peers, d.h. FachkollegInnen sind. Eine Vielfalt an Methoden kann in den „Peer Assistance and Review“ Programmen zum Einsatz kommen, in der Regel wird der/dem TeilnehmerIn auf jeden Fall persönliche Beratung angeboten. Auch Hospitationen sind Teil des Programms. Im PAR Programm in Columbus, Ohio, z.B. müssen BeratungslehrerInnen mindestens zwanzig Unterrichtsbesuche pro TeilnehmerIn machen und mit den einzelnen TeilnehmerInnen eine genaue Zielbestimmung vornehmen (vgl. Hertling 1999). Am Ende des Jahres übermittelt die Beratungslehrerin / der Beratungslehrer eine offizielle Empfehlung für oder gegen eine Vertragsverlängerung an die örtliche Gewerkschaftsvertretung und die Verwaltung des Schulbezirks. Diese geben ihrerseits der Bezirksverwaltung eine Empfehlung ab über eine Beendigung oder eine Fortführung der Beschäftigung. Die Bezirksverwaltung trifft dann letztendlich gemeinsam mit dem Bezirksschulrat („board of education“) die Entscheidung, wobei den Empfehlungen aus dem Peer Review Programm in den meisten Fällen Folge geleistet wird. Die örtliche Vertretung der LehrerInnengewerkschaft ist dafür verantwortlich, dass das Peer-Review-Verfahren in allen Aspekten angemessen und den teilnehmenden LehrerInnen gegenüber fair ist. 4.4.2 “Peer review of teaching” an der University of Wisconsin-Madison33 An der University of Wisconsin-Madison wird Peer Review of Teaching als Teilnahme von KollegInnen an der Entwicklung und/oder Evaluation der eigenen Unterrichtstätigkeit definiert („participation of colleagues in the develop-

33 Dieses Beispiel wurde ausgewählt, weil es als Referenz für viele andere derartige Programme an Universitäten in den USA, England und Australien gelten kann (vgl. vielfältige Bezugnahmen von im Internet dargestellten Peer Review Programmen). Wenn nicht anders angegeben, beziehe ich mich im Folgenden auf Informationen, die unter http://www.provost.wisc.edu/archives/ccae/MOO/index.html, 2.11.2005 zu finden sind.

76

4 Peer Review of Teaching

ment and/or evaluation of one’s teaching activities“). Peer Reviews werden sowohl zu formativen als auch zu summativen Zwecken durchgeführt. AdressatInnen der formativen Reviews sind die Lehrenden selbst. Die Ergebnisse von summativen Reviews werden einem weiteren Kreis an Personen zugänglich gemacht. Peer Reviews werden als eine Möglichkeit gesehen, Information über die Qualität des Unterrichts zu gewinnen. Um ein möglichst vollständiges Bild zu erhalten, sollten Peer Reviews durch andere vorhandene Daten ergänzt werden, z.B. durch Studierendenbefragungen (Fragebögen, persönliche Interviews), Interviews mit AbgängerInnen, Auswertung der Leistungen von Studierenden etc. Die Universität schreibt kein spezifisches Modell oder Verfahren vor. Stattdessen wird empfohlen, dass es „so viele verschiedene Peer Review of Teaching Programme geben sollte wie es Institute an der Universität of WisconsinMadison gibt, oder vielleicht auch mehr“34. Peer Review soll immer den besonderen Gegebenheiten und Anforderungen der Institute angepasst werden. Die Universität hat eine Methode für die Konzeption, Planung und Implementierung von Peer Review erarbeitet, die es den einzelnen Abteilungen erlauben soll, für ihre Bedürfnisse maßgeschneiderte Peer Reviews zu schaffen. Peer Reviews gehen meist von den Instituten aus. Grundsätzliche Überlegungen, die ein Institut anstellen sollte, bevor es ein Peer-Review-Programm einführt, sind einerseits, welchen Informations- und Entwicklungsbedarf es gibt, wer diese Informationen bekommen soll und was mit ihnen geschehen soll, andererseits, ob ein Peer Review für die spezifischen Zielsetzung eine geeignete Evaluationsmethode ist bzw. welche anderen Methoden zusätzlich angewandt werden müssen. Auch die Einstellung der Beteiligten zu Peer Review und mögliche Hindernisse müssen geklärt werden. Peers werden definiert als „persons who engage in the same or similar kinds of educational activities, persons who share content expertise, or persons who bring relevant specialized skills to the task of peer review“ (http://www.provost. wisc.edu/archives/ccae/ MOO/definitions.html, 2.11.2005 ). Sie können extern oder intern rekrutiert werden. Da die einzelne Universitätslehrerin / der einzelne Universitätslehrer die Hauptperson im ganzen Prozess ist, soll sie/er eine Rolle bei der Auswahl der Peer/des Peers spielen, z.B. indem sie/er mögliche ReviewerInnen vorschlägt. Je nach Ziel und Zweck des jeweiligen Peer Review können die Kriterien für die Auswahl der Peers differieren:

34 „There are probably as many kinds of peer review of teaching programs possible as there are departments at UW-Madison (or maybe more).“ (http://www.provost.wisc.edu/archives/ccae/MOO/design.html, 2.11.2005)

4.4 Fallstudien

77

An important consideration in selecting a reviewer is the purpose of the review. If an individual is seeking to use the review to improve teaching, the status of the reviewer with regard to professorial rank and membership in the same department may not be important. A review focused on assessment of content requires an expert in the same discipline. One focused on effectiveness of teaching methodology requires a reviewer with experience in employing those methods. If the purpose of the review is to provide evidence for a personnel decision, considerations that may be important in selecting reviewers include professorial rank, objectivity (reviewer outside the department, college, or perhaps, the institution), and credentials (recognized expert in the discipline or teaching methodology) (http://www.provost.wisc.edu/archives/ ccae/MOO/reviewer.html, 2.11.2005

Unabhängig von den angewandten Evaluierungsmethoden werden folgende Aktivitäten für jedes Review empfohlen: Dazu gehört eine dem Review vorausgehende Besprechung („pre-review meeting“) zwischen Peer und der zu evaluierenden Person, in der die spezifischen Ziele des Reviews geklärt werden, die zu untersuchenden Aspekte der Unterrichtstätigkeit näher definiert werden und die anzuwendenden Methoden vereinbart werden. Nach dem Review  oder in manchen Fällen auch mehrere Male während des Reviews  erhält die evaluierte Lehrperson ein Feedback. Wenn eine summative Evaluierung auf das formative Review folgen soll, wird eine andere Person als Peer für die Durchführung dieser zweiten Evaluierung bestellt. Die Peers werden für ihre Aufgabe geschult und vorbereitet. Peers werden Personalentwicklungsprogramme und verschiedene Lehr- und Lernmaterialien angeboten. Spezielle Workshops zu verschiedenen Aspekten des Reviews werden abgehalten, wie z.B. Interviewführung, konstruktives Feedback, Einbezug der evaluierten Kollegin / des evaluierten Kollegen in den Prozess etc., zusätzlich gibt es umfassende Informationen auf der Webseite der Universität. Ein Peer Review dauert für gewöhnlich ein Semester. Wie das Peer Review durchgeführt wird, ist abhängig von den Zielen des Reviews und den angewandten Methoden. Die University of Wisconsin führt ein weites Spektrum von Methoden an, die im Detail erklärt werden. Dazu gehören z.B.: gemeinsame Entwicklung von Lehrveranstaltungen, Lehrveranstaltungs-Portfolios, externe Evaluierung von Lehrveranstaltungsinhalten (durch eine Kollegin/einen Kollegen von einer anderen Universität), Interviews mit Studierenden über ihre Lernerfahrungen (eine Kollegin/ein Kollege spricht mit Studierenden über hemmende und fördernde Faktoren im Lernprozess), Interviews mit Studierenden über Lehrveranstaltungsinhalte (eine Kollegin/ein Kollege mit Fachkenntnissen spricht mit Studierenden über die Inhalte der Lehrveranstaltung), Mentoring, Unterrichtsbe-

78

4 Peer Review of Teaching

obachtungen, gegenseitige Hospitationen, Aktionsforschung zu aktuellen Lehrveranstaltungen, pädagogische Qualitätszirkel und Teaching Portfolios.

5 Peer Review auf Organisationsebene im Hochschulbereich

5.1 Vorläufer des modernen Peer-Review-Verfahrens35 Vorläufer des modernen Peer-Review-Verfahrens auf institutioneller Ebene finden sich bereits im Spätmittelalter und v.a. in der frühen Neuzeit bis ins 18. Jahrhundert. Gestützt auf die Ergebnisse historischer Hochschulforschung36 zeigt Kozar (1999) auf, dass es, „entgegen der Annahme, es handle sich dabei um etwas Neues aus den USA“ (Kozar 1999, 13) Hochschulevaluierungen in Form von „Visitationen“ bereits seit der Gründung von Hochschulen in Europa gegeben hatte.37 Diese Visitationen, die im Auftrag der jeweiligen Kostenträger – ab der frühen Neuzeit meist Landesfürsten oder Städte – als Ex-Post-Evaluierung durchgeführt wurden, gehen auf die seit der Spätantike belegten Kirchenvisitationen zurück. Es handelte sich dabei um Kontrollbesuche, die Missstände aufdecken und beseitigen helfen sollten. Kozar sieht in den Hochschulvisitationen „die historischen Wurzeln der heutigen Evaluierungen“ (Kozar 1999, 15). Zudem „weisen die damaligen Vorgangsweisen, Mittel und Ziele frappante Parallelen zur ‚modernen’ Methode des Peer Review auf“ (Kozar 1999, 15). Die Visitationen sind vor dem Hintergrund einer weitgehenden Autonomie der Universitäten, die die akademischen Freiheiten, das Satzungsrecht in den Statuten sowie eine Reihe weiterer Privilegien hatten und sich insofern der Kontrolle durch die jeweiligen Machthaber und Geldgeber weitgehend entzogen, zu sehen. Da die Landesherren jedoch ein nachvollziehbares Interesse an einer Überprüfung und Einflussnahme hatten, wurden Ex-Post-Kontrollen in Form von Visitationen periodisch vorgenommen. Die Universitäten kooperierten v.a. aufgrund der finanziellen Abhängigkeit und der Einsicht, dass sich daraus Pflichten

35 Die durchgängige Benutzung der männlichen Form in diesem Unterkapitel ist darauf zurückzuführen, dass davon auszugehen ist, dass die handelnden Personen tatsächlich ausschließlich männlich waren. 36 Kozar führt vor allem die Ergebnisse einer historischen Arbeit von Pill-Rademacher (1993) an. 37 In den folgenden Ausführungen stütze ich mich, so nicht anders angegeben, auf Kozar 1999, 14-35.

80

5 Peer Review auf Organisationsebene im Hochschulbereich

der Rechenschaft ableiteten, sowie aus praktischen Erwägungen, da sich im Rahmen solcher Visitationen die Möglichkeit bot, um höhere Zuwendungen anzusuchen und deren Notwendigkeit darzustellen. Ziel der Hochschulvisitationen war nicht nur die Überprüfung der Rechtgläubigkeit, sondern auch die Bewertung der wirtschaftlichen und finanziellen Verhältnisse sowie von organisatorischen und inhaltlichen Aspekte des Universitätsbetriebs einschließlich der Statuten und Satzungen. Es wurden allgemeine Rahmenbedingungen für die Lehre und Forschung geprüft wie Kost und Logis der Studenten, Ausstattung der Bibliothek, aber auch die Qualität der Privatlehrer und die Arbeitsmoral der Professoren in Bezug auf die Abhaltung von Vorlesungen. Spezifische fachliche und pädagogische Aspekte wurden aber ebenso bewertet, so die Disziplin, Inhalt und Form von Lehrveranstaltungen, der Praxisbezug (v.a. in den Fächern Theologie, Medizin und Jurisprudenz, die direkt berufsvorbereitend waren), die Zahl der Hörer sowie der Studienfortschritt. Die Visitationen erfolgten zusätzlich zu den internen Kontrollmechanismen der Universität. Die Visitatoren waren Experten, die die fachlich-inhaltliche Kompetenz zur Begutachtung der Universität aufwiesen und denen der Landesherr sein Vertrauen schenkte, nicht zuletzt weil sie oft in Abhängigkeitsverhältnissen zu ihm standen. Die Kommission aus drei bis fünf Experten setzte sich meist aus weltlichen und kirchlichen Deputierten zusammen. Oft waren die Visitatoren Absolventen der zur Überprüfung anstehenden Universität: Davon versprachen sich die Erhalter der Universität, dass die Kommissionsmitglieder mit den Interna der Universität so weit vertraut waren, dass kritische Punkte vor ihnen nicht verheimlicht werden konnten. Gleichzeitig bedeutete das aber, dass die Visitatoren als Alumni auch in einem Naheverhältnis zu der Universität standen und kein besonderes Interesse an allzu kritischen Ergebnissen des Kontrollbesuchs hatten. Die Arbeit der Visitatoren erfolgte also oft nicht in Unabhängigkeit und Unparteilichkeit sondern innerhalb eines mannigfaltigen Beziehungsgeflechts sowohl zum Auftraggeber der Visitation als auch zu der überprüften Universität. Der Ablauf einer Visitation war in etwa folgender: Erst erstellte die Universität eine Mängelliste mit Fragestellungen, die ihrer Meinung nach überprüft werden sollten. Die Kommissare forderten zusätzliche Informationen, Dokumente und Belege an und erstellten einen eigenen detaillierten Fragenkatalog, der als Grundlage für die Visitation diente und die oben genannten Inhalte umfassen konnte. Während des Besuchs wurden sämtliche Themen des Fragenkatalogs vor Ort geprüft. Neben einer Begehung schloss die Visitation Befragungen der Universitätsmitglieder sowie Gespräche mit Hörern ein. Bereits während des Besuchs konnten erste Maßnahmen zur Behebung von Missständen eingeleitet werden, die in schwerwiegenden Fällen auch sofortige Entlassungen bedeuten

5.1 Vorläufer des modernen Peer-Review-Verfahrens

81

konnten. Auch war es üblich, dass Universitätsangehörige von sich aus Verbesserungsvorschläge machten. Die Befunde aus den Visitationen wurden von den Kommissionsmitgliedern in einem Visitations-Rezess dargelegt. Das Verfahren war sehr aufwändig und verursachte hohe Kosten – auch für die Universitäten, die sich z.B. durch Geschenke und Gastmähler das Wohlwollen der Visitatoren sichern wollten. Auch war es nicht möglich, Visitationen immer in den gewünschten Abständen durchzuführen, und für den Erhalter blieb ein bestimmtes Ausmaß an Unkontrollierbarkeit. Der hauptsächliche Grund für die Einführung neuer Kontrollverfahren in der Zeit des aufgeklärten Absolutismus war jedoch der finanzielle Aufwand: Hochschul-Visitationen waren höchst aufwendig gestaltete Rituale. Mit all den Vorbereitungen, der auf Ausgewogenheit bedachten Bestellung der Deputierten, dem umfangreichen Schriftverkehr zwischen Kommission und Hochschule, den durchorganisierten Tagen vor Ort, den unzähligen Befragungen, Rückfragen, Vergewisserungen, der Erstellung des Rezesses, den folgenden Eingaben und Richtigstellungen durch die Universität, den Erlässen des Erhalters und den dadurch notwendig gewordenen Überprüfungen der Einhaltung eben dieser Erlässe – durch diese Fülle an Verfahrensschritten war das gesamte Visitationsgeschehen eine einzige, riesige Inszenierung, ein Spektakel geworden. (Kozar 1999, 25f.)

Im Laufe des 18. Jahrhunderts wurden die Kontrollverfahren zunehmend institutionalisiert und verbürokratisiert, ab dem 19. Jahrhundert war in den Ländern Kontinentaleuropas (in Großbritannien verlief die Entwicklung anders, ebenso in den Vereinigten Staaten) überall eine Ex-ante-Reglementierung des Hochschulwesens durch den Staat eingeführt worden. Dies ist auch im Zusammenhang mit der Entstehung der Nationalstaaten und der vorsorgenden Haltung des Staates gegenüber den Bürgerinnen im aufgeklärten Absolutismus zu sehen. Durch Gesetze, Vorschriften, Erlässe wurden alle hochschulischen Belange genau geregelt, die Universitätsangehörigen wurden Staatsangestellte, und die zuständige Behörde musste nur noch die Einhaltung der Vorschriften überprüfen, wozu es keines besonderen fachlich-inhaltlichen Wissens mehr bedurfte. Dieses System der Ex-ante-Kontrolle war in (Kontinental)Europa bis in die zweite Hälfte des 20. Jahrhunderts vorherrschend38. Es hatte neben der effizienten Handhabbarkeit

38 In Großbritannien verlief die Entwicklung anders. Erst ab dem 1. Weltkrieg übernahm der Staat die Finanzierung der als unabhängige Körperschaften konstituierten Universitäten. Ein University Grants Committee, das sich ca. zu zwei Drittel aus Hochschulangehörigen und zu etwa einem Drittel aus VertreterInnen von Staat und Wirtschaft zusammensetzte, war für die Mittelvergabe verantwortlich und fungierte als Pufferorganisation. Das University Grants Committee handelte mit der Regie-

82

5 Peer Review auf Organisationsebene im Hochschulbereich

auch andere Vorzüge, namentlich eine große Rechtssicherheit auf der Seite der AbnehmerInnen sowie eine hohe Einheitlichkeit und Vergleichbarkeit der Angebote von Standort zu Standort (vgl. Pechar 1993, 19). Erst mit der Bildungsexpansion in den 1970er Jahren kam Unzufriedenheit mit dieser Form der Qualitätssicherung auf. Pechar schrieb 1993: Der wichtigste Grund [für die zunehmende Bedeutung von Fragen der Evaluation] dafür liegt in den einschneidenden Veränderungen, die im Zuge der Hochschulexpansion im Verhältnis zwischen Universitäten und Gesellschaft eingetreten sind. Unter den veränderten Größenordnungen und der steigenden disziplinären Ausdifferenzierung versagen die traditionellen Formen der Qualitätssicherung. Auf Grund der wachsenden Ressourcen, die in das Hochschulsystem fließen, steigt zugleich der Druck auf die Universitäten, explizite Formen der Rechenschaftslegung gegenüber der Gesellschaft zu entwickeln. Die Forderung nach Entwicklung neuartiger Evaluationsverfahren wird somit innerhalb wie außerhalb der Hochschulen erhoben. (Pechar 1993, 17)

In den Vereinigten Staaten, wo die Entwicklung des Hochschulsektors im 19. Jahrhundert inhomogen und dezentralisiert verlief, entstand Anfang des 20. Jahrhunderts ein Bedarf nach einheitlichen Mindeststandards, die durch Akkreditierungsverfahren gewährleistet werden sollten39. Die Akkreditierung von Hochschuleinrichtungen ist bis heute ein wichtiges Element der Qualitätssicherung in den Vereinigten Staaten. Während die einzelnen Universitäten und Colleges weiterhin selbst für die Qualitätssicherung verantwortlich waren, wurde mittels Akkreditierung überprüft, ob die Einrichtungen dieser Verpflichtung nachkamen und ob bestimmte Vorgaben erfüllt wurden. Verschiedene Akkreditierungsvereinigungen (regional, fachspezifisch) entstanden, die sich unter dem Dachverband des Council for Postsecondary Accreditation zusammenschlossen. Die Akkreditierung erfolgt auf freiwilliger Basis, jedoch bringt eine Nicht-Akkreditierung deutliche Wettbewerbsnachteile mit sich. Das Verfahren, das zur Akkreditierung führte, bediente und bedient sich einer Methode, die Elemente des Peer Reviews aufweist: In einem zweistufigen Verfahren erstellte die Hochschuleinrichtung erst eine detaillierte Selbstbeschreibung (Self-Study), darauf folgte dann eine Begutachtung durch Angehörige des Dachverbandes.

rung das Gesamtbudget aus und verteilte es ohne Auflagen und Zweckbindungen an die Universitäten, sodass diese bis in die 80er Jahre, als es zu Kürzungen kam und das System neu verhandelt wurde (auch unter dem Druck der konservativen Thatcher-Regierung), relativ eigenverantwortlich und ohne externe Kontrolle agieren konnten (vgl. Pechar 1993, 23f.). 39 Vgl. z.B. Pechar 1993, 27–29.

5.2 Peer Review als Element der Qualitätssicherung von Universitäten

83

5.2 Peer Review als Element der Qualitätssicherung von Universitäten Als in den 80er Jahren nach neuen Methoden der Qualitätssicherung an Universitäten und anderen tertiären Einrichtungen gesucht wurde, das den veränderten Bedingungen im tertiären Sektor gerecht werden könnte, bot sich das PeerReview-Verfahren an, das eine Form der Selbstkontrolle der wissenschaftlichen Gemeinschaft darstellt. Eine Vorreiterrolle bei der Implementierung neuer Qualitätssysteme im Hochschulbereich kam vor allem den Niederlanden und Großbritannien zu, wo die Universitäten über die Rektorenkonferenzen Verantwortung für eine systematische, externe Evaluierung übernahmen. In Großbritannien wurden Vergleiche der Forschungsleistung zwischen Universitäten auf institutioneller Ebene bereits Mitte der 80er Jahre eingeführt, Ende der 80er Jahre folgten dann Evaluierungen der Lehre, die zuerst als Meta-Evaluation durchgeführt wurden, mittlerweile aber auch tatsächlich die Lehre selbst bewerten (Institutionelle Evaluierung vs. Subject Review s.u.). In den Niederlanden verlief die Entwicklung ähnlich. Dort wurde mittels Peer Review eine nach Fächern getrennte Evaluierung der Lehre eingeführt, während ein staatliches Inspektorat für Hochschulfragen die Funktion einer Meta-Evaluation übernahm (vgl. Pechar 1993, 2026). Sowohl in Großbritannien als auch in den Niederlanden wurden die Evaluierungsprozeduren in den letzten 15 Jahren weiterentwickelt (vgl. ENQA 2003, 21). Ausgehend von der Etablierung neuer Formen der Hochschulevaluierung in Großbritannien, aber auch z.B. in Frankreich und den Niederlanden wurde die Qualitätssicherung im Hochschulwesen auch in Europa ein Thema. Nach zwei großen europäischen Erhebung und Vergleichen zu Evaluierungssystemen im Hochschulbereich (Europäische Kommission 1993 und 1995) wurden Empfehlungen zur Zusammenarbeit in der Qualitätssicherung auf europäischer Eben erstellt, die 1998 veröffentlicht wurden. Der europäische Rat der BildungsministerInnen befürwortete in dieser Empfehlung die Einführung von Qualitätssicherungsagenturen und ein Procedere, das die Selbstevaluierung auf institutioneller Ebene mit einer externen Begutachtung durch Peers verbindet sowie die Publikation der Ergebnisse vorsieht (vgl. European Council 1998) – also ein PeerReview-Verfahren unter der Ägide von unabhängigen Qualitätssicherungsagenturen, „dessen Komponenten einen hohen Deckungsgrad mit der Evaluierungspraxis in jenen Ländern auf[weisen], die bereits seit längerem HochschulEvaluierungen durchführen“ (Kozar 1999, 46). Im Rahmen des BolognaProzesses zur Schaffung eines europäischen Hochschulraums, in dem die Zusammenarbeit bei der Qualitätssicherung einen von sechs Aktionsschwerpunkten

84

5 Peer Review auf Organisationsebene im Hochschulbereich

darstellt40, haben sich die Bestrebungen zur Vereinheitlichung der Qualitätssicherungssysteme noch verstärkt, sodass mittlerweile das oben genannte Verfahren als allgemein anerkannt gelten kann. Gleichzeitig bedeutet dies, dass sich die Qualitätssicherungssysteme im tertiären Sektor in den meisten europäischen Ländern in den letzten 10 Jahren im ständigen Wandel befunden haben bzw. nach wie vor befinden, da in allen europäischen Ländern diese Verfahren eingeführt werden bzw. weiterentwickelt werden. Der Grad und das Ausmaß des Wandels zeigt sich z.B. darin, dass eine 1998 auf europäischer Ebene durchgeführte Studie („Status Report“, 1998) noch zu dem Ergebnis kam, dass die Qualitätssicherungsagenturen in den einzelnen Ländern nach wie vor den länderspezifischen traditionellen Qualitätssicherungsverfahren verpflichtet waren, während vier Jahre später sich das Bild vollständig gewandelt hatte (ENQA 2003, 21). Die genannte Studie, die vom European Network for Quality Assurance in Higher Education im Jahr 2002 durchgeführt wurde, kommt zu folgendem Ergebnis41: The four-stage model is today generally accepted as the shared foundation of European quality assurance (ENQA 2003, 23).42

Das Vier-Stufen Modell entspricht den Verfahrenskomponenten der Ratsempfehlung:

40 Vgl. Erklärung von Bologna vom 19. Juni 1999: Der Europäische Hochschulraum. Gemeinsame Erklärung der Europäischen Bildungsminister, 19. Juni 1999, Bologna. 41 In der Folge beziehe ich mich, wenn nicht anders angegeben, auf die Studie des European Network for Quality Assurance in Higher Education (2003): ENQA Occasional Papers 5 42 Das Modell wurde bereits 1993 nach der ersten europäischen Vergleichsstudie von der Europäischen Kommission, in der Gemeinsamkeiten von „neuen“  im Gegensatz zu den traditionellen input-orientierten  Methoden des Qualitätsmanagements an europäischen Hochschulen herausgearbeitet wurden, als zukunftsweisend propagiert. (vgl. Europäische Kommission 1993, Kapitel 4: Auf dem Weg zu einer europäischen Dimension des Qualitätsmanagement im Hochschulwesen? 20-23) Die Anwendung des “four-stage model” ist mittlerweile auch ein Kriterium für die Mitgliedschaft in ENQA "(ENQA Occasional Papers 5, 2003, 23). ENQA wurde im Jahr 2000 in der Folge der Ratsempfehlung aus dem Jahr 1998 und der Erklärung von Bologna gegründet, um den gemeinsamen Entwicklungsprozess in der Qualitätssicherung zu unterstützen. Mittlerweile wurde sie umbenannt in „European Association for Quality Assurance in Higher Education” (ENQA). ENQA wurde vom Europäischen Rat beauftragt, in Hinblick auf die Einrichtung eines europäischen Hochschulraums einen gemeinsamen Referenzrahmen für die Qualitätssicherung zu auszuarbeiten sowie ein PeerReview-System für Qualitätssicherungsagenturen zu entwickeln (Vgl. http://www.enqa.net/about.lasso, 10.6.2005)

5.2 Peer Review als Element der Qualitätssicherung von Universitäten

85

- Autonomy and independence in terms of procedures and methods concerning quality evaluations both from government and from institutions of higher education, - Self-assessment - External assessment by a peer-review group and site visits, and - Publication of a report. (ENQA Occasional Papers 5, 2003, 23)

Gegenstände der Evaluierung können akademische Disziplinen (subjects, academic fields), Studienprogramme/-gänge, Institutionen oder spezielle Themenbereiche (wie z.B. horizontale Themen wie IKT oder Studierendenberatung) sein. Die ENQA Studie zeigt, dass Programmevaluierungen („programme evaluations“), also Evaluierungen auf der Ebene der Studiengänge, am meisten verbreitet sind, gefolgt von institutionellen Evaluierungen. Meta-Evaluationen der Qualitätssicherungsmechanismen an einer Institution, die in der ENQA Terminologie „Institutional Audit“ genannt werden, findet man v.a. auf der institutionellen Ebene (vgl. ENQA 2003, 17 ff.). Auch Akkreditierungsverfahren wurden erfasst. Der Fokus der Evaluierung (Programmevaluierung, Institutional Audit, Akkreditierung etc.) beeinflusst den Einsatz der oben genannten vier Verfahrenselemente jedoch nicht grundlegend, d.h. diese sind bestimmend für alle Formen von Evaluierungen. Durch die Erweiterung der Anwendung von Peer Review für die Evaluierung der Lehre sowie für die Meta-Evaluation der Qualitätssicherung einer Institution wurde auch das Konzept der “Peers” als RepräsentantInnen des zu evaluierenden akademischen Fachbereiches (single professional concept) neu interpretiert und umfasst in der Praxis ein weites Spektrum an unterschiedlichen ExpertInnen (multi-professional concept). Peers können ExpertInnen im Fachbereich sein, aber auch ganz allgemein KollegInnen aus ähnlichen Einrichtungen, VertreterInnen der Qualitätssicherungsagenturen, RepräsentantInnen der Stakeholder (Studierende, AbsolventInnen, ArbeitgeberInnen), VertreterInnen von professionellen Vereinigungen, etc. Auch ausländische Sachverständige sind meist Mitglieder eines Peer-Teams, wie es bereits die Ratsempfehlung von1998 befürwortet; diese kommen meist aus Nachbarländern oder aus Ländern mit der gleichen Sprache43. (vgl. ENQA 2003, 23 ff.)44 Durch die Ausweitung der Definition der

43 Dies wird aus der Tatsache geschlossen, dass die ExpertInnen auch den Peer-Bericht schreiben und diese Berichte meist in der Landessprache abgefasst sind. Die AutorInnen weisen jedoch darauf hin, dass für die Erfassung und Beurteilung der Beteiligung von internationalen ExpertInnen noch weitere Studien nötig sind. (ENQA 2003, 26) 44 Zu dieser Beschreibung passt auch die Definition von UNESCO-CEPES (European Centre for Higher Education / Centre Européen pour l'Enseignement Supérieur):

86

5 Peer Review auf Organisationsebene im Hochschulbereich

“Peers” wird die Innensicht der Profession durch ein breiteres Spektrum an Außenperspektiven ergänzt, wie dies im Sinne einer verstärkten Ausrichtung auf externe Anforderungen für die Entwicklung von Universitäten gefordert wird (vgl. z.B. Pellert 1999, 173, 290; zur Frage der Zusammenstellung von PeerPanels s. auch Mittag et al. 2003, 86ff.; Daniel 2004). Nominierung und Bestellung (nomination, appointment) der Peers gehen meist Hand in Hand. Die Studie unterscheidet zwischen den beiden Prozeduren und argumentiert, dass es einen grundlegenden Unterschied gibt einerseits zwischen dem Recht, ExpertInnen vorzuschlagen und zu nominieren, und andererseits dem Recht, zu bestimmen, wer letztendlich gewählt wird (vgl. ENQA 2003, 24). Die Qualitätssicherungsagenturen, so die Befunde, spielen eine wichtige Rolle bei der Nominierung und nehmen oft auch die Bestellung vor. Behörden sind in eher geringem Maße beteiligt, in etwa 10% der Fälle sind sie für Bestellungen (mit)verantwortlich.45 Die Hochschuleinrichtungen sind eher in die Nominierung von ExpertInnen involviert, jedoch nicht in die Bestellung, was laut StudienautorInnen als ein Indikator für die Unabhängigkeit des Verfahrens gewertet werden kann. Bezüglich der Zusammensetzung der Peer-Teams zeigt sich, dass in vielen Fällen auch MitarbeiterInnen der Qualitätssicherungsagenturen Mitglieder der externen ExpertInnengruppe sind (in 40% der Fälle wird dies angegeben, bei Qualitätsaudits sogar in 75% der Fälle), v.a. in den EU/EFTA-Ländern (also den „alten“ Mitgliedstaaten“ und Norwegen, Island und Liechtenstein) ist dies bei der Hälfte der Agenturen der Fall. Die Erhebung konnte zwar die genaue Zusammensetzung von typischen ExpertInnenpanels nicht nachvollziehen (d.h. wie groß die ExpertInnenpanels sind und wie viele Mitglieder welchen ExpertInnentyps vertreten sind), es finden sich jedoch einige interessante Anhaltspunkte. So

„PEER REVIEW/EXTERNAL REVIEW: Assessment procedure regarding the quality and effectiveness of the academic programmes of an institution, its staffing, and/or its structure, carried out by external experts (peers). Strictly speaking, peers are academics of the same discipline, but in practice, different types of external evaluators exist, even though all are meant to be specialists in the field reviewed and knowledgeable about higher education in general. The review may [also] vary the source of authority of peers, types of peers, their selection and training, their site visits, and the standards to be met. A review is usually based on a self-evaluation report provided by the institution and can itself be used as a basis for indicators and/or as a method of judgment for (external) evaluation in higher education.” (Vlsceanu/Grünberg/Pârlea 2004) 45 Die Prozentangaben beziehen sich im Folgenden, so nicht anders angegeben, auf die Gesamtheit der von ENQA ermittelten Verfahren (d.h. Evaluierungen, Akkreditierungen, und Audits). Es gibt auch getrennte Auswertungen für die drei Verfahrensarten bzw. auch für verschiedene Länder oder Ländergruppen.

5.2 Peer Review als Element der Qualitätssicherung von Universitäten

87

sind in Evaluierungsverfahren auf der Ebene der Programmevaluierungen (Studiengangs-/Fachbereichsebene, institutionelle Evaluierungen) die meisten FachexpertInnen involviert (87%). Diese sind die über alle Evaluierungsarten hinweg die am stärksten eingesetzte Gruppe (77% der Fälle). Ebenso sind auch internationale ExpertInnen stark beteiligt (73%), v.a. in den Programmevaluierungen (81%) und in den Audits (Meta-Evaluationen des Qualitätsmanagementsystems) (100% bei allerdings insgesamt nur 4 Nennungen). Betroffene und Beteiligte können ebenso als ExpertInnen fungieren. So sind bei 45% der Programmevaluierungen ArbeitgeberInnen Mitglieder des ExpertInnenpanels. Weiters finden sich auch Studierende in den Peer-Teams, allerdings nur in etwas über einem Fünftel der Fälle und vor allem bei Programmevaluierungen und Audits. Insgesamt sind Studierende jedoch eher in der Selbstevaluierung und während des Vor-Ort-Besuchs (als Befragte und InterviewpartnerInnen, aber auch in Steuergruppen) involviert. Ehemalige Studierende werden nur in geringem Maße und nur für Programmevaluierungen als ExpertInnen verwendet (13%). Ein genereller Befund der sich aus dem Antwortverhalten der befragten Agenturen ablesen lässt, ist, dass die Peer-Teams bei Akkreditierungen eher kleiner und homogener sind, während sie bei Programmevaluierungen größer und vielfältiger sind.

Abbildung 4:

5 Peer Review auf Organisationsebene im Hochschulbereich Zusammensetzung der ExpertInnenpanels in Verbindung mit der angewandten Methode*

Quelle: ENQA 2003, 25 *Mit „Evaluation“ bezeichnen die StudienautorInnen die Programmevaluierungen.

88

5.2 Peer Review als Element der Qualitätssicherung von Universitäten

89

In Hinblick auf die Aufgaben und Verantwortlichkeiten des ExpertInnenteams, zeigt die Studie, dass in einigen Ländern die Aufgaben der Peers erweitert wurden und sich nicht mehr allein auf die Teilnahme am Vor-Ort-Besuch (SiteVisit) beschränken (vgl. ENQA Occasional Papers 5, 2003, 23 und 26 ff.). Ein allgemeiner Befund ist, dass die Qualitätssicherungsagenturen die Grundlagenarbeit leisten (Leitfädenerstellung, Vorbereitung der Selbstevaluierung, Kontakt mit der Einrichtung und Planung des Vor-Ort-Besuchs) und die externen ExpertInnen dann v.a. mit der Planung des Site-Visit (50% geben an, dass ExpertInnen involviert sind)  einschließlich der inhaltlichen Vorbereitung von Leitfäden für den Besuch in einigen Fällen  und der Durchführung des Besuchs von den Agenturen „übernehmen“. Die StudienautorInnen geben an, dass der Grad der Beteiligung ein klares Bild ergebe „of the agency starting the process, and the experts taking gradually over“ (ENQA 2003, 26). In der Hälfte der Fälle bleibt die Qualitätssicherungsagentur in alle Schritte des Verfahrens involviert. Das Verfassen des Berichts ist v.a. Sache der ExpertInnen, die dies in 45% der Fälle auch eigenverantwortlich übernehmen. In immerhin 15% der Fälle sind jedoch die Qualitätssicherungsagenturen allein dafür verantwortlich, in den restlichen Fällen (40%) sind die Berichte eine „Gemeinschaftsproduktion“ von Agentur und Peers. Die Kooperation kann verschiedenste Formen annehmen  von der Agentur als unterstützendes Sekretariat bis zur alleinigen Endverantwortung der Agentur für den Bericht. In Bezug auf Aufgaben und Verantwortung zeigt sich folgendes Bild: Die Qualitätssicherungsagenturen führen das Gros der (z.T. vorbereitenden und unterstützenden) Aufgaben aus, während die ExpertInnen meist die Verantwortung für die Evaluierung und deren Ergebnisse tragen. Dies kann vor dem Hintergrund einer Rekrutierungsproblematik – je weiter sich derartige Verfahren verbreiten, desto größer wird die Nachfrage nach „guten“ Peers –als eine Strategie zur Entlastung der ExpertInnen interpretiert werden (vgl. ENQA 2003, 28). Durch die Übernahme von Aufgaben und Tätigkeiten durch professionelle Agenturen werden die Peers frei gespielt und können sich dann voll und ganz ihren Kernaufgaben (Besuch, Berichtschreiben) widmen. Zusätzlich wird so die Standardisierung und Professionalisierung der Verfahren gefördert. Eine vorangehende Selbstevaluierung ist ein Element in den meisten von ENQA untersuchten Verfahren, es ist Teil des Gesamtprozesses in 94% der Evaluierungen, Akkreditierungsverfahren umfassen Selbstevaluierung nur in zwei Drittel der Fälle. Der Zweck von Selbstevaluierungen liegt einerseits in der Dokumentation als Vorbereitung auf die externe Evaluierung, andererseits in ihrer Bedeutung für interne kontinuierliche Qualitätsverbesserung. In Steuerungsgruppen für die Selbstevaluierung (self-evaluation group) sind v.a. das Management (75% der Fälle insgesamt, bei Programmevaluierungen sogar 83%) und die Lehrenden (77%) vertreten, zu einem geringeren Anteil auch Administrativkräfte

90

5 Peer Review auf Organisationsebene im Hochschulbereich

(61%) und Studierende (59%). Auch AbsolventInnen können an Steuerungsgruppen teilnehmen, tun dies jedoch in vergleichsweise geringem Ausmaß (12% der Fälle insgesamt). Zu den in den Selbstevaluierungen angewandten Methoden gibt die Studie keine Auskunft, die Verwendung von (bereits existierenden) statistischen Daten als quantitative Ergänzung zu den qualitativen Erhebungen im Rahmen der Selbstevaluierung und der Peer-Besuche wird jedoch beleuchtet. So werden statistische Daten in allen Fällen bis auf zwei ergänzend verwendet. Es handelt sich bei diesen Daten v.a. um Daten zu den Studierenden (wie z.B. DropoutRaten, durchschnittliche Studiendauer etc., 92% der Fälle) sowie Personaldaten, v.a. zu den Lehrenden (90% der Fälle), aber auch zu Administrativkräften (65%). Finanzdaten werden weniger häufig verwendet und werden v.a. in Evaluierungen, die ganze Institutionen betreffen (im Gegensatz zu Studiengangs- oder Fachevaluierungen), als Informationen genutzt. Arbeitsmarktstatistiken werden eher in Evaluierungen als bei Akkreditierungen verwendet, sie werden in insgesamt 50% der Fälle berücksichtigt, wobei hier Evaluierungen bei weitem das wichtigste Anwendungsgebiet sind (61% der Fälle). Weiters wurde noch untersucht, ob zusätzliche Studien beauftragt bzw. als Informationsquellen herangezogen wurden. Dies wurde von etwa der Hälfte der Qualitätssicherungsagenturen positiv beantwortet, zusätzliche Studien werden jedoch v.a. bei Evaluierungen verwendet, bei Akkreditierungen kaum. Am häufigsten angegeben wurden Studien zum Verbleib der AbsolventInnen. Der Vor-Ort-Besuch („Site-Visit“) ist das zentrale Element des Verfahrens, er wird nur in zwei Fällen nicht durchgeführt, und kann als das „einheitlich verwendete Follow-up der Selbstevaluierungsberichte“ bezeichnet werden. (ENQA 2003, 30) Die Dauer der Besuche liegt zwischen einem und fünf Tagen und beträgt durchschnittlich zwei Tage. Evaluierungsprozeduren auf der institutionellen Ebene dauern im Allgemeinen etwas länger. Die Durchführung der Vor-OrtBesuche ist v.a. Aufgabe der Peers (83% der Fälle), in manchen Fällen werden sie von MitarbeiterInnen der Qualitätssicherungsagenturen begleitet, auch gibt es einige Fälle, in denen die Besuche ausschließlich von den Agenturen durchgeführt werden. Generelle Übereinstimmung verzeichnet die Studie bezüglich der Methoden und Aktivitäten während der Visits: Wichtigste Elemente der Besuche sind die Durchführung von Interviews (97% der Fälle), sowie die Überprüfung von Dokumenten (90%) und eine Begehung (87%). Auch eine abschließende Besprechung mit dem Management ist meist Teil des Programms (71%). In deutlich geringerem Ausmaß kommt es zu Unterrichtshospitationen (25%), die auch als strittigstes Element bezeichnet werden (vgl. ENQA 2003, 31). Der tatsächliche Ablauf und Inhalt dieser allgemein verwendeten Elemente kann jedoch im Ein-

5.3 Aktuelle Entwicklungen

91

zelnen stark unterschiedlich sein, da die Studie keine detaillierten Auskünfte gibt. Einigkeit unter den befragten Qualitätssicherungsagenturen besteht jedoch darüber, dass sowohl Studierende als auch Lehrende im Rahmen der „SiteVisits“ befragt werden sollen. Zur Rolle der Studierenden vermerkt die Studie, dass die Relevanz der Beteiligung von Studierenden, so kontrovers sie hinsichtlich der Teilnahme an Steuergruppen oder im Peer Panel auch ist, in Bezug auf Befragungen unstrittig ist (ENQA 2003, 31). In der Hälfte der Fälle werden auch AbsolventInnen interviewt. Administrativkräfte sind ebenfalls eine Gruppe, die oft befragt wird (69% der Fälle), v.a. in institutionellen Evaluierungen und für Auditverfahren. Die Veröffentlichung der Evaluierungsberichte erfolgt in fast allen Fällen durch die Qualitätssicherungsagenturen, bisweilen werden auch nur gekürzte Versionen publiziert. In 13% der Fälle wird kein Bericht veröffentlicht. Vor der Veröffentlichung wird meist die evaluierte Institution noch einmal kontaktiert. Die Berichte sind meist in der Landessprache abgefasst, doch gibt es in sieben Ländern auch englische Berichte: in Estland, Zypern, Finnland, Island, Lettland, Niederlande und in Österreich (Fachhochschulsektor). Inhaltlich umfassen die meisten Berichte (80-90%) Schlussfolgerungen und Analysen sowie Empfehlungen, in etwa 30% der Fälle auch eine Darstellung empirischer Daten und Sachverhalte. Verantwortlich für das Follow-up, also die Überprüfung der Umsetzung von Empfehlungen, sind üblicherweise mehrere Akteure gemeinsam, allen voran die evaluierten Einrichtungen selbst (76% der Fälle) sowie die zuständigen Behörden (46%) und die Qualitätssicherungsagenturen (39%). In welchen Abständen interne bzw. externe Verfahren durchgeführt werden, wurde in der Studie nicht erhoben und ist vielleicht mangels Erfahrung – das 4Stufen-Modell befindet sich in vielen Ländern ja gerade erst in der Einführungsphase und Reviewzyklen betragen meistens einige Jahre – auch noch nicht in allen Fällen bekannt. Generell kann davon ausgegangen werden, dass das volle Verfahren, d.h. interne Evaluierung in Kombination mit externer Evaluierung, in regelmäßigen Abständen von einigen Jahren durchgeführt werden, interne Verfahren alleine bisweilen auch öfter. 5.3 Aktuelle Entwicklungen Während auf europäischer Ebene das „4-Stufen Modell“ allgemein anerkannt ist und als Grundlage für weitere Entwicklungen dient, hinkt die Umsetzungspraxis in vielen Fällen noch hinterher. Die aggregierten Daten aus der ENQA Studie

92

5 Peer Review auf Organisationsebene im Hochschulbereich

geben also die Wirklichkeit nur zum Teil wieder46. So schlägt die Kommission eine Empfehlung zur gegenseitigen Anerkennung der Qualitätssicherungssysteme und Qualitätsevaluierungen (die die Empfehlung von 1998 weiterführen soll) vor, in der als erster von fünf Schritten gefordert wird „[A]llen in ihrem Hoheitsgebiet tätigen Hochschuleinrichtungen die Einführung oder Ausarbeitung strenger interner Qualitätssicherungsmechanismen vorzuschreiben. (Europäische Kommission 2004, KOM(2004) 642 endgültig)“ Die Europäische Kommission führt weiter aus: „Hochschulverbände und -netze haben mit Unterstützung der Kommission verschiedene Initiativen zur Entwicklung eines internen Qualitätsmanagements (einer „Qualitätskultur“) in den Hochschuleinrichtungen eingeleitet […]. Die anzustrebende Good Practice der Konsolidierung und Weiterentwicklung des Qualitätsmanagements ist jedoch gegenwärtig in Europa nur schwach und ungleichmäßig etabliert. Das Qualitätsmanagement, das auch zu tun hat mit Personalpolitik und Governance in den Einrichtungen, muss als Basis und als ergänzende Maßnahme für die externe Bewertung in mehr europäischen Hochschuleinrichtungen eingeführt werden.“ (Europäische Kommission 2004)

Die Kommission beruft sich darauf, „dass das in der Empfehlung des Rates aus dem Jahr 1998 vorgegebene grundlegende Verfahren sich bewährt hat; es wird in der Mehrzahl der Evaluierungen zugrunde gelegt. Dieses in der EU empfohlene Verfahren wurde von den Ministern in Berlin auf den umfassenderen BolognaKontext übertragen“ und regt an, dass ENQA ein „Handbuch der Qualitätssicherungsverfahren“ ausarbeiten soll, „das eine Reihe allgemein anerkannter Modelle oder Protokolle enthält, die sich auf die Good Practice in den Mitgliedstaaten stützt“. Eine Darstellung von “Standards and Guidelines for Quality Assurance in the European Higher Education Area” wurde im Februar 2005 von ENQA vorgelegt und die daran vorgeschlagenen Richtlinien wurden von den zuständigen Ministern auf der Konferenz von Bergen im Mai 2005 angenommen47. Neben

46 Dies mag auch damit zusammenhängen, dass nicht in jedem Land alle Teile des Hochschulsektors in dieser Studie erfasst wurden. Für Österreich wurden der Fachhochschulrat und der Österreichisches Akkreditierungsrat befragt, die Praxis an den öffentlichen Universitäten wurde damit in der Studie z.B. gar nicht berücksichtigt. (vgl. die Liste der teilnehmenden Agenturen in ENQA 2003, 38 ff.) 47 Im Wortlaut heißt es im Kommuniqué der MinisterInnen: „We adopt the standards and guidelines for quality assurance in the European Higher Education Area as proposed by ENQA. We commit ourselves to introducing the proposed model for peer review of quality assurance agencies on a national basis, while respecting the commonly accepted guidelines and criteria. We welcome the

5.3 Aktuelle Entwicklungen

93

Standards und Richtlinien zu internen und externen Evaluierungen, wird darin auch ein Peer-Review-Verfahren zur Qualitätssicherung der Qualitätssicherungsagenturen dargelegt (also eine „Überprüfung der PrüferInnen“) (vgl. ENQA 2005, 27-33 und 36-41). Dies ist nur folgerichtig, da die Agenturen als unabhängige Stellen zu zentralen Akteurinnen in der Gewährleistung von Qualitätsstandards an europäischen Hochschulen werden sollen.48 Damit in Zusammenhang steht die bereits mehrfach geforderte Erstellung eines „Europäischen Registers von Qualitätssicherungs- und Akkreditierungsagenturen“, für das bestimmte Aufnahmebedingungen gelten sollen (vgl. z.B. Europäische Kommission 2004; ENQA 2005, 30ff; Bergen Communiqué etc.). Der Vorschlag sieht vor, dass die Universitäten eine Agentur aus der europäischen Liste frei wählen können sollen und die Mitgliedstaaten gegenseitig die im Register geführten Qualitätssicherungsagenturen anerkennen (vgl. Europäische Kommission 2004.). Ein weiteres Entwicklungsfeld ist die Durchführung „transnationaler“49 Evaluierungen und Akkreditierungen, wie sie ja auch durch das Register der Qualitätssicherungs- und Akkreditierungsagenturen gefördert werden soll. Unter der Überschrift „Transnational Evaluation and Accreditation“ heißt es in einem aktuellen Bericht der Europäischen Kommission: Most evaluation and accreditation is carried out on a national or regional basis. It is expected that these local exercises will become more comparable and more European through the use of "an agreed set of standards, procedures and guidelines" and the involvement of foreign experts. In a limited number of cases there is scope for transnational evaluation and accreditation. For instance in highly internationalised fields of study like engineering and chemistry (two current pilot projects) or in cases where universities or sponsors (public or private) seek to obtain a label for reasons of branding or consumer protection. Integrated study programmes, like joint masters, obviously require a collaborative effort of the respective quality assurance agencies. The Commission supports the setting up and testing phase of transnational evaluation and accreditation. (Europäische Kommission 2005)

Ein Aspekt der Internationalisierung ist auch der Ausbau der Praxis, ausländische Peer-ExpertInnen in die externen Evaluierungspanels zu berufen.

principle of a European register of quality assurance agencies based on national review.” (Bergen Communiqué, Mai 2005) 48 Vgl. auch die lange Tradition derartiger Stellen im Hochschulwesen der Vereinigten Staaten. 49 Das im normalen Sprachgebrauch nicht vorkommende Wort “transnational” ist der Terminus technicus für grenzüberschreitende Kooperation in der Europäischen Union.

94

5 Peer Review auf Organisationsebene im Hochschulbereich

5.4 Offene Fragen Zusammenfassend kann festgestellt werden, dass Peer Review, ausgehend von den angelsächsischen Ländern und Vorreiterländern in Europa wie den Niederlanden, mittlerweile ein zentrales Element der Qualitätssicherungssysteme im Hochschulwesen in ganz Europa darstellt. Als Konsequenz ist eine Fülle von Evaluierungsprogrammen entstanden, die in ihrem Kern dem oben beschriebenen Musterablauf folgen: Auf eine interne Evaluierung (meist Selbstevaluierung genannt) folgt eine externe Evaluierung durch externe ExpertInnen/Peers, deren Ergebnisse in einem Bericht dargelegt werden, der oft auch Empfehlungen für Verbesserungsmaßnahmen beinhaltet. Die tatsächliche Ausgestaltung der Evaluierungsdesigns und die konkrete Implementierung können sich jedoch von Einrichtung zu Einrichtung bzw. von Land zu Land beträchtlich unterscheiden.50 Dies betrifft vor allem Variationen, die auf bestimmte Evaluierungsziele und Zwecke zurückzuführen sind. So scheint es plausibel, dass es Unterschiede gibt zwischen Akkreditierungsverfahren, in denen Mindeststandards überprüft werden, Evaluierungsverfahren, die auch zur Qualitätsentwicklung beitragen sollen, und Meta-Evaluationen. Wichtig erscheint auch, worauf sich die Evaluierung bezieht: Sind es Fachbereiche bzw. Studienprogramme, die evaluiert werden, oder ist die ganze Einrichtung im Blickfeld? Werden eher forschungsorientierte Einrichtungen evaluiert oder eher praxisorientierte? Auch hier werden sich die Evaluierungsverfahren und -methoden im Einzelnen unterscheiden. Variationen in den Peer-Review-Verfahren können neben Zielsetzung und Gegenstand folgende wichtige bestimmende Faktoren und Verfahrensteile betreffen (vgl. auch Kapitel 1): ƒ ƒ ƒ ƒ ƒ

den Umfang der Evaluierung und die untersuchten Qualitätsbereiche (bzw. wie genau diese vorgegeben sind) 1) für die Selbstevaluierung und 2) für die externe Evaluierung; die Durchführung der Selbstevaluierung  Wer führt durch, wer wird involviert, welche Methoden kommen zur Anwendung?; den Inhalt und die Struktur des Selbstreports (mit der Selbstevaluierung in Verbindung stehend); die Peers und Zusammensetzung des Peer-Teams  Wer darf Peer sein, welche Expertisen müssen die Peers mitbringen (ist das festgelegt?)? die Auswahl der Peers  Wer schlägt sie vor, wer wählt sie aus?

50 Vgl. auch die Definition von CEPES, die auf die Variationsbreite von Peer Review hinweist.

5.4 Offene Fragen ƒ

ƒ ƒ ƒ ƒ ƒ

95

die Vorbereitung und Schulung der Peers  Gibt es eine Schulung? Wenn ja, was umfasst diese? Soll das ExpertInnenpanel als Team wirken und wenn ja, welche Vorkehrungen werden für getroffen, um Teams arbeitsfähig zu machen? die Vorbereitung des Besuchs – Was sind die Aufgaben der Peers? Was sind die Aufgaben der Einrichtung? Gibt es vorbereitende Treffen? die Aufgaben der Peers  Welche Aufgaben hat das Peer-Team zu erfüllen? Gibt es verschiedene Funktionen innerhalb des Teams? Wie gestaltet sich die Kommunikation zwischen den Mitgliedern des Teams? die Dauer und Ablauf des Vor-Ort-Besuchs und angewandte Evaluierungsmethoden die Kommunikation zwischen den Peers und der Einrichtungen  Wer in der Einrichtung ist Ansprechpartner? Wie oft und wie intensiv wird kommuniziert?  sowie Art und Form der Rückmeldungen den Report und die Rückmeldungen  Wer verfasst den Report? Welche Feedbackmechanismen gibt es? Muss der Report veröffentlich werden? Wenn ja, wer ist dafür verantwortlich?

Zusätzlich sind die Verfahren in den verschiedenen Ländern unterschiedlich stark geregelt, sodass in manchen Fällen auf diese Fragen vermutlich auch keine konkrete Antwort gegeben werden kann. Auf einige der wichtigsten Punkte hat die oben zitierte Studie bereits Bezug genommen, so wurden z.B. die während des Besuchs angewandten Erhebungsmethoden erfasst. Auch wurde versucht, die einzelnen Fragestellungen grob nach den verschiedenen Zielsetzungen von Evaluierungen auszuwerten (Evaluierung, Akkreditierung, Meta-Evaluation), Zusammenhänge ließen sich auf dieser Aggregationsebene jedoch meist nicht feststellen. Die StudienautorInnen betonen daher die Notwendigkeit einer qualitativen Untersuchung, die auch die nationalen Traditionen des Hochschulwesens und kulturellen Aspekte berücksichtig. Auch stellt ENQA für die Peer Reviews der Qualitätssicherungsagenturen eine differenzierte Erhebung und Dokumentation der oben genannten Details in Aussicht (vgl. die detaillierten Listen zur Dokumentation und Bewertung der von den einzelnen Qualitätssicherungsagenturen durchgeführten Evaluierungsverfahren in ENQA (Hg.) 2005, 36-41). Eine derartige Erhebung würde den Rahmen dieser Arbeit sprengen. Es sollen daher zwei Verfahren als Fallstudien exemplarisch dargestellt werden, durch die sowohl der Bereich der Fachhochschulen als auch der Bereich der Universitäten abgedeckt wird. Es handelt sich bei beiden Evaluierungsmodellen um sehr stark strukturierte und reglementierte Verfahren, die bereits selbst eine Entwicklung hinter sich haben und mehrmals Meta-Evaluationen unterzogen wurden.

96

5 Peer Review auf Organisationsebene im Hochschulbereich

Das bedeutet auch, dass in diesen beiden Evaluierungsverfahren bereits versucht wurde, möglichst viele Aspekte zu standardisieren und die Prozesse zu professionalisieren. Auch gibt es in beiden Fallbeispielen eine zwischengeschaltete verantwortliche Qualitätssicherungsagentur, wie sie von den europäischen AkteurInnen gefordert wird. Als Fallstudie für den Fachhochschulbereich wurde das Peer-Review-Verfahren an österreichischen Fachhochschulen gewählt. Das englische „Academic peer review of higher education“ ist ein interessantes Beispiel, weil England in der Qualitätssicherung in Europa immer wieder richtungweisend war und das Verfahren als ein Beispiel für ein State-of-the-Art-Modell gelten kann. Die detaillierte Darstellung dieser zwei Verfahren soll dann auch als Hintergrund und Referenzrahmen für die Einordnung und Bewertung der PeerReview-Varianten in der beruflichen Erstausbildung dienen. 5.5 Fallstudien: Peer Review im Hochschulbereich 5.5.1 “Academic peer review of higher education” in England51 Im englischen Hochschulsystem bedienen sich die für die Finanzierung zuständigen Behörden des Peer-Review-Verfahrens, um die Einhaltung von Qualitätsstandards in der Hochschulbildung zu überprüfen. Es handelt sich dabei zwar nicht um ein (Re-) Akkreditierungsverfahren, jedoch soll damit letztlich bewertet werden, ob die Akkreditierung als Hochschuleinrichtung weiter bestehen kann. Das Verfahren wird von einer eigenen Agentur, der „Quality Assurance Agency for Higher Education“ (QAA) organisiert und durchgeführt und gilt für alle Hochschuleinrichtungen.52 Während die Hauptverantwortung für die Etablierung, Überprüfung und Verbesserung von akademischen Standards bei den Hochschuleinrichtungen selbst liegt, haben die Finanzierungsbehörden (funding councils) eine rechtliche Verpflichtung sicherzustellen, dass Vorkehrungen für die Bewertung der Qualität der von ihnen finanzierten Bildungsangebote getroffen werden. Die „Quality Assurance Agency for Higher Education“ nimmt diese

51 Das beschriebene Peer-Review-System gilt für England; Schottland, Wales und Nordirland haben jedoch identische bzw. fast identische Regelungen. Wenn nicht anders angegeben, sind die im Folgenden präsentierten Informationen dem „Handbook for academic review der Quality Assurance Agency (QAA) for Higher Education“ entnommen (Quality Assurance Agency for Higher Education 2000). 52 Für die Further Education Colleges, die auch akademische Programme anbieten, gibt es ein in den Grundzügen identisches, aber in Details etwas abgeändertes Verfahren (vgl. Quality Assurance Agency for Higher Education 2004).

5.5 Fallstudien: Peer Review im Hochschulbereich

97

Aufgabe als eigenständige Stelle im Auftrag der „funding councils“ wahr, indem sie akademische Peer Reviews organisiert, durchführt und überwacht. Diese Struktur entspricht dem oben erwähnten, für die europäische Hochschulbildung als vorbildlich anerkannten Qualitätssicherungsmodell. Sowohl die Hochschuleinrichtungen als auch die ReviewerInnen sind an einen gemeinsamen Kodex gebunden, den „Code of practice for the assurance of academic quality and standards in higher education“, an einen Qualifikationsrahmen (qualifications framework) und fächerbezogene (subject) Benchmarks53. Die Reviews haben summativen Charakter. Sie zielen darauf ab, die Qualität der Lehre sowie der Standards der universitären Abschlüsse zu gewährleisten und zu verbessern. Dies hat zu erfolgen in Hinblick darauf, ƒ ƒ ƒ

dass gewährleistet wird, dass der öffentlichen Investition in Bildung eine entsprechende Leistung gegenübersteht („securing value from public investment“); dass Verbesserungen in der Bildungsqualität durch die Veröffentlichung von Berichten und das Bekanntmachen von Best Practice gefördert werden; dass das Vertrauen der Öffentlichkeit in die universitäre Bildung gestärkt wird durch Veröffentlichung von Berichten und aussagekräftige und allgemein zugängliche öffentliche Informationen zur Qualität des Hochschulwesens.

AdressatInnen sind also die Hochschuleinrichtungen selbst, die zuständigen Behörden sowie die Öffentlichkeit (die ja durch Steuergelder die Hochschuleinrichtungen finanziert). Der Peer-Review-Prozess ist zweistufig: Die zentrale Einheit eines Reviews ist das akademische Fach (subject). Fächer werden eher weit gefasst (es gibt insgesamt 42 Fachbereiche), die Studienprogramme werden innerhalb der Fächer, denen sie zugeordnet sind, evaluiert. Zusätzlich wird basierend auf den Fachevaluierungen (subject reviews) ein institutionelles Review durchgeführt, in dem die Effektivität der institutionellen Qualitätssicherungsverfahren bewertet wird. Die institutionelle Meta-Evaluation setzt auf den Fachevaluierungen auf, wodurch Duplizierungen auf ein Minimum reduziert werden sollen. Alle Fächer werden in einem Sechs-Jahres-Zyklus evaluiert, die institutionelle Evaluierung wird nur einmal innerhalb dieses Zyklus vorgenommen. Internes Peer Review zwischen Lehrenden kann Teil der Selbstevaluierung sein. Die Ergebnisse dieser individuellen Reviews können auch in die Dokumen-

53 Diese fachspezifischen Benchmarks werden auf der Basis der Auswertung aller Fachevaluierungen ebenfalls weiterentwickelt.

98

5 Peer Review auf Organisationsebene im Hochschulbereich

tation für das fachspezifische Review aufgenommen werden. Peer Review zwischen Lehrenden erfolgt jedoch auf freiwilliger Basis und der Leitfaden der Quality Assurance Agency for Higher Education gibt keine Vorgehensweisen vor54. Der Umfang des Reviews ist unterschiedlich, je nachdem, ob es sich um eine Fachevaluierung handelt oder ein institutionelles Review. Es gibt genaue Angaben zu den abzudeckenden Qualitätsbereichen und den geltenden Standards: ƒ

ƒ

Im Rahmen der „subject reviews“ werden einerseits die Studienprogramme anhand von Outcome-Standards evaluiert (Angemessenheit der intendierten Lernresultate, Effektivität der Inhalte der Curricula, Prüfungen und Bewertungsformen, Leistungen der Studierenden/Studienerfolg), andererseits die Qualität der Lernarrangements (quality of learning opportunities) im Fachbereich (Qualität der Umsetzung des Curriculum und Qualität der Lernmöglichkeiten, Unterstützung der Studierenden und weiterer Verbleib bzw. Aufstieg (progression), Ressourcen und Studienerfolg). Im Rahmen des institutionellen Reviews wird die Angemessenheit der internen Qualitätssicherungsmaßnahmen auf Ebene der Gesamtorganisation bewertet. Es soll beurteilt werden, wie „robust“ und „sicher“ das institutionelle Qualitätsmanagementsystem ist. Im Vordergrund steht dabei die Funktion der Hochschule als Einrichtung, die akademische Abschlüsse verleiht. Letztlich sollen durch die Review die akademischen Abschlüsse qualitätsgesichert werden. Das Review umfasst daher alle Maßnahmen der Hochschuleinrichtung für die Anerkennung und die Überprüfung von Studiengängen, die Verfahren zur Umsetzung von Ergebnissen externer Reviews (Befunde von externen GutachterInnen, Fachevaluierungen und anderen externen Reviews), das Management der Vergabe von Leistungspunkten (credits), das Management von kooperativen Angeboten mit anderen Einrichtungen und das Management von Prüfungen. Ergebnisse der Fachevaluierungen werden im Rahmen des institutionellen Review berücksichtigt.

Peers Drei Arten von Peers werden von der „Academic Quality Agency“ eingesetzt: ƒ

FachexpertInnnen (subject specialist reviewers), die in dem jeweiligen Fach spezialisiert sind und (aktuelle) Unterrichtserfahrung in der betreffenden

54 Ein Peer Review of Teaching Programm bzw. Vorgaben dazu können jedoch von den Universitäten selbst initiiert werden.

5.5 Fallstudien: Peer Review im Hochschulbereich

ƒ

ƒ

99

Disziplin oder auch andere relevante Berufserfahrungen im untersuchten Fach mitbringen; Review-KoordinatorInnen (review coordinators), die die Peer-Teams in Fachevaluierungen leiten; Review-KoordinatorInnen müssen umfassende Erfahrungen in der Qualitätssicherung und in der Genehmigung von Studiengängen im Hochschulsektor aufweisen, für gewöhnlich in mehr als einer akademischen Disziplin. Review-KoordinatorInnen haben eine Reihe von Aufgaben – die wichtigsten sind die Koordinierung des ReviewProzesses und das Verfassen des Berichts. Auch mit der Herausgabe von Berichten, mit Schulungen von FachexpertInnen (subject specialist reviewers) und der Abfassung von Übersichtsberichten zu einzelnen Disziplinen (subject overview reports) können Review-KoordinatorInnen von der Agentur beauftragt werden. Institutionelle ReviewerInnen (institutional reviewers), die höhere Managementpositionen in Hochschuleinrichtungen innehaben oder innehatten.

Die Review-KoordinatorInnen und FachexpertInnen (subject specialist reviewers) kommen in Fachevaluierungen zum Einsatz, die institutionellen ReviewerInnen, wie der Name schon sagt, in institutionellen Reviews. In einem Subject Review soll die Anzahl der ReviewerInnen mindestens drei betragen und hängt darüber hinaus von der Komplexität, dem Umfang und v.a. der Größe der evaluierten Einheit ab (wobei die Studierendenanzahl als Indikator verwendet wird). Allgemeine Anforderungen an die Peers sind: ƒ ƒ ƒ ƒ ƒ ƒ ƒ ƒ

Eine nachweisliche (Selbst)Verpflichtung (commitment) den Prinzipien der Qualitätssicherung im Hochschulwesen gegenüber; Eine (nach)fragende und skeptische Veranlagung; Analysefähigkeit und gute Urteilsfähigkeit; Persönliche Autorität und Präsenz im Verein mit der Fähigkeit, als effektives Mitglied in einem Team zu arbeiten; Gute Zeitmanagementfähigkeiten einschließlich von Erfahrung in der Moderation und Vorsitzführung in Besprechungen; Die Fähigkeit, angemessene Urteile zu fällen im Kontext komplexer Institutionen, die sich von der eigenen Institution unterscheiden; Erfahrung in Organisation und Management, v.a. in Bezug auf Belange des Lehren und Lernens; Hohe Standards in mündlicher und schriftlicher Kommunikation, vorzugsweise auch Erfahrung mit der Verfassung von Berichten innerhalb vorgegebener Fristen.

100

5 Peer Review auf Organisationsebene im Hochschulbereich

Zusätzlich wird von den Peers eine genaue Kenntnis des gesamten Verfahrens sowie des „Code of practice" erwartet. Weitere Funktionen im Review-Verfahren sind: Ein „Facilitator” wird von der Hochschuleinrichtung ernannt, die/der die Zusammenarbeit der Einrichtung mit dem Peer-Team unterstützt. Sie/Er stellt den ReviewerInnen zusätzliche Informationen zur Verfügung, so diese verlangt werden, und ist auch bei allen Besprechungen und Interviews anwesend (mit der Ausnahme von Besprechungen/Interviews mit ehemaligen Studierenden oder ArbeitgeberInnen sowie von Besprechungen des Peer-Teams, in denen Bewertungen diskutiert werden). Institutionelle Review-SekretärInnen (institutional review secretaries): In manchen Reviews wird besondere administrative Unterstützung benötigt, die von einem/einer Review-SekretärIn geleistet wird. Review-SekretärInnen sind für gewöhnlich Administrativkräfte mit mindestens drei Jahren Erfahrung in der Verwaltung der Hochschule. Die Ausübung der Funktion der Review Sekretärin/ des Review Sekretärs wird als eine gute Möglichkeit der beruflichen Weiterentwicklung gesehen. Peer ReviewerInnen werden von der Quality Assurance Agency for Higher Education rekrutiert. ReviewerInnen werden von Hochschuleinrichtungen nominiert oder bewerben sich eigenständig. Eine Liste (Register) mit ReviewerInnen wird von der Agentur veröffentlich. Die Agentur wählt das Review Team aus und benachrichtigt die Hochschuleinrichtung, die Stellung nehmen und Bedenken anmelden kann, z.B. im Falle eines Interessenkonflikts. Vorbereitung und Organisation des Peer Reviews Das Verfahren beginnt damit, dass die Hochschuleinrichtungen der Agentur Informationen über ihre Studiengänge übermitteln. Diese Informationen werden von der Agentur benutzt, um einen Zeitplan für die Reviews auszuarbeiten und die Review Teams auszuwählen. Jede Hochschuleinrichtung hat der Agentur die Dokumentation zu ihrer Selbstevaluierung und Studiengangsspezifikationen nicht später als zwei Monate vor dem ersten vereinbarten Treffen mit den ReviewerInnen zur Verfügung zu stellen. Das Selbstevaluierungsdokument (self-evaluation document) ist das zentrale Dokument im Prozess der Fachevaluierung. Es erfüllt zwei hauptsächliche Funktionen: Erstens regt es die Hochschuleinrichtung an, über die Qualität ihres Angebots und die erreichten Standards zu reflektieren, zweitens stellt es den Rahmen für das Review dar, in dem die Angaben in der Selbstdokumentation überprüft werden. Das Dokument soll das aktuelle Bildungsangebot in einer Weise darstellen, die sowohl Stärken als auch Schwächen evaluiert, Veränderungen, die seit dem letzten Review durchgeführt wurden, anzeigt und zukünftige Verbesse-

5.5 Fallstudien: Peer Review im Hochschulbereich

101

rungsvorhaben vorschlägt. Die Spezifikationen der Studiengänge werden in einem Annex angehängt. Das Selbstevaluierungsdokument soll kurz und prägnant sein (6000 Worte) und folgendes umfassen: ƒ ƒ ƒ ƒ

Eine kurze Stellungnahme zum Umfang des Bildungsangebots; Allgemeine Ziele des Angebots im Fachgebiet; Evaluierung des Bildungsangebots ( s.o. Lernergebnisse und Lernerfolg, Curricula und Bewertung der Studierenden, Qualität der Lernarrangements, Sicherstellung und Verbesserung der Standards und der Qualität); Daten und Fakten (Spezifikationen der Studiengänge etc.) im Anhang.

Für das institutionelle Review wird ein Selbstevaluierungsdokument verfasst (30-40 Seiten), das folgende Punkte beinhaltet: ƒ ƒ ƒ ƒ

ƒ ƒ

Eine Beschreibung und Analyse der Entwicklung seit dem letzten institutionellen Review/Quality Audit; eine Beschreibung und Analyse der Reaktionen auf Fachevaluierungen und die Verfahren, wie die Ergebnisse dieser Evaluierungen („lessons learnt“) für die Verbesserung der Praxis auf institutioneller Ebene genutzt werden; eine kurze Beschreibung der wichtigsten Aspekte der institutionellen Prozesse zur Sicherung der Qualität der akademischen Abschlüsse und der Qualität der Studiengänge; die Identifikation von Vorschriften im "Code of practice", die von der Einrichtung nicht erfüllt werden und Erklärungen dazu, welche alternative Vorgangsweisen vorgenommen wurden um eine Wirkung zu erzielen, die der von der Vorschrift intendierten gleichkommt; eine Darstellung der Stärken und Grenzen der aktuellen institutionellen Qualitätssicherungsverfahren und eine Beschreibung und Diskussion der intendierten Strategie für die nächsten drei Jahre zur Behebung der identifizierten Schwachstellen und zur Weiterentwicklung guter Praxis.

Die Dokumente werden an die Fach-Peers übermittelt, die diese lesen und erste Kommentare zum Selbstevaluierungsdokument abgeben; Diese Kommentare nutzt die/der Review-KoordinatorIn für die Planung und die Prioritätensetzung für das Review. FachexpertInnen werden geschult um zu gewährleisten, dass sie ihre Aufgaben effektiv wahrnehmen können. Die zweitägigen Schulungen mit Anwesenheitspflicht werden durch die Agentur in Auftrag gegeben. Aufgrund der Komplexität ihrer Rolle müssen sich Review-KoordinatorInnen einer längeren Ein-

102

5 Peer Review auf Organisationsebene im Hochschulbereich

führung und Schulung unterziehen. Zusätzlich zur Schulung der FachexpertInnen nehmen Review-KoordinatorInnen auch an Workshops und Konferenzen teil, die von der Agentur organisiert werden. Für die institutionellen ReviewerInnen wird ein eigenes Schulungsprogramm von der Agentur angeboten, das auch die Möglichkeit umfasst, in einem Review als BeobachterIn teilzunehmen. Peer Review und Besuch(e) Fach-Review: Das Review zieht sich über eine längere Zeit hinweg und beinhaltet eine umfassende Analyse und Prüfung der Selbstdokumentation. Die Peers testen die Qualität und die erreichten Standards in Hinblick auf die Aussagen in der Dokumentation der Selbstevaluierung. Oft wird mehr als ein Besuch durchgeführt. Mindestens zwei Peers sollen jedoch an jedem Besuch teilnehmen (es sind also keine Besuche nur durch eine Person vorgesehen). Eine Reihe von Besprechungen des Peer-Teams findet im Laufe des Reviews statt: vorbereitende Treffen, Besprechungen zur Diskussion und Evaluierung von (Zwischen-)Ergebnissen, ein abschließendes Meeting um zu einer gemeinsamen Beurteilung zu kommen. Ebenso gibt es Treffen mit verschiedenen Gruppen von Betroffenen und Beteiligten (Lehrende und administratives Personal, Studierende, ehemalige Studierende, ArbeitgeberInnen). Unterrichtsbesuche können durchgeführt werden, wenn es Hinweise darauf gibt, dass die Lernmöglichkeiten nicht den geforderten Standards entsprechen (Verwendung unterschiedlicher didaktischer Methoden, Effektivität der Vermittlung von Wissen und Fähigkeiten). Die Besuche müssen jedoch vorher mit der jeweiligen Lehrperson abgesprochen werden und die Beobachtungen werden anhand eines Formulars protokolliert. Die Ergebnisse sind vertraulich und werden in einem mündlichen, konstruktiven Feedback an die Lehrperson rückgespiegelt. In allen schriftlichen Berichten und in jeder Kommunikation mit anderen MitarbeiterInnen der evaluierten Einrichtung muss die Anonymität der observierten Lehrenden von den ReviewerInnen gewahrt werden. Da das Review sich über einen längeren Zeitraum erstreckt, gibt es keine abschließende Besprechung, in der der Institution Rückmeldung gegeben wird. Diese Form des Reviews, das sich über einen längeren Zeitraum hinweg erstreckt, ist eher ungewöhnlich, da die Aktivitäten der Peers, v.a. der Besuch in den meisten anderen Verfahren eher konzentriert auf ein paar Tage erfolgen. Die QAA begründet das Vorgehen so: Spreading the available reviewer days over a period should allow reviewers to gain a better understanding of the subject provision than is possible in a concentrated, ‚snapshot’ use of the same number of days. It reduces the need to prepare large

5.5 Fallstudien: Peer Review im Hochschulbereich

103

amounts of documentation in preparation for a single visit. Spreading review activity over a period will enable academic reviewers to observe, when appropriate and by arrangement with the subject provider, internal quality assurance ‘events’, such as programme committee meetings, programme approval events, and examination and assessment boards, and thus to use documentation already prepared for internal quality assurance purposes. (QAA 2000, 8)

Evaluierungsmethoden sind Besprechungen und Diskussionsgruppen, Interviews sowie andere Methoden je nach Bedarf: weitere Dokumentenanalysen (z.B. Arbeiten der Studierende, Tests etc.), Beobachtungen (auch in manchen Fällen Unterrichtshospitationen) etc. Beurteilungen beziehen sich 1) auf die Gewährleistung akademischer Standards – hier kann Vertrauen in die Institution ausgesprochen werden oder ein „eingeschränktes Vertrauen“ bzw. kann im negativen Fall auch „kein Vertrauen“ ausgesprochen werden (statement of confidence, limited confidence, no confidence) – und 2) auf die Qualität der Lernmöglichkeiten, die mit „exemplary“, „commendable“, „approved“ oder „failing“ bewertet werden kann. Das institutionelle Review dauert meist zwei bis drei Tage abhängig von der Größe der Institution und den Ergebnissen früherer Reviews. Während des Besuchs verifiziert das Peer-Team die Richtigkeit der in der Selbstevaluierung vorgenommen Bewertungen, prüft spezielle Bedenken, die sich aus den Fachevaluierungen ergeben haben, und erhebt, so nötig, zusätzliche Daten. Peer-Bericht In der Fachevaluierung wird von der/dem Review-KoordinatorIn unmittelbar nach dem Review ein Entwurf des Berichts angefertigt. Dieser Bericht basiert auf dem Selbstevaluierungsdokument sowie den Notizen aller ReviewerInnen und den Ergebnisse der abschließenden Besprechung des Review Teams. Der Entwurf wird von den anderen ReviewerInnen gegengelesen und dann an die evaluierte Institution geschickt. Die Berichte sind ebenfalls kurz und prägnant (4000 Worte). In der Folge des institutionellen Review wird ein Bericht über die Effektivität der Qualitätssicherung auf Institutionsebene erstellt, über die Gewährleistung von Standards bezüglich der verliehenen akademischen Abschlüsse sowie die Sicherung dieser Standards. Der Bericht weist sowohl gute Praxis als auch „Aktionspunkte“ (Verbesserungsmaßnahmen) aus. Aktionspunkte können als essentiell, empfohlen oder wünschenswert kategorisiert werden. Der Bericht enthält auch eine Aussage über das Ausmaß des Vertrauens, das in die Qualitätssicherungsmechanismen der Institution („confidence“, „limited confidence“, „no

104

5 Peer Review auf Organisationsebene im Hochschulbereich

confidence“) gelegt wird. Zusätzlich können vorbildliche Aspekte der institutionellen Qualitätssicherung beschrieben werden. Sämtliche Evaluierungsergebnisse aus „Subject Reviews“ und „Institutional Reviews“ werden von der Agentur gesammelt und ergeben ein sich kontinuierlich veränderndes, dynamisches Profil der Institution. Die Ergebnisse der Reviews werden publiziert und der Öffentlichkeit zugänglich gemacht und zwar in der Form von Zusammenfassungen der einzelnen Fach-Reviews, als Übersichtsberichte der einzelnen Fachbereiche und als Berichte über die institutionellen Reviews. Konsequenzen Theoretisch kann eine negative Bewertung (statement of no confidence) im institutionellen Review zu einer Aberkennung der Akkreditierung als Hochschuleinrichtung führen, zur Einstellung der Finanzierung und der Zurücknahme des Status als Einrichtung, die akademische Grade verleihen kann (degree awarding function). Im Handbuch werden jedoch keine spezifischen Follow-up-Verfahren für den Fall einer negativen Bewertung genannt – nur die Aussage (oder Hoffnung?), dass eine derartige Bewertung selten vorkommen sollte: „a statement that confidence cannot be placed in institutional arrangements for the management of quality and standards should be a rare occurrence“ (Quality Assurance Agency for Higher Education 2000, 21). Eine Konsequenz eines positiven Review kann darin bestehen, dass darauf folgende externen Reviews weniger intensiv ausfallen („lighter touch“). Dies kann einerseits als Anreiz für Einrichtungen gelten, Anstrengungen in der Qualitätssicherung zu unternehmen, um dann in Folge weniger umfangreich und aufwändig geprüft zu werden, andererseits bedeutet dies im Gesamtsystem, dass in Anbetracht des Aufwands knappe Ressourcen eher in Richtung der „Problemfälle“ gelenkt werden.

5.5 Fallstudien: Peer Review im Hochschulbereich

105

5.5.2 Peer Review im österreichischen Fachhochschulsektor Das Peer-Review-Verfahren an österreichischen Fachhochschulen ist ebenfalls ein sehr strukturiertes und durchdachtes Modell, in dem die Details in einem hohen Ausmaß reguliert sind.55 Auch wird das Verfahren wissenschaftlich begleitet und evaluiert. Der Fachhochschulsektor in Österreich ist gerade etwas mehr als zehn Jahre alt. Die Fachhochschulerhalter sind mit einigen Ausnahmen als juristische Personen des privaten Rechts, und zwar als Gesellschaft mit beschränkter Haftung, als Verein oder als gemeinnützige Privatstiftung organisiert, die Fachhochschulen werden aber überwiegend mit öffentlichen Mitteln finanziert. Während die Fachhochschulen institutionell autonom sind, bleibt die rechtliche Kontrolle beim Staat und die externe Qualitätssicherung wird durch den Fachhochschulrat, der als Qualitätssicherungsagentur fungiert, durchgeführt. Alle Fachhochschulstudiengänge müssen akkreditiert werden, die Akkreditierung ist für einen Zeitraum von maximal fünf Jahren aufrecht. Die Erstakkreditierung ist Voraussetzung für die Anerkennung eines Fachhochschulprogramms, die Entscheidung über die Erstakkreditierung wird vom Fachhochschulrat getroffen. Nach fünf Jahren müssen die Fachhochschulen um ReAkkreditierung ansuchen. Voraussetzung dafür ist die Durchführung einer Evaluierung, d.h. Evaluierung und Re-Akkreditierung hängen in einem „integralen Konzept der externen Qualitätssicherung“ zusammen (http://www.fhr.ac.at/ fhr_inhalt/02_qualitaetssicherung/qualitaetssicherung.htm, 2.11.2005). Das Verfahren umfasst – in chronologischer Reihenfolge – eine interne Evaluierung, eine externe Evaluierung durch ein Review-Team, einen Bericht und Follow-up-Aktivitäten. Es können "zwei Regelkreise der Qualitätssicherung an Fachhochschul-Studiengängen" unterschieden werden (Pellert 2005, 192): ein externer, langfristiger, der sich aus den Evaluierungen im Rahmen der (Re-)Akkreditierungsverfahren ergibt, sowie ein interner, der im "autonomen Gestaltungsbereich des Studiengangs [liegt]" (Pellert 2005, 192). Das Qualitätskonzept beruht auf „Fitness for Purpose“, d.h. die „Qualität einer evaluierten Einheit (FH-Institution bzw. FH-Studiengang) wird im Grad der Erfüllung der in den Themen der Evaluierung definierten Ziele, Anforderungen und Erwartungen gesehen“ (EvalVO 5/2004, 1). Das Verfahren ist eine summative Evaluierung, in der auch Bereiche, die verbessert werden müssen, identifiziert werden. Die Umsetzung der in vorangegangenen Evaluierungen empfohlenen Qualitätsverbesserungen wird bei der Re-Akkreditierung berücksichtigt. (Eine Übersicht über

55 Im Folgenden beziehe ich mich, so nicht anders angegeben auf die Fachhochschulevaluierungsverordnung (Fachhochschulrat 2004).

106

5 Peer Review auf Organisationsebene im Hochschulbereich

aktuelle Evaluierungskonzepte für den nicht-universitären postsekundären Bereich in anderen europäischen Ländern gibt Pellert 2005, 202–208.) Peer Reviews im Fachhochschulsektor werden seit 1997 durchgeführt. Zwischen 1997 und 2002 waren nur die Studiengänge Gegenstand der Evaluierungen, seit 2003 werden auch institutionelle Reviews durchgeführt. „Die institutionelle Evaluierung konzentriert sich auf die Maßnahmen, Prozesse, Ressourcen und Inhalte zur Gewährleistung der Qualität der Institution als Ganzes. Die studiengangsbezogene Evaluierung ist auf den Zusammenhang zwischen beruflichen Tätigkeitsfeldern, Qualifikationsprofil und Curriculum fokussiert.“ (Evaluierungsverordnung 2004, 3). Es gibt keine explizite Verbindung zwischen den Evaluierungen der Studiengänge und der institutionellen Evaluierungen wie z.B. im englischen Evaluierungssystem (s.o.). Eine bessere Abklärung der Schnittstellen und der Verbindungen zwischen dem institutionellen Review und der Evaluierung von Studiengängen wird in einer Meta-Evaluation allerdings empfohlen. Weiters handelt es sich bei der institutionellen Evaluierung nicht um eine reine Meta-Evaluation des institutionellen Qualitätssicherungssystems. Die Reviews werden in einem Abstand von ca. fünf bis sieben Jahren durchgeführt. Die zu evaluierenden Qualitätsbereiche sind genau festgelegt. Für die Evaluierung von Studiengängen sind das: ƒ ƒ

ƒ ƒ ƒ

Ausbildungsziele und Didaktik (Ausbildungsziele, Berufspraktika, Curriculum); Studierende (Aufnahmeverfahren, Studienbedingungen, Betreuungsrelation Lehrende – Studierende, Prüfungsanforderungen und -modalitäten, Beteiligung an der Reflexion über die Studienbedingungen und die Studienorganisation); Organisation und Qualitätssicherung (Entscheidungsprozesse, -kompetenzen und -verantwortlichkeiten; Weiterentwicklung des Qualifikationsprofils, der Lehrziele und Lehrinhalte; Studienorganisation; Studienerfolg); Personal (Lehrende, Auswahl und Zusammensetzung des Lehrkörpers, Personal in Verwaltung und Technik, internationale Mobilität); Infrastruktur und Angewandte Forschung & Entwicklung (finanzielle Mittel, studiengangspezifische Forschungsfelder, Strukturen und Ressourcen).

Themen der institutionellen Evaluierungen sind: ƒ

Strategie und Organisation (Leitbild und Weiterentwicklung der Organisation; Ausbildungs- und Forschungsziele; Entscheidungsprozesse, -kompetenzen und -verantwortlichkeiten; Aufbau- und Ablauforganisation; „Corporate Identity“);

5.5 Fallstudien: Peer Review im Hochschulbereich ƒ ƒ ƒ

ƒ ƒ ƒ

107

Qualitätsmanagement und Personalentwicklung (Qualitätsmanagementsystem, Personalentwicklungskonzept, externe Kommunikation, Bestellungsverfahren); Studienangebot (Entwicklung neuer Studienangebote, Qualität der Ausbildung, Bildungsauftrag, Anforderungen an die Diplomarbeit, Kontakt zu den AbsolventInnen); Studierende (studentische Lehrveranstaltungs-Bewertung, Aufnahme- und Anerkennungsverfahren, Betreuungsrelation Lehrende/Studierende, Prüfungsanforderungen und -modalitäten, studentische Infrastruktur, institutionalisierte Beteiligung an der Reflexion über die Studienbedingungen und die Studienorganisation); Angewandte Forschung und Entwicklung (Forschungsstrategie und -ziele, Ressourcen für angewandte Forschung und Entwicklung, Know-how- bzw. Technologietransfer); Ressourcen, Infrastruktur und Finanzen (infrastrukturelle Ressourcen, Finanz- und Sachmittel, räumliche Infrastruktur und Bibliothek, Budgetierung und Budgetvollzug, Mehrjahresplan zur Finanzierung); Internationalisierung, Kooperationen und Kommunikation (BolognaProzess, Internationalisierungsstrategien, nationale und internationale Kooperationen, Gesamtkommunikation).

Vorbereitung und Organisation des Peer Reviews Die interne Evaluierung wird durch ein Team von drei bis fünf Personen durchgeführt. Der Prozess sollte spätestens fünf bis sechs Monate vor einem institutionellen Review bzw. drei Monate vor der Evaluierung eines Studiengangs beginnen. Sowohl Personal als auch Studierende sollen in die Selbstevaluierung eingebunden werden. Die Struktur des Selbstevaluierungsberichts ist vorgegeben. Er umfasst 30 bis 40 Seiten und beginnt mit einer Einleitung, die die Beschreibung des Selbstevaluierungsprozesses zum Inhalt hat und die involvierten Personen nennt. Die weitere Struktur folgt den oben genannten Themenbereichen. Für jeden Themenbereich müssen folgende Punkte ausgewiesen werden: die gegenwärtige Situation, eine Analyse and Bewertung der aktuellen Situation in Hinblick auf die vorgegebenen Ziele, Anforderungen und Erwartungen, Vorschläge für Verbesserungen und geplante Maßnahmen sowie eine zusammenfassende Analyse der Stärken und Schwächen.

108

5 Peer Review auf Organisationsebene im Hochschulbereich

Peers Eine allgemeine Voraussetzung für die Teilnahme an einem Review ist, dass die Mitglieder des Peer-Teams unabhängig und unbefangen sind, Interessenkonflikte müssen vermieden werden. Weiters muss sichergestellt werden, dass die Peers ausreichende Kenntnisse und Kompetenzen haben, um die Themen der Evaluierung zu beurteilen. Zusätzlich muss mindestens ein Mitglied des ReviewTeams mit dem österreichischen Fachhochschulsektor vertraut sein und mindestens ein Mitglied muss über Erfahrungen bei der Durchführung von Evaluierungsverfahren verfügen. Für die institutionelle Evaluierung hat das Peer-Team aus mindestens drei Personen und einem Assistenten/einer Assistentin zu bestehen: „Dem ReviewTeam haben jedenfalls eine Person mit akademischer Leitungsfunktion von einer fachverwandten Hochschule aus dem Ausland sowie eine Person mit Managementfunktionen aus der Wirtschaft bzw. von Non-Profit-Organisationen anzugehören.“ (EvalVO 5/2004, 3) Das Review-Team im Rahmen der studiengangsbezogenen Evaluierung umfasst ebenfalls mindestens drei Personen und mindestens eine Assistentin / einen Assistenten: „Dem Review-Team haben jedenfalls eine Person mit akademischer Leitungsfunktion von einem fachverwandten Studiengang aus dem Ausland, eine Person mit facheinschlägiger Berufserfahrung sowie eine Person mit ausreichender Lehrerfahrung und der Kompetenz, die didaktische Gestaltung von Curricula beurteilen zu können, anzugehören.“ (EvalVO 5/2004, 4) Der Fachhochschulerhalter wählt die Peers aus und informiert den Fachhochschulrat über die Zusammensetzung des Peer-Teams. Sollte das Peer-Team nicht den Bestimmungen der Fachhochschulevaluierungsverordnung entsprechen (s.o.) kann der Fachhochschulrat die Zusammensetzung des externen ReviewerInnenteams ablehnen. Der Erhalter muss daraufhin ein neues Mitglied bzw. neue Mitglieder benennen. Die Peers werden durch den Erhalter eingeladen. Innerhalb des Peer-Teams gibt es drei Funktionen: Die Gruppenleitung, die „normalen“ Peers und die Funktion der Assistentin / des Assistenten. Die Gruppenleitung ist verantwortlich für die Koordinierung der Arbeiten des Review Teams: Sie/Er arbeitet einen Katalog mit Fragestellungen aus, nimmt die Verteilung bestimmter Aufgaben im Team vor und koordiniert das gemeinsame Abfassen des Berichts. Ebenso ist es Aufgabe der Gruppenleitung, auf die Einhaltung des Zeitplans zu achten und Kontakt mit der evaluierten Einrichtung zu halten. Ergebnisse der Meta-Evaluierungen unterstreichen die Notwendigkeit und Nützlichkeit einer solchen Funktion innerhalb der Gruppe. Ebenso positiv wird die Rolle des Assistenten/der Assistentin gesehen.

5.5 Fallstudien: Peer Review im Hochschulbereich

109

Die Assistentin / der Assistent (ursprünglich SekretärIn genannt) ist eine Mitarbeiterin / ein Mitarbeiter aus dem Verwaltungsbereich aus einer anderen Fachhochschule, in der Regel der Fachhochschule, aus der eine/einer der Peers stammt. Sie/Er ist verantwortlich für unterstützende und organisatorische Arbeiten und bereitet auch den Bericht vor. Sie/er spielt eine wichtige Rolle für den reibungslosen und effizienten Ablauf des Peer Reviews. Organisatorische Fähigkeiten, hohe Kompetenz bei der Abfassung von Berichte, eine gute Kenntnis des Verfahrens sowie des evaluierten Sektors sind notwendige Voraussetzungen für die Auswahl einer Assistentin/ eines Assistenten. Die Assistentin/der Assistent wird aufgrund ihrer/seiner Bedeutung für den Ablauf des Verfahrens manchmal auch als „fünfte/fünfter Peer“ bezeichnet, sie/er hat auch das Recht inhaltliche Vorschläge einzubringen, ist aber kein Peer und hat auch kein Stimmerecht bei Entscheidungen. Schulung und Vorbereitung der Peers Die Fachhochschulevaluierungsverordnung sieht vor, dass die TeilnehmerInnen des Review Teams „ rechtzeitig vor dem Vor-Ort-Besuch in geeigneter Weise auf ihre Tätigkeit hinsichtlich inhaltlich-methodischer und organisatorischer Fragen der Durchführung der externen Evaluierung vorzubereiten“ sind (EvalVO 5/2004, §4, Abs. 8). Zu diesem Zweck werden Workshops (von etwa einem halben Tag) getrennt sowohl für die Peers als auch für die zu evaluierende Einrichtung abgehalten. Wichtigstes Ziel der Workshops ist es, die jeweiligen Aufgaben in der Evaluierung zu klären. Peers werden mit den spezifischen Besonderheiten des Fachhochschulsektors und mit den Details der Peer Methodologie vertraut gemacht. Fragen können gestellt werden, auch ist Raum für Diskussionen. Zusätzlich können die Workshops für den Aufbau der Zusammenarbeit in den Teams genützt werden sowie für die Vorbereitung des Reviews und die Erarbeitung eines Fragenkatalogs. Eine Meta-Evaluation hat gezeigt, dass sich Peers mehr methodologische Anleitungen und Unterstützung wünschen würden in Hinblick auf den tatsächlichen Verlauf des Reviews. Zusätzlich sollte mehr Zeit vorgesehen werden für das Teambuilding, um eine reibungslose und effiziente Kooperation zwischen den Peers zu fördern (vgl. Kozar 1999, 104f. und 124f.). Im Rahmen von institutionellen Reviews führen viele Peer-Teams zur Vorbereitung ein oder mehrere Treffen durch. Sowohl für die Evaluierung von Studiengängen als auch für die institutionelle Evaluierung zeigen MetaEvaluationen auf, dass es die Arbeit der Peers erleichtert, wenn sie sich wenigstens am Abend vor dem Review treffen können, um sich auszutauschen und

110

5 Peer Review auf Organisationsebene im Hochschulbereich

gemeinsam letzte Vorbereitungen zu treffen. (Kozar1999, 111; Clementi et al. 2004, 36). Peer-Besuch Der Vor-Ort-Besuch dauert für gewöhnlich zwischen zwei und vier Tage. Diese Dauer scheint den Meta-Evaluationen zufolge auch angemessen und ausreichend. Wenn eine Einrichtung jedoch mehrere Standorte umfasst, ist es aufgrund zeitlicher Beschränkungen nicht immer möglich oder empfehlenswert alle Standorte zu besuchen. Die Meta-Evaluation hat aufgezeigt, dass der Umfang des Angebots (in Hinblick auf die Anzahl der Studiengänge sowie der Standorte) bei der Planung der Dauer von Besuchen berücksichtigt werden sollte. Es ist jedoch fraglich, ob eine Dauer von mehr als vier Tagen für die Fachhochschuleinrichtungen noch akzeptabel wäre, da die normalen Abläufe während des Reviews doch meist gestört werden (vgl. Kozar 1999, 42ff., 48ff., 54f.). Allgemeine Methoden während des Vor-Ort-Besuches sind eine Begehung sowie Interviews mit verschiedenen Personen und Gruppen. Eine sorgfältige Planung und ein realistischer Zeitplan mit Pufferzeiten für mögliche Verzögerungen werden als wichtige Erfolgsfaktoren genannt. Meist werden die Resultate des Tages am Abend gemeinsam diskutiert, beurteilt und zusammengefasst. Eine weitere Empfehlung ist die Einplanung von weiteren internen Treffen zwischen den Peers im Verlauf des Tages, in denen Eindrücke und Befunde ausgetauscht werden können und erste (gemeinsame) Bewertungen abgestimmt und formuliert werden können. Die Effizienz der Berichterstattung kann deutlich gesteigert werden, wenn ein Rohentwurf bereits am Ende des Vor-Ort-Besuches vorliegt (Clementi et al. 2004, 177). Der Arbeits- und Zeitdruck während der Besuche ist erheblich – 12-bis 14-stündige Arbeitstage sind üblich. Weitere, den Peer-Besuch betreffende Befunde waren: Wenn Peers aus der lokalen Wirtschaft rekrutiert wurden, konnten sie oft aus Zeitgründen nicht an allen Sitzungen und Interviews teilnehmen, was für den Prozess störend war. Peers mit einem Naheverhältnis zur Einrichtung (Kooperationspartner etc.) nahmen manchmal eine beschützende Haltung gegenüber der evaluierten Fachhochschule (bzw. gegenüber dem Fachhochschulstudiengang) ein, v.a. wenn es um kritische Punkte ging (Kozar 1999, 107). Andere Probleme, die während der Besuche auftraten, bezogen sich auf Spannungen aufgrund der Abwesenheit oder des Zu-spät-Kommens von Peers und auf die Tendenz mancher Peers, anstatt zuzuhören das Review als eine Plattform für ihre eigene Selbstdarstellung zu nutzen (Kozar 1999, 125). Um einen angemessenen Feedbackprozess zwischen dem Review Team und der evaluierten Einrichtung zu ermöglichen, wird zum Abschluss des Besuchs

5.5 Fallstudien: Peer Review im Hochschulbereich

111

ein gemeinsames Treffen des gesamten Review Teams und der RepräsentantInnen der evaluierten Einrichtung abgehalten, in dem die Eindrücke des Besuchs und erste Schlussfolgerungen präsentiert und diskutiert werden. Peer-Bericht und Veröffentlichung der Ergebnisse Der Evaluierungsbericht des Peer-Teams folgt der Struktur des Selbstevaluierungsberichts und sollte nicht mehr als 20 Seiten umfassen. Er beinhaltet eine Zusammenfassung und eine Einschätzung der Stärken und Schwächen sowie Empfehlungen für jedes Evaluierungsthema. Der Zeitplan der Evaluierung und eine Liste der interviewten Personen finden sich in einem Annex. Der Bericht gibt die gemeinsame Bewertung aller Mitgliedern des Peer-Teams wieder. Abweichende Meinungen können auch angeführt werden (dies kommt jedoch selten vor). Die Zusammenfassung des Evaluierungsberichts des Peer-Teams ist die Grundlage für die Veröffentlichung und sollte nicht länger als drei Seiten sein. Sie beinhaltet begründete allgemeine Eindrücke sowie die wichtigsten Resultate für jeden Evaluierungsbereich. Die evaluierte Einrichtung kann zum Evaluierungsbericht der Peers Stellung nehmen. In der Meta-Evaluation wurde ein ausreichender Zeitrahmen für die Feedback-Phase zwischen dem Review Team und der Einrichtung empfohlen. Eine klare und offene Kommunikation sowohl über positive als auch über negative Aspekte sollte ermöglicht werden. Einrichtungen sollte die Gelegenheit gegeben werden, Missverständnisse aufzuklären und durch zusätzliche Informationen Ergänzungen vorzunehmen (Clementi et al 2004, 177). Die Evaluierungsergebnisse werden als Zusammenfassung des Berichts auf der Website des Fachhochschulrats veröffentlicht. Für die Veröffentlichung ist die Zustimmung der Einrichtung notwendig. Wenn die Einrichtung ihre Zustimmung nicht gibt, werden die Ergebnisse nicht publik gemacht, es wird aber auf der Website des Fachhochschulrats darauf aufmerksam gemacht, dass die Ergebnisse zwar vorliegen aber nicht veröffentlicht wurden. Follow-up Das Follow-up-Verfahren sichert die Umsetzung der Evaluierungsergebnisse, d.h. die Durchführung von angemessenen Verbesserungsmaßnahmen. Der Fachhochschulrat prüft anhand des Peer-Berichts, ob eine Re-Akkreditierung im Sinne von § 13 Abs 2 FHStG idgF vorgenommen werden kann. Der Fachhochschulrat setzt auch die Termine für die nächste Evaluierung fest und kann in manchen Fällen auch Verbesserungsmaßnahmen verbindlich einfordern. Im Falle einer institutionellen Evaluierung muss dem Fachhochschulrat ein Verbesserungsplan vorgelegt werden. Über die getroffenen Maßnahmen ist dann

112

5 Peer Review auf Organisationsebene im Hochschulbereich

beim nächsten Antrag auf Re-Akkreditierung Rechenschaft abzulegen: „In den Anträgen auf Re-Akkreditierung bzw. Änderungsanträgen ist auf übersichtliche Art und Weise darzulegen, wie auf die antragsrelevanten Ergebnisse von abgeschlossenen Evaluierungen reagiert wurde“ (EvalVO 5/2005, §5, Abs. 4). Es gibt jedoch keine unmittelbaren Auswirkungen des Peer Reviews in Bezug auf Personal- oder Finanzierungsentscheidungen (vgl. Kozar 1999, 126).

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

6.1 Einleitung Peer Review kommt seit einigen Jahren auch in der beruflichen Erstausbildung bzw. im allgemeinen und berufsbildenden Schulwesen als Verfahren zur Qualitätsevaluierung zum Einsatz. Die Durchführung von Peer Reviews kann auf Eigeninitiative von Bildungseinrichtungen zurückgehen oder im Rahmen von (staatlich subventionierten) Modellversuchen pilotiert werden. In einigen Ländern ist Peer Review auch Teil eines staatlichen Qualitätssicherungssystems. Manche Peer-Review-Modelle sind sehr stark reguliert und gleichen den in den betreffenden Ländern ebenfalls standardisierten Verfahren auf Hochschulebene, in anderen Fällen wurde die Kernidee des Peer Reviews – eine Bildungseinrichtung lädt KollegInnen aus anderen Bildungseinrichtungen ein, um ein Feedback über die Qualität ihres Bildungsangebots einzuholen  auch kreativ den Bedürfnissen der Bildungseinrichtung(en) angepasst. Zu ersteren gehören v.a. die auf Systemebene verpflichtend eingeführten Peer-Review-Modelle, zu zweiteren Eigeninitiativen von Bildungseinrichtungen. Die beschriebenen, staatlich finanzierten Modellversuche sind z.T. in einer Zwischenposition, d.h. Verfahren aus dem tertiären Sektor wurden übernommen, aber für die berufliche Erstausbildung bzw. das Schulwesen adaptiert und in manchen Bereichen auch neu definiert. 6.2 Auswahl der Fallstudien Im Folgenden werden verschiedenen Verfahrensvarianten in Fallstudien beschrieben und anschließend analysiert. Diese Fallstudien sind das Ergebnis einer zweijährigen Recherche, die zum Ziel hatte, im europäischen Kontext in Bezug auf Verfahrensvarianten prinzipiell erschöpfend zu sein. Allerdings kann nicht ausgeschlossen werden, dass aufgrund eingeschränkter Zugänglichkeit von Informationen (z.T. Zeitverschiebung in Bezug auf Informationen über aktuelle nationale Entwicklungen, sprachliche Einschränkungen) das eine oder andere Verfahren nicht berücksichtigt werden konnte, bzw. dass aufgrund der raschen Weiterentwicklung im Bereich der Qualitätssicherung bei Beendigung der Arbeit

114

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

neue Verfahren vorliegen, die in dieser Untersuchung noch nicht berücksichtigt werden konnten. Verfahren, die den in den Fallbeispielen analysierten ähnlich sind, werden in einem weiterführenden Unterkapitel kurz vorgestellt. Stichtag für die letzte Aktualisierung von Informationen zu den beschriebenen Verfahren war der 31.12.2005. Da es keine allgemein gültige Definition für „Peer Review“ gibt, muss vorerst offen bleiben, ob alle der vorgestellten Verfahren tatsächlich als Peer Review bezeichnet werden können. Da Peer-Review-Verfahren, wie die meisten Qualitätsverfahren, in der Praxis bzw. in enger Zusammenarbeit mit der Praxis entstehen, soll vorerst aufgezeigt werden, wie Peer Review in der beruflichen Erstausbildung bzw. in von den Rahmenbedingungen her ähnlichen Bereichen im Schulwesen der Sekundarstufe angewandt wird und welche Bandbreite von Peer-Review-Varianten sich ausgebildet hat. Aus einer kritischen, theoriegeleiteten Analyse der Empirie soll dann in Kapitel 8 ein profunderes Verständnis des Peer Reviews entwickelt und die dargestellten Verfahren neu eingeordnet werden. Als Fallbeispiele wurden von mir einerseits Verfahren aufgenommen, die von den ProponentInnen und AnwenderInnen als Peer Review bezeichnet wurden  selbst wenn sie auf den ersten Blick mit anderen Qualitätsverfahren stärker in Verbindung gebracht würden (z.B. Fallbeispiel 3, 4, 5)  bzw. auch Verfahren, die für die aktuelle Entwicklung der Qualitätssicherung in Europa typisch sind und die ebenfalls einige wichtige Merkmale von Peer Review, wie sie aus dem Hochschulsektor bekannt sind, aufweisen (Fallbeispiel 10). Es wurden Beispiele sowohl aus dem beruflichen als auch aus dem allgemeinen Schulwesen gewählt, wobei die Bildungseinrichtungen auf der Sekundarstufe II der Berufsbildung in manchen Ländern Colleges oder Training-Center sind und sich organisatorisch und strukturell stark von österreichischen berufsbildenden Schulen unterscheiden (vgl. Kapitel 7.1). Die Fallstudien umfassen das ganze oben genannte Spektrum, sie betreffen Modelle von Peer Review aus sieben europäischen Ländern: aus Deutschland, der Schweiz, den Niederlanden, Spanien, Italien, Finnland und dem Vereinigten Königreich (Schottland). 6.3 Methodisches Vorgehen bei der Erstellung des Erhebungsleitfadens Gegenstände und Kriterien für Erhebung und Auswertung der recherchierten Peer-Review-Modelle ergaben sich einerseits aus meinem Erkenntnisinteresse als auch aus den vorgefundenen Verfahren. Anhand der Grundzüge und wesentlichen Verfahrenselemente von Peer-Review-Modellen im Hochschulbereich wurde ein erster Erhebungsleitfaden erstellt, der im Laufe der Recherche mehr-

6.3 Methodisches Vorgehen bei der Erstellung des Erhebungsleitfadens

115

mals angepasst wurde, wenn z.B. in einem Verfahren neue Elemente auftauchten oder durch die Auseinandersetzung mit den einzelnen Peer-Review-Varianten, speziell auch in ihrer Abhängigkeit zu nationalen, regionalen, lokalen etc. Rahmenbedingungen und Gegebenheiten, neue Gesichtspunkte sich als bedeutsam erwiesen. Neben einschlägigem Wissen aus eigenen Evaluationserfahrungen sind v.a. auch Erkenntnisse aus einer umfangreichen Literaturanalyse zum Thema Evaluation im Bildungsbereich eingeflossen. Stellvertretend für viele hilfreiche Darstellungen in der einschlägigen Literatur soll hier die Übersicht über Dimensionen der Qualitätsevaluierung von Posch und Altrichter (1997, 14-28) erwähnt werden. Als erste Dimension nennen Posch und Altrichter die Definition des Evaluationsgegenstandes  „Was wird kontrolliert?“ (Posch/Altrichter 1997, 14), wobei sie davon ausgehen, dass dieser mit der Bildungsinstitution gleichzusetzen ist, was auch im Kontext meiner Untersuchung der Fall ist. Sie unterscheiden für die Evaluierung von Bildungseinrichtungen Input-, Prozess- und Outputstandards.56 Die Qualitätsbereiche werden in den Fallstudien unter dem Punkt „Umfang der Evaluation“ dargelegt, wobei in der Praxis der Qualitätssicherung in der beruflichen Bildung für gewöhnlich nicht zwischen Input-, Prozess- und Outputevaluation getrennt wird, vielmehr werden meist Qualitätsbereiche formuliert, die entweder implizit einem der drei genannten Bereiche zugeordnet werden können, oder eine Mischung aus diesen darstellen können. Die Qualitätsbereiche können sich grundsätzlich an internationalen QM-Systemen orientieren, an verpflichtenden staatlichen Standards, an den Vorgaben von staatlichen Modellvorhaben oder sonstigen einrichtungsübergreifenden Qualitätsprojekten oder an den eigenen Fragestellungen der Bildungseinrichtung. Die zweite Qualitätsdimension beschäftigt sich mit der Frage, wer AuftraggeberIn bzw. AdressatIn einer Evaluation ist  „Wer kontrolliert die Qualität?“ (Posch/Altrichter 1997, 20). Posch und Altrichter gehen der allgemeinen Frage nach, welche gesellschaftlichen Kräfte – Staat, Markt oder Profession – die Qualität des Schulwesens kontrollieren. Peer Review wäre hier von der Konzeption her dem Paradigma „Kontrolle durch die Profession“ zuzuordnen. In der Realität sind die Bildungssysteme auf der Stufe der Erstausbildung nach wie vor hauptsächlich staatlich reguliert, von einer Selbstregulierung der Profession kann (noch) nicht gesprochen werden. Es stellt sich eher die Frage, auf welcher Ebene des Bildungssystems die Qualitätssicherung verankert ist und welche Rolle die

56 In der Evaluationsforschung werden zusätzlich zu diesen drei Bereichen auch der Kontext sowie "Outcome" und "Impact"  als Wirkung bei den Beteiligten bzw. als Wirkung im sozialen Umfeld in Abgrenzung zum Output, der die unmittelbaren Ergebnisse meint  genannt.

116

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Peers übernehmen. Eine theoretische Auseinandersetzung mit der Rolle der Profession als Akteurin in der Qualitätssicherung in der beruflichen Erstausbildung folgt in Kapitel 8. Für die Erhebung und Analyse der Fallbeispiele habe ich mich darauf konzentriert, den Ort der Steuerung des Peer Reviews zu erfassen. Es wird einerseits aufgezeigt, wer den Anstoß zu einem Peer Review gibt, wer es lenkt und reguliert und wer es durchführt (vgl. auch unten Kapitel 6.2). Andererseits ist in diesem Zusammenhang die Definition und die Auswahl der Peers von größtem Interesse, da diese als EvaluatorInnen einen maßgeblichen Einfluss auf die Ergebnisse des Peer Reviews haben: Wer bestimmt, wer ein Peer sein kann? Wer wählt die Peers aus? Wer kommt als Peer überhaupt in Frage?57 Als dritte Qualitätsdimension wird die Ebene, auf der die Evaluierung stattfindet, genannt  „Wer wird kontrolliert?“ (Posch/Altrichter 1997, 25). Die Unterscheidung zwischen Systemebene (national, regional etc.), institutioneller Ebene (Bildungseinrichtung bzw. Teile einer Bildungseinrichtung) sowie der individuellen Ebene (Personen und Personengruppe) wird durchgängig als ein wichtiges Kriterium für die Kategorisierung der verschiedenen Peer-ReviewVerfahren verwendet (s. Kapitel 3.3). Die Frage „Wer wird evaluiert?“ ist für drei Aspekte der vorliegenden Untersuchung besonders relevant: 1) Für die Erhebung von Peer-Review-Varianten auf der Ebene der Organisation ist v.a. von Interesse, ob es verschiedene Verfahren für die Evaluierung einzelner Teilbereiche der Einrichtung (meist nach Fachbereichen oder Programmen) einerseits und die Evaluierung der Institution als Ganzes  oft im Sinne einer Meta-Evaluation des Qualitätssicherungssystems der Institution  andererseits gibt (vgl. auch die Praxis derartiger unterschiedlicher Verfahren im tertiären Sektor). 2) Da es Anzeichen dafür gibt, dass eine rein institutionell ausgelegte Evaluierung, die die Unterrichtspraxis der Lehrenden weitgehend ausklammert, gerade für die Kernbereiche Lehren und Lernen wenig Entwicklungsimpulse gibt (vgl. auch oben Qualitätsmanagement), wurde auch mit erhoben, welchen Stellenwert die Evaluierung von Lehren und Lernen im Peer Review einnimmt und ob zusätzlich innerhalb der Selbstevaluierung auch individuelle Peer Reviews unter den Lehrenden durchgeführt werden. 3) In der Erhebung wird weiters aufgrund der Diversität der Bildungssystemen, aus denen die Fallbeispiele kommen, ein genaueres Augenmerk auf die Art der Institution, die evaluiert wird, gelegt. Die vierte Dimension befasst sich mit der Frage, wie explizit die Standards und Prozesse der Qualitätsevaluation sind. Posch und Altrichter beziehen diese

57 Der Frage, wie die Verantwortlichkeiten und Befugnisse innerhalb der evaluierten Institution, die ja eine Selbstevaluierung durchführen muss, verteilt sind, bin ich nicht nachgegangen, da dies einer eigenen Untersuchung bedürfte (s.u. 7.2).

6.3 Methodisches Vorgehen bei der Erstellung des Erhebungsleitfadens

117

Dimension einerseits darauf, ob es „wohl definierte Regeln und Standards hinsichtlich dessen, was als Qualität angesehen wird“ gibt (Posch/Altrichter 1997, 27), andererseits sprechen sie damit aber auch Fragen der Steuerung an, die außerhalb der Bildungseinrichtungen liegen, wenn sie danach fragen, ob „es klar definierte Prozeduren sowie Einrichtungen [gibt], die ausdrücklich für Qualitätsevaluation verantwortlich sind“ (Posch/Altrichter 1997, 27). Implizite Standards werden angewandt, wenn „Qualitätsevaluation durch innerorganisatorische Sozialisationsprozesse und internalisierte Werte und Fertigkeiten ohne Vereinbarung oder Vorgabe expliziter Regeln und institutionalisierter Prüfungsprozesse [erfolgt]“ (Posch/Altrichter 1997, 27). In der vorliegenden Untersuchung ist diese Dimension in den Recherchen zu den in den verschiedenen Peer-Review-Verfahren abgedeckten Qualitätsbereichen berücksichtigt: So möglich, wurde erhoben, wer die Qualitätsbereiche definiert und ob diese Standards und/ oder Indikatoren enthalten, die eine vergleichbare und transparente Bewertung durch die Peers ermöglichen. Fragen der Steuerung auf der Systemebene wurden nur in den Fällen behandelt, in denen Peer Reviews bereits Teil des staatlichen Qualitätssicherungssystems sind. Die fünfte Qualitätsdimension ist die Funktion der Qualitätsevaluation. Diese wird als Kernfrage in allen Fallbeispielen behandelt, da die jeweilige Funktion des Peer Reviews einen maßgeblichen Einfluss auf Design und Implementierung des Verfahrens hat. Als zusätzliche sechste Qualitätsdimension werden die besonderen Verfahrenselemente und –schritte des Peer Reviews dargestellt58. Diese wurden für jedes Fallbeispiel so detailliert wie möglich erhoben. Dazu zählt als zentrales Merkmal die Bestimmung der Peers und ihrer Rollen und Aufgaben: Wer sind die Peers? Welche Qualifikationen müssen sie mitbringen? Wie ist die Zusammensetzung des Peer-Teams? Wer nominiert, wer bestellt die Peers? Welche Aufgaben haben die Peers zu erfüllen? Welche Funktionen gibt es im PeerTeam? Werden die Peers für ihre Aufgaben vorbereitet? Gibt es eine Schulung, und wenn ja, wie lange dauern sie und welche Inhalte werden behandelt? Weiters wurden die Verfahrensvarianten anhand des Ablaufs eines „typischen“ Peer Reviews recherchiert, wobei die in Kapitel 5 beschriebenen, stark standardisierten und regulierten Modelle aus dem postsekundären/tertiären Sektor Vorbild waren. Als erste Stufe des Verfahrens wird die Selbstevaluierung beschrieben: Wie wird die Selbstevaluierung durchgeführt? Gibt es einen Selbstbericht? Was sind Struktur und Inhalte des Selbstberichts? Gibt es noch andere Dokumente, die als Grundlage für das Peer Review vorbereitet werden? Darauf-

58 Posch und Altrichter (1997) widmen der Frage der Verfahren ein eigenes (umfangreiches) Kapitel.

118

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

hin wird die Vorbereitung und Organisation des Peer Reviews dargestellt: Gibt es für die Peers eine Möglichkeit, sich vorher auszutauschen und ein Team zu werden? Wie bereiten sich die Peers auf das Review vor (z.B. Evaluierungsfragen)? Wer übernimmt die praktische Organisation des Peer-Besuchs? Schließlich wird der Kern des Peer Reviews, der Peer-Besuch, beschrieben. Wichtige Merkmale sind Dauer und Ablauf des Besuchs, angewandte Erhebungs- und Evaluierungsmethoden, die Kommunikation mit der evaluierten Einrichtung sowie die Kommunikation zwischen den Peers. Die Darstellung des Follow-upProzesses versucht folgende Fragen zu beantworten: Wie werden die Ergebnisse dokumentiert? Gibt es einen Endbericht? Wer schreibt ihn? Wer veröffentlicht ihn? Wie wird die evaluierte Organisation in die Erstellung des Endberichts einbezogen? Welche Konsequenzen kann ein Peer Review haben (interne, externe, organisatorische/personelle/finanzielle Konsequenzen)? Ist das Verfahren insgesamt in ein umfassendes und systematisches Qualitätsverbesserungsverfahren eingebettet? Sinnvoll erschien es auch, Erfahrungen der Bildungseinrichtungen sowie Ergebnisse von Meta-Evaluationen in die Darstellungen der Fallbeispiele aufzunehmen: Was sind Erfahrungen mit Peer Review? Was funktioniert gut, was nicht? Wie wird Peer Review im Vergleich zu anderen Qualitätssicherungsmethoden (EFQM, ISO, BSC, Selbstevaluierung etc.) beurteilt? Zusätzlich wurden horizontale Fragestellungen berücksichtigt. Diese betreffen die Einbeziehung von Betroffenen und Beteiligten, die angewandten Evaluierungsmethoden und den Beitrag der Verfahren zur Qualitätsentwicklung. 6.4 Fallstudien 6.4.1 Evaluating quality in school education. A European pilot project (Fallbeispiel 1) Einbettung, Ziel und Umfang des Verfahrens In der ersten Fallstudie geht es nicht um ein Peer-Review-Verfahren im engeren Sinn, da keine explizite Evaluierung durch Peers vorgenommen wurde. Das beschriebene Projekt ist ein Beispiel dafür, dass auch Teile bzw. Elemente des Peer Reviews für bestimmte Zwecke mit gutem Erfolg genutzt werden können. Es handelt sich um ein europäisches Pilotprojekt zum Thema „Selbstevaluierung an Schulen“, das von der Europäischen Kommission, DG XXII (heute Generaldirektion Bildung und Kultur) zwischen September 1997 und November 1998 durchgeführt wurde. Beteiligt waren 101 Schulen aus 18 Ländern (EU und

6.4 Fallstudien

119

EFTA)59. Das Projekt konzentrierte sich auf allgemeinbildende Schulen auf der Sekundarstufe I und II, das verwendete Verfahren ließe sich jedoch auch leicht auf den berufsbildenden Bereich übertragen. Ziel des Projekts war es, die Kultur der Selbstevaluation in den Schulen zu fördern sowie Erkenntnisse über Möglichkeiten und Grenzen unterschiedlicher Ansätze und Methoden der Selbstevaluation zu sammeln. Durch den transnationalen Charakter des Projektes konnte auch der Erfahrungsaustausch zwischen den Bildungseinrichtungen aus den verschiedenen Ländern in Bezug auf 1) Methoden der Selbstevaluierung und 2) die Umsetzung von Evaluierungsergebnisse zur Schulentwicklung unterstützt werden. Die Schulen hatten die Möglichkeit, entweder mit verschiedenen Methoden der Selbstevaluation zu experimentieren oder auf der Grundlage bereits vorliegender Evaluationsergebnisse zu versuchen, Wege der Umsetzung zu erproben. Die Aktivitäten an den teilnehmenden Schulen folgten einem allgemeinen, vorher festgelegten Projektablauf: Schritt 1: Die Schulen untersuchten den Zustand ihrer eigenen “organisationalen Gesundheit“ (state of ‚organisational health’). In diese Standortbestimmung waren auch wichtige Betroffene und Beteiligte (z.B. SchülerInnen, LehrerInnen, Eltern) involviert. Schritt 2: Die Schulen wählten fünf Qualitätsthemen (ein Thema verpflichtend aus jedem der 4 Qualitätsgruppen (s.u.) sowie ein frei gewähltes Thema aus einer beliebigen Qualitätsgruppe) für eine weitergehende Evaluierung aus und verfassten einen Endbericht in Form eines „Selbstevaluierungsprofils“. Erfahrungsaustausch zum Thema Selbstevaluierung und Vernetzung waren das Ziel von zwei transnationalen Konferenzen der Projektpartnerschaft. Das Schlüsselinstrument für die Selbstevaluierung war das Selbstevaluierungsprofil (Self-Evaluation Profile (SEP), in dem 12 Qualitätsbereiche beschrieben waren, und ein „Leitfaden für die Selbstevaluierung“, in dem der Ablauf des Projekts sowie Prozess und Zeitplan der Selbstevaluierung schrittweise beschrieben wurden. Weiters gab es einen „praktischen Leitfaden“, in dem Evaluierungsmethoden dargestellt wurden. Das Hinzuziehen eines „kritischen Freundes“/“einer kritischen Freundin“ („critical friend“) während der Selbstevaluierung war ein zentrales Verfahrenselement, das von vielen genutzt wurde. Die Peers waren eher eine zusätzliche Ressource im Selbstevaluierungsprozess als externe EvaluatorInnen. 86 der 101

59 Wenn nicht anders angegeben, wurden die Informationen für diese Fallstudie entnommen aus dem von der Europäischen Kommission herausgegebenen Projektbericht von Mac Beath et al. 1999. Dieser Bericht ist auch die Basis für Mac Beath et al. 2000 sowie die deutsche Publikation von Schratz et al. 2002.

120

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Schulen setzten einen „kritischen Freund“/“eine „kritische Freundin“ ein. Zusätzlich konnten im Rahmen der Selbstevaluierung auch Peer Beobachtungen des Unterrichts stattfinden. Alle Peer Aktivitäten, sowohl auf der institutionellen, als auch auf der individuellen Ebene, waren freiwillig und wurden von den Betroffenen selbst organisiert. Für die Selbstevaluierung wurden 12 Themenbereiche definiert, die in vier Gruppen zusammengefasst wurden: Ergebnisse (fachliche Leistungen der SchülerInnen, persönliche und soziale Entwicklung, Verbleib und Aufstieg der SchülerInnen), Prozesse auf der Ebene des Unterrichts (‚classroom level’) (Zeit als Ressource für Lernen, Qualität des Lernen und Lehrens, Unterstützung bei Lernschwierigkeiten), Prozesse auf Schulebene (die Schule als Lernort, die Schule als sozialer Ort, die Schule als Arbeitsplatz) und Umfeld (Schule und Elternhaus, Schule und Gemeinschaft (‚community’), Schule und Arbeit). In den Peer Reviews auf der Ebene des Unterrichts wurden Kernprozesse wie Lehren und Lernen, die Unterstützung bei Lernschwierigkeiten und andere Aspekte des Unterrichtsgeschehens (‚classroom life’) thematisiert. Diese Themengebiete wurden im Rahmen von (gegenseitigen) Unterrichtsbesuchen beobachtet und analysiert. Von großer Bedeutung für die Durchführung dieser Peer Reviews war eine sorgfältige Vorbereitung, d.h. es wurde der Fokus der Beobachtungen, die Beobachtungsinstrumente und die Art der Rückmeldungen vorher abgeklärt. Die Bestimmungen zur Durchführung der Hospitationen wurden z.T. von den involvierten LehrerInnen selbst beschlossen, z.T. waren sie Teil einer schulweiten Initiative. Als Beispiel kann die Implementierung an einer isländischen Schule angeführt werden: In an Icelandic school eight teachers divided themselves into pairs and visited one another's classrooms. Beforehand, they met to discuss and plan the visit, making a list of nine different observation points to feedback on. Each made three visits, allowing time to become familiar with the procedure and overcome any initial inhibitions. (Mac Beath et al. 1999, 2-17)

Peers Für die Evaluierung auf Organisationsebene waren die Peers „kritische FreundInnen“, die eine Außenperspektive in den Prozess einbrachten. Sie waren extern, aber in der Regel nicht Teil des „Kontrollsystems“. Für gewöhnlich wurde nur eine/ein Peer eingesetzt, auch gab es keine transnationalen Peers. Die Schule selbst wählte die/den Peer aus und lud sie/ihn ein. Es gab keine spezifischen Vorgaben über die Qualifikationen oder die institutionelle Herkunft der „kritischen FreundInnen“. Die kritische Freundin/der kritische Freund konnten sein:

6.4 Fallstudien

121

eine/ein VertreterIn der Bildungsbehörden (vorzugsweise ohne direkte Weisungsbefugnis in Bezug auf die evaluierte Schule), eine/ein VertreterIn von Universitäten, eine/ein VertreterIn einer anderen Schule, ein/eine VertreterIn der Eltern oder auch andere geeignete Personen. In der Praxis wurden von den Schulen je nach Interesse und Bedarf ganz unterschiedliche Personen aus verschiedensten Institutionen als Peers eingeladen. Der professionelle Hintergrund der Peers und ihre Arbeitserfahrung waren in vielen Fällen ausschlaggebend für die Wahl. Die folgenden Personen unterstützen die Schulen als „kritische FreundInnen“: TrainerInnen für innerbetriebliche Weiterbildung, WissenschafterInnen, UniversitätslehrerInnen – und ProfessorInnen (aus verschiedenen Disziplinen – von Pädagogik bis Philosophie), Mitglieder des Stadtrats, Eltern, BeraterInnen, professionelle EvaluatorInnen, ManagerInnen aus Unternehmen, PsychoanalystIn, OffizierIn, DirektorInnen (einer anderen Schule bzw. pensioniert) (vgl. Mac Beath et al. 1999, 3-31). Die Rolle und Funktion der Peers lag vor allem in der kritischen Begleitung des Selbstevaluierungsprozesses, Evaluierungserfahrung der Peers und Kompetenzen in der Beratung und Begleitung waren daher von Vorteil: While this person should be first and foremost a friend and ally of the school he or she should also be prepared to critique and to challenge what the school is doing. The critical friend has to ask incisive and informed questions so that the schools are stimulated to re-examine what they are doing. Wherever possible the critical friend should have expertise in self-evaluation and experience working with schools in advisory capacity. Above all, he or she should be acceptable to the school as someone with credibility and trust. (Mac Beath et al. 1999, 1-9)

Interessant ist die Beobachtung, dass die/der Peer nicht eine „neutrale“ Rolle einnehmen sollte, sondern durchaus eine parteiische Stellung für die Schule im Sinne der Unterstützung von Selbsterkenntnis durch kritische Rückmeldungen: The critical friend was not in a neutral role but acted in a support role and as advocate of the school, working alongside management and teachers to provide the school with critical input as appropriate. He/she was 'an outsider who was nevertheless familiar with the school' as one school phrased it. (Mac Beath et al. 1999, 3-29)

Für die Evaluierung des Unterrichts waren Personen aus dem Kollegium als Peers tätig: LehrerInnen schlossen sich mit KollegInnen zusammen, um aus Unterrichtsbeobachtungen und kritischem Feedback zu lernen. In der Meta-

122

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Evaluation des Projekts zeigt sich die Notwendigkeit, diese Form des Peer Reviews in einem Klima der Offenheit und des Vertrauens durchzuführen: [T]he value of this being conducted on a peer basis was that teachers could work together with colleagues in a climate of trust but also with a willingness to challenge each other. […] The keys to the success of this strategy are trust, honesty, planning, agreement on areas of focus, and feedback which is both affirming and challenging. (Mac Beath et al. 1999, 2-17)

Im Gegensatz zu stärker vorstrukturierten Peer-Review-Varianten wurden keine Vorgaben für die Schulen gemacht, wann, wie und wofür Peers eingesetzt werden sollten. Sie konnten in verschiedenen Kontexten und Phasen des Selbstevaluierungsprozesses einbezogen werden und mit unterschiedlichen Gruppen arbeiten. Die meisten Peers hatten vor allem mit LehrerInnen und anderem (nicht lehrendem) Schulpersonal zu tun (in 73 Schulen) sowie mit den Schulleitungen (71). Etwa 40% der Peers arbeiteten mit SchülerInnen (an 36 Schulen) und Eltern (an 33 Schulen). Auch für bestimmte Evaluierungsverfahren, wie z.B. die Moderation von Focus Gruppen, wo sie in ihrer neutralen, unterstützenden Rolle hilfreich waren, konnten Peers eingesetzt werden (vgl. Mac Beath et al. 1999, 2-16). Das Projekt wurde einer Meta-Evaluation unterzogen60, in der auf verschiedene Erfolgsfaktoren für Selbstevaluierungen eingegangen wurde. Für die gegenständliche Untersuchung besonders relevant sind die Befunde, die den Einsatz von Peers betreffen. Die Rolle und die Wirkung der Peers im Selbstevaluierungsprozess wurde anhand der folgenden Kriterien evaluiert: Offenheit; Fähigkeit, zuhören zu können; Verständnis für die Rahmenbedingungen der Schule; Fähigkeit (oder Wille), hilfreichen Rat zu geben; gute Beziehungen zu den LehrerInnen; die Fähigkeit, Ideen zu kommunizieren; Hilfe bei der kritischen Betrachtung der aktuellen Praxis; Peers als nützliche Ressource.61 Sehr gute Bewertungen erhielten die Peers in Bezug auf Zuhören, Offenheit, Verständnis, Kommunikation und gute Beziehungen zu den LehrerInnen, die Bewertungen zu den Themen Beratung, Hilfe und Nützlichkeit waren etwas geringer (aber insgesamt auch hoch).

60 Daran nahmen 88 Schulen teil. 61 Im englischen Original: “Openness, being a good listener, understanding the context of the school, giving helpful advice, having good relation to teachers, communicating ideas well, helping in challenging practice, being a useful resource.” (Mac Beath et al. 1999, 3-29f.)

6.4 Fallstudien

123

The findings show that the openness of the critical friend was rated very highly by the 88 school […]. Being clear about roles and purposes and having no hidden agendas is a key principle for the acceptance of an outside person. The critical friends were also rated as very sensitive to the needs of different individuals and groups of stakeholders in the school by being good listeners, by communicating their ideas well, by getting on well with the teachers and by understanding the complexity of the school life. In the areas "challenging the school", "offering helpful advice" and "being a resource" the rating is slightly lower, but still in the positive range. (Mac Beath et al. 1999, 3-30)

Während der Selbstevaluierung konnten die kritischen FreundInnen, je nach Expertise und Einsatzgebiet, folgende Rollen annehmen: ƒ ƒ ƒ ƒ ƒ

Wissenschaftliche Beraterin/wissenschaftlicher Berater: Beratung und Information zu den Themen Selbstevaluierung und Schulentwicklung, Einbringen von Methodenkompetenz, Vermitteln von Wissen und Expertise; OrganisatorIn: Moderation von Treffen und Sitzungen, Verantwortung für das Einhalten der Zeit, Vorbereitung von Treffen und Sitzungen etc.; MotivatorIn: Zuhören, Bestärkung und Ermutigung für die im Selbstevaluierungsprozess involvierten; VermittlerIn („ErmöglicherIn“ – „facilitator“): Umgang mit Emotionen, Balance-Halten zwischen persönlichen und beruflichen Themen; NetzwerkerIn: Vorschlagen von (weiteren) möglichen externen PartnerInnen, Hilfe bei der Teamentwicklung, Kooperation zwischen Schule und Arbeitswelt, sowie zwischen Schule und LehrerInnenausbildung/Universität.

Als die wichtigste Funktion wurde jedoch die Rolle der Peer/des Peers als „AußenseiterIn“ (externe Person – „outsider“) angesehen. Das Einbringen einer Außenperspektive und das In-Frage-Stellen der vorgefundenen Strukturen, Abläufe, Einstellungen und Praktiken war der Kernfaktor für das Einbeziehen einer Peer/eines Peers. Ein/e Peer ist also eine Person „who brings in an outside view, is critical of the ‚ordinary’, occasionally brings in counter arguments, creates multiple perspectives, mirrors one's own perceptions,, enhances coherence among diverse viewpoints, calls the school into question in terms of its organisational aspects, analyses the school having the perspective of another enterprise” (Mac Beath et al. 1999, 3-31).

124

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Als Erfolgskriterien für die Arbeit mit einer kritischen Freundin/einem kritischen Freund wurden folgende Faktoren identifiziert (vgl. Mac Beath et al. 1999, 3-32): ƒ ƒ ƒ ƒ ƒ

Eine klare Definition der Beziehung zwischen der Schule und der kritischen Freundin/dem kritischen Freund; die unterstützende Rolle der kritischen Freundin/des kritischen Freundes, die/der den Prozess nicht dominieren sollte; die Identifikation der kritischen Freundin/des kritischen Freundes mit der Arbeit der Schule; eine gute Beziehung der kritischen Freundin/des kritischen Freundes mit dem Inspektorat (der Einfluss von Peers wird reduziert, wenn InspektorInnen stark involviert sind); eine Kultur der positiven Kritik (die nicht beleidigend ist).

In der allgemeinen Bewertung des Einsatzes von Peers im Projekt wurde in der Meta-Evaluation festgestellt: All in all, the concept of the critical friend as a support structure (outside the control system) has proved to be one of the strongest features of the project. Whatever his/her competencies, they should remain flexible according to the needs of the schools as identified by schools themselves. (Mac Beath et al. 1999, 3–32)62

Über die weiteren Schritte nach Projektende konnte (wie oft bei derartigen Modellprojekten) nichts in Erfahrung gebracht werden, das Follow-up und die Weiterentwicklung des Verfahrens lag in der Verantwortung der einzelnen Schulen, ob es auf nationaler Ebene noch weitere, direkt anschließende Aktivitäten gab, konnte nicht in Erfahrung gebracht werden.63

62 Vgl. auch das Kapitel „Conclusions“, Mac Beath et al. 1999, 3. 63 Auch die Homepage des Projekts, http://europa.eu.int/en/comm/dg22/poledu/indb-en.html, existiert nicht mehr. Es entstanden jedoch eine Reihe einschlägiger Publikationen: Mac Beath et al. 2000 (deutsche Fassung: Schratz et al. 2002), Haenisch/Kindervater 1999.

6.4 Fallstudien

125

6.4.2 Peer Review an der Grund- und Hauptschule Buchholz – Heideschule, Niedersachsen, Deutschland (Fallbeispiel 2) Einbettung, Ziel und Umfang des Verfahrens Die Grund- und Hauptschule Buchholz – Heideschule bei Hamburg in Niedersachsen führt jährliche Peer Reviews im Rahmen ihres Evaluierungskonzepts "QueK" (Qualitätsevaluations-Konzept zur Qualitätssicherung und -entwicklung) durch.64 Bei diesem Qualitätssystem handelt es sich um ein stark an das „Fördernde Qualitätsevaluations-System – FQS“ angelehntes Konzept65. Die Schulentwicklung wird auf zwei Ebenen vorangetrieben – auf der Ebene der LehrerInnen und auf der Ebene der Schule. Dazu wird einerseits Individualfeedback eingeholt  vielfältige Formen des Feedbacks für die einzelne Lehrperson mit dem Zweck, ihr Bestätigung und Wissen über Stärken und Entwicklungsbedürfnisse zu geben, 360-Feedback , andererseits eine Schulqualitätsrecherche durchgeführt, in der einzelne Aspekte der Qualität der ganzen Schule untersucht werden. Eine Besonderheit der Evaluationsarbeit im FQS ist, dass die Lehrenden in so genannten „Q-Gruppen“ organisiert sind, „welche größtmögliche Offenheit im Inneren und absolute Vertraulichkeit gegen außen gewährleisten“: Damit entsteht eine systematisch organisierte Zusammenarbeit von Fachpersonen, die sich unter vereinbarter Vertraulichkeit gegenseitig ihr Wissen zur Verfügung stellen. So erhalten sie die notwendigen offenen Rückmeldungen und Entwicklungsimpulse und die Leitungs- und Aufsichtsorgane das für die Schulführung erforderliche Steuerungswissen. (FQS Prospekt 2002, 2)

Gegenseitige Unterrichtsbesuche und kollegiales Feedback können ebenso Bestandteil einer Selbstevaluierung nach FQS sein wie auch ein „situativ begründete[r] Beizug externer Beurteilungen (z.B. Peer Reviews)“ (FQS Prospekt 2002, 4). Die Grund- und Hauptschule Buchholz – Heideschule hat die Elemente des FQS an ihre Bedürfnisse angepasst. So haben sich LehrerInnenteams gefunden, die einander regelmäßig hospitieren. Auch eine Q-Gruppe wurde eingesetzt, die

64 So nicht anders angegeben, sind die im Folgenden präsentierten Informationen der Website http://www.heideschule.de/peer_review.htm (28.11.2003) entnommen. Diese wurde inhaltlich im Recherchezeitraum der gegenständlichen Arbeit umgestaltet, die ursprünglichen Seiten sind unter http://web.archive.org/web/20031128225852/www.heideschule.de/peer_review.htm, (7.12.2005) abrufbar. 65 FQS ist ein vom Lehrerinnen- und Lehrerverein Baselland LVB und der Pädagogischen Arbeitsstelle des Dachverbands Schweizer Lehrerinnen und Lehrer LCH unter der Federführung von Anton Strittmatter entwickeltes Qualitätsverfahren: http://www.lvb.ch/fqs.htm, 28.12.2005.

126

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

gegenseitige Unterrichtsbesuche durchführt sowie Schülerbefragungen, ElternFeedbacks oder Einzelfalldarstellungen. Die Ergebnisse dieser Befragungen und Beobachtungen werden in regelmäßigen gemeinsamen Gesprächen ausgewertet (vgl. http://web.archive.org/web/20031130002849/http://www.heideschule.de/ quek_grundsatz.htm, 7.12.2005). Damit umfasst das Qualitätskonzept auch Peer Reviews des Unterrichts auf individueller Ebene. Diese werden folgendermaßen bewertet: Eine bisherige Erkenntnis liegt darin, dass diese Q-Gruppen ihren Sinn erfüllen: Unterricht wird reflektiert, in Frage gestellt und neu gedacht. Die Qualitätsansprüche der Lehrkräfte erhalten einen verbindlichen Rahmen. Der zusätzliche Arbeitsumfang ist leistbar und findet seinen Gegenwert in einer höheren Arbeitszufriedenheit. Die Treffen bauen Unsicherheiten ab und wirken als Motivationshilfe besonderer, nämlich kollegialer Art. Auch hat sich gezeigt, dass die Mitglieder über keine besonderen Beraterfähigkeiten verfügen müssen. Hierbei handelt es sich um ein echtes „Peer-Coaching“. (http://web.archive.org/web/20031130002849/http://www.heide schule.de/quek_grundsatz.htm, 7.12.2005)

Das jährlich einmal im Herbst als "Hauptschultag" durchgeführte Peer Review beinhaltet zwar auch eine summative Funktion, wird aber von der Schule selbst als eher formativ gesehen: „Interne (Selbst-) und externe (Fremd-) Evaluation ergänzen einander bei dem Erreichen der […] Zielsetzungen. Der Primat liegt jedoch eindeutig bei der Selbstevaluation; der Fremdevaluation kommt eine unterstützende nachgeordnete Bedeutung zu […]." (http://web.archive.org/web/ 20031130002849/http://www.heideschule.de/quek_grundsatz.htm, 7.12.2005)66 Dies stimmt überein mit der Grundlinie von FQS, in der die interne Evaluierung und Entwicklung immer Vorrang vor der externen Rechenschaftslegung hat (vgl. FQS Prospekt). Während des Peer Reviews geht es um externes Feedback zu

66 Vgl. Auch die Grundsatzposition des QuEK: „Die Qualität einer Schule besitzt zwei Wirklichkeiten: Die erste Wirklichkeit existiert in den Köpfen der Lehrkräfte (Innensicht) und die zweite Wirklichkeit (Außensicht) in den Köpfen weiterer mehr oder weniger Beteiligter (Schüler, Eltern, Gesellschaft). Beide Wirklichkeiten wechselwirken miteinander; sie können auch völlig konträre Positionen einnehmen, wenn beispielsweise eine gut arbeitende Schule schuldlos einen schlechten Ruf erfährt. Daraus folgt: Qualitätsevaluation hat durch Beteiligung und Berichterstattung auf beide Wirklichkeiten abzuzielen – auch wenn dieses manchmal eine mühsame Arbeit ist. Sie hat allerdings auch für eine scharfe Trennung beider Wirklichkeiten zu sorgen, falls es im obigen Beispiel zu destruktiven Wechselwirkungen kommt. Die interne Professionalität ist in diesem Falle wichtiger als eine externe Rechenschaftslegung. Im Zweifelsfalle gilt der Primat der ersten gegenüber der zweiten Wirklichkeit.“ (http://web.archive.org/web/20031130002849/http://www.heideschule.de/quek_grundsatz.htm, 7.12.2005)

6.4 Fallstudien

127

bestimmten Themenstellungen sowie auch um eine Präsentation der Erfolge der Schule nach außen. AdressatIn der Evaluierungsergebnisse ist die Schule selbst, v.a. die Schulleitung und die Lehrenden. Der Peer-Besuch dauert einen halben Tag. Die Fragestellungen für das Peer Review können von einem Review zum nächsten wechseln. Sie werden von der Schule in Hinblick auf aktuelle Bedürfnisse und Interessen bestimmt. Die Themen des Peer-Review-Besuchs vom November 1999 umfassten den Unterricht allgemein, Berufsorientierung und neue Technologien, Naturwissenschaften und Technik, ein innovatives Projekt mit dem Namen „Lions-Quest“, Förderunterricht (Aussiedlerförderung und Lerntraining) sowie Schulleben/Räume/Pausen. Peers Auch die Auswahl- und Einladungspolitik betreffend die Peers ändert sich von Jahr zu Jahr den Bedürfnissen der Schule sowie den Zielen der Evaluierung entsprechend. Im Jahr 1999 konnten von den 24 eingeladenen Peers 22 am PeerBesuch teilnehmen. Die Schule selbst (Hauptschul-Dienstbesprechung) wählte die „kritischen FreundInnen“ aus. Im Peer Review 1999 waren folgende Personen als Peers involviert: eine Lehrerin aus der Berufsschule, die Leiterin einer benachbarten Hauptschule, ein Lehrer einer Realschule (der gleichzeitig auch Fachseminarleiter für Naturwissenschaften war), ein Dezernent der Schulabteilung des Schulträgers, die ehemalige Schulelternratsvorsitzende mit sozialpädagogischer Ausbildung, Elternvertreter der 9 Hauptschulklassen, zwei Vertreter einer Jugendhilfe-Einrichtung, ein Vertreter der örtlichen Wirtschaft, ein Vertreter des örtlichen Arbeitsamts, ein Dezernent der Abteilung für Jugend und Familie des Landkreises, eine Redakteurin einer lokalen Zeitung, ein zuständiger Dezernent der Außenstelle der Bezirksregierung (dadurch handelt es sich auch um einen Schulberatungsbesuch), die Frauenbeauftragte der Stadt, ein Vertreter der Handwerkerschaft.

128

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Vorbereitung und Organisation Die Peers wurden informiert und gebeten ihre Teilnahme bis ca. vier bis fünf Wochen vor dem Datum des Peer Reviews zu bestätigen. Zwei Wochen vor dem Besuch gingen Einladungen aus, die eine Tagesordnung und Informationen zur Organisation des Peer-Besuchs enthielten, eine Wegbeschreibung, einen Raumplan der Schule, den Stundenplan für die 2. und 3. Klassen am Tag des Besuchs und einen Auszug aus dem Schulprogramm der Heideschule. Abgesehen von der Übermittlung dieser Informationen erfolgte keine weitere Vorbereitung für die Peers. Peer-Besuch Der Peer-Besuch nahm einen halben Tag in Anspruch. Er begann mit einem Empfang für die „kritischen FreundInnen“ durch die SchülerInnen und die Schulband um acht Uhr früh. Der Schulleiter stellte die Ziele des Besuchs, den Tagesablauf und Teile des Schulprogramms vor. Die Peers schlossen sich spontan und freiwillig zu kleinen Gruppen zusammen. Zwei Stunden lang hatten die Peers dann Zeit, den Unterricht zu beobachten. Es gab keinen Zeitplan und die Peers konnten selbst entscheiden, in welcher Klasse sie hospitieren, wie lange sie dort bleiben und wie sie den Unterrichtsbesuch abhalten wollten: Sie konnten sowohl schweigend beobachten als auch Fragen stellen. Die Peers waren jedoch dazu angehalten, ihre Beobachtungen auf Kärtchen zu notieren. Die Unterrichtsbesuche wurden daher auf ganz unterschiedliche Art und Weise durchgeführt: So gab es z.B. eine Gruppe von drei Peers, die sechs Klassen besuchten, während ein Experte nur zwei Klassen besuchte und dort intensive Diskussionen führte. Nach den Hospitationen kamen Peers und Lehrende im Tagungsraum wieder zusammen. Ein von den SchülerInnen vorbereitetes Buffet wurde serviert und es kam zu ersten Diskussionen zwischen den Peers und der Schule. Zeitgleich wurden die Beobachtungen der Peers, die auf Kärtchen festgehalten worden waren, auf sechs Pinnwänden visualisiert – jeweils eine Pinnwand für die Rückmeldungen zu einem der sechs Themen. In einer ersten Sitzung des Plenums mit etwa 35 Personen im Sitzkreis präsentierte jeder Lehrer/jede Lehrerin die Ziele der Schule in seinem/ihrem Fach sowie – ohne Rechtfertigungsversuche – die Kritikpunkte der Peers. Die Peers hatten dann noch einmal die Möglichkeit, Feedback zu geben. In einer zweiten Plenumssitzung kamen alle Beteiligten im Rahmen des „Blitzlichtverfahrens“ zu Wort und konnten abschließend zum Review und seinen Ergebnissen Stellung nehmen. Der Peer-Besuch endete pünktlich um 12:30.

6.4 Fallstudien

129

Nach dem Ende des Besuchs versammelte sich das Kollegium im Lehrerzimmer „zu einem ersten Schulterklopfen“. Nach den Erfahrungen des vorangegangenen Jahres wurde es als wichtig angesehen, dass die LehrerInnen nach dem Peer-Besuch noch einmal zusammen kommen und das Review mit einem Erfahrungsaustausch und gegenseitigem „Schulterklopfen“ (vgl. http://web.archive. org/web/20031128225852/www.heideschule.de/peer_review.htm, 7.12.2005) gemeinsam abschließen. Follow-up und Erfahrungen Sieben Tage nach dem Peer-Besuch wurden die Resultate des Reviews (Rückmeldungen auf Kärtchen, Dokumentation der Plenumssitzungen) durch die Hauptschuldienstbesprechung weiter analysiert. Die Gesamtkonferenz und die kritischen FreundInnen wurden über die Ergebnisse informiert. Da das Peer Review Teil der Gesamtstrategie zur Qualitätssicherung und Qualitätsentwicklung ist, mussten innerhalb der folgenden sechs Monate qualitätsverbessernde Maßnahmen und deren erste Ergebnisse an die Qualitätsteuergruppe gemeldet werden. Es wurde keine (wissenschaftliche) Meta-Evaluation durchgeführt, eine Reflexion auf Metaebene ist jedoch innerhalb des Qualitätssystems „QueK“ vorgesehen. Beobachtungen betreffend den Ablauf waren die positive Wirkung des Empfangs durch die SchülerInnen und die Schulband, die „eine gelöste und arbeitsbereite Atmosphäre“ schafften. Auch wurde das Einhalten der Zeitvorgaben als positiver Faktor für die Akzeptanz des Verfahrens hervorgehoben. Weiters wurde vermerkt, dass die SchülerInnen „sich in ihrem Handeln und Verhalten von ihrer positiven Seite [zeigten]“ und dass auch sie bestrebt waren „einen guten Eindruck von sich zu vermitteln“ (http://web.archive.org/web/ 20031128225852/www.heideschule.de/peer_review.htm, 7.12.2005). Den Peers wurde also ein Einblick in einen etwas geschönten Alltag gewährt. Diese Aussage verweist auch auf die Bedeutung des Peer Reviews für die Imagepflege der Schule: Ein Aspekt des Peer Reviews war offensichtlich auch, sich den Peers als VertreterInnen lokaler Stakeholder und KooperationspartnerInnen in einem guten Licht zu präsentieren. Schlussfolgerungen der Schule (bzw. des Direktors) in Hinblick auf die Gesamtwirkung betrafen v.a. das hohe Motivationspotential eines Peer Reviews: Die positive Resonanz auf den zweiten Hauptschultag war im Vorwege gar nicht so beabsichtigt, ging es dem Kollegium doch um die inhaltliche Auseinandersetzung mit den Peers. Das einhellige Lob hatte dann jedoch eine erhebliche emotionale und motivationale Wirkung auf die Schülerschaft und das Kollegium.

130

6 Peer Review in der beruflichen Erstausbildung: Fallstudien M. E. wird jedes Kollegium diese Rückmeldung durch ein Peer Review erfahren. Denn wenn sich ein Kollegium zutraut, Unterricht und Schulleben einer Außensicht zu präsentieren, die wohl niemals mit der Innensicht übereinstimmen und von Fehldeutungen nicht frei sein kann, dann ist es schon auf dem richtigen Weg – selbstbewußt und selbstkritisch. (http://web.archive.org/web/20031128225852/ www.heide schule.de/peer_review.htm, 7.12.2005)

Als Weiterentwicklung des Verfahrens wird die Verknüpfung einer Evaluierung der gesamten Schule mit themenspezifischen Peer Reviews vorgeschlagen: Fragestellungen wie zu diesem Hauptschultag bieten für manche Teilbereiche kein ausreichendes Feedback. Für detaillierte Fragestellungen sollten – unabhängig von einer umfassenden Schulveranstaltung – Kritische Freunde eingeladen werden. In einer Vorgehensweise, die zwischen Gesamt- und Teil-Schulqualitätsrecherchen im Laufe der Jahre alterniert, dürfte ein wesentlicher Entwicklungsaspekt von PeerReviews liegen. Beide Aspekte des Peer Reviews – Wirkung auf die Außensicht und detailliertes Feedback für die Innensicht – können dann erreicht werden. (http://web.archive.org/web/20031128225852/www.heideschule.de/peer_review.htm, 7.12.2005)

6.4.3 ISO-basierte Peer Reviews in der beruflichen Erstausbildung in Katalonien, Spanien67 (Fallbeispiel 3) Einbettung, Ziel und Umfang des Verfahrens Das Projekt "Qualitat i millora contínua a la formació professional – QiMC" (Qualität und kontinuierliche Verbesserung der beruflichen Bildung) wird unterstützt und koordiniert von der Generaldirektion Berufsbildung des katalanischen Bildungsministeriums. Seit dem Projektstart im Jahr 2000 wurden acht Netzwerke aufgebaut, in denen 39 Einrichtungen der beruflichen Erstausbildung des öffentlichen Sektors, "Instituts d’Educació Secundària", vertreten sind. Für das

67 Im Folgenden beziehe ich mich auf den schriftlichen Kurzbericht der Koordinatoren des Projekts, Pere Canyadell und Josep Camp (Canyadell; Camps 2005). Der Bericht folgte dem von mir entwickelten Leitfaden. Weiters wurden die Ergebnisse zusätzlicher persönlicher und schriftlicher Kommunikation mit Herrn Camp (Besprechung anlässlich der Konferenz " Quality Assurance in VET. Exchange of Good Practices and Institutional Co-operation, February 10.-11.2.2005, Dipoli Congress Centre, Espoo, Finland; E-mail-Verkehr) und Ergänzungen zur Projektbeschreibung anhand eines Fragebogens (Camps 2005) berücksichtigt. Informationen sind auch auf der Homepage des Projekts http://www.xtec.net/fp/ (27.12.2005) unter "Gestió de la qualitat", abrufbar.

6.4 Fallstudien

131

Jahr 2005-2006 wurden weitere 11 Einrichtungen nach einem Bewerbungsverfahren ins Projekt aufgenommen, so dass nun 50 Institutionen aufgeteilt auf insgesamt neun (Sub)Netzwerke teilnehmen (aktueller Stand Schuljahr 20052006, vgl. Projecte Qualitat i Millora Contínua 2005b, 1f.). Die im Projekt vertretenen Einrichtungen bieten entweder die ganze Bandbreite der Bildungsgänge auf der Sekundarstufe an (Unterstufe, Oberstufe (Reifeprüfung) und Berufsbildung) oder nur die Ausbildung auf der Sekundarstufe 2 (höhere allgemeine Bildung und Berufsbildung). Alle Branchen und Fachgebiete der beruflichen Bildung sind in den Netzwerken vertreten, ein College deckt meist 2 bis 3 verschiedene Fachgebiete ab. Ziel der Netzwerkaktivitäten ist es, die kontinuierliche Verbesserung der Colleges im Rahmen von Qualitätsprozessen nach ISO 9001:2000 und EFQM zu unterstützen. Die Teilnahme erfolgt auf freiwilliger Basis, die Bildungseinrichtungen müssen sich offiziell beim Bildungsministerium um die Aufnahme ins Projekt bewerben, die formalen Aufnahmekriterien sind in einer öffentlichen Ausschreibung (Resolució) festgehalten. Abgesehen von der Auswahl der teilnehmenden Einrichtungen hat das Ministerium v.a. koordinierende und unterstützende Funktionen. Es bietet Beratung und Schulungen, organisiert eine jährliche katalanische Qualitätskonferenz, unterstützt Benchmarking zwischen den Einrichtungen und ernennt die KoordinatorInnen der einzelnen Netzwerke. Die Teilnahme an den Projektaktivitäten kann je nach Entwicklungsstand der Bildungseinrichtung und Vorerfahrungen mit Qualitätssicherung und -verbesserung auf vier Niveaus erfolgen – von einer Einstiegsstufe, für Einrichtungen, die eben erst dem Projekt beigetreten sind bis zur fortgeschrittensten Stufe, auf der sich die Einrichtungen befinden, die bereits ein umfassendes Qualitätsmanagementsystem aufgebaut haben und ISO zertifiziert sind (vgl. Projecte Qualitat i Millora Contínua 2005b, 2ff.). Peer Review wird als eine Weiterentwicklung des Zweitparteienaudits – d.h. eines externen Audits außerhalb des Zertifizierungsprozesses – im Rahmen des jährlichen internen Audits für die Vorbereitung der ISO 9001 Zertifizierung eingesetzt. Internes und Zweitparteienaudit werden dabei zusammengelegt: Das interne Audit wird von dem zu bewertenden College koordiniert, das dazu auch eine Kollegin/einen Kollegen aus dem Netzwerk, dem das College angehört, als Peer hinzuzieht. Dem Peer Review kommt daher eine formative Funktion zu, es soll die interne Qualitätsverbesserung unterstützen und gleichzeitig das externe Audit für die ISO-Zertifizierung vorbereiten. Durch das Einbeziehen einer Peer/eines Peers wird eine externe Perspektive in das interne Audit eingeführt. Das Peer Review hat jedoch auch stark den Charakter einer kollegialen Beratung. In etwa 80 derartige Peer Reviews sind seit 2000 durchgeführt worden (Stand Frühjahr 2005). Weiters wird das Projekt auch im Rahmen eines jährlichen

132

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Netzwerktreffens aller Colleges regelmäßig einer Metareflexion unterzogen und ist selbst „Work in Progress“. Der Umfang des internen Review orientiert sich an den Anforderungen eines ISO 9001 Audits, d.h. die Qualitätssicherung der Prozesse der ganzen Organisation werden überprüft: Dazu gehören die strategischen Prozesse (Curriculaentwicklung, Budgetplanung, Qualitätsplanung, Weiterentwicklung des Leitbilds, Benchmarking etc.), die Schlüsselprozesse (Lehren und Lernen, Kommunikation, Evaluation, etc.) und die unterstützenden Prozesse (EDV, Aus- und Weiterbildung der Lehrenden, Administration, Qualitätssicherung, Gesundheit und Sicherheit etc.). Auch das Qualitätsmanagementsystem wird dabei überprüft. Es wurden auch Indikatoren für die Bewertung der einzelnen Bereiche entwickelt. Diese Indikatoren sind quantifizierbar und werden den EFQMBereichen KundInnenzufriedenheit, MitarbeiterInnenzufriedenheit, gesellschaftliche Auswirkungen, und Schlüsselergebnisse zugeordnet (vgl. Projecte Qualitat i Millora Contínua 2005a). Vorbereitung und Organisation Das Peer Review wird durch das zu evaluierende College organisiert. Das College bereitet eine Dokumentation vor, die auch über das Internet zugänglich sein kann und Daten zur Organisation ebenso wie die Ergebnisse der Selbstbewertung beinhaltet. Das College entwirft einen Ablaufplan für das Audit und lädt die/den Peer ein. Der Abschlussbericht wird von der/dem Peer und der Qualitätsverantwortlichen/dem Qualitätsverantwortlichen des Colleges gemeinsam verfasst. Peers Die Peers sind KollegInnen aus anderen Berufsbildungseinrichtungen, die über fundiertes Wissen in Bezug auf die ISO 9001:2000 und das EFQM Modell verfügen, d.h. für gewöhnlich Qualitätsbeauftragte anderer Colleges. Zusätzlich bringen sie Insiderkenntnisse zum beruflichen Handeln in der Berufsbildung und zur Organisation eines berufsbildenden Colleges mit. Unterrichtserfahrung bzw. aktuelle Unterrichtstätigkeit der Peers ist von großer Bedeutung v.a. für die Überprüfung der Schlüsselprozesse „Lehren und Lernen“. Die Peers sind daher auch selbst als LehrerInnen tätig. Nur eine Person wird als kritische Freundin/ kritischer Freund involviert. Sie/er unterstützt das College bei der Selbstevaluierung und dem internen Audit und wird vom College und dem Netzwerk gemeinsam ausgewählt. Die Teilnahme an Schulungen ist für Peers verpflichtend.

6.4 Fallstudien

133

Die Vorbereitung und Schulung der Peers umfassen: ƒ ƒ

einen Masterabschluss in Qualitätsmanagement in der beruflichen Bildung (die Ausbildung ist ein gemeinsames Angebot vom Qualitätsnetzwerk und der Universität) und ständige monatliche Weiterbildung im Netzwerk (Teilnahme and den Netzwerktreffen).

Die Peers bleiben mehrerer Jahre im Netzwerk aktiv und werden nur dann ausgetauscht, wenn personelle Änderungen in den Colleges es nötig machen. Peer-Besuch Das Review dauert zwei Tage und beinhaltet Sitzungen und Interviews, zuerst mit dem Managementteam, dann mit anderen Verwaltungsfachkräften wie den SekretariatsmitarbeiterInnen, der/dem FinanzmanagerIn, der/dem QualitätsmanagerIn, der pädagogischen Leitung, den Leitungen der Fachabteilungen sowie Lehrenden. Auch ein Rundgang ist Teil des Reviews. Die/der Peer gibt der Institutsleitung, der/dem Qualitätsverantwortlichen und anderen Prozessverantwortlichen ein mündliches Feedback. Diese Feedbacksitzung ist auch der Rahmen für Kommentare und Stellungnahmen der überprüften Einrichtung. Eine Checkliste dient als Leitfaden für das Review, diese wird von der/dem Peer erstellt und ist daher keine allgemein verbindliche Checkliste. Die Bewertung durch die/den Peer folgt den Standards eines Audits nach ISO 9001:2000. Abweichungen von der Norm sowie Stärken und Schwächen werden identifiziert. Follow-up und Erfahrungen Die Ergebnisse des Reviews werden von der externen Expertin/dem externen Experten und der Qualitätsmanagerin/ dem Qualitätsmanager in einem Bericht zusammengefasst. Der Bericht soll spätestens drei Wochen nach Ende des Reviews fertig gestellt sein und klare Bewertungen und Empfehlungen enthalten. Er ergeht an die Collegeleitung, eine Kopie auch an die Leitung des Projekts "Qualitat i Millora Contínua". In der Folge des Peer Reviews entwickelt das College einen Aktionsplan zur Verbesserung der Schwachstellen. Dieser Aktionsplan wird mit der/dem Peer diskutiert. Die Dissemination der Ergebnisse innerhalb des Colleges erfolgt in Besprechungen der AbteilungsleiterInnen und in Sitzungen mit MitarbeiterInnen. Die/der Peer stattet dem College jedes Jahr einen Besuch ab, um die Entwicklungsmaßnahmen zu überprüfen.

134

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Dem Koordinator des Projekts zufolge ist Peer Review ein gutes System, um Qualitätsverbesserungen zu erreichen und Erfahrungen und Wissen zwischen den Peers und den Colleges auszutauschen. 6.4.4 Peer Review im Verband der Berufsbildungszentren des Salesianerwerks, Piemont, Italien68 (Fallbeispiel 4) Einbettung, Ziel und Umfang des Verfahrens Das Peer-Review-Verfahren, das im Verband der Berufsbildungzentren des italienischen Salesianerwerks, "CNOS-FAP, Centro Nazionale Opere Salesiane  Formazione Aggiornamento Professionale ", in der Provinz Piemont eingeführt wurde, zeigt deutliche Parallelen zum eben beschriebenen katalanischen System. Es basiert ebenso auf der internationalen Qualitätsmanagementnorm 9001:2000 und stellt eine ähnliche Form der Weiterentwicklung von Zweitparteienaudits dar. Die Reviews werden von den Berufsbildungszentren im Verbund durchgeführt. Das Netzwerk wurde jedoch nicht von staatlicher Seite als Pilotprojekt initiiert, vielmehr wurde die bereits existierende Zusammenarbeit im Verband des Salesianerwerks von zehn Berufsbildungszentren im Piemont regional ausgebaut.69 Auch ist der Peer-Review-Verbund, was die Anzahl der beteiligten Einrichtungen betrifft, insgesamt kleiner als in Katalonien. Dafür dienen die Peer Reviews den beteiligten Berufsbildungszentren zusätzlich der Vorbereitung für die regionale Akkreditierung. Ausgangspunkt für die Entwicklung eines Peer-Review-Verfahrens war das Interesse, die Qualitätsbemühungen der einzelnen Berufsbildungszentren in der Provinz Piemont, die in den Jahren 1998 bis 2000 alle eine Zertifizierung nach ISO 9001:2000 erlangt hatten, zu bündeln und Synergien zwischen den Einzelinitiativen herzustellen. Im Jahr 2000 wurde daher ein regionales Qualitätskomitee eingerichtet, um den Prozess der ISO-Zertifizierung zu koordinieren: Dabei

68 Ich beziehe mich im Folgenden auf einen Kurzbericht des Koordinators des Salesianerwerks, Lucio Reghellin, Ergänzungen zum Kurzbericht (Reghellin 2005a und 2005b) sowie auf ein von mir geführtes Interview mit Lucio Reghellin (Peer Review Panelinterview im Rahmen des 2. transnationalen Partnertreffens des europäischen Projekts „Peer Review as an instrument for quality assurance and quality development in initial VET in Europe“). 69 Insgesamt umfasst das Salesianerwerk 70 Berufsbildungszentren in 15 italienischen Provinzen, die von einem nationalen CNOS-FAP-Büro in Rom koordiniert werden. Die Berufsbildungszentren des Salesianerwerks bieten berufliche Erstausbildung für Jugendliche zwischen 14 und 18 Jahren, weiterführende und spezialisierte Ausbildungen in der Industrie und im Dienstleistungsbereich, berufliche Weiterbildung für Erwachsenen sowie Berufsorientierung und Berufsberatung für Jugendliche an.

6.4 Fallstudien

135

ging es um die Vereinheitlichung der Qualitätsverfahren und -instrumente (einschließlich der Entwicklung von Software und einheitlicher Dokumente) sowie die gemeinsame Arbeit an der Verbesserung des regionalen CNOS-FAP Qualitätssicherungssystems. Während das Komitee in den Anfangszeiten im Abstand von zwei Wochen zusammenkam und bei seiner Arbeit auch Unterstützung durch einen externen Berater erhielt, befasst es sich mittlerweile nur mit Problemfällen bzw. ist für die Aktualisierung und Weiterentwicklung des gemeinsamen Qualitätssystems verantwortlich. 2001 beschloss das Komitee Reviews in den einzelnen Berufsbildungszentren ohne (zugekaufte) externe Beratung durchzuführen. Anstatt professioneller BeraterInnen wird seitdem das Qualitätssicherungspersonal aus den benachbarten Berufsbildungszentren für die externe Beratung und Bewertung eingesetzt. Die zehn CNOS-FAP Berufsbildungszentren wurden in drei lokale Gruppen unterteilt. Innerhalb dieser Gruppen von drei bzw. vier Berufsbildungszentren werden die Peer Reviews organisiert.70 Ebenfalls 2001 wurde in Italien ein Akkreditierungssystem für öffentlich finanzierte Berufsbildungszentren eingeführt. Die Akkreditierungen werden auf der Basis von Dokumentenanalysen und/oder Audits regional von den Provinzverwaltungen durchgeführt und sichern die Einhaltung von Mindeststandards. Diese gibt es für die fünf Bereiche Management, Finanzen, Personal, Effizienz und Effektivität der Leistungen sowie Kontakte und Kooperation auf der lokalen Ebene. Eine Zertifizierung nach ISO 9000ff. deckt die ersten drei Bereiche ab. Als Konsequenz werden vom regionalen Qualitätsnetzwerk der Salesianer die beiden Systeme nun kombiniert vorbereitet, so dass in den Peer Reviews sowohl die ISO-Vorgaben als auch die Anforderungen aus dem Akkreditierungssystem untersucht und bewertet werden. Damit dienen die Peer Reviews wie in Katalonien auch als Vorbereitung („Generalprobe“) für externe Audits, sowohl im Rahmen der ISO-Zertifizierung als auch der regionalen Akkreditierung. Die in einem Peer Review zu untersuchenden Schlüsselbereiche sind: ƒ ƒ ƒ ƒ

das Verhältnis mit den Lernenden und im Falle von Minderjährigen auch mit deren Familien (Anmeldungen, Schulungsverträge etc.), die Qualifikationen und Kompetenzen der Lehrenden, Design und Inhalte der Curricula, die Lehr-und Lernergebnisse als erworbenen Fähigkeiten und Kompetenzen sowie die Auswirkungen auf die Arbeitswelt.

70 Gruppe 1: Alessandria, Vercelli, Vigliano; Gruppe 2: Torino 1, Torino 2, Torino 3, San Benigno; Gruppe 3: Fossano, Bra, Castelnuovo.

136

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Unterrichtsevaluierungen durch Studierende (Fragebogenerhebungen) sind Teil des Qualitätsmanagementsystems, die Lehr-Lernprozesse selbst werden jedoch nicht im Rahmen der Peer Reviews begutachtet, sondern durch das nationale Evaluierungsinstitut INVALSI –Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione. Weitere zu überprüfende Aspekte betreffen unterstützende Leistungen wie ƒ ƒ

das Beschaffungswesen, d.h. Ressourcen und Leistungen, die den Lehrprozess unterstützen, und die Wartung der Ausstattung (in diesem Bereich muss auch eine einschlägige Verordnung beachtet werden, die ein spezielles Monitoring verlangt).

Das Qualitätsmanagement bzw. die internen Systeme und Abläufe für Verbesserungsmaßnahmen sind ebenso Gegenstände des Reviews. Peers Die Peers werden aus dem für Qualitätssicherung zuständigen Personal der benachbarten Berufsbildungszentren ausgewählt. Jedes Zentrum verfügt über eine Person, die für das Qualitätsmanagementreview nach ISO 2000ff. ausgebildet und verantwortlich ist ("Quality and Accreditation Reference Person"). Innerhalb der lokalen Gruppen werden gegenseitige Reviews durch die jeweiligen "Quality-and-Accreditation-Reference-Verantwortlichen" (QAR) durchgeführt: There is an agreement among the close VTCs [Vocational Training Centers, MGG] in order to make the reviews. For example, there are three VTCs in the same East Piedmont area: Vercelli, Alessandria e Biella. The QAR of Vercelli is a Peer for Alessandria, the QAR of Alessandria is a Peer for Biella and the QAR of Biella is a Peer for Vercelli. (Reghellin 2005, 1)

Die Peers bringen profunde Kenntnisse sowohl des internen ISO-basierten Qualitätssystems als auch des regionalen Akkreditierungssystems mit. Auch absolvieren sie eine einschlägige Schulung, da die im Verbund entwickelten Bewertungsinstrumente aus der Sicht der Verantwortlichen nur von ExpertInnen angewendet werden können (vgl. Reghellin 2005a, 1). Schulungen zu ISO-Zertifizierungen und Reviews für die Akkreditierung bieten auch die regionalen Zertifizierungsagenturen an. Weiters sollen die Peers aus einem ähnlichen Arbeitszusammenhang kommen, um zu gewährleisten, dass sie die Verfahren und Prozesse des zu evaluierenden Berufsbildungszentrums adäquat beurteilen können:

6.4 Fallstudien

137

It is important for the peer to come from a context similar to the one to be assessed. If Peers are not familiar with the school environment, they will find it very difficult to understand the school procedures and run the risk of making incorrect observations. (Reghellin 2005a, 1)

Einerseits ist eine genaue Kenntnis der Arbeitszusammenhänge nötig, andererseits wird eine gewisse Distanz der Peers zur evaluierten Einrichtung als Schlüsselfaktor gesehen: The essential factor is that there should be no interconnections and interests, i.e. “too close friendship”, between the rapporteurs [d.h. den Peers, MGG] and those reviewed. (Reghellin 2005, 1)

Unterrichtserfahrung der Peers ist von Bedeutung, wenn Bildungsplanung und Curriculaentwicklung evaluiert werden. In diesen Fällen ist eine mindestens dreijährige Unterrichtserfahrung wünschenswert (Reghellin 2005b, 1). Wenn andere Prozesse innerhalb der Organisation überprüft werden, ist eigene Unterrichtstätigkeit nicht von Belang, die notwendigen Qualifikationen der Peers richten sich daher auch nach den zu evaluierenden Qualitätsbereichen. Peer-Besuch Die Peer-Besuche werden jeweils zu Beginn des Schuljahres geplant. In der Regel wird jedes Berufsbildungszentrum an drei Terminen begutachtet, so dass insgesamt das ganze Qualitätssystem untersucht und bewertet werden kann. (In einigen Fällen kann je nach Bedarf und den Rahmenbedingungen vor Ort auch ein umfangreicheres Review durch zwei Peers an einem Tag anstatt der drei eintägigen Besuche durchgeführt werden.) Es kommt während eines Besuchs nur eine/ein Peer zum Einsatz. Im Laufe eines Jahres kann die/der Peer auch ausgetauscht werden, der Ablauf und die Bewertungskriterien des Peer Reviews bleiben jedoch die gleichen. Für die internen Peer Reviews wurden vom regionalen Qualitätssicherungskomitee gemeinsame Checklisten entwickelt. Ursprünglich hatte jedes Berufsbildungszentrum eigene Leitfäden und Checklisten, die aber im Rahmen der regionalen Kooperation standardisiert wurden und werden. Es gibt bereits ein allgemeines Format für die Checklisten, detailliertere Standards für die einzelnen Qualitätsbereiche sind in Ausarbeitung. In diese Checklisten werden die Qualitätsbemühungen in den zu evaluierenden Bereichen dokumentiert (controlli effetuati e raccolta evidenze). Die Peers ergänzen während des Besuchs ihre Beo-

138

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

bachtungen und Bewertungen, wobei Vorschläge für Verbesserungen hinzugefügt werden. Ein Review beginnt mit einem Treffen zwischen der/dem Peer und dem Management des Berufsbildungszentrums (Leitung, Abteilungsleitungen), in dem der Ablauf des Reviews erklärt wird. Dann werden Interviews mit den Personen geführt, die für die zu evaluierenden Prozesse verantwortlich sind. Interviews mit Anspruchsgruppen und direkte Beobachtungen werden in der Regel nicht durchgeführt. Das Review basiert auf der kritischen Bewertung der vorhandenen Dokumente. Die/der Peer füllt die entsprechenden Checklisten aus und gibt den betroffenen Personen auch ein erstes direktes Feedback. Die Bewertung umfasst alle für den jeweiligen Peer-Besuch vorgesehenen Bereiche und gliedert sich in zwei Teile: Einerseits werden Mängel festgestellt, die eine NichtÜbereinstimmung (non conformitá) mit den ISO-Normen bedeuten und daher zwingend korrigiert werden müssen. Andererseits können darüber hinausgehende Vorschläge zur Weiterentwicklung gemacht werden. Der Bericht enthält daher "Korrekturanweisungen" (actions for correction), um die Erfüllung der Normen zu gewährleisten, sowie Empfehlungen für Verbesserungen (suggestions). Die Jahresbilanz über die Qualität eines Berufsbildungszentrums berücksichtigt die Reduktion der Fälle von Nicht-Übereinstimmung mit den vorgegebenen Normen sowie die Umsetzung von Korrektur- und Verbesserungsmaßnahmen. Aus der Erfahrung der Berufsbildungszentren des Salesianerwerks haben sich für die Akzeptanz des Verfahrens und seiner Ergebnisse folgende Gelingensbedingungen als zentral erwiesen: Einerseits ist es Aufgabe der Peer/des Peers Bewertungen sorgfältig und in einer objektiven und nachvollziehbaren Weise vorzunehmen und möglichst nicht den Eindruck entstehen zu lassen es würden Einzelpersonen beurteilt, andererseits müssen die Mitglieder der evaluierten Einrichtung auch bereit sein, Kritik und Verbesserungsvorschläge anzunehmen. Ein Dialog zwischen der Leitung des Berufsbildungszentrums und der/dem Peer ist notwendig, um Missverständnisse auszuräumen. (vgl. Reghellin 2005a, 2) Follow-up und Erfahrungen Nach der Klärung von auf unvollständiger Datenlage basierenden Missverständnissen und gegensätzlicher Interpretationen zwischen Peer und Berufsbildungszentrum, liegt das Ergebnis des Reviews bereits am Ende des Peer-Besuchs in Form der ausgefüllten Checkliste vor. Diese Checkliste hat die Funktion eines Berichts und ergeht an die Direktion, die/der Qualitätsverantwortliche sowie alle betroffenen BereichsleiterInnen. Trotz der strengen Beurteilung – Bewertung mit "Nicht-Übereinstimmung" sowie die Formulierung von Korrekturmaßnahmen –

6.4 Fallstudien

139

dient das Review als interne Überprüfung (im Gegensatz zu den externen Audits von ISO und Akkreditierungsagenturen) v.a. der Qualitätsverbesserung. The purpose of the review is the improvement of the system, it is not in order to judge. It is necessary the best collaboration between Peer and person in charge. The report is not a cold document but an instrument for the improvement of the VTC. (Reghellin 2005b, 3)

Kurz nach dem Peer-Besuch informiert die/der Qualitätsverantwortliche (QARVerantwortliche) zusätzlich sämtliche MitarbeiterInnen über die Bewertungen der Peer/ des Peers und stellt diese im Kollegium zur Diskussion. Die Berufsbildungszentren müssen sich im Voraus verpflichten, auf die Beobachtungen und Empfehlungen der Peer/des Peers zur Weiterentwicklung der Qualität der Einrichtung einzugehen und Verbesserungen einzuleiten. Diese werden von der/dem Qualitätsverantwortlichen in Zusammenarbeit mit der Leitung und den Bereichsverantwortlichen geplant und umgesetzt. Die wichtigsten Ergebnisse der Reviews (Bewertung mit Nicht-Übereinstimmung, Verbesserungsmaßnahmen) werden in einem zentralen Dokument übersichtlich erfasst. Auf der Ebene des Verbunds werden Rückmeldungen und Vorschläge aus den einzelnen Peer Reviews vom regionalen Qualitätskomitee dazu verwendet, die Qualitätsinstrumente und -prozeduren für das gesamte regionale Netzwerk laufend zu verbessern. Es findet hier also auch eine Metareflexion über das Verfahren und seine Ausgestaltung statt. Als positive Auswirkung des Netzwerks und der gegenseitigen Peer Reviews werden der Erfahrungsaustausch und die Kooperation zwischen den einzelnen Berufsbildungszentren genannt (vgl. Reghellin, Peer Review Panelinterview, 8).

140

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

6.4.5 Peer Review anhand von Benchmarks im Netzwerk finnischer Gastgewerbeschulen (Fallbeispiel 5) Einbettung, Ziel und Umfang des Verfahrens Das finnische Bildungssystem kennt keine Inspektionen mehr, die Verantwortung für die Qualitätssicherung wurde zu einem großen Teil auf die Ebene der Berufsbildungseinrichtungen bzw. ihre Erhalter auf der regionalen Ebene verlagert. Die Berufsbildungseinrichtungen haben eine staatliche Lizenz und sind gesetzlich verpflichtet, ein System der Selbstevaluierung einzuführen und an externen Evaluierungen, die von Seiten des Staates organisiert werden, teilzunehmen. Zusätzlich gibt es Anreizsysteme wie den EFQM-basierten „Finnish Quality Award“ und ein System des „performance-based funding“ zur Verteilung von zusätzlichen Mitteln für ausgezeichnete Einrichtungen, das auf dem Vergleich von Qualitätsindikatoren beruht. Empfehlungen des Finnish National Board of Education, einer Behörde, die für das Bildungsministerium arbeitet, sehen vor, dass die Berufsbildungseinrichtungen in Bezug auf ihre Qualitätssicherung kooperieren und dass sie sich mindestens alle drei Jahre einem externen Audit unterziehen, wobei die Wahl der AuditorInnen den Bildungseinrichtungen freisteht (vgl. National Board of Education 2000). Unter diesen Rahmenbedingungen haben einige Berufsbildungseinrichtungen auf freiwilliger Basis und selbstorganisiert bereits Erfahrungen mit Peer Review gesammelt. Einer Erhebung des Finnish National Board of Education zufolge kennen 37% der Berufsbildungseinrichtung die Methode und 18% haben sie bereits angewandt (gültige Prozente, der Rücklauf betrug über 40%, vgl. Koski 2005, 28f.). Verschiedene Formen des Peer Reviews werden eingesetzt. So wurde Peer Review von einigen Einrichtungen zur Evaluierung des Unterrichts eingesetzt. Auf der Organisationsebene wurden gegenseitige Reviews zur Bewertung des gesamten Betriebs von Berufsbildungseinrichtungen bzw. zur Evaluierung bestimmter Fragestellungen durchgeführt (vgl. Koski 2005, 29). Ein Beispiel für letztere Verwendung von Peer Reviews ist das „Network of Culinary Schools“, ein Verbund von fünf Gastgewerbeschulen, die über ganz Finnland verstreut sind: Jyväskylä Catering College, North Carelian Vocational College, Vaasa Vocational Institute, South Carelian Vocational College, Helsinki Culinary School Perho.71

71 Ich beziehe mich im Folgenden, so nicht anders angegeben, auf ein Interview mit Gun-Marit Nieminen, die Direktorin der „Perho Culinary School“ (Peer Review Panelinterview im Rahmen des 2. transnationalen Partnertreffens des europäischen Projekts „Peer Review as an instrument for quality assurance and quality development in initial VET in Europe“). Eine weitere Quelle ist der

6.4 Fallstudien

141

Das Netzwerk besteht seit sechs Jahren. Die geographische Distanz bedeutet, dass es keine direkte Konkurrenz um Studierende zwischen den KooperationspartnerInnen gibt. Das Review basiert auf einem Benchmarking-Verfahren, in dem Indikatoren verglichen und diskutiert werden. Die beteiligten Berufsbildungseinrichtungen sehen die Weiterentwicklung von Benchmarking zu einem Peer-Review-Verfahren v.a. in der Behandlung von Problembereichen und der offenen Diskussion von Stärken und Schwächen während des Peer-Besuchs. Der qualitative Ansatz und das Voneinander-Lernen im Rahmen des Reviews werden als zentrale Faktoren für das Auslösen von Organisationsentwicklungsimpulsen gesehen: According to this group of VET-providers the Peer Review -method has been considered as a form of evaluation process close to benchmarking. Nevertheless, a remarkable difference compared to benchmarking has been the matter that besides the good practices Peer Reviews also include the exchange of some not-so-good practices, issues that haven’t been done in the most efficient way in the own educational institute. This was seen important for the organizational development. (Koski 2005, 29f.)

Das Netzwerk trifft sich einmal jährlich an einer Partnerschule zum Peer Review, die konkreten Fragestellungen werden für das jeweilige Review neu festgelegt. Themen waren z.B. der Bereich der „Customer Results“, d.h. die Lern- und Zufriedenheitsergebnisse bei den Studierenden, der Unterricht selbst, die Entwicklung von Curricula und die sogenannten „Skills Demonstrations“, die aktuell für die Anerkennung von Lernen im Bereich der beruflichen Bildung in Finnland pilotiert werden. Indikatoren v.a. für den Bereich des Unterrichts wurden entwickelt. Ein Set an Indikatoren wird jedes Jahr erhoben und analysiert: z.B. Dropout-Raten, das Verhältnis von BewerberInnen und Studienplätzen, erfolgreiche Prüfungen, Verbleib der Studierenden nach der Ausbildung (Eingliederung in den Arbeitsmarkt oder weiterführende Studien). Lehren und Lernen werden als Themen in jedem Review behandelt. Auch eine Evaluierung des Qualitätsmanagementsystems (Meta-Evaluation) hat bereits einmal stattgefunden. Die gastgebende Schule wechselt von Jahr zu Jahr, sodass über die Zeit alle Schulen einmal diese Rolle übernehmen.

Bericht von Leena Koski (Koski 2005), die im Jänner 2005 ein Interview mit den Netzwerkschulen geführt hatte sowie die Antworten von Gun-Marit Nieminen und Pekka Selenius auf einen Fragebogen mit zusätzlichen Fragen (Nieminen/Selenius 2005).

142

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Peers Zur Gruppe der Peers gehören die DirektorInnen sowie Mitglieder der internen Qualitätsteams der beteiligten Einrichtungen. Die Peers werden von den Schulen durch die Qualitätsteams selbst nominiert, ein Kriterium für die Auswahl der Peers ist die Expertise in Bezug auf das jeweilige Thema des Peer Reviews. Auch müssen die Peers selbst erfahrene LehrerInnen mit hoher Unterrichtskompetenz und einschlägiger Lehrerfahrung von mindestens fünf Jahren sein und Kenntnisse bezüglich Lehrplan- und Qualitätsentwicklung mitbringen. In manchen Schulen wechseln die Peers im Laufe der Jahre, um möglichst vielen Personen Erfahrungen mit Peer Review zu ermöglichen, in anderen sind die Peer-Teams seit Jahren konstant. Jede Schule entsendet zwei bis drei Personen, an einem Review nehmen also insgesamt etwa 10 bis 15 Personen teil. Organisation und Vorbereitung Basis für den Review-Prozess ist eine Selbstevaluierung zur gewählten Fragestellung. Die Selbstevaluierung baut auf der Entwicklung und Erhebung von Indikatoren auf und wird von allen beteiligten Schulen durchgeführt. Eine Zusammenfassung der wichtigsten Indikatoren wird vorab von allen Schulen an die gastgebende Schule übermittelt und in einem übersichtlichen Vergleichsdokument aufbereitet. Die gastgebende Schule erstellt auch eine Tagesordnung für den Peer-Besuch. Eine gute Vorbereitung wird als wichtige Voraussetzung für den Erfolg des Reviews angesehen (vgl. Nieminen, Peer Review Panelinterview, 8.) Peer-Besuch Der Peer-Besuch dauert einen Tag. Ziel des Besuchs ist es, anhand der Indikatoren die Ergebnisse der beteiligten Schulen zu vergleichen, Best Practice zu identifizieren und Feedback zur eigenen Einrichtung von Partnerschulen derselben Fachrichtung einzuholen. Ein wiederkehrendes Element der Peer-Besuche ist ein Rundgang durch die besuchte Schule. Ein Interview mit der Direktorin/dem Direktor der gastgebenden Einrichtung sowie Interviews mit Lernenden können auch Teil der Agenda sein. Auch kann eine Expertin/ein Experte eingeladen werden, die/der ein Referat zu einem im Rahmen des Reviews behandelten Thema hält. Das zentrale Element des Besuchs ist jedoch die gemeinsame Diskussion der Peers über die Indikatoren. Diese nimmt nach Angaben der Teilnehmenden etwa 70-80% der Zeit ein. Wenn große Unterschiede in den Ergebnissen festgestellt werden, werden die Hintergründe für Erfolg bzw. Misserfolg genauer analysiert. Die Einrichtungen, die gut abschneiden, erläutern für die anderen, auf welche Maßnahmen und Bedingungen ihr Erfolg gründet. Es können aber auch

6.4 Fallstudien

143

inhaltliche Entwicklungsprojekte (wie z.B. die in Finnland vorgesehen eigene Curriculumsentwicklung und -adaptierung auf der Basis des nationalen Kerncurriculums) vorgestellt und diskutiert werden. Evaluiert werden in dieser Form des Peer Reviews nicht nur die gastgebende Schule sondern alle beteiligten Einrichtungen. Der gesamte Prozess ist von einem partnerschaftlichen Verhältnis der Schulen geprägt. Die Peers werden als kritische FreundInnen betrachtet, die respektvoll und unter Wahrung von Vertraulichkeitsvereinbarungen einander Rückmeldung geben und von Best Practice lernen. Follow-up und Erfahrungen Die Ergebnisse des Reviews werden von der gastgebenden Schule in einem Protokoll des Treffens festgehalten. Dieses Protokoll beinhaltet die Themen des Besuchs, die Ergebnisse der Diskussionen, Empfehlungen sowie inhaltliche Vorschläge für das nächste Review. Es ergeht an die teilnehmenden Personen sowie weitere Personen, die davon betroffen sind. Die Verbreitung des Protokolls erfolgt durch die Schulen selbst, die auch über eine mögliche Veröffentlichung entscheiden. Auch die Umsetzung von Empfehlungen der NetzwerkpartnerInnen liegt in der alleinigen Verantwortung der beteiligten Einrichtungen und erfolgt auf freiwilliger Basis. Dem Verfahren wird von den Beteiligten eine hohe Wirksamkeit zugesprochen, da es essentielle Information für die Entwicklung der eigenen Organisation zugänglich macht. Aus diesem Anspruch der Veränderung und Weiterentwicklung ergibt sich auch die große Bedeutung der Einbeziehung der Schulleitungen in den Prozess. Als besondere Stärke des Netzwerkes wird die wechselseitige Vertrautheit der Netzwerkpartner mit den Abläufen, Strukturen, Stärken und Schwächen der anderen genannt. Eine gute Kenntnis der anderen Einrichtungen und ein über die Jahre gewachsenes Vertrauen heben die Effizienz der Evaluation. Auf der anderen Seite wird auch bemängelt, dass die Peers bisweilen aufgrund des Naheverhältnisses zu „freundlich“ seien, eine stärker kritische Haltung wäre für den Prozess förderlicher. Die Arbeit mit Benchmarks brachte mit sich, dass eine Auseinandersetzung über die Art der Messung der Indikatoren geführt wurde, da diese in manchen Fällen erst vergleichbar gemacht werden mussten. Als eine der Auswirkungen der Kooperation im Netzwerk kann auch die Initiierung anderer gemeinsamer (auch internationaler) Projekte dieser Gruppe von Bildungseinrichtungen genannt werden.

144

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

6.4.6 Projekt eiver – Evaluation im Verbund als Beitrag zur Qualitätsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken, Hessen, Deutschland (Fallbeispiel 6) Einbettung, Ziel und Umfang des Verfahrens eiver – Evaluation im Verbund als Beitrag zur Qualitätsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken ist ein dreijähriges Einzelmodellprojekt in Hessen, das vom Bundesland Hessen und von der Bund-LänderKommission kofinanziert wird. Das Projekt hat den Aufbau von Evaluationskompetenz in den beteiligten Schulen zum Ziel und bedient sich zu diesem Zweck des Peer Reviews. Durchgeführt wird das Projekt vom Institut für Qualitätsentwicklung (IQ) in Wiesbaden, die wissenschaftliche Begleitung wird vom Institut für Allgemeine Pädagogik und Berufspädagogik der Technischen Universität Darmstadt wahrgenommen.72 Der Modellversuch startete im Januar 2004 und endet im Dezember 2006. Das Projekt ist aktuell in der Entwicklungs- und Testphase, eine erste Serie von Peer Reviews wurde im ersten Quartal 2005 durchgeführt. Das Kernkonzept ist die Schaffung von Verbünden zu bestimmten Themenbereichen. Neun Berufsschulen haben sich zu drei Evaluationsverbünden zusammengeschlossen (vgl. Projektbroschüre Modellversuch Evaluation im Verbund 2004): ƒ ƒ

ƒ

Der Verbund „Ausbildungsverbünde“ evaluiert die Qualität der Lernortkooperationen zwischen Schulen und Ausbildungsbetrieben; der Evaluationsverbund „Fortbildung“ widmet sich der Frage, inwiefern sich Lehrerfortbildungen auf die Qualität des Unterrichts auswirkt und inwieweit in Fortbildungen erworbenes Wissen innerhalb des Kollegiums weitergegeben und schulintern genutzt wird; der Verbund „Regionale Netzwerke“ untersucht, ob das Bildungsangebot der Fachschulen optimal auf den Bedarf der jeweiligen Region abgestimmt ist.

Die VerbundpartnerInnen einigen sich auf einen gemeinsamen Evaluationsgegenstand und legen gemeinsam Leitziele und Evaluationskriterien fest. Indikato-

72 Wenn nicht anders angegeben, wurden die Informationen für diese Fallstudie entnommen aus Projektunterlagen, die unter http://s1.teamlearn.de/b-1-eiver (28.12.2005) zu finden sind, zwei Interviews mit Frau Dr. Giebenhain, TU Darmstadt, (9.3.2005, 27.11.2005) einer Mitarbeiterin von Prof. Dr. Josef Rützel, der für die wissenschaftliche Begleitung verantwortlich ist, sowie ein Interview mit Frau Gerriets (7.12.2005), Projektkoordinatorin am Institut für Qualitätsentwicklung (IQ) in Wiesbaden.

6.4 Fallstudien

145

ren zu den Kriterien und passende Evaluationsmethoden erarbeiteten die beteiligten Schulen für sich selbst. Ein zentrales Element des Projekts ist ein externes formatives Review der Schulen in Bezug auf das Thema des jeweiligen Ausbildungsverbunds, dieses Review wird jedoch nicht von der Schulaufsicht durchgeführt, sondern durch die jeweiligen VerbundpartnerInnen, die als Peers fungieren. Das Peer Review baut dabei auf der internen Selbstevaluierung der Schulen auf. Ziele der externen Evaluierung sind ƒ ƒ ƒ

die interne Sicht der Schulen durch eine externe Perspektive der Netzwerkpartner zu bereichern, den Schulen die Möglichkeit zu geben, mit und von einander zu lernen und die Schulen zur Weiterentwicklung der eigenen Praxis zu motivieren.

Es handelt sich bei dieser Form des Peer Reviews daher um eine formative Evaluierung, die die Qualitätsentwicklung unterstützen soll. Die Rückmeldungen aus den Peer Reviews sind primär für die evaluierten Schulen selbst bestimmt. Innerhalb der Evaluierungsverbünde entwickeln die einzelnen Schulteams (Evaluationsteams, die aus Personen aus jeder der teilnehmenden Schulen ausgewählt werden) Selbstevaluierungskonzepte. Jede Schule führt dann Erhebungen durch, analysiert und interpretiert die Daten und erstellt einen Selbstreport. Drei Peer-Review-Zyklen werden im Projekt durchgeführt: Im ersten Zyklus, der bereits abgeschlossen wurde, konzentrierten sich der Selbstreport und der PeerBesuch auf die Evaluationsplanung und die geplanten Methoden (Punkte 1, 2, 3 und 6 des Evaluationszyklus), es wurden von den Schulen in der Regel noch keine Erhebungen und Untersuchungen vorgenommen. Die beiden weiteren Evaluationszyklen umschließen den gesamten Evaluationskreis (vgl. Leittext_Evaluationsplanung1, 3). Im zweiten Zyklus werden die von den Schulen durchgeführten Selbstevaluierungen durch die Peers metaevaluiert. Dies ist auch für den dritten Zyklus, der im Frühjahr 2006 durchgeführt wird, geplant, möglich ist aber auch, dass nach Bedarf weiterführende Fragestellungen evaluiert werden, wie z.B. der schulinterne Transfer der Ergebnisse der Peer Reviews. Die PeerTeams führen jeweils einen Zyklus durch und werden dann, so möglich (d.h. wenn die Schulteams groß genug sind, um einen Wechsel zuzulassen), ausgetauscht. Peer Reviews des Unterrichts auf individueller Ebene werden im Rahmen des Modellversuchs nicht durchgeführt.

146

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Abbildung 5:

Evaluationszyklus im Modellversuch eiver

1.1.Bereiche Bereiche auswählen auswählenund und Ziele ZieleKlären Klären 6.6.Konsequenzen Konsequenzen vereinbaren vereinbaren und und Schritte Schritteplanen planen

2.2.Ablauf Ablaufund und Spielregeln Spielregeln festlegen festlegen EvaluationsEvaluationszyklus zyklus 3.3.Methoden Methoden zur zurDatenDatensammlung sammlung auswählen auswählen

5.5.Daten Daten analysieren analysieren und und kommunizieren kommunizieren 4.4.Daten Daten sammeln sammelnund und aufbereiten aufbereiten

Quelle: Basel 2004, 45

Peers Peers sind extern, d.h. KollegInnen aus den anderen Schulen des jeweiligen Verbunds. Alle Mitglieder der Schulteams – und damit auch der Peer-Teams – sind BerufsschullehrerInnen. Sie sind als schulfremde Personen nicht in die zu evaluierenden Arbeitszusammenhänge direkt involviert sind, kennen diese jedoch aus ihrer eigenen Berufstätigkeit. Das Ausmaß der Unterrichtserfahrung ist für die Teilnahme nicht ausschlaggebend, so ist in einem Verbund auch ein Lehrer, der gerade sein Referendariat abgeschlossen hat, als Peer tätig. Sowohl für die Mitarbeit im Schulteam als auch für die Funktion als Peer wurde auf Freiwillige aus den Kollegien zurückgegriffen, es erfolgte keine spezielle Auswahl durch die Projektleitung oder die Schulleitungen. Während in den Schulteams, die die Selbstevaluierung an der Schule konzipieren und durchführen, auch SchulleiterInnen teilnehmen konnten (so finden sich auch viele SchulleiterInnen bzw. deren StellvertreterInnen in den Schulteams), wurden diese von

6.4 Fallstudien

147

der Teilnahme in den Peer-Teams ausgeschlossen, um sicher zu stellen, dass die Reviews tatsächlich unter "Peers", d.h. Gleichgestellten, durchgeführt werden.73 In einzelnen Fällen fungierten in den ersten 2 Peer-Review-Zyklen AbteilungsleiterInnen als Peers, dabei wurde dann darauf geachtet, dass diese Personen für die Zeit des Reviews mit den anderen Peers „auf gleicher Augenhöhe“ zusammenarbeiteten (Interview Giebenhain, 27.11.2005, 1). Peers sind also Mitglieder der Schulteams der Verbünde, die sich freiwillig für diese Funktion gemeldet haben. Die Schulteams umfassen mindestens drei, in vielen Schulen sechs bis sieben Personen, die den Evaluationsplan ausarbeiten und einander zu regelmäßigen (wöchentlichen) Arbeitssitzungen treffen. Sie sind in einem gewissen Ausmaß von ihren Lehrverpflichtungen entlastet. In die PeerTeams werden jeweils zwei VertreterInnen der anderen Schulen im Verbund entsandt. Eine Vertreterin/ein Vertreter des Teams der wissenschaftlichen Begleitforschung nimmt als stille Beobachterin/stiller Beobachter am Peer Review teil. Die Peer-Besuche werden also von jeweils sechs bis sieben Personen (zu denen die Peers aus der besuchten Schule ebenso gezählt werden) durchgeführt. Vorbereitung und Organisation Die Peer Reviews werden sorgfältig vorbereitet und organisiert. Die Schulen erhalten Unterstützung durch das Projektteam des Instituts für Qualitätsentwicklung (IQ) und die wissenschaftliche Begleitung. Dies betrifft sowohl die Entwicklung der Evaluationsdesigns als auch die Vorbereitung für die Peer-Besuche einschließlich der Schulung der Peers. Der Selbstreport ist das zentrale Dokument im Review-Prozess. Er soll die Selbstreflexion (interner Effekt) und die Rechenschaftslegung (externer Effekt) stärken. Der Selbstreport ist das Ergebnis der internen Evaluierung und dient als Basis für die Evaluation durch die Peers. Er ist also einerseits ein Arbeitsinstrument für die Schulteams, um die Evaluation zu dokumentieren, andererseits die Grundlage 1) für die Zusammenarbeit mit den externen Evaluationsgruppen, d.h. den Peers, und der wissenschaftlichen Begleitung und 2) für die Kommunikation des Teams mit KollegInnen der eigenen Schule. Für den Selbstreport ist vom wissenschaftlichen Begleitteam eine detaillierte Struktur entwickelt worden. Er sollte nicht mehr als 8 bis 10 Seiten lang sein und allgemeine Informationen zur Schule, eine Beschreibung der geplanten Evaluation (für die erste Evaluation, für die zweite und dritte Evaluierung soll dann der gesamte Evaluationszyklus beschrieben werden) sowie Schlussfolgerungen

73 Für viele Schulleitungen ist eine Teilnahme laut Einschätzung von Frau Dr. Giebenhain auch aufgrund des hohen Zeitaufwands nicht möglich (vgl. Interview Giebenhain, 27.11.2005, 1).

148

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

und Pläne für die Zukunft beinhalten. Weitere Dokumente können in einem Anhang angefügt werden. Zusätzlich formulierten die Schulen Evaluierungsaufträge an die Peers, die jedoch im ersten Selbstreport nicht dokumentiert wurden. Der Selbstreport soll ein dynamisches Dokument werden, d.h. die Inhalte werden im Projektverlauf angepasst, die Berichte kumuliert, so dass bereits behandelte Themen erst dann wieder in den Selbstreport aufgenommen werden, wenn Änderungen dokumentiert werden müssen. In der Vorbereitungsphase waren vor allem die Qualifizierung der Peers, die Abstimmung mit den zu besuchenden Schulen und die Planung der Schulbesuche von Bedeutung. Allen Projektbeteiligten aus den Schulen wurden bereits während der Startphase des Modellversuchs Evaluationskompetenzen vermittelt, zusätzlich wurden die Peers im Rahmen von zwei Arbeitstagungen geschult. Die Schulungen umfassten folgende Themen: Erfolgsbedingungen für externe Evaluationen, Evaluationsfragen und Aufgaben der Schulteams, Analyse der Selbstreports, verbindliche Absprachen der Verbundschulen zur Vorbereitung und Durchführung der Besuche, Methode der Datenerhebung und der Dokumentation, Feedbackgespräche (Methoden des Feedbacks, „Rezepte“ für das Rückmeldegespräch). Manche Peers entwickelten auch Interview-Leitfäden für die Peer-Besuche. Diese Leitfäden sollten Bezug nehmen auf die Evaluierungsaufträge und -fragestellungen, die die Schulen den Peers gestellt hatten. Der Ablauf der Vorbereitungsphase umfasste neben der Erstellung der Selbstreports (in chronologischer Reihenfolge): die Benennung von zwei VertreterInnen pro Schule für die externen Evaluationsgruppen (Peer-Teams), die Qualifizierung als Peer-EvaluatorInnen für alle Teilnehmenden am Modellversuch, die Bildung der externen Evaluationsgruppen, die Organisation der Schulbesuche sowie die Bewertung der Selbstreporte und inhaltliche Vorbereitung der Schulbesuche durch die externen Evaluationsgruppen (vgl. Basel 2004, 44f.). Inhalt und Ablauf werden zwischen den Peers und der jeweiligen Schule (Schulteams) im Rahmen einer Arbeitssitzung ausgehandelt, dabei sollen die gegenseitigen Erwartungen und Anliegen offen diskutiert werden (vgl. Interview Gerriets, 5ff.). Peer-Besuche Die Peer-Besuche waren eintägig und folgten einer Tagesordnung, die im Vorfeld von den Evaluationsgruppen erstellt worden war. Der Ablauf umfasste für gewöhnlich eine Begehung der Schulstandorte, Interviews mit verschiedenen Anspruchsgruppen (z.B. mit Administrativkräften), Besprechungen innerhalb des besuchenden Peer-Teams und Diskussionen mit AnsprechpartnerInnen aus der besuchten Schule (v.a. den Peers der besuchten Schulen, in manchen Fällen wur-

6.4 Fallstudien

149

den weitere Personen, z.B. aus den Schulteams hinzugezogen) sowie eine kurze Meta-Evaluierung mit dem Peer-Team. Beobachtungen des Unterrichts (für die im Voraus Leitfäden erarbeitet worden waren) wurden nur in einem Verbund, in dem die Qualität der Ausbildung evaluiert wird, durchgeführt. Wenn es sich zunehmend nicht nur um eine Meta-Evaluation handelte, sondern die Peers vor Ort noch Daten erheben und evaluieren sollten, dann  so haben die Erfahrungen der ersten zwei Peer-Review-Durchgänge gezeigt  wurde die mit einem Tag angesetzte Dauer des Besuchs von den Beteiligten vielfach als zu kurz bewertet (vgl. Interview Gerriets, 4 ff.). Eine abschließende Feedbacksitzung mit dem gesamten LehrerInnenkollegium war nicht Teil des Besuchs, die Rückmeldungen erfolgten an das Evaluationsteam in der Schule. Der Austausch erfolgte also v.a. innerhalb der Gruppe der Peers – zwischen "besuchenden Peers" und "besuchten Peers". Themen des PeerBesuchs waren die Präsentation der Schule und ihres Evaluationsprojekts, Rückmeldungen durch die Peers, eine gemeinsame Analyse der Probleme und punktuell eine Vereinbarung über zukünftige Maßnahmen, die in einem kommunikativen Prozess zwischen Peers und dem Evaluationsteam der Schule entwickelt wurde. Die Peers identifizierten Bedingungen für Erfolg bzw. Misserfolg der evaluierten Themen und gaben Empfehlungen ab. Peer-Beratung als zusätzliches Element war innerhalb der Peer-Besuche möglich. Dies wurde v.a. im Verbund "Regionale Netzwerke" in Anspruch genommen, in dem es die Entwicklung von regional abgestimmten Bildungsangeboten geht. Neben dem Schulbesuch konnten Peers zur weiteren Informationsgewinnung auch noch zusätzliche Dokumente analysieren oder weitere Interviews und Beobachtungen durchführen. Follow-up und Erfahrungen Die Schulen erhalten von den Peers während des Besuchs auf Wunsch Empfehlungen für Verbesserungen. Auch werden die Peer-Besuche von dem wissenschaftlichen Begleitteam (TU Darmstadt) protokolliert, das den Schulen ebenfalls ein Feedback zu den Schulbesuchen gibt. Das Verfassen offizieller Berichte (Peer Reports) ist (noch) nicht vorgesehen. Die AdressatInnen der externen Evaluierung sind, wie bereits oben erwähnt, primär die Schulen selbst. Durch die Einbindung in eine Projektstruktur werden das Verfahren und die Ergebnisse aber auch im Modellversuch mit Unterstützung der wissenschaftlichen Begleitforschung nachbereitet und reflektiert. Eine Rückmeldung (z.B. in Form von Projektberichten) ergeht auch an die politischen EntscheidungsträgerInnen im Bundesstaat Hessen, als InitiatorInnen und Finanziers des Modellversuchs.

150

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Erste Erfahrungen aus den Peer Reviews haben gezeigt, dass der Erfolg des Reviews abhängt von 1) der Formulierung spezifischer Evaluierungsfragestellungen und -aufträge vor dem Peer-Besuch, 2) von einer gut strukturierten Tagesordnung für die Besuche und 3) der Kompetenz der Peers in Hinblick auf die spezifischen Fragestellungen des Reviews (vgl. Interviews Giebenhain 9.3.2005 und 27.11.2005). 6.4.7 Intensivprojekt Schule IPS, Kanton Bern, Schweiz (Fallbeispiel 7) Einbettung, Ziel und Umfang des Verfahrens Das „Intensivprojekt Schule – IPS“ ist ein umfassendes, systematisches Schulentwicklungsprojekt, das von der Erziehdungsdirektion des Kantons Bern74 koordiniert wird und seit 1997 besteht. Inhaltlich ist es eine Weiterentwicklung des Projekts QES der Erziehungsdirektion Bern sowie des FQS (Förderndes Qualitätsevaluations-System, s. auch oben Kapitel 6.4.2). IPS legt jedoch stärkeres Gewicht auf die externe Evaluation, die im Rahmen von Peer Reviews erfolgt. Das Projekt arbeitet ebenso wie andere Modellvorhaben im Bereich Peer Review mit der Vernetzung von Schulen zur Kooperation in der Qualitätssicherung und Qualitätsentwicklung. Die einzelnen IPS-Durchgänge dauern jeweils fünf Jahre, mittlerweile wurde der siebente Durchgang (2005/2006 bis 2009/2010) gestartet, 42 Schulen sind insgesamt an IPS beteiligt, d.h. pro Jahrgang durchschnittlich 6. Das Spektrum der Bildungseinrichtungen reicht vom Kindergarten bis zur Sekundarstufe 2 und umfasst auch Berufsschulen. Die ersten Peer Reviews wurden 1999 abgehalten (vgl. Stamm 1999), mit Stand vom Mai 2005 waren im Rahmen von IPS bereits 55 Peer Reviews durchgeführt worden. Das Projekt wurde in dieser Zeit kontinuierlich metaevaluiert und weiterentwickelt. Die Schulkommission75 sowie andere Behörden sind über eine externe Begleitgruppe in das Projekt eingebunden. Ziel des Projekts ist es, Schulen und den in ihnen unterrichtenden LehrerInnen Unterstützung bei der Weiterentwicklung ihrer professionellen Praxis zu geben. Primärer Bezugspunkt für die Evaluierung sind die aktuellen Bedürfnisse der jeweiligen Projektschule. Es wird im Rahmen von IPS besonders darauf

74 Die betreffende Abteilung der Erziehungsdirektion Bern (Zentralstelle für Lehrerinnen- und Lehrerfortbildung des Kantons Bern, Fachbereich Langzeitfortbildungen) soll in einen neuen organisatorischen Rahmen integriert werden. Derzeit ist noch nicht klar, wo das Projekt IPS, das noch bis 2010 (Auslaufen von IPS 7) fortgeführt werden soll, angesiedelt sein wird. 75 Die Schulkommission ist die politisch gewählte Aufsichtsbehörde für die Schulen. Für die engere pädagogische Aufsicht gibt es zusätzlich SchulinspektorInnen.

6.4 Fallstudien

151

geachtet, dass Entwicklungsimpulse umsetzbar sind und auch tatsächlich Realität werden. Die Schulen werden dabei vom Projekt auf vielfältige Weise unterstützt: Es wird Beratung, Begleitung und Schulung angeboten. Weiters werden Personalressourcen an den Schulen zur Verfügung gestellt (Entlastungslektionen). Auch wird die Netzwerkbildung zwischen den Schulen gefördert. Erwähnenswert ist auch, dass die Zusammensetzung der Netzwerke von Jahrgang zu Jahrgang unterschiedlich ist. Sie kann sehr homogen ausfallen, so dass ähnliche Schulen im Netzwerk verbunden sind, oder auch Schulen unterschiedlichen Typs und aus unterschiedlichen Stufen des Bildungssystems – vom Kindergarten bis zu Sekundarstufe 2 – umfassen. Das Ziel des Peer Reviews im Rahmen von IPS wird folgendermaßen definiert: „Eine externe Evaluation durch Peers (=Gleichgestellte) erlaubt der Schule die Selbstkontrolle ihrer Evaluationsergebnisse. Sie dient auch der Rechenschaftslegung nach außen. Dabei ergänzt sie interne durch externe, alternative Sichtweisen, ermöglicht so eine Vertiefung der internen Qualitätsbemühungen und setzt Entwicklungsimpulse“ (Strahm 2004a, 50). Es sollen mit den Peer Reviews in IPS also sowohl formative als auch summative Aspekte abgedeckt werden. Die formative Wirkung wird folgendermaßen beschrieben: Dank der Art und Weise der Befragung, dem Mitwirken aller wichtigen am Unternehmen Schule beteiligten Personengruppen und der kommunikativen Validierung der Rückmeldungen durch das Gesamtkollegium erhalten die Schulen relevante Erkenntnisse zur Steuerung der Qualitätsentwicklungsprozesse: Stärken werden gewürdigt und dienen dem Erhalt der Qualität, Mängel können behoben werden. Die Interviewerfahrungen der Peers in andern Schulen dienen auch der Weiterentwicklung der eigenen Schule. Die Informationen der andern Schulen und der Vergleich mit der eigenen Schule setzen einen Reflexionsprozess in Gang. (Strahm 2004b, 3)

Zusätzlich werden summative Ziele des Verfahrens genannt: Die Ergebnisse der PR-IPS dienen der Rechenschaftslegung und Berichterstattung zuhanden der Schulbehörden (Begleitgruppe) und der Projektleitung IPS. Die externen Ansprechpartner der Schule übernehmen gegen aussen eine Plausibilitätskontrolle der Selbstevaluation. Die Peer Reviews, die grundsätzlich als qualitatives Verfahren konzipiert sind, beinhalten auch quantifizierbare Befragungsteile, mit denen die Schulen und die Projektleitung die Zielereichung im IPS überprüfen können. (Strahm 2004b, 3)

152

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Die Peer Reviews im Intensivprojekt Schule sind jedoch nicht als Inspektionen zu verstehen, sondern als "externe Begutachtung durch kollegiale Peers"; diese stellt eine Dienstleistung für die beteiligte Schule (Strahm 2004b, 1) dar. Das Projekt stützt sich auf das MultiplikatorInnenprinzip, d.h. die Projektleitung arbeitet nicht direkt mit der LehrerInnenschaft, sondern mit VertreterInnen des Kollegiums, die interne Projektleitungen und Steuergruppen bilden. Aus diesem Grund ist einerseits die Begleitung der Abstimmungsprozesse in den Schulen zwischen MultiplikatorInnen und Kollegien ein wichtiges Element des IPS, andererseits auch die Ausbildung der Mitglieder der Qualitätsgruppen zu schuleigenen Qualitätsfachpersonen: Das IPS baut auf der Aus- und Fortbildung und auf dem Coaching von schuleigenen Q-Fachpersonen auf (Projektleitungen/Steuergruppen), die sich im IPS zu Fachpersonen für Q-Entwicklung qualifizieren. (Strahm 2004c, 3)

Für die Peers, die sich aus den Projektleitungen und Steuergruppen rekrutieren, werden einerseits für die Reviews speziell geschult (s.u.), andererseits stellen aber auch die Reviews selbst ein Qualifizierungselement dar, indem sich die Peers „erweiterte fachliche Kompetenzen aneignen, die ihnen auch an ihrer eigenen Schule zugute kommen“ (Strahm 2004c, 3). Im Rahmen des fünfjährigen IPS-Prozesses wird interne Evaluierung mit externer Evaluierung (Peer Review) und einer Umsetzung der Evaluierungsergebnisse, die dann in einem zweiten Peer Review überprüft werden, verbunden. Schulen, die in das Intensivprojekt Schule aufgenommen werden wollen, müssen bestimmte Voraussetzungen erfüllen. Dazu gehört, dass die Schule ein gemeinsam erarbeitetes Leitbild vorlegen kann und dass 80% des Kollegiums dem Projekteinstieg zustimmen. Auch die zuständige Behörde (Schulkommission) muss die Projektbeteiligung befürworten. Erwartet wird weiters, dass das „ganze Kollegium hinter dem Projekt [steht] und zu einer zielorientierten Zusammenarbeit mit der Projektleitung bereit [ist]. Dies bedeutet auch eine Übernahme von Eigenverantwortung und die Bereitschaft im Team zu arbeiten und Konflikte konstruktiv zu bearbeiten.“ (Strahm 2004a, 50 bzw. vgl. Strahm 2004c, 4) Im ersten Projektjahr beginnen die Schulen mit einer intensiven Selbstevaluierung. Diese Selbstevaluierung setzt bei den LehrerInnen an, die ein 360ºFeedback einholen und im Rahmen von Peer Tandems ihre Unterrichtspraxis beleuchten (vgl. auch Peer Review of Teaching, Kapitel 4.). Eine Steuerungsgruppe ist für die Evaluierung auf Institutionsebene, die Schulqualitätsrecherche, die ebenfalls auf ein 360º-Feedback aufbaut, zuständig. Im zweiten Projektjahr wird das Peer Review durchgeführt. Die Ergebnisse und Empfehlungen des Peer

6.4 Fallstudien

153

Reviews werden dann in den folgenden zwei Jahren in der Schule umgesetzt werden, worauf im fünften Projektjahr noch eine Selbstevaluierung mit anschließendem Peer Review erfolgt. Die externe Evaluierung durch Peers ist in diesem Projekt in systematischer Art und Weise in einen größeren entwicklungsorientierten Rahmen eingebettet. Die Qualitätsbereiche werden nicht verpflichtend vorgeschrieben, jedoch wurde ab IPS 3 (Start 2001/2002) den Schulen vorgegeben, sich an den Qualitätszielen der Erziehungsdirektion, die im Rahmen des Pilotprojekts „Qualitätsentwicklung in Schulen QES“ entwickelt worden waren, zu orientieren. Diese umfassen folgende Qualitätsbereiche: Identität (Leitbild und Schulprogramm), Schulentwicklung und Selbstevaluation, Organisationsstruktur, Kernaufgabe Unterricht, Schulkultur, Mitwirkung, Vernetzung (vgl. Brunner 2003, 46). Diese wurden für das Intensivprojekt zu den vier Bereichen Unterrichten, Beziehungen, Lernergebnisse und Strukturen/Ressourcen zusammengefasst und den Schulen als Themen für die Evaluierung empfohlen.76 Mittlerweile sind von den Schulen ein bis zwei Qualitätsbereiche zu wählen, einer davon muss als Vorgabe das Kerngeschäft Unterricht betreffen (vgl. Fragebogen Peter Strahm, 5.11.2005). Weiters sind für die Selbstevaluierung die Standards der „Groupe de Réflexion Meta-Evaluation“ für Selbstevaluation an Schulen verbindlich (Groupe de Réflexion Meta-Evaluation 2001). Als Gütekriterien sind von Margrit Stamm formulierte Gütekriterien, die v.a. auf die Nützlichkeit der Evaluation abzielen, maßgeblich – Transparenz, Kommunikation, Intervention, Relevanz.77

76 In einer Zwischenevaluierung des IPS-Programms 5 (2003-2008) wurde festgestellt, dass die meisten Schulen im Qualitätsbereich „Beziehungen“ (Schulklima, Zusammenarbeit zwischen den verschiedenen Gruppen von Beteiligten und Betroffenen) einen Schwerpunkt gesetzt hatten. Strahm (2004a) hat die Behandlung der verschiedenen Qualitätsbereiche von 22 Leitbildern von IPS-Schulen analysiert. Auch in dieser Untersuchung zeigt sich die besondere Bedeutung der Schulkultur und der kollegialen Zusammenarbeit (die in den Leitbildern 54 Mal genannt wurde) sowie der Evaluierung der Lehr- und Lernarrangements (35 Nennungen) und der sozialen Beziehungen im Unterricht (24 Nennungen) (vgl. Strahm 2004a, 11). 77 Die vier Gütekriterien der qualitativen Sozialforschung von Margrit Stamm: „Peer Reviews werden als wirksam bezeichnet, wenn die folgenden Kriterien eingelöst werden: Transparenz: Sämtliche Vorgehensweisen sind für alle Beteiligten nachvollziehbar. Insbesondere wird der Datenschutz sichergestellt (Verwendung von aggregierten Daten). Kommunikation: Eine konstruktive Feedback-Kultur in einer Atmosphäre des Vertrauens ist notwendig. Intervention: Evaluationsergebnisse haben konkrete Konsequenzen: Erkenntnisse der Peer Reviews werden in die Praxis umgesetzt. Relevanz: Es werden bedeutsame, wesentliche Qualitäten der Schule beurteilt, die auf das Leitbild bzw. das Schulprogramm abgestimmt sind.“ (Strahm 2004b, 2)

154

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Peers Die Peers sind Mitglieder der Q-Gruppen der Netzwerkschulen in IPS aus dem gleichen IPS-Jahrgang, d.h. es handelt sich um LehrerInnen, die in der Schulqualitätsrecherche an ihrer Schule eine zentrale Rolle spielen. Ein/e Peer übernimmt die Funktion der „Peer Leitung“, die die Verantwortung für die Koordination des Peer-Teams, die Abstimmung mit der zu evaluierenden Schule und die Organisation des Peer-Besuchs sowie für das Abfassen des Peer-Berichts hat. Zusätzlich ist eine externe Expertin / ein externer Experte in Evaluation, Moderation und Kommunikation Mitglied des Peer-Teams. Diese externe Fachperson hat die Aufgabe, wissenschaftliche Evaluationskompetenz einzubringen und das Peer-Team bei seiner Arbeit zu unterstützen. Insbesondere hat sie/er die Aufgabe, bei der Schulung der Peers mitzuwirken sowie die Peer Leitungen in ihrer anspruchsvollen Arbeit zu coachen. Die externe Expertin/ der externe Experte wird von der Projektleitung IPS bzw. vom Amt für Bildungsforschung ausgewählt und ist als Mitglied des Peer-Teams in alle Aktivitäten eingebunden. Das Peer-Team umfasst insgesamt sechs Personen. Die Peers haben während des gesamten Projekts die Möglichkeit, Schulung und Beratung in Anspruch zu nehmen. Für die Vorbereitung der Peer Reviews werden eineinhalbtägige Workshops abgehalten, in denen die Peers inhaltlich und methodisch auf die Peer Reviews vorbereitet werden. Ein halber Workshoptag dient dabei der Formulierung von Interviewleitfäden für die Schulbesuche. Dabei werden die Peers von der externen Fachperson unterstützt. Vorbereitung und Organisation Die Evaluationsgegenstände für das Peer Review werden von den Schulen selbst gewählt, es liegt im Verantwortungsbereich der Schulen relevante Fragestellungen zu formulieren. Die Peers erhalten, ähnlich wie im Modellversuch eiver, von den Schulen Evaluationsaufgaben; Evaluation wird als Dienstleistung und nicht als Kontrolle definiert. Die Schulen verfassen im Vorfeld des Peer Reviews einen Selbstevaluierungsbericht, ein so genanntes Portfolio. Dieses Portfolio beinhaltet ein Kurzporträt der Schule (2 Seiten), eine Zusammenfassung, einen Bericht über die Selbstevaluierung und deren Ergebnisse (max. 10 Seiten, der Bericht beinhaltet eine Beschreibung der durchgeführten Evaluation und deren Ergebnisse sowie die Umsetzung der Ergebnisse, eine Prozessevaluierung (MetaEvaluation) sowie das daraus gewonnene Steuerungswissen) sowie ein bis zwei relevante Fragestellungen, die im Rahmen des Peer Reviews näher beleuchtet werden sollen. Die Portfolios werden vor dem Review von der externen Expertin, den Peer Leitungen und den Peers studiert und analysiert.

6.4 Fallstudien

155

Für organisatorische Belange ist in jeder Schule eine Person zuständig. Diese wird von der jeweiligen Schule selbst bestimmt. Sie ist in Abstimmung mit der Peer Leitung für die Vorbereitungen vor Ort verantwortlich. Peer-Besuche Für den Peer-Besuch ist ein Tag vorgesehen. Der Peer-Besuch ist straff durchorganisiert, um an einem Tag möglichst viele Informationen erheben, analysieren und rückspiegeln zu können. Nach einem Zusammenkommen aller AkteurInnen  Kollegium, Schulleitung, Peer-Team  im Rahmen eines Auftaktgesprächs beginnen die Gesprächsrunden mit Beteiligten und Betroffen. Gewöhnlich werden drei solche Gesprächsrunden im Rahmen eines Peer-Besuchs abgehalten, wobei die Interviews jeweils von einem Peer Tandem geführt werden, d.h. eine Person stellt Fragen während die andere Person die Antworten dokumentiert. Im Anschluss an die Gesprächsrunden werden die Ergebnisse gleich in einer Besprechung im Tandem ausgewertet und zusammengefasst. Während eines Durchgangs nimmt ein Peer-Tandem auch einen Rundgang vor. Bei sechs Peers können so innerhalb eines Tages 8 Gesprächsrunden und ein Rundgang absolviert werden. Interviewgruppen weisen eine homogene Zusammensetzung auf (Fokusgruppen), sie können verschiedene Beteiligte und Betroffene repräsentieren: LehrerInnen, SchülerInnen, Eltern, im Fall von Berufsschulen auch Unternehmen. Mit den wichtigsten Beteiligtengruppen (LehrerInnen, SchülerInnen) werden je zwei Gesprächsrunden mit unterschiedlichen Teilnehmenden abgehalten, um ein möglichst breites Spektrum an Ansichten und Meinungen einzufangen. Die Interviewpersonen für die Gesprächsrunden werden von der Schule ausgewählt. Nach der letzten Gesprächsrunde am Nachmittag werden die gesammelten Ergebnisse aus den Gruppeninterviews im Peer-Team ausgewertet und die wichtigsten Befunde in beschreibender Form auf Plakaten sichtbar gemacht. Das erste Fazit des Peer-Teams wird in einer Abschlussrunde dem gesamten Kollegium präsentiert, das die Möglichkeit hat, zu den Ergebnissen Stellung zu nehmen (kommunikative Validierung). Die Präsentation der Peers enthält keine Bewertungen und Empfehlungen, sondern spiegelt nur die Ergebnisse der Gesprächsrunden und Beobachtungen an die Schule zurück. Auch werden nur Ergebnisse, die das Kollegium im Rahmen der kommunikativen Validierung akzeptiert hat, im schriftlichen Evaluationsbericht angeführt. Am Ende des Besuchtags wird der Ablauf des Besuchs von den Peers in einer weiteren internen Besprechung einer Meta-Evaluation unterzogen, die Ergebnisse dieser Meta-Evaluation werden auch an die Projektleitung rückgemel-

156

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

det. Die externe Fachperson moderiert die Auswertungsgespräche des Befragungstags. Follow-up und Erfahrungen Im Anschluss an den Peer-Besuch wird innerhalb von zwei Wochen von den Peer Leitungen mit Unterstützung der externen Fachperson (Coaching durch die Fachperson, „Vier-Augen-Prinzip“) ein Peer-Bericht mit Entwicklungshinweisen bzw. Empfehlungen verfasst und an die Schule übermittelt. Diese hat weitere zwei Wochen Zeit, um den Bericht gegenzulesen und Änderungsanträge an die Peer Leitungen zu stellen, bevor eine Endversion erstellt wird. Die Schule interpretiert den Bericht daraufhin im Kollegium unter Einbeziehung der Schulkommission/Begleitgruppe und legt Entwicklungsschwerpunkte bzw. Entwicklungsziele für die nächsten ein bis zwei Jahre fest. Wichtige weitere Quellen und Grundlagen für die Formulierung dieser Entwicklungsziele sind die Selbstevaluierungsergebnisse, eigene Bedürfnisse der Schule sowie Vorgaben des Kantons. Die Planung der Umsetzung dieser Ziele wird mit Unterstützung der IPS Projektleitung und der externen Fachperson in einem Umsetzungsgespräch vorgenommen. An diesem Gespräch sind die Schulleitung, Mitglieder der schulinternen Steuergruppe sowie Mitglieder der Begleitgruppe auf Projektebene und der Schulkommission beteiligt. Die Projektleitung IPS plant daraufhin auch geeignete Unterstützungsmaßnahmen für die Entwicklungsvorhaben der Schule. Schließlich wird der Umsetzungsplan (Handlungsplan bzw. Schulprogramm) in einem Vertrag zwischen der Schule und den Schulbehörden festgehalten. Die tatsächliche Umsetzung der Vorhaben wird in einem zweiten Peer Review im fünften Projektjahr überprüft. Als Besonderheit kann angeführt werden, dass in Bern verschiedene Varianten des Peer Reviews entwickelt wurden. Neben dem „Peer Review Sustained“, das im Intensivprojekt Schule zur Anwendung kommt und auf eine nachhaltige Schulentwicklung abzielt, gibt es zwei weitere Peer Review-Modelle, die etwas andere Ziele verfolgen und daher auch in der Ausgestaltung, insbesondere in der Definition und Auswahl der Peers, Unterschiede aufweisen. Das eine Modell nennt sich „Peer Review Formativ“ (auch „Peer Review light“). Es ist vor allem für Schulen gedacht und berücksichtigt vorrangig den formativen Aspekt, d.h. das Peer Review bedeutet eine Ausdehnung der Selbstevaluierung auf Feedback von Außenstehenden zu den Selbstevaluationsergebnissen. Es handelt sich dabei um eine „erweiterte Selbstevaluation“ (Strahm/Strahm 2005, 17). Der summative Aspekt fällt weg, die Peers sind LehrerInnenkollegInnen oder können auch je nach Bedarf aus anderen Gruppen von Betroffenen und Beteiligten (z.B. Eltern) gewählt werden.

6.4 Fallstudien

157

Eine weitere Variante, das „Peer Review Extended“, verstärkt den Aspekt der Qualitätssicherung und der Rechenschaftslegung gegenüber der Behörde und der Öffentlichkeit. Das Evaluierungsverfahren unterliegt den traditionellen wissenschaftlichen Gütekriterien (Objektivität/Intersubjektivität, Reliabilität, Validität), als Peers nehmen nicht nur LehrerInnen teil sondern auch VertreterInnen der Aufsicht und der Bildungsverwaltung. Diese Form des Peer Reviews wurde v.a. im postsekundären und tertiären Bereich angewandt. 6.4.8 Peer Review an Regionalen Berufsbildungszentren (ROCs) in den Niederlanden (Fallbeispiel 8) Einbettung, Ziel und Umfang des Verfahrens Die Regionalen Trainingscenter (Regionale Opleidingencentra  ROC) in den Niederlanden vermitteln sowohl berufliche Qualifikationen auf der Sekundarstufe 2 als auch von Erwachsenenbildung. Sie entstanden 1998 als Zusammenschlüsse von regionalen berufs- und erwachsenenbildenden Einrichtungen. Die Regionalen Trainingszentren unterliegen dem Erwachsenen- und Berufsbildungsgesetz von 1996 (Wet educatie en beroepsonderwijs  WEB), das sie verpflichtet, ein internes Qualitätsmanagementsystem zu etablieren und regelmäßige Selbstevaluierungen durchzuführen. Selbstevaluierungsberichte müssen alle drei Jahre veröffentlicht werden. Das interne Qualitätssicherungssystem (einschließlich der Selbstevaluierung) ist frei wählbar, jedoch überprüft das Inspektorat die Selbstevaluierungsberichte auf Erfüllung der Anforderungen des Qualitätsrahmens für Selbstevaluation, weshalb die meisten Einrichtungen darauf achten, dass der Umfang und die Qualitätsbereiche ihres eigenen Systems dem Inspektionsrahmen entsprechen (de Ridder, Peer Review Panelinterview, 1). Das in den Niederlanden am weitesten verbreitete Verfahren ist INK (Instituut Nederlandse Kwaliteit), eine Adaption des EFQM-Systems (vgl. de Ridder 2005, 12). Im Rahmen der proportionalen Inspektion müssen die Qualitätsbereiche, in denen die Daten der Selbstevaluierung den Anforderungen des Inspektorats genügen, in folgenden Berichten nicht mehr angeführt werden (vgl. Bildungsinspektionsgesetz, Wet op het onderwijstoezicht WOT, vom 1.9.2002). Neben den umfassenden, alle drei Jahre durchgeführten „Periodischen Qualitätsinspektionen“ (PKO – Periodiek Kwaliteitsonderzoek), in denen die Qualität des Unterrichts beurteilt wird, werden gemäß WOT auch jährlich pro Bildungseinrichtung mindestens eine eintägige Inspektion abgehalten. Zusätzlich besteht für Regionale Trainingszentren die Verpflichtung, ihr Qualitätsmanagementsystem durch externe ExpertInnen in einem Audit überprüfen zu lassen. Die Inspektionen reichen nicht aus, um dieser Verpflichtung nach-

158

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

zukommen, da die InspektorInnen sich nicht als externe ExpertInnen verstehen. Diese externe Audits können von professionellen QualitätsberaterInnen durchgeführt werden, aus Kostengründen und aufgrund ihrer besonderen Eignung – "they are the best qualified persons for the job" (Fragebogen de Ridder, 7.11.2005) – werden aber von vielen Trainingszentren Peers, d.h. Qualitätsverantwortliche aus anderen Trainingszentren für diese Aufgabe herangezogen (vgl. de Ridder 2005a, 8). In einer Umfrage unter Regionalen Trainingszentren (Rücklauf 55 Antworten bzw. 48%), gab etwa die Hälfte der Befragten Erfahrungen mit Peer Review/Auditing an (vgl. de Ridder 2005a, 17), wobei nur 40% der Befragten mit externen Peers arbeitete. Verschiedene Verbünde von Trainingszentren haben sich zur gemeinsamen Arbeit an Fragen der Qualitätssicherung gebildet.78 Auch damit wird einer gesetzlichen Auflage entsprochen, die die Kooperation zwischen den Trainingszentren fordert. Weiters sind alle ROCs im BVE Raad, der Vereinigung aller berufs- und erwachsenenbildenden Einrichtungen in den Niederlanden vertreten.79 Die Vorgehensweisen bei den externen Audits bzw. Peer Audits können von Trainingszentrum zu Trainingszentrum im Einzelnen unterschiedlich sein, es gibt kein einheitliches Verfahren (vgl. de Ridder, Peer Review Panelinterview, 1; de Ridder 2005a, 8). Im Folgenden soll das im Regionalen Trainingszentrum ROC Aventus angewandte Verfahren beschrieben werden, das jedoch in den Grundzügen große Ähnlichkeiten mit den Verfahren an anderen ROCs aufweist (vgl. de Ridder 2005a, 18). Das von ROC Aventus entwickelte und praktizierte Peer-Review-Verfahren dient v.a. formativen Zwecken und richtet sich an die Einrichtung selbst: This [d.h. das Peer Audit, MGG] audit aims at gathering information concerning the functioning and the effectiveness of the primary processes, and the structure (of some parts) of the organisation. This audit is a diagnosis method, which aims at creating a well structured image of the processes and their way of doing business. This is all done in cooperation with the organisation of ROC Aventus. This method will indicate organisational strengths; as well as failures in the organisational processes, and by that offer several points/areas of improvement. (ROC Aventus 2005, 3)

Es werden Sparten (Branches) des Trainingszentrums evaluiert, die Ergebnisse müssen in Umsetzungsmaßnahmen berücksichtigt werden, die die Leitung des

78 Eine Übersicht über diese Verbünde gibt de Ridder 2005a, 18f. 79 Der BVE Raad fungiert als Interessenvertretung des Berufs- und Erwachsenenbildungssektors, unterstützt gemeinsame Aktivitäten und Initiativen seiner Mitglieder und übernimmt die Rolle der Arbeitgebervertretung in Kollektiverhandlungen.

6.4 Fallstudien

159

Trainingszentrums mit dem jeweiligen Sektor vereinbart.80 Das Review hat also v.a. interne Wirkung als Diagnoseinstrument und als Ausgangspunkt für Verbesserungen. Innerhalb von ROC Aventus mit seinen über 15.000 Studierenden dient es auch als Verfahren der Überprüfung und Steuerung der großen Teilbereiche (Branches) des Trainingszentrums, die selbst oft über 1.000 Studierende haben, durch die Gesamtleitung des Trainingszentrums. Aufgrund der oben beschriebenen rechtlichen Verpflichtung zu externen Evaluierungen und der Integration der Qualitätssicherungsmaßnahmen auf der Ebene der Einrichtung in die staatlichen Inspektionsmaßnahmen hat das Review mittelbar auch externe AdressatInnen. Inhaltlich werden in den Peer Reviews die drei Qualitätsbereiche des Inspektionsrahmens (die über 50 einzelne Leistungsindikatoren umfassen) überprüft, der Qualitätsverantwortliche von ROC Aventus bezeichnete die Reviews des Jahres 2004/2005 deshalb auch als „Generalprobe“ (rehearsal) für die umfassende Inspektion (PKO), die kurz darauf stattfand (vgl. de Ridder, Peer Review Panelinterview, 1, und ROC Aventus 2005, 5). ROC Aventus führt Peer Reviews seit 1995 durch, dieses Jahr fand der dritte Durchgang statt. Für jeden Durchgang wird das Verfahren neu adaptiert. ROC Aventus ist eingebunden in einen Verbund von Trainingszentren, der insgesamt sechs Einrichtungen umfasst und sich der gemeinsamen Qualitätsentwicklung widmet. Ein institutionelles Review der Gesamtleitung und der Arbeit der Stabstellen (einschließlich des Qualitätsmanagements) ist nicht vorgesehen. De Ridder ortet auch einen gewissen Widerstand der zentralen Abteilungen, sich evaluieren zu lassen (Interview de Ridder, 1f.). Die aktuellen Reviews beziehen sich auf die Arbeit der operativen Sparten, die gegenüber der Gesamtleitung des Trainingszentrums Rechenschaft ablegen. Peers Drei Personen bilden das Peer-Team. Zwei Peers sind QualitätsexpertInnen von anderen Regionalen Trainingszentren (mit eigenem Lehrauftrag oder auch ohne) und eine Person ist eine unabhängige Expertin/ein unabhängiger Experte mit einer hohen Reputation und Akzeptanz aus einem anderen Bereich, z.B. aus dem Management von Unternehmen. Diese Person übernimmt die Rolle eines neutralen Vorsitzes, beteiligt sich aber auch an den Diskussionen. Weiters nimmt auch eine Expertin/ein Experte von ROC Aventus, die nicht der evaluierten Abteilung angehört, als BerichterstatterIn bzw. OrganisatorIn („official secretary“ bzw.

80 Aus der Sicht der Abteilungen könnte das Verfahren daher auch als summativ in Hinblick auf die Rechenschaftslegung an das oberste Management betrachtet werden.

160

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

„rapporteur“ vgl. ROC Aventus 2005, 6) teil. Diese Expertin / dieser Experte (im konkreten Fall war dies in den Audits 2004/2005 Willem de Ridder, der Qualitätssicherungsexperte von ROC Aventus) ist nicht nur für die Organisation der Audits und die Berichterstattung verantwortlich, sondern wählt auch die Mitglieder des Peer-Teams aus. Dabei wird pragmatisch vorgegangen: “You have to work with the people you can get to fulfil a certain job” (de Ridder, Peer Review Panelinterview, 3). Die Peers sind Qualitätsbeauftragte und bringen für gewöhnlich auch Unterrichtserfahrung mit. Letztere ist v.a. dann wichtig, wenn die "primären Prozesse", d.h. Lehren und Lernen evaluiert werden, da Peers mit Unterrichtserfahrung höhere Akzeptanz und Glaubwürdigkeit bei den Evaluierten in den jeweiligen Sparten und Abteilungen genießen. William de Ridder argumentiert dies aus seiner Praxis so: “I think it’s rather important that in the peer team there are people who have teaching experience. […] Otherwise you get a remark: ‘It’s easy for you to say, you don’t have to do this, you only know this by studying a book’, that kind of discussion should be avoided.” (Interview de Ridder, 3) Auch ist es für Personen ohne eigene Erfahrungen nach de Ridders Einschätzung schwierig, die Unterrichtsqualität kompetent einzuschätzen (vgl. Interview de Ridder, 3). In der Vergangenheit war diese Doppelqualifikation gang und gäbe, da LehrerInnen sich für Aufgaben im Qualitätsmanagement weiterqualifizierten. Mittlerweile gibt es auch Qualitätsbeauftragte – meist junge UniversitätsabgängerInnen –, die keine einschlägige Ausbildung und Erfahrung als LehrerInnen mitbringen. Ob diese in Zukunft auch als Peers fungieren werden, werden die generellen Rekrutierungsbedingungen zeigen (vgl. Interview de Ridder, 3). Kontakte zu potentiellen Peers sind durch die seit Jahren bestehende Vernetzung der Regionalen Trainingszentren im Rahmen des BVE Raad vorhanden. Die Peers kommen aus den anderen Trainingszentren im Verbund, die als Gegenleistung eben so viele Personentage von ExpertInnen (vier Tage pro ExpertIn und Review) von ROC Aventus für ihre eigenen Reviews erwarten können (vgl. ROC Aventus 2005, 5). Die Peers stammen meist aus geographisch entfernten Trainingszentren. Auch wenn ROC Aventus das einzige große Trainingszentrum in der Region und damit praktisch konkurrenzlos ist und de Ridder bei Bedarf auch Peers aus näher gelegenen ROCs rekrutieren würde, sieht er es doch als Vorteil an, wenn keine direkte Konkurrenz zwischen dem zu evaluierenden Trainingszentrum und den Bildungseinrichtungen, aus denen die Peers kommen, existiert. In einem Audit-Durchgang werden für alle Abteilungsevaluierungen die Funktionen des Vorsitzes sowie der Berichterstattung mit den gleichen Personen

6.4 Fallstudien

161

besetzt (was die Vergleichbarkeit erhöht), die zwei Peers jedoch fachspezifisch bzw. je nach zeitlicher Verfügbarkeit81 ausgewählt. Abgesehen von ihren Qualifikationen in der Qualitätssicherung werden folgende Anforderungen an die Peers gestellt: sie sollen unabhängig, objektiv und diskret sein, gut zuhören können sowie bereit sind, an speziellen Schulungen teilzunehmen und das Audit vorzubereiten (vgl. ROC Aventus 2005, 5). In der Praxis besteht die "Schulung" aus einem längeren vorbereitenden Telefongespräch zwischen der/dem Review-Organisatorin und der/dem Peer. In diesem Gespräch werden die Ziele des Peer Reviews und wichtige Elemente der Vorgangsweise abgeklärt. Für eine Vorbesprechung und Schulung am Vortag des Reviews waren bislang keine Ressourcen vorhanden, auch wird eine Schulung aufgrund der Qualifikationen der ausgewählten Peers als nicht unbedingt notwendig gesehen. Organisation und Vorbereitung Als zentrales Dokument für das Peer Review dient der Selbstevaluierungsbericht, der für alle ROCs verpflichtend ist. Die dem Audit vorangehende Selbstevaluierung/Selbstbewertung hat mehrere Funktionen: Einerseits bereitet sie das Audit vor, andererseits ist sie aber auch ein selbständiger Teil der internen Qualitätssicherung sowie eine gesetzliche Verpflichtung. Die Selbstevaluierung der Abteilung muss spätestens zwei Monate vor dem Audit begonnen werden (ROC Aventus 2005, 5). Die/der Review-OrganisatorIn (und BerichterstatterIn) ist dafür verantwortlich, dass die Peers spätestens sieben Tage vor dem Datum des Reviews alle notwendigen Unterlagen (Selbstevaluierungsbericht und zusätzliche relevante Dokumente) erhalten haben. Die Vorbereitung in den zu evaluierenden Sparten (Branches) übernehmen eigene OrganisatorInnen, die auf Anweisung der/des Review-OrganisatorIn die jeweiligen InterviewpartnerInnen einladen und andere konkrete Vorbereitung vor Ort treffen. Die Peers studieren und analysieren die zur Verfügung gestellten Unterlagen. Die/der OrganisatorIn („official secretary“) ist das Verbindungsglied zwischen den Peers und der zu evaluierenden Abteilung. An sie/ihn können die Peers in der Vorbereitungsphase weitere Fragen und Wünsche bezüglich der Durchführung des Reviews, der Bereitstellung zusätzlicher Unterlagen und der Organisation möglicher InterviewpartnerInnen richten. Die/der OrganisatorIn

81 "In fact it was a practical approach... I asked them to sign in for the peer reviews that fit best in their agendas" (Fragebogen de Ridder, 7.11.2005).

162

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

hält aber auch Kontakt zur Abteilung und ist für die Organisation des Reviews vor Ort letztverantwortlich (ROC Aventus 2005, 6). Peer-Besuch Der eintägige Peer-Besuch beginnt mit einer etwa zweistündigen „Strategiesitzung“ des Peer-Teams am Morgen, in dem die Schlussfolgerungen aus dem Selbstbericht diskutiert werden und, davon abgeleitet, die Inhalte und Aufgabe des Reviews sowie die Aufgabenverteilung innerhalb des Teams festgelegt wird. Diese Sitzung kann auch dazu dienen, zusätzliche Informationen zu sichten und mithilfe der Review-Organisatorin/des Review-Organisators Fragen zu klären. Das Audit selbst besteht aus Gesprächen mit verschiedenen Anspruchsgruppen, v.a. mit Lernenden, Lehrenden und dem Management – in dieser Reihenfolge, da Fragen, die sich aus den Interviews ergeben, gleich an die in der Hierarchie nächst höhere Gruppe gestellt werden. Für jede Gesprächsrunde ist eine Stunde Zeit. Die Peers machen sich während der Gespräche Notizen. Die Review-Organisatorin/ der Review-Organisator ist während der Interviews anwesend, nimmt aber nicht aktiv teil sondern protokolliert nur in Vorbereitung auf den Bericht. Ein Austausch im dem Sinne, dass Peers Fragen stellen, um relevante Informationen für ihre eigenen Einrichtungen zu bekommen, oder ihre eigenen Vorgehensweisen erklären und die besuchte Einrichtung beraten, ist nicht vorgesehen (vgl. de Ridder 2005c, 7.11.2005). Zwischen den Gesprächsrunden besprechen die Peers die Ergebnisse der Interviews. Auch Unterrichtsbeobachtungen sind nicht Teil des Programms, da sie viel Zeit brauchen und als Momentaufnahmen auch nicht für sehr aussagekräftig gehalten werden (Interview de Ridder, 6). Wenn zusätzliche Aktivitäten diese Art in zukünftigen Peer Reviews durchgeführt werden sollten, dann als freies und unangekündigtes „Herumgehen“, das auch Raum für spontane Gespräche lässt. Dadurch soll vermieden werden, dass die Peers in den Klassenzimmern eine „perfekte Show“ präsentiert bekommen (vgl. Interview de Ridder, 6). Ein erstes mündliches Feedback der Peers an das Management der Abteilung am Tag des Besuchs ist nicht Teil des Programms, da damit schlechte Erfahrungen gemacht wurden: Es hatte in der Vergangenheit (als unangenehm empfundene) Diskussionen zwischen Peer-Team und der evaluierten Abteilung während des Feedback-Gesprächs gegeben, weiters wurden die Äußerungen der Peers als verbindlich angesehen, d.h. die mündlichen Rückmeldungen konnten für den Bericht nicht mehr revidiert werden. Da das Feedback während des Besuchs jedoch in manchen Punkten spontan und (noch) unreflektiert war, erschien es sinnvoller, eine Reflexionsphase der Peers zu ermöglichen und nur schriftliche Rückmeldungen vorzusehen. “In Holland we have made the decision not to give

6.4 Fallstudien

163

any oral report on the day of the visit. The main reason is that this leads to (unpleasant) discussions and furthermore everything you say must be exactly the same as is written in the report.” (Interview de Ridder 5f.; vgl. auch de Ridder, Peer Review Panelinterview, 5). Es findet nur eine offizielle Verabschiedung statt, in der der Abteilung noch einmal für die freundliche Aufnahme und Kooperation gedankt wird. Follow-up und Erfahrungen Auf Basis der Notizen der Peers verfasst die Review-Organisatorin /der ReviewOrganisator einen ersten Entwurf eines Berichts, der innerhalb von sieben Arbeitstagen nach dem Peer-Besuch mit dem Peer-Team diskutiert wird. Dass die Rohfassung intern durch die Review-Organisatorin /den Review-Organisator erstellt wird, ist eine pragmatische Entscheidung, um den Aufwand möglichst gering zu halten und die Peers nicht zu sehr zu belasten. Jede/r Peer hat die Möglichkeit innerhalb dieser Zeit den Entwurf zu kommentieren. Der adaptierte Entwurf wird dann von der/dem Vorsitzenden finalisiert und dem Entscheidungsgremium der Abteilung zur Stellungnahme in Hinblick auf sachliche Richtigkeit, Missverständnisse und unklare Formulierungen vorgelegt. Auch dafür ist sieben Tage Zeit. Dann gibt es eine weitere Feedbackschleife, in der das Peer-Team noch einmal zu den gewünschten Änderungen der Abteilung Stellung nehmen kann, worauf der/die Vorsitzende den endgültigen Audit-Bericht verabschiedet. Das gesamte Peer-Team zeichnet für den Bericht verantwortlich. Dieser liegt innerhalb von 30 Tagen nach dem Audit vor und muss von der Abteilung schriftlich und mündlich kommentiert werden. Der Kommentar der Abteilung wird dem Audit-Report beigelegt. (vgl. ROC Aventus 2005, 6f.) Damit endet auch die Tätigkeit der Peers, die in die weitere Umsetzung von Verbesserungen nicht eingebunden sind. Insgesamt wird davon ausgegangen, dass der Aufwand für ein Review einschließlich der Vor- und Nachbereitung vier Personentage pro Peer beträgt. Das weitere Follow-up ist eine interne verbindliche Vereinbarung zwischen der Leitung des Trainingszentrums und der Abteilung, die verpflichtet ist, auf die Ergebnisse des Reviews zu reagieren. Die Umsetzung von Verbesserungsmaßnahmen in den Abteilungen wird von der Leitung des Trainingszentrums nach sechs Monaten überprüft (vgl. de Ridder, Peer Review Panelinterview, 5). Auch kann eine gemeinsame Meta-Evaluation der Peer Audits aller Abteilungen vorgenommen werden (ROC Aventus 2005, 7). Aus der Sicht von ROC Aventus erfüllen Peer Reviews die oben genannten Ziele. Sie dienen neben der internen Rechenschaftslegung und Qualitätsentwick-

164

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

lung auch als „Proben“ für die offiziellen Inspektionen durch die Bildungsaufsicht (vgl. de Ridder 2005a, 19). Weiters sind Peer Reviews aus Sicht des Verantwortlichen in ROC Aventus eine kostengünstige Möglichkeit, externe Evaluierungen durchzuführen. Durch die wechselseitige Begutachtung mussten nur die Personalkosten der entsendeten AuditorInnen übernommen werden, für die Personalkosten der Peers in den eigenen Reviews kamen die Einrichtungen im Verbund auf (vgl. de Ridder, Peer Review Panelinterview, 7). Auch die Peers profitieren von den Erfahrungen eines Peer Reviews im Sinne einer Erweiterung von Wissen und Expertise (vgl. de Ridder 2005a, 19). Dies ist jedoch nicht ein offizielles Ziel sondern ein Mitnahmeeffekt und zusätzlicher Vorteil für die Peers (Fragebogen de Ridder, 7.11.2005). Die meisten Einrichtungen im Verbund von ROC Aventus gaben an, dass durch die Peer Reviews zusätzliche Aktivitäten in den Abteilungen angeregt wurden (vgl. de Ridder 2005a, 19). 6.4.9 Peer Review an “Further Education Colleges” in Schottland, Vereinigtes Königreich82 (Fallbeispiel 9) Einbettung, Ziel und Umfang des Verfahrens In Schottland (wie auch in den anderen Teilen des Vereinigten Königreichs) hat sich die im Hochschulbereich gängige Form einer externen Evaluierung, die mit einer Selbstevaluierung kombiniert wird, für alle Bildungsbereiche durchgesetzt. Es handelt sich dabei um verpflichtende Reviews, die von einer zentralen Stelle organisiert und überwacht werden. Für die externe Evaluierung ist Her Majesty’s Inspectorate of Education (HMIe) zuständig, die sämtliche Bildungseinrichtungen, von den Vorschulen, über Volkschulen und die Schulen der Sekundarstufe, Sonderschulen, Bildungseinrichtungen auf Gemeindeebene, Further Education Colleges, bis zur Erstausbildung von LehrerInnen sowie Bildungsangeboten von lokalen Körperschaften inspiziert. Der Evaluierungsauftrag erstreckt sich auch auf unabhängige (d.h. nicht-staatliche) Bildungseinrichtungen. HMIe ist eine unabhängige Einrichtung, die an die Bildungsverwaltung (Schottisches Bildungsministerium) berichtet. Im Falle der Further Education Colleges handelt HMIe als Dienstleister im Auftrag des Scottish Further Education Funding Council (SFEFC), der für die Finanzierung der Colleges zuständigen Stelle. Die

82 Im Folgenden Kapitel beziehe ich mich, so nicht anders angegeben, auf Informationen, die auf der Website von Her Majesty’s Inspectorate of Education (http://www.hmie.gov.uk/ 7.12.2005) zu finden sind.

6.4 Fallstudien

165

Evaluierungsberichte des HMIe wenden sich jedoch nicht nur an die Verwaltung sondern explizit auch an Betroffene und Beteiligte wie Lernende, Eltern, LehrerInnen, DirektorInnen, Schulgremien, Vorstandsgremien von Bildungseinrichtungen, etc. Im schottischen Bildungssystem sind die 46 Further Education Colleges die wichtigsten Anbieter von beruflicher Erstausbildung auf der Sekundarstufe II. An Further Education Colleges können jedoch auch weiterführende postsekundäre Ausbildungen einschließlich akademischer Studiengänge sowie Weiterbildungen absolviert werden. HMIE sieht seinen Auftrag in der Durchführung von unabhängigen Inspektionen, um das Bildungsangebot in Schottland zu verbessern. Die Inspektionen werden in regelmäßigen Abständen durchgeführt. In der Primar- und unteren Sekundarstufe betragen die Zyklen sechs bzw. sieben Jahre83, in den Further Education Colleges vier Jahre. Im Folgenden soll das Verfahren der externen Qualitätssicherung beschrieben werden, ergänzt durch konkrete Erfahrungen des Aberdeen College, eines der größten Further Education Colleges in Schottland. Für die Evaluierung an Further Education Colleges werden, wie im Hochschulbereich, zwei verschieden Arten von Reviews durchgeführt, die jedoch inhaltlich in Zusammenhang stehen. Dabei handelt es sich um Fachbereichsreviews zum Thema Lehren und Lernen (Subject Reviews) und institutionelle Reviews (auch „College Reviews“ genannt). Letztere stützen sich unter anderem auf die Resultate der fachspezifischen Reviews. Sie umfassen die Evaluierung von Management, Infrastruktur und Ressourcen, der Begleitung und Unterstützung der Studierenden sowie der Qualitätssicherung und -verbesserung. Während diese beiden Arten von Reviews in der Vergangenheit getrennt von einander durchgeführt wurden – die Subject Reviews für gewöhnlich sechs bis zehn Wochen vor dem College Review – werden in dem ab 2005 geltenden Inspektionsmodell die beiden Review-Typen zeitgleich abgehalten (vgl. z.B. HMIe 2004b, 10). Weiters wird für die Evaluierung der Further Education Colleges ein eigener Qualitätsrahmen mit Standards und Indikatoren für zentrale Qualitätsbereiche verwendet, der sich von dem für Schulen unterscheidet. Dieser Qualitätsrahmen wurde 2004 aktualisiert, Erfahrungen mit dem neuen Qualitätsrahmen „Standards and Quality in Scottish Further Education. Quality Framework for Scottish Further Education Colleges“ liegen bis dato noch nicht vor. Priorität soll auf die Bereiche „Lern- und Lehrprozesse“, „Fortschritt der Lernenden und Lernergebnisse“ sowie „Führung und Qualitätsmanagement“ gelegt werden. (vgl. SFEFC/ HMIe 2004a und SFEFC/HMIe 2004b).

83 Die Abstände sind so gewählt, dass Eltern davon ausgehen können, dass während des Schulbesuchs ihres Kindes die Schule mindestens einmal extern evaluiert wird.

166

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Die einzelnen Qualitätsbereiche des Qualitätsrahmens werden in den Peer Reviews in einer 4-teiligen Skala als „very good“, „good“, „fair“ oder „unsatisfactory“ bewertet. Ähnlich wie in den Niederlanden sind die Reviews „proportional“, d.h. sie können je nach dem Ausmaß des Vertrauens, das SFEFC und HMIe in das Bildungsangebot eines Further Education College aufgrund früherer Reviews bereits haben, unterschiedlichen Umfang und unterschiedliche Intensität haben (vgl. SFEFC/HMIe 2004b, 2; Hollstein 2005a, 3). Der sogenannte "Follow-through"-Prozess wurde an diese neuen Vorgaben zur Proportionalität angepasst. „Peer Review of Teaching“ ist im Rahmen der Vorgaben von HMIe nicht verpflichtend vorgesehen. Interne Maßnahmen zur Evaluierung der Unterrichtstätigkeit von Lehrkräften können von den Colleges selbst eingeführt werden. So hat Aberdeen College ein internes System von Hospitationen, die von speziell dafür zuständigem Personal durchgeführt werden und der systematischen Evaluierung der Unterrichtstätigkeit dienen (vgl. Hollstein 2005b). Weiters gibt es in Aberdeen College interne Peer Reviews zwischen Lehrenden auf freiwilliger Basis: Some teaching teams within the college also have an internal approach to Peer review. Pairs of colleagues undertake a Lesson observation and note general content of lessons, teaching / learning styles adopted, the student / lecturer relationships, the degree of student participation and noted major strengths observed and what improvements could be suggested, if any. We also identify examples of good practice which can be used in our own lessons. These are shared within the team. (Hollstein 2005b)

Aufgrund des verpflichtenden Charakters, der starken Regulierung, der Bezeichnung der ReviewInnen als InspektorInnen und nicht zuletzt auch weil die durchführende Stelle sich „Inspektorat“ nennt, ist der Peer-Review-Charakter nicht stark ausgeprägt. Mitglieder des Review-Teams werden durchgängig auch von den betroffenen Bildungseinrichten als InspektorInnen wahrgenommen, die nicht auf Einladung des Colleges kommen sondern im Auftrag der Behörde.84

84 Vgl. die Aussage des Qualitätsverantwortlichen von Aberdeen College: „This form of external evaluation – HMIe Peer Review – is conducted by an external group of experts, so called peers (often called many different things by different stakeholders(!) but often referred to as inspectors,) have a mandate and legal right to judge the quality of different fields of the educational institution. – They are not invited [Hervorhebungen im Original].” (Hollstein 2005, 4) “The political statement is that it is a review process but people who do it are still called inspectors.” (Hollstein, Peer Review Panelinterview, 4)

6.4 Fallstudien

167

Das Verfahren besteht seit langem und ist sehr gut eingeführt. Aberdeen College z.B. hat bereits neun Jahre Erfahrung mit dieser Art von Review und beginnt gerade seinen dritten Evaluierungszyklus (Hollstein, Peer Review Panelinterview, 2). Peers85 Peer-Teams setzen sich aus InspektorInnen (HM Inspectors, full-time assessors), Assistenz-InspektorInnen (assistant inspectors), assoziierten InspektorInnen (associate assessors) und einem Laien-Mitglied zusammen. Die InspektorInnen sind Voll-Zeit-InspektorInnen des Inspektorats. Sie müssen mindestens 5 Jahre einschlägige Berufserfahrung im Bildungsbereich mitbringen, 3 Jahre davon in gehobener Position. Jede Inspektorin/jeder Inspektor hat mindestens ein inhaltliches Spezialgebiet bzw. ein Erfahrung in einem bestimmten Sektor. Es gibt etwa 200 Voll-Zeit-InspektorInnen des HMIe. Assistenz-InspektorInnen sind pensionierte HM InspektorInnen oder andere Personen mit ähnlicher Expertise, die in Zeiten hohen Bedarfs an InspektorInnen das HMIe entlasten. Das HMIe beschäftigt 13 dieser Assistenz-InspektorInnen. Review Teams umfassen in den meisten Fällen auch ein bis zwei assoziierte InspektorInnen („associate assessors“). Diese sind LehrerInnen, DirektorInnen, LektorInnen oder ManagerInnen anderer Bildungseinrichtungen, also tatsächlich Peers. Die 375 „associate assessors“ sind volle Mitglieder des Inspektionsteams und sollen die Perspektive der PraktikerInnen einbringen. Gleichzeitig geht HMIe davon aus, dass die Einrichtungen, aus denen die „associate assessors“ kommen, von der zusätzlichen Erfahrung und Expertise der Peers profitieren. Laien (lay members) sind für gewöhnlich auch Teil des Inspektionsteams. Sie sind Personen mit Erfahrung außerhalb des Bildungsbereichs. Ihre Teilnahme beruht auf freiwilliger Basis. Aktuell werden 149 LaieninspektorInnen in Reviews eingesetzt. Sie sollen eine externe Perspektive auf Bereiche richten, die nicht direkt mit fachspezifischen und didaktischen Fragen zu tun haben, wie z.B. die Werthaltungen der Einrichtung, Beziehungen zwischen Personal und Lernenden, Beziehungen der Bildungseinrichtung zu externen (Kooperations)Partnern und Eltern. Die Review Teams werden je nach Gegenstand des Reviews (Subject Review bzw. College Review) zusammengestellt. Für die Subject Reviews an Aberdeen College im Jahr 2004 untersuchte eine Gruppe von 22 InspektorInnen eine Wo-

85 Für die folgenden Ausführungen vgl., wenn nicht anders angegeben, die Ausführungen auf http://www.hmie.gov.uk/ABOUT_US/staff/management_board.asp, 7.12.2005.

168

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

che lang neun Fachbereiche (2 InspektorInnen pro Bereich), für das College Review, das ebenfalls eine Woche dauerte, wurden 6 InspektorInnen eingesetzt. Seit 2005 sollen Subject Reviews und College Reviews gleichzeitig abgehalten werden. Das Inspektionsteam wird dazu in zwei Gruppen geteilt. Eine Gruppe ist für die Durchführung des College Review zuständig. Sie besteht aus drei InspektorInnen des HMIe und drei assoziierte InspektorInnen. Die Subject Review Gruppe besteht hauptsächlich aus assoziierten InspektorInnen (fünf bis elf), die von einer/einem Inspektorin/einem Inspektor des HMIe, die/der als „Assistant Managing Inspector“ fungiert, geleitet werden. Eine Laieninspektorin/ ein Laieninspektor ist auch Mitglied des Teams, sie/er kann in beiden Reviews eingesetzt werden (vgl. SFEFC/HMIe 2004b, 5). LaieninspektorInnen können eine zweitägige Einschulung in Anspruch nehmen. An den Colleges ist jeweils ein Mitglied des Senior Managements als Review Coordinator zu nominieren, die/der als wichtigste Kontaktperson für das Review Team fungiert, die Aufgaben und Rollen der verschiedenen Gruppen (Management, Personal) während des Reviews im Vorfeld klärt und auf Anfrage zusätzliche Informationen und Dokumente zur Verfügung stellt und einen reibungslosen Ablauf sicherstellt. Sie/er hat keinen Zugang zu Daten, die von den ReviewerInnen erhoben werden, noch nimmt sie/er an Diskussionen des Review-Teams teil (vgl. SFEFC/MNIe 2004b, 6f.). Organisation und Vorbereitung Einem Review geht eine Selbstevaluierung voran, die in einem Selbstevaluierungsbericht dargelegt wird, der einem allgemeinen vorgegebenen Schema folgt und Leistungsindikatoren ausweist. Die InspektorInnen erhalten diesen Bericht einschließlich anderer relevanter Dokumente vor dem Review. Peer-Besuch Der Besuch durch die ReviewerInnen dauert sowohl für die Subject Reviews als auch für die College Reviews eine Woche (vgl. SFEFC/HMIe 2004b, 7ff.; vgl. auch Hollstein, Peer Review Panelinterview, 6). Im Rahmen des „proportionate review“ sind in Zukunft auch kürzere Besuche denkbar. Während der Subject Reviews werden Gespräche mit Lernenden und Lehrenden sowie anderem College-Personal geführt. Unterrichtsbeobachtungen werden durchgeführt und die Qualität der Arbeit von Lernenden vor Ort begutachtet. Auch mit dem Management und lokalen VertreterInnen von Unternehmen, Schulen und anderen Betroffenen und Beteiligten wird gesprochen. In den College Reviews konzentrieren sich die InspektorInnen v.a. auf fächer- und abteilungsübergreifende Prozesse und das institutionelle Qualitätsma-

6.4 Fallstudien

169

nagement. Neben den für das Review vom College zusammengestellten Dokumenten werden auch die Ergebnisse vorangegangener Subject Reviews berücksichtigt. Gespräche werden mit dem mittleren und oberen Management, mit Vorstandsmitgliedern, Studierenden, Unternehmen etc. Sowohl in den Subject Reviews als auch in den College Reviews identifiziert das Inspektionsteam aufgrund der eigenen professionellen Expertise und anhand der Leistungsindikatoren Bereiche, in denen Verbesserung notwendig sind und definiert „Aktionspunkte“ (Action Points). Inspectors use their professional judgements, gained through wide experience with education. Evidence gathered is weighed against indicators which show 'benchmarks of quality' in the management of education in local authorities (http://www.hmie.giv.uk/faq.asp, 7.12.2005)

Am Ende der Woche gibt es ein erstes mündliches Feedback, in dem die wichtigsten Bereiche angesprochen werden und Aussagen zu Stärken und Schwächen gemacht werden. Dies ist auch die Möglichkeit für die Further Education Colleges im Dialog mit den InspektorInnen die Rückmeldungen intern nutzbar zu machen: In addition to providing formal feedback in summary form through published reports, HM Inspectors also engage in an extended professional dialogue within establishments during the process of inspection itself and provide more detailed oral feedback at the end of the process. This gives staff opportunities to explore and discuss strategies for improvement at a level which helps them respond positively to the points for action identified by inspectors. (http://web.archive.org/web/ 20041104063416/www.hmie.gov.uk/about_us/who/report_audience.asp, 2.1.2006)

Laut Auskunft des Qualitätsverantwortlichen von Aberdeen College gibt es auch Möglichkeiten, bestimmte Punkte mit den InspektorInnen im Laufe des Peer-Besuchs zu „verhandeln“ (Hollstein, Peer Review Panelinterview, 6). Im neuen Inspektionsmodell wurde das Feedback-Verfahren ausgebaut: Es wurde ein ganzer Tag dafür reserviert. Es werden nun am Ende der ReviewWoche die Ergebnisse an die verschiedene Anspruchsgruppen, die direkt betroffen sind, rückgemeldet. So gibt es Feedback für die Subject Manager aus den Subject Reviews, ein Feedback für die College Manager aus dem institutionellen Review und Feedback zu allgemeinen Bewertung des Colleges an das oberste Management.

170

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Follow-up und Erfahrungen Bis zur Reform des Verfahrens im Jahr 2004 wurde im Anschluss an das Review ein Bericht verfasst. Dabei wurde folgendermaßen vorgegangen: Ein erster Berichtsentwurf der Peers wurde dem College zum Gegenlesen übermittelt. Das College überprüfte ihn auf sachliche Richtigkeit. Der Endbericht, der meist einige Woche nach dem Review fertig gestellt wurde, wurde von HMIE auch im Internet veröffentlicht. In den Berichten wurden anhand der Qualitätsdimensionen zentrale Stärken angeführt sowie Bereiche, die als verbesserungswürdig eingestuft werden. Konkrete Maßnahmen werden im Abschnitt „Main points of action“ empfohlen. Diese „Action Points“ waren so gehalten, dass die Entscheidung über die Art von abhelfenden Maßnahmen beim College lag. Um zu überprüfen, wie weit die im Bericht formulierten Verbesserungsvorgaben von den Colleges tatsächlich realisiert wurden, wurden für gewöhnlich Follow-upMaßnahmen (z.B. eine weitere Inspektion) von HMIE durchgeführt. Auch das geplante Follow-up war Teil des Review-Berichts. Im Inspektionsmodell, das seit Anfang 2005 maßgeblich ist, folgt auf das erste Review, das nun sowohl Subject Review als auch College Review umfasst, sechs bis acht Wochen später ein so genannter „Follow-through-Prozess”. Das Ausmaß und die Intensität dieses Prozesses richtet sich nach der Bewertung des Colleges durch die InspektorInnen, die dem College ein Vertrauen aussprechen können (statement of confidence) oder nicht (statement of no confidence) bzw. die auch ein "vorläufiges Vertrauen" aussprechen können (provisional statement of confidence) (vgl. SFEFC/HMIe 2005a). Das "Follow-through-Review" soll dazu dienen, das College bei der Erstellung eines Aktionsplans zur Durchführung von Verbesserungen zu unterstützen (vgl. SFEFC/HMIe 2005b, 3 und SFEFC/HMIe 2005a, 5). Erst nach Beendigung dieses Prozesses werden Berichte verfasst, die die Ergebnisse der beiden Phasen (Phase eins: Review und Phase 2: Follow-through) beinhalten. Alle Berichte werden veröffentlicht, richten sich jedoch an drei verschiedene Zielgruppen: Ein "Practitioner Report" wendet sich an ManagerInnen und MitarbeiterInnen des College und gibt kurz und präzise die wichtigsten "Points of Action" sowie Beispiele von Good Practice wieder. Der "Stakeholder Report" richtet sich an die Bildungsverwaltung, das Management Board des Colleges sowie an die Studierenden und die allgemeine Öffentlichkeit. Er befasst sich hauptsächlich mit den zentralen Ergebnissen des Reviews, d.h. den Fragen nach der Erfüllung der "confidence criteria". Ein dritter Bericht, den nicht die InspektorInnen, sondern das Colleges selbst in Abstimmung mit dem Inspektionsteam verfasst, ist für potentielle Studierende gedacht. Die zeitlichen Vorga-

6.4 Fallstudien

171

ben für das Abfassen der Berichte sind variabel und richten sich nach der Art und dem Umfang der Follow-through-Aktivitäten.86 Das Weiterverfolgen der Umsetzung von Empfehlungen entspricht dem Auftrag von HMIE, für die Qualitätsentwicklung der Colleges Sorge zu tragen: Durch das Follow-through-Verfahren und die Formulierung von „Action Points“ sollen die Standards in den schottischen Colleges angehoben werden und Entwicklungen in Gang gesetzt werden. Weitere Follow-up-Aktivitäten des HMIe, d.h. die Überprüfung der Umsetzung von Verbesserungsmaßnahmen, können vom SFEFC in Auftrag gegeben werden. Colleges, denen HMIe kein Vertrauen ausgesprochen hat, müssen einen Aktionsplan direkt an den SFEFC richten. Die Publikation der Berichte auf der Homepage von HMIe erfüllt mehrere Zwecke: Erstens sollen verschiedene Beteiligten und Betroffene (einschließlich der Eltern und Lernenden sowie Lernender aus anderen Institutionen) über die Qualität des Bildungsangebots an den verschiedenen Einrichtungen informiert werden, zweitens geben diese Berichte Rückmeldung an die Lehrenden in der betreffenden Einrichtung über die Wirksamkeit und Qualität ihrer Arbeit, drittens wenden sie sich an die DirektorInnen, das Management, und anderes Führungspersonal der evaluierten Bildungseinrichtung und viertens geben sie MinisterInnen und anderen EntscheidungsträgerInnen einen Ein- und Überblick über die Leistung des Bildungssystems. Die verpflichtenden Peer Reviews im Rahmen der von HMIE durchgeführten Inspektionen scheinen jedoch das Bedürfnis nach professionellem Austausch mit KollegInnen aus anderen Further Education Colleges nicht zu befriedigen, auch weil die „Peers“ als InspektorInnen und nicht als gleichgestellte Fachpersonen erlebt werden. So haben sich – zusätzlich zu den HMIE Reviews – verschiedene andere Kooperationen gebildet. Aberdeen College z.B. betreibt ein Benchmarking-Netzwerk mit zwei anderen schottischen Colleges87. Diese sind geographisch in anderen Teilen des Landes angesiedelt, so dass sich keine direkte Konkurrenz um Studierende ergibt (vgl. Hollstein, Peer Review Panelinterview, 2). Dieses Benchmarking-Netzwerk ist eine Lernpartnerschaft, die auf dem Vergleich von Indikatoren (wobei z.T. zum Zweck der besseren Vergleichbarkeit die Indikatoren und die ihnen zugrunde liegenden Erhebungsinstrumente einander angeglichen wurden) und dem Lernen aus Good-Practice-Beispielen beruht (Hollstein 2005b). Auch ist es so, dass Colleges oft nicht allein auf die offiziellen Inspektionen setzen, sondern sich auch um andere Qualitätssicherungssysteme und -zertifikate bemühen. Offensichtlich werden die Inspektionen nicht als ausreichend erlebt,

86 Zur Berichtlegung vgl. SFEFC/HMIe 2005a. 87 Stow College und Dumfries and Galloway College (vgl. Hollstein 2005b).

172

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

um sowohl interne Entwicklungen voranzutreiben als auch um nach außen hin ein Qualitätsimage aufzubauen. Aberdeen College z.B. hat sämtliche Qualitätsverfahren in einen EFQM-Rahmen integriert. Weitere Verfahren, denen sich das College stellt, sind IiP (Investors in People), Charter Mark und SQMS (Scottish Quality Management System) (vgl. HMIe 2004, 16). 6.4.10 EVIT – Externe schulische Evaluation im Team in Schleswig-Holstein, Deutschland88 (Fallbeispiel 10) Einbettung, Ziel und Umfang des Verfahrens Das Projekt EVIT – Externe schulische Evaluation im Team, das vom Ministerium für Bildung, Wissenschaft, Forschung und Kultur (MBWFK) des Bundeslandes Schleswig-Holstein in Kooperation mit dem „Institut für Qualitätsentwicklung an Schulen Schleswig-Holstein“ (IQSH) durchgeführt wird, bezieht sich nicht wörtlich auf die Begriffe Peer und Peer Review, sondern arbeitet mit den Termini „Evaluationsteam“ und „externe Evaluation“, entspricht aber in sehr vielen Punkten den oben beschriebenen Peer-Review-Verfahren, v.a. den sehr strukturierten und (teilweise) staatlich kontrollierten Verfahren in England und den Niederlanden. Es soll deshalb als ein weiteres Beispiel für Peer Review in der Erstausbildung angeführt werden. Interessant ist das Verfahren auch deshalb, weil es in ein Schulsystem eingebettet wird, das dem österreichischen ähnlich ist. Das Evaluationsverfahren ist seit Anfang 2004 für sämtliche allgemeinbildenden Schulen (von den Volksschulen, Hauptschulen, Realschulen und Gymnasien bis zu den Sonderschulen, vgl. Interview Kühme, 9) in Schleswig-Holstein in Verwendung. Auf der Basis eines Erstentwurfs eines Qualitätshandbuches wurde das Verfahren 2002 einem Pretest mit zwei Schulen unterzogen, adaptiert und dann mit sieben Schulen auf freiwilliger Basis pilotiert. Das überarbeitete Handbuch dient nun seit Februar 2004 als Grundlage für flächendeckende Evaluierungen. Geplant war, dass etwa 200 Schulen jährlich evaluiert werden sollen und jede Schule in einem Abstand von fünf bis sechs Jahren einer externen Evaluierung unterzogen wird. Schulen können sich für die Teilnahme an EVIT freiwillig melden, mindestens die Hälfte der Schulen wird ausgelost. Von Februar 2004 bis Dezember 2005 wurden bereits etwa 220 Schulen auf diese Weise evaluiert, das ist etwa ein Viertel der allgemeinbildenden Schulen Schleswig-Holsteins (vgl. Interview Kühme, 1). Der Evaluationsrhythmus wurde

88 Die folgenden Ausführungen stützen sich, so nicht anders angegeben, auf das EVITQualitätshandbuch (MBWFK Schleswig-Holstein 2004).

6.4 Fallstudien

173

auf 4-jährige Zyklen verkürzt, „um die Wirksamkeit des Verfahrens weiter zu erhöhen“ (MBF Schleswig-Holstein 2005, 8; vgl. auch Interview Kühme, 8). Die Geschäftsführung für die Durchführung von EVIT ist bei der Schulaufsicht angesiedelt.89 Eine Ausweitung des Verfahrens auf berufsbildende Schulen ist geplant, das Handbuch soll den speziellen Anforderungen der Berufsbildung angepasst werden, insbesondere auch der Kooperation mit Unternehmen als dualen Ausbildungspartnern Rechnung tragen: „Im Mittelpunkt steht der Abgleich mit bereits bestehenden schulinternen Qualitätssicherungsmaßnahmen und die Einbindung des betrieblichen Bereichs der Dualpartner.“ (Kühme 2005, 48) Eine Erprobungsphase findet im Frühjahr 2006 statt, die Einführung eines verpflichtenden EVIT-Verfahrens für Berufsschulen (EVIT-BS) ist für den Beginn des Schuljahrs 2006/2007 geplant (vgl. Interview Kühme, 2). Das Verfahren wird dem für den allgemeinbildenden Bereich sehr ähnlich sein, hinzukommen wird die Einbindung der Betriebe bei der Online-Fragebogenerhebung sowie eventuell die Ergänzung der EVIT-Teams durch eine Vertreterin / einen Vertreter aus dem betrieblichen Bereich als viertes Mitglied (vgl. Interview Kühme, 8). EVIT als externe summative Evaluation zielt sowohl auf Kontrolle als auch auf die Förderung von Qualitätsentwicklung. Es ergänzt die von den Schulen im Rahmen der Schulprogrammerstellung vorgenommene interne Evaluierung und dient einerseits der Selbstvergewisserung der Schule in Bezug auf ihre Qualität und dem Setzen von Entwicklungsimpulsen, andererseits der Überprüfung der Schulqualität durch die zuständige Behörde in Zusammenarbeit mit dem IQSH sowie der Rechenschaftslegung über die verwendeten Mittel. Zugleich soll ein Referenzrahmen schulischer Qualität eingeführt werden, der die Leistungen der Schulen vergleichbar macht und inner- und zwischenschulischen Austausch über Qualität fördert (vgl. MBWFK Schleswig-Holstein 2004, 5f.; Kühme 2005, 41). EVIT gibt einen Referenzrahmen für die externe Evaluierung vor, der sechs Qualitätsbereiche umfasst: Bildungs- und Erziehungsprozesse, Schulische Effekte (Erreichung von Bildungs- und Erziehungszielen), Lern- und Arbeitsbedingungen, die Leitung der Schule, Qualitätsmanagement, Kooperation (Zusammenarbeit aller Beteiligten). Es gilt der Grundsatz, dass eine Schule nur für den Bereich, den sie selbst gestalten kann, verantwortlich gemacht werden kann. Die erhobenen Lern- und Arbeitsbedingungen werden im Rahmen der Evaluierung ebenso berücksichtigt wie rechtliche Vorgaben, soziale Bedingungen und die institutionellen Voraussetzungen der verschiedenen Schultypen.

89 Geplant ist längerfristig die Einrichtung einer unabhängigen Agentur (vgl. Interview Kühme, 2ff.).

174

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Der Bereich Bildungs- und Erziehungsprozesse als „Kerngeschäft“ von Schulen steht im Zentrum der Evaluierung (MBWFK Schleswig-Holstein 2004, 9f.), wobei die gemeinsame Betrachtung von Ergebnis-, Prozess- und Strukturqualität gefordert wird. Für die sechs Qualitätsbereiche wurden qualitative Indikatoren formuliert, anhand derer die Schulqualität „gemessen“ werden soll. Die einzelnen Indikatoren werden zu diesem Zweck anhand einer Skala bewertet. Die im EVIT-Verfahren vorgestellten Qualitätsbereiche und -indikatoren sowie die Evaluierungsinstrumente können auch als „Orientierungsrahmen“ für die interne Evaluierung verwendet werden (vgl. MBWFK Schleswig-Holstein 2004, Vorwort und 7). Dies wird vermutlich von den Schulen auch aufgegriffen werden, da es auf längere Sicht keinen Sinn machen wird, verschiedene Verfahren für die interne und externe Evaluierung zu verwenden. Peers Für die externe Evaluation werden auf regionaler Ebene für jeden Schulaufsichtsbezirk Evaluationsteams von drei Personen gebildet. Dazu gehören eine Vertreterin/ein Vertreter der Schulaufsicht, eine Vertreterin/ein Vertreter des IQSH (Institut für Qualitätssicherung Schleswig-Holstein) sowie eine Schulleiterin/ein Schulleiter einer vergleichbaren Schule in der Region. Die EVIT-Teams werden durch die Schulaufsicht zusammengestellt, das dritte Mitglied, eine Schulleiterin/einen Schulleiter einer vergleichbaren Schule in der Region, wird von der Schulleiterin/dem Schulleiter der zu evaluierenden Schule benannt. Die Mitglieder des Teams arbeiten gleichberechtigt zusammen. Die MitarbeiterInnen der Schulaufsicht wurden für die Evaluierungstätigkeit und die systematische Begleitung von Schulen durch verschiedene Qualifizierungsmaßnahmen vorbereitet.

6.4 Fallstudien Abbildung 6:

175 Kompetenzen des EVIT Teams

EVIT: drei Professionen und ineinandergreifende Kompetenzen Schulaufsicht:

IQSH:

x Administrative Erfahrungen

x Lehrerfort- und ausbildung

x Beratung von Schulen

x Systematische Unterrichtsbesuche

x Schulaufsichtliche Erfahrungen

x Systematische Begleitung von Schulentwicklungs-prozessen (EVA)

x Moderation u. Gestaltung von Schulentwicklungsprozessen

x Übersicht über verschiedene Verfahren der Fragebogenerhebung

Schulleiter/in einer ähnlichen Schule: x Führungsmanagement einer Schule x Administrative Erfahrungen

x Erfahrungen hinsichtlich der Möglichkeiten und Grenzen schulischer Gestaltung

Quelle: nach MBWFK Schleswig-Holstein 2004, 8.

Ein systematisches Schulungskonzept für alle Mitglieder von EVIT-Teams gibt es allerdings laut Christian Kühme, dem Verantwortlichen für die Durchführung von EVIT, noch nicht. Es werden zwei größere und etliche kleinere Qualifizierungsmaßnahmen pro Jahr abgehalten. Die inhaltlichen Schwerpunkte orientierten sich an dem aktuellen, aus der Einführung des Verfahrens ergebenden Bedarf: Neben Fragen der technisch-administrativen Abwicklung der OnlineBefragungen, wurden v.a. der Schwerpunkt Unterrichtsbeobachtung sowie Gesprächsführung und Feedback behandelt oder auch das Schreiben der Berichte. Sämtliche Mitglieder werden als „professionelle und praktisch erfahrene Experten“ bezeichnet (MBWFK Schleswig-Holstein 2004, 8). Die durch die Zusammensetzung des EVIT-Teams gebündelten Erfahrungen und Expertisen werden folgendermaßen beschrieben: Der Vertreter der Schulaufsicht, für die Geschäftsführung des Verfahrens und die einvernehmliche Zusammenstellung der Teams verantwortlich, bringt vor allem seine Erfahrungen mit der systematischen Begleitung von Schulen, aber auch einen breiten Überblick zu unterschiedlichen Voraussetzungen und Entwicklungen schulischer Gestaltung in das Team ein.

176

6 Peer Review in der beruflichen Erstausbildung: Fallstudien Der Vertreter des IQSH verfügt insbesondere über Kenntnisse aus der Lehrerfort und -ausbildung, zur systematischen Unterrichtsbeobachtung sowie Gestaltung von Schulentwicklungsprozessen und berät die Schulen bei der Gestaltung der Fragebogenerhebung. Das dritte Mitglied des EVIT-Teams, eine Schulleiterin/ ein Schulleiter einer Schule der jeweiligen Schulart aus der Region, das vom Schulleiter/ von der Schulleiterin der zu evaluierenden Schule ausgewählt wird, bringt die Sichtweise aus der unmittelbaren Praxis in das Evaluationsteam ein und fördert den Erfahrungsaustausch zwischen den Schulen. (MBWFK Schleswig-Holstein 2004, 8)

Vorbereitung und Organisation Die Schulen, die extern evaluiert werden sollen, werden jährlich drei bis sechs Monate vor dem geplanten Evaluationszeitpunkt durch Zufallsauswahl von der Schulaufsicht bestimmt. Schulen können sich in einem gewissen Ausmaß auch freiwillig melden (zwei Schulen pro Jahr und Schulaufsichtsperson). Nach der Auslosung werden die betroffenen Schulen benachrichtigt und das EVIT-Team gebildet. Erste Absprachen zwischen der Schulaufsicht und dem Evaluationsteam finden statt sowie ein Vorbereitungsgespräch des Teams mit dem EVITSchulausschuss. Das EVIT-Verfahren basiert auf drei Säulen: 1) einer Dokumentenanalyse der Schuldaten, des Schulprogramms und von Vergleichsarbeiten der SchülerInnen, 2) dem Schulbesuch und 3) der Auswertung der Umfrageergebnisse. Eine wichtige Stellung nimmt das Schulprogramm ein. Da alle Schulen in Schleswig-Holstein bereits Erfahrungen mit interner Evaluation und Qualitätsentwicklung im Rahmen der Schulprogrammarbeit gesammelt haben, stellt das Schulprogramm das zentrale Dokument dar, auf das die externe Evaluierung aufbaut (vgl. MBWFK Schleswig-Holstein 2004, 6). Ein weiteres wesentliches Element der externen Evaluierung ist die OnlineBefragung aller Schülerinnen und Schüler, Eltern und Lehrkräfte an der Schule. Es gibt für jede Zielgruppe eigene Fragebögen, in denen Antworten zu verschiedenen bedeutsamen Aspekten der Schulqualität eingeholt werden. Damit werden in einer Bestandsaufnahme die Rückmeldungen aller Beteiligter aufgenommen und ausgewertet (s. http://www.evit-sh.de/, 9.12.2005 (EVIT 2004); http://www.evit.lernnetz.de/, 9.12.2005 (EVIT 2005)). Die Befragung wird anonym durch das IQSH auf dem Landesbildungsserver durchgeführt. Die Schulleitung hat dafür zu sorgen, dass die Datenerhebung an der Schule spätestens drei Wochen vor dem Besuchstermin abgeschlossen ist, und dass weitere relevante Schuldaten an das EVIT-Team übermittelt werden. Der Schulbesuch wird in einem Gespräch zwischen dem EVIT-Team und dem EVIT-Schulausschuss (erweiterte Schulleitung, Vertreter/innen der Lehr-

6.4 Fallstudien

177

kräfte, Eltern, SchülerInnen und des Schulträgers) vorbereitet. Dabei geht es einerseits um die Terminabsprache, andererseits um inhaltliche Planungen, was den Ablauf des Besuchs und was Vereinbarungen über verschiedene Methoden der Unterrichtsbesuche und Interviews betrifft. Weiters können Schulen für den Schulbesuch eigene Fragestellungen einbringen, zu denen sie eine externe Rückmeldung einholen wollen (vgl. Kühme 2005, 41f.).

Abbildung 7:

Ablauf von EVIT Erfassung und Auswertung der EVIT-Qualitätsbereiche und Indikatoren

Dokumentenanalyse

Schulbesuch

Umfrage-Ergebnisse

Schuldaten Schulprogramm Vergleichsarbeiten

Unterrichtsbeobachtung Evaluationsgespräche Schulrundgang

Lehrerfragebogen Schülerfragebogen Elternfragebogen

Bewertung des EVIT-Teams

Empfehlungen zu den einzelnen Indikatoren bzw. Qualitätsbereichen durch das EVIT-Team unter Einbeziehung von Ergebnissen der L,S,E-Fragebogen Benennung von Entwicklungsperspektiven (Selbstevaluation, Schulentwicklungsberatung) Quelle: nach MBWFK Schleswig-Holstein 2004, 15

178

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

Peer-Besuch Der Besuch des Peer-Teams nimmt in der Regel zwei Tage in Anspruch. Die Besuchsdauer ist abhängig von der Größe der Schule: Bei kleineren Schulen mit weniger als 150 SchülerInnen kann sie auch nur einen Tag betragen, bei sehr großen Schulen drei Tage. Während des Schulbesuchs werden Unterrichtsbesuche und Evaluationsgespräche von den ExpertInnen des EVIT-Teams durchgeführt. Den Unterrichtsbesuchen wird dabei sehr großer Raum gegeben: Etwa die Hälfte der Besuchstage verbringen die externen ExpertInnen in den Klassenzimmern. Dabei geht es nicht um eine Beurteilung einzelner Lehrkräfte sondern um einen Gesamteindruck zu den Grundsätzen der Unterrichtsgestaltung, der Lehr- und Lernprozesse sowie der Atmosphäre in den Klassenzimmern. Methoden, die dabei zur Anwendung kommen können, sind: 1) ein Schulrundgang bei offenen Türen, wobei das Evaluationsteam unterschiedlich lang in den Klassen bleiben kann und allgemeine Beobachtung zu Unterrichtsgestaltung, Thema, Raumgestaltung, Medien, Arbeitsformen und Lernklima vornimmt, 2) die Begleitung einzelner Klassen über mehrere Stunden („Shadowing“) 3) Hospitation ganzer Unterrichtsstunden. Diese Varianten können nach Absprache (s. Vorbereitungsgespräch) beliebig kombiniert werden. (vgl. MBWFK Schleswig-Holstein 2004, 19) Strukturierte Evaluationsgespräche sind das zweite wichtige Element des Schulbesuchs. Evaluationsgespräche werden mit VertreterInnen aller beteiligten Gruppen geführt – Schulleitung, Lehrkräfte, Personalvertretung, Gleichstellungsbeauftragte, Eltern, SchülerInnen und Schulträger. Sie dienen der Klärung von Fragestellungen, die sich aus den Unterrichtsbesuchen, aus der OnlineBefragung oder aus der Analyse anderer Dokumente ergeben haben. Dabei kann sowohl mit einzelnen Gruppen separat gesprochen werden oder auch vom EVITTeam moderierte „Hearings“ mit mehreren oder allen Beteiligtengruppen abgehalten werden. (vgl. MBWFK Schleswig-Holstein 2004, 19f.) Zwischenbilanzen und Absprachen des Evaluierungsteams können zwischendurch bzw. jeweils am Ende eines Besuchstags erfolgen. Der Schulbesuch endet mit einem Abschlussgespräch zwischen EVIT-Team und dem EVIT-Schulausschuss, an dem nach Absprache alle interessierten Lehrkräfte teilnehmen können. Das Abschlussgespräch dient dem Austausch erster Rückmeldungen. Follow-up und Erfahrungen Der abschließende Evaluationsbericht des EVIT-Teams soll spätestens drei Wochen nach dem Besuch erstellt und versandt worden sein. Er wird im Konsens verfasst und gemeinsam verantwortet, es gibt keine Minderheitsvoten. (Vgl.

6.4 Fallstudien

179

MBWFK Schleswig-Holstein 2004, 8) Gestützt auf die Ergebnisse des gesamten Evaluierungsprozesses bewertet das EVIT-Team die einzelnen Qualitätsbereiche und Indikatoren und verfasst auf dieser Basis einen Abschlussbericht. Der Abschlussbericht des EVIT-Teams beinhaltet eine Stärken-SchwächenAnalyse der Qualitätsbereiche und Indikatoren sowie Hinweise zur Weiterentwicklung der Schule (nach Prioritäten geordnet). Letztere sind als „professionelle Anregungen zu verstehen, mit denen sich die Schule auseinandersetzen, aber nicht als bindende Auflage, die übernommen werden muss“ (MBWFK Schleswig-Holstein 2004, 21). Empfehlungen für Entwicklungsprozesse können für die Schulen als „wichtige Hilfestellung für eine Selbstevaluation zwischen den EVIT-Phasen dienen“ (MBWFK Schleswig-Holstein 2004, 21). Der Abschlussbericht wird einer innerschulischen Diskussion unterzogen. Diese hat innerhalb von drei Monaten nach dem Schulbesuch zu erfolgen. Die Schule setzt sich mit der Bewertung auseinander, erörtert mögliche Konsequenzen, kommentiert den Bericht und übermittelt ihn an das Evaluierungsteam. Auch evaluiert der EVIT-Schulausschuss die Arbeit des EVIT-Teams anhand eines Fragebogens und gibt dem EVIT-Team eine Rückmeldung. Die Arbeit des EVIT-Teams ist damit beendet. Der kommentierte Bericht ergeht an die Schulleitung sowie an die Schulaufsicht und dient als eines der Basisdokumente für den nächsten Evaluierungszyklus. Für die weitere Begleitung des Schulentwicklungsprozesses ist die Schulaufsicht zuständig. Sie überprüft, ob die von der Schule vorgeschlagenen Maßnahmen dem im Abschlussbericht dargestellten Entwicklungsbedarf entsprechen. Sollte dies nicht der Fall sein, werden von der Schulaufsicht und der Schule Entwicklungsschritte vereinbart, um die aufgezeigten Probleme zu lösen. Die Umsetzung der Verbesserungsmaßnahmen erfolgt in und durch die Schule, die diese in ihre laufende Schulentwicklung integriert und dafür sorgt, dass sie auch im Schulprogramm Niederschlag finden. EVIT selbst wird laufend evaluiert und adaptiert. Im September 2005 wurde das EVIT-Handbuch entsprechend überarbeitet. Es wurden jedoch keine grundsätzlichen Änderungen des Verfahrens vorgenommen: „Notwendige Ergänzungen und Veränderungen beziehen sich im Wesentlichen auf technische Verbesserungen, die Vorgabe klarer Strukturen und Regelungen zur Umsetzung von Maßnahmen als Konsequenz von EVIT“ (MBF Schleswig-Holstein 2005, 4). Die Änderungen betreffen also v.a. das Follow-up des EVIT-Besuchs. Einerseits wurde die Form des EVIT-Abschlussberichts standardisiert (vgl. MBF Schleswig-Holstein 2005, 22), andererseits „verbindlichen Regelungen zur Sicherung der schulischen Weiterentwicklung nach dem EVIT-Besuch“ (MBF Schleswig-Holstein 2005, 8) festgelegt. Das EVIT-Team gibt im Abschlussbericht sowohl „Hinweise[n] zu rechtlichen Rahmenvorgaben, deren Einhaltung

180

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

von der Schulaufsicht eingefordert und kontrolliert werden muss, und Vorschläge[n] zur schulischen Weiterentwicklung, deren Umsetzung im Einklang mit dem Grundsatz der Eigenverantwortung von Schulen steht. […] Es liegt in der Verantwortung der Schule zu entscheiden, mit welchen Maßnahmen die aufgezeigten Probleme gelöst werden sollen.“ (MBF Schleswig-Holstein 2005, 21) Die im EVIT-Team vertretene Schulaufsicht „wechselt […] ihre Rolle“ (Interview Kühme, 8)  sie ist wieder Schulaufsicht  und schließt mit der Schulleitung eine Vereinbarung über zu treffende Maßnahmen ab (diese kann auch Unterstützungsleistungen für die Schule beinhalten). Nach Ablauf von zwei Jahren wird durch die Schulaufsicht im Rahmen eines Besuchs die Einhaltung dieser Vereinbarung überprüft. Nach weiteren zwei Jahren steht dann der nächste EVIT-Besuch ins Haus. Der Abschlussbericht muss schulöffentlich sein, d.h. allen Beteiligten und Betroffenen innerhalb der Schule zugänglich sein. Eine Veröffentlichung für ein größeres Publikum ist nicht verpflichtend, es entsteht jedoch – ohne das Zutun der Schulaufsicht  vermehrt von Seiten externer Anspruchsgruppen Druck auf Schulen, ihre Ergebnisse bekannt zu geben (z.B. durch die Veröffentlichung im Internet), da viele Schulen dies freiwillig tun (vgl. Interview Kühme, 16f.). Erste Erfahrungen mit dem EVIT-Verfahren zeigen, dass es auf eine hohe Akzeptanz bei den Beteiligten stößt und die Zusammensetzung der Teams als verschiedene professionelle Zugänge und Sichtweisen sich umfassend bewährt hat. Für die SchulleiterInnen der EVIT-Teams stellte die Arbeit als externe EvaluatorInnen eine „tolle Fortbildung“ dar (Kühme 2005, 42). 6.4.11 Weitere ähnliche externe Evaluierungsverfahren Niederlande In den Niederlanden wurde das externe staatliche Inspektionsverfahren auch in der Sekundarstufe weiterentwickelt. Im Rahmen des Q5-Projekts, eines fünfjährigen nationalen Projekts für Qualitätssicherung in der Sekundarstufe (2000 bis 2004), wurde an fünf Schulen in enger Zusammenarbeit mit dem Inspektorat ein Qualitätssicherungsverfahren erprobt, das „ABC-Modell“ genannt wird. Das ABC-Projekt lief von 2001 bis 2003. Anlass für die Entwicklung des ABC-Modells war die geplante Einführung der proportionalen Inspektionen (vgl. auch Kapitel 6.4.8). Um proportionale Inspektionen sinnvoll einsetzten zu können, mussten die Selbstevaluierungsverfahren an den Schulen verbessert und eine neue Balance zwischen interner und externer Evaluierung gefunden werden. Da die meisten holländischen Schulen zu diesem Zeitpunkt noch keine systematischen Selbstevaluierungsverfahren etab-

6.4 Fallstudien

181

liert hatten, tendierte das Inspektorat, das eine ausgefeilte und einheitliche Methode der Qualitätsüberprüfung verwendete, dazu, in Ermangelung von eigenständigen Aktivitäten der Schulen, Teile der Selbstevaluierung zu übernehmen. Gleichzeitig orientierten sich die Schulen in ihren Selbstevaluierungen sehr stark am Qualitätsrahmen des Inspektorats. Die Eigenständigkeit der schulischen Selbstevaluierungen wurde dadurch eingeschränkt. Weiters traten die Aspekte der Qualitätsentwicklung und Qualitätsverbesserung in den Hintergrund, da der Inspektionsrahmen eher an der Rechenschaftslegung und Kontrolle ausgerichtet war (vgl. Linssen 2003). Die Stärkung der Selbstevaluierung der Schulen bei gleichzeitiger Beibehaltung der staatlichen Inspektion sollte im ABC-Modell durch die Einführung eines zusätzlichen Elements, der Evaluierung durch „kritische FreundInnen“, erreicht werden. Das ABC der Qualitätssicherung besteht aus drei Phasen: Phase A – der Selbstevaluierung der Schule, Phase B – dem kritischen Feedback von Dritten (kritischen FreundInnen, ExpertInnen) und Phase C – der Inspektion durch die Schulaufsicht. In jeder Phase wird ein Bericht verfasst. Nach einer Selbstevaluierung, deren Ergebnisse in einem „A-Bericht“ dokumentiert werden, lädt die Schule ein Team von „kritischen FreundInnen“ ein, die der Schule einen Besuch abstatten und auf der Grundlage des Selbstevaluierungsberichts eine Überprüfung und Bewertung vornehmen, die in einem „BBericht“ festgehalten wird. „Kritische FreundInnen“ können KollegInnen aus anderen Schulen oder andere ExpertInnen sein. Das Inspektorat nimmt auf der Basis der beiden Berichte seine eigene Beurteilung vor (C-Bericht), d.h. die umfangreiche Inspektion (PKO – Periodiek Kwaliteitsonderzoek) wird auf der Grundlage der bereits durchgeführten Evaluierung in Umfang und Intensität angepasst (proportionale Inspektion). Das Verfahren beruht also darauf, dass der Selbstevaluierung (A) und der externen Inspektion (C) eine Evaluierung durch Peers (B) zwischengeschaltet ist und gute und umfassende Ergebnisse aus den Evaluierungen A und B von der Schulaufsicht im Rahmen der proportionalen Inspektion berücksichtigt werden. Wozu werden „kritische FreundInnen“ bzw. „Dritte“ („third party“) eingeschaltet? Sie sollen erstens der Schule ein Feedback zu ihrer Selbstevaluierung geben und deren Ergebnisse validieren und zweitens zu Verbesserungen anregen.

Quelle: Linssen 2003, 2

B FEEDBACK by CRITICAL FRIENDS

Abbildung 8:

C QUALITY ASSESSMENT by the INSPECTORATE

A INTERNAL QUALITY ASSURANCE by THE SCHOOL ITSELF

182 6 Peer Review in der beruflichen Erstausbildung: Fallstudien

The ABC-Model of the Q5-Project

6.4 Fallstudien

183

Zu den wichtigsten Ergebnissen des Projekts bezüglich der Involvierung von „kritischen FreundInnen“ zählte, dass das „B-Team“ blinde Flecken der Schulen aufdecken konnte und die unterschiedliche Perspektive der Peers als wertvoll angesehen wurde. Auch regten der B-Besuch und der B-Bericht die Schulen zu Verbesserungsmaßnahmen an: „In contrast to an inspection report which is very often taken for granted, a one-off affair which doesn’t lead to action, the comments and suggestions made by critical friends stimulate schools into action“ (Linssen 2003, 3). Die Evaluierungen des Inspektorats wurden durch das ABC-Modell jedoch nicht einfacher. Es zeigte sich, dass die Anpassung der Inspektion an die Entwicklung der individuellen Schule und die Berücksichtigung vorangegangen Evaluierungen das Verfahren im Vergleich zu einheitlichen Vorgangsweisen bei traditionellen niederländischen Inspektionen eher verkomplizierten (vgl. Linssen 2003, 3). In einem Bericht zum ABC-Projekt wird auch darauf hingewiesen, dass das Modell grundsätzlich auf verschiedenen Ebenen angewandt werden kann (vgl. Linssen 2003, 3-6, vgl. auch oben Kapitel 3). Diese verschiedenen Möglichkeiten wurden z.T. auch erprobt, so z.B. auf der Ebene von Teams an Schulen (Selbstevaluierung des Teams, gefolgt von einem Feedback durch ein anderes Team und abschließende Bewertung durch die Schulleitung). Die Methode kann aber auch für die Evaluierung und Personalentwicklung einzelner LehrerInnen angewandt werden sowie auch für SchülerInnen. Im Falle der Evaluierung von LehrerInnen werden zusätzlich zur Selbstevaluierung Dritte, d.h. SchülerInnen, aber v.a. KollegInnen um ein Feedback gebeten, wobei strukturierte Peer-Beobachtungen des Unterrichts als besonders hilfreich angesehen werden. Erst auf der Basis dieser beiden Bewertungen nimmt die/der direkte Vorgesetzte bzw. die Schulleitung die Personalbewertung vor. Auch für die Bewertung der Leistungen von SchülerInnen eignet sich das Verfahren: Diese legen ihre Arbeiten erst KollegInnen vor, bekommen Rückmeldungen, und erst dann erfolgt die Bewertung durch die Lehrerin/den Lehrer. Deutschland Inspektionen nach niederländischem Muster nehmen sich auch Deutschlands Bundesländer zunehmend als Vorbild. Neben dem oben dargestellten Inspektionsverfahren EVIT in Schleswig-Holstein, setzen auch andere Bundesländer mittlerweile auf größere Autonomie der einzelnen Schulen und umfassende externe Evaluierungen. So wurde in Niedersachsen ein neues Steuerungsmodell eingeführt, in dem eigenverantwortliche Schulen einer systematischen Inspektion durch die Behörde

184

6 Peer Review in der beruflichen Erstausbildung: Fallstudien

unterzogen werden90. Nach einer Erprobungsphase mit über 30 Schulen wurde Anfang Mai 2005 ein „Schul-TÜV“ nach dem Vorbild der niederländischen Inspektion eingeführt, der ebenfalls Vor-Ort-Besuche der InspektorInnen als zentrales Element vorsieht (vgl. Spiewak 2005). Für die Durchführung des „SchulTÜVs“ wurde eine eigene Behörde, die Schulinspektion Niedersachsen, geschaffen. Auch in diesem Verfahren geht es um die Sicherung und Weiterentwicklung der Qualität der Schulen. Die Inspektion erfolgt nach einer Vorlaufzeit von bis zu drei Monaten, in denen bereits verfügbare Daten zur Schule erhoben werden. InspektorInnen sind DezernentInnen der Schulaufsicht oder ehemalige LehrerInnen, die nun in der neuen Behörde arbeiten. Das Evaluationsteam von drei Personen soll von einer Person geleitet werden, die aus demselben Schultyp stammt wie die zu evaluierende Schule. Der Schulbesuch umfasst einen Rundgang, Gespräche und Unterrichtsbesuche, wobei möglichst viele Lehrkräfte (mind. 50%) während ihrer Arbeit beobachtet werden sollen, um einen Eindruck von der Unterrichtsqualität zu erhalten. Die Inspektoren sind jeweils etwa 20 Minuten in jeder Klasse. Der Bericht der Inspektoren, der Stärken und Schwächen aufzeigt, ist für alle Beteiligten und Betroffenen zugänglich, für Verbesserungsmaßnahmen ist die Schulleitung verantwortlich. Die Inspektionen solle in einem Turnus von drei bis vier Jahren durchgeführt werden. Auch in Bayern werden Schulen seit kurzem extern evaluiert. Zu diesem Zweck wurde ein umfassendes Konzept erstellt, das die zu bewertenden Qualitätsdimensionen ebenso ausweist wie die einzelnen Schritte des Verfahrens, das ebenfalls Züge eines Peer Reviews aufweist. Die externe Evaluierung wird seit März 2004 an verschiedenen Schulen, darunter auch beruflichen Schulen, pilotiert. Die Rolle der Schulaufsicht ist ähnlich wie bei EVIT, nur dass VertreterInnen der Schulaufsicht den Evaluationsteams angehören können, aber nicht müssen. Diese Teams sollen „auf Augenhöhe“ mit den Schulen arbeiten, besetzt werden sie mit erfahrenen Lehrkräften, SeminarleiterInnen, VertreterInnen der Schulaufsicht, KoordinatorInnen für die Schulentwicklung sowie VertreterInnen der Eltern und der Wirtschaft. All diese Personen werden aufgrund ihrer Fachkompetenz und ihres Engagements von den beteiligten Schulaufsichtsbehörden ausgewählt und von der Qualitätsagentur auf ihre Aufgabe vorbereitet. Für die im Schuldienst tätigen Teammitglieder wurde bereits eine erste Qualifizierung angeboten, auch werden die nichtschulischen EvaluatorInnen in eintätigen Ver-

90 Im Folgenden beziehe ich mich, so nicht anders angegeben, auf Informationen, die auf der Website des Niedersächsischen Kultusministeriums zu finden sind: http://www.mk.niedersachsen.de/master /C10063461_L20, 22.2.2006; http://web.archive.org/web/20041109193545/http://www.mk.niedersachsen.de/master/C2989004_L20, 22.2.2006.

6.4 Fallstudien

185

anstaltungen der Qualitätsagentur auf ihre Tätigkeit vorbereitet (Ewringmann 2005, 50).91 Ein externes Evaluierungsverfahren gibt es auch für Bremens Grundschulen, in Brandenburg und Berlin ist die Einführung derartiger Qualitätssicherungsverfahren in Planung (vgl. Die Zeit Nr. 27, 35). Im Zusammenhang mit der Einführung von externen Evaluierungsverfahren ist auch die Einrichtung von Qualitätsagenturen bzw. Qualitätsinstituten in deutschen Bundesländern (z.B. Schleswig-Holstein, Hessen, Bayern, Rheinland-Pfalz) zu sehen.

91 Für weitere Informationen siehe Ewringmann 2005 sowie die Website des Bayern Institut http://www.isb.bayern.de/isb/index.asp?MNav=8&QNav=0&TNav=0&INav=0, 22.2.2006.

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

7.1 Rahmenbedingungen für Qualitätssicherung und Evaluation Qualitätssicherung und Qualitätsentwicklung auf der Ebene der Bildungseinrichtungen ist abhängig vom Aufbau der Bildungssysteme, von der Art der Steuerung dieser Systeme sowie damit in Zusammenhang von der Verteilung der Kompetenzen zwischen den maßgeblichen AkteurInnen (Politik, zentrale und regionale Verwaltungen, Bildungseinrichtungen, SchulleiterInnen, LehrerInnen, Gewerkschaften, Schülerinnen, Eltern, Unternehmen etc.). Diese Arbeit hat nicht zum Ziel, die verschiedenen Berufsbildungssysteme in Europa und deren Qualitätssicherungssysteme im Detail zu analysieren, jedoch muss ein länderübergreifender Vergleich von Peer-Review-Modellen aus verschiedenen europäischen Ländern auch die Unterschiede zwischen den Bildungssystemen berücksichtigen, um zu einem profunden Verständnis der Bedeutung und Funktion des Peer Reviews zu gelangen. 7.1.1 Struktur der Bildungssysteme Heterogen sind zum einen die Struktur der Bildungssysteme und die Ansiedlung der beruflichen Erstausbildung innerhalb dieser Systeme. So kann berufliche Erstausbildung schulisch/institutionell organisiert sein oder eher unternehmensbasiert bzw. als duales System (Lehrlingsausbildung), wobei praktische Ausbildungsteile sich für gewöhnlich aufgrund der Ausrichtung der Berufsbildung auf direkte Umsetzbarkeit des Gelernten auch in den schulischen Systemen finden. In einigen Ländern (wie Österreich und Deutschland) gibt es beide Berufsbildungsformen als eigene Stränge. Zusätzlich ist in einigen Ländern, wie z.B. Italien, die Berufsbildung zweigeteilt: Einerseits gibt es staatliche Schulen, die der zentralen Verwaltung unterstehen, andererseits regional administrierte Berufsbildungszentren. Die Berufsbildung beginnt in den untersuchten Ländern mit der Sekundarstufe II, welche Ausbildungen auf der Sekundarstufe, welche auf der Tertiärstufe oder auch im Rahmen beruflicher Weiterbildung angeboten werden, kann jedoch von Land zu Land unterschiedlich sein.

188

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Um die einzelnen Fallbeispiele (einigermaßen) vergleichbar zu halten, wurden v.a. Peer-Review-Verfahren, die die Berufsbildung auf der Sekundarstufe II (ISCED 3/4) betreffen, als Fallstudien herangezogen. Ausnahme sind das europäische Pilotprojekt zur Selbstevaluierung (Fallbeispiel 1), das Peer Review an der niedersächsischen Heideschule (Fallbeispiel 2) und das Verfahren „Evaluation im Team“ (Fallbeispiel 10). In diesen drei Fällen handelt es sich um Evaluierungsverfahren für allgemeinbildende Schulen auf Sekundarstufe 1 (Fallbeispiel 2) bzw. Sekundarstufe 1 und 2 (Fallbeispiele 1 und 10). Im Fall von EVIT ist die Übernahme des Verfahrens für die Evaluierung der beruflichen Erstausbildung in Vorbereitung. Diese Fallbeispiele wurden aufgrund der prinzipiellen leichten Übertragbarkeit der beschriebenen Verfahren auf die berufliche Erstausbildung und die interessanten Herangehensweisen an das Peer Review in die Untersuchung einbezogen. In diesem Zusammenhang bemerkenswert ist das Verfahren des Berner Intensivprojekts Schule (Fallbeispiel 7), das für verschiedenste Einrichtungen vom Kindergarten bis zur Sekundarstufe II (einschließlich der Berufsschulen) zur Anwendung kommt und in dem – je nach Zusammensetzung der Bewerbungen für die jährlich startenden Projektgruppen – unterschiedliche Bildungseinrichtungen auch in heterogenen Verbünden zusammengefasst werden. Weiters betreffen die in den Fallstudien beschriebenen Evaluierungsverfahren nur schulischen Ausbildungen (Fallbeispiele 1, 2, 3, 4, 5, 8, 9, 10) bzw. im Falle des dualen Systems nur den schulischen Teil der Lehrlingsausbildung (Fallbeispiele 6 und 7). Diese Beschränkung war einerseits von Vornherein intendiert, da sie die Vergleichbarkeit erleichtert, andererseits scheint Peer Review im Rahmen der betrieblichen Ausbildung umfangreichen Recherchen zufolge auch (noch) gar nicht zum Einsatz zu kommen. 7.1.2 Steuerungsmodelle Neben der Verortung der Berufsbildung in den Bildungssystemen hat auch das im jeweiligen Land vorherrschende System der Regulierung und Finanzierung der beruflichen Bildungsangebote einen überragenden Einfluss auf die Qualitätssicherung und Qualitätsentwicklung auf der Ebene der Bildungseinrichtungen. Farschou (2002) führt in einer Typologie der Regulierungs- und Finanzierungsmodelle für die Berufsbildung in Europa vier Modelle an, die von starker Regulierung durch die Verwaltung bis zu einem offenen Bildungsmarkt gehen (vgl. Farschou 2002, 35):

7.1 Rahmenbedingungen für Qualitätssicherung und Evaluation ƒ

ƒ

ƒ

ƒ

189

Ein Modell, das er „closed market“92 nennt und in dem Berufsbildung hauptsächlich von öffentlichen Einrichtungen angeboten wird, die direkt der Bildungsverwaltung unterstehen. Als Qualitätssicherungsverfahren kommen in diesem inputgesteuerten Modell v.a. externe Kontrollen durch Inspektionen zum Einsatz, in denen überprüft wird, ob die von der Bildungsverwaltung vorgegebenen Regeln und Verfahren eingehalten werden. Etwas flexibler, aber dennoch stark öffentlich reglementiert ist das zweite Modell, das als „protected mainly public market“ bezeichnet wird, in dem die Berufsbildung ebenso hauptsächlich von öffentlichen Einrichtungen getragen wird, diesen aber ein größerer Spielraum für eigene Entscheidungen eingeräumt wird (z.B. in Hinblick auf Personal, Curricula etc.). Evaluierungsverfahren in diesem Modell sind neben Inspektionen auch Selbstevaluierung der Bildungseinrichtungen, Ex-post-Evaluierungen, etc. Ähnlich funktioniert das Modell des „protected mainly private market“, in dem private Anbieter für die Durchführung von (Aus)Bildungsprogrammen meist als Institution vom Staat finanzielle Zuwendungen erhalten (z.B. auf der Basis der Anzahl der SchülerInnen). Die Bildungsverwaltung setzt nur allgemeine Regeln und Standards, die konkrete Gestaltung des Angebots sowie organisationelle Entscheidungen liegen bei den Bildungseinrichtungen. Wie in Modell 2 können verschiedene Evaluierungsverfahren (Selbstevaluierung der Bildungseinrichtungen, Inspektionen, Ex-post-Evaluierungen) eingesetzt werden, auch kommt es zu Zertifizierungen und Audits, da die Bildungseinrichtungen nicht mehr direkt der öffentlichen Hand unterstehen. Als viertes Modell wird der „offene Markt“ („open market”) genannt, in dem Bildungsanbieter in Vergabeverfahren um öffentliche Aufträge konkurrieren oder ihre kostenpflichtigen Angebote von den Bildungssuchenden (KlientInnen, TeilnehmerInnen) entweder mit privaten Mittel oder mit öffentlich finanzierten Gutscheinen bezahlt werden. In diesem Modell steht der Wettbewerb der Bildungsanbieter im Vordergrund, der eo ipso die Angebotsqualität sichern soll. Da aufgrund der oft mangelhaften Markttransparenz aber zusätzliche Informationen über die Qualität von Bildungsangeboten sowohl für den Staat als auch für private BildungsteilnehmerInnen nötig sind, sind Akkreditierungen und Zertifizierungen verbunden mit Audits und Ex-post-Evaluationen wichtige Elemente der Qualitätssicherung in diesem Modell.

92 Es ist fraglich, ob bei diesem Modell überhaupt von einem Markt im eigentlichen Sinne gesprochen werden kann, da dieser mit einem freieren Zugang assoziiert wird.

190

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

In der beruflichen Erstausbildung dominieren in Europa nach wie vor die ersten drei Modelle, das vierte Modell findet sich hauptsächlich in der (beruflichen) Weiterbildung. Die Erstausbildung innerhalb der formalen Bildungssysteme ist nach wie vor hauptsächlich staatlich finanziert und die politischen Entscheidungsträger scheuen davor zurück, sie dem „freien Markt“ zu überlassen. Die Erstausbildung stellt einen sensiblen gesellschaftlichen Bereich, in dem ein gewisses Maß an politischer Einflussnahme und Lenkung als notwendig erachtet wird: Qualifikation und Bildung der zukünftigen BürgerInnen (und WählerInnen) bzw. Arbeitskräfte stellen ein öffentliches Gut dar, an dem ein weites Spektrum an Stakeholdern ein bedeutendes Interesse hat. Verschiedene soziale, demokratiepolitische, arbeitsmarktpolitische, wirtschaftliche etc. Zielsetzungen werden davon berührt, Zielsetzungen, die einander einerseits z.T. widersprechen  was einen politischen Interessenausgleich notwendig macht  andererseits auch nicht in jedem Fall durch marktkonforme Bildungsangebote erreicht werden können. In Bezug auf die Bildungsqualität kann daher nicht allein auf die private Initiative und den Wettbewerb zwischen Anbietern vertraut werden. Wie bereits in Kapitel 1 ausgeführt, ist die gegenwärtige Entwicklung der Bildungssysteme von Deregulierung und Dezentralisierung geprägt, d.h. durch eine Abkehr von der inputgesteuerten Bildungsverwaltung, die sämtliche Angelegenheiten ex ante regelt und nur die Einhaltung dieser Regelungen zu überprüfen hat, hin zu größerer Entscheidungskompetenz auf der Ebene der einzelnen Bildungseinrichtungen. In den Ländern, aus denen die oben genannten Fallbeispiele stammen, sind diese Entwicklungen unterschiedlich fortgeschritten. Dies hat sowohl mit der Tradition und der Kultur der Bildungssysteme zu tun als auch mit dem aktuellen Reformdrang. So ist z.B. eine relativ weitgehende Autonomie der Bildungseinrichtungen gekoppelt mit intensiven internen und externen Evaluierungsverfahren in den angelsächsischen Ländern und in den Niederlanden bereits seit längerem eingeführt. Andere europäische Länder, wie z.B. Deutschland, sind gerade dabei, ihr gesamtes Qualitätssicherungssystem komplett zu reformieren, oft in einem erstaunlichen Tempo. Für Peer Review als externes Evaluierungsverfahren bedeuten die unterschiedlichen Rahmenbedingungen und Entwicklungen in den verschiedenen Ländern auch unterschiedliche Einsatzmöglichkeiten und Funktionen. In einem zentral gesteuerten Bildungssystem, in dem die einzelnen Bildungseinrichtungen wenig bis gar keine eigenen Entscheidungsspielräume kennen, machen Peer Review auf der institutionellen Ebene wenig Sinn, da Evaluierungsbefunde nicht oder nur in einem geringen Ausmaß von der Bildungseinrichtung selbst in Verbesserungs- und Entwicklungsmaßnahmen umgesetzt werden können. (Sie können allerdings dazu dienen, der Verwaltung Rückmeldungen zu geben.) Prinzipiell muss davon ausgegangen werden, dass nur die Bereiche, in denen die Ent-

7.1 Rahmenbedingungen für Qualitätssicherung und Evaluation

191

scheidungskompetenz auf der Ebene der Bildungseinrichtung liegt, sinnvollerweise Gegenstand eines Peer Reviews auf der institutionellen Ebene sein können. Insofern unterscheiden sich die verschiedenen Peer-Review-Varianten auch im Hinblick auf den Umfang der zu evaluierenden Fragestellungen, Einheiten und Prozesse. Als Faustregel kann hier gelten, dass die Evaluierungen umso umfangreicher werden, je größer und umfassender die Entscheidungskompetenz auf der institutionellen Ebene ist. Da die Autonomie der Lehrenden in Bezug auf Lehren und Lernen in den meisten Bildungssystemen  im Gegensatz zu anderen Belangen der Leistungserbringung wie Organisation und Ressourcen  traditionell sehr hoch ist, machen Peer Reviews als formative, auf die Entwicklung der pädagogischen Praxis angelegte Verfahren in diesem Kernbereich aber auf jeden Fall Sinn, auch wenn es keine direkte Anbindung an Qualitätssicherungsverfahren auf der Systemebene gibt. Andere für die Leistungserbringung wichtige Bereiche wie Rekrutierung von Lehrenden und anderem Personal, Weiterbildung und Personalentwicklung, finanzielle Ressourcen und Infrastruktur etc. fallen jedoch in vielen Ländern nach wie vor unter die Entscheidungskompetenz der Bildungsverwaltung und nicht der Bildungseinrichtungen. Das unterschiedliche Ausmaß von institutioneller Autonomie muss bei der Analyse der Peer-Review-Verfahren daher berücksichtigt werden. Weiters ist zu beachten, dass Peer Review in den einzelnen Fallbeispielen verschiedene Funktionen erfüllt: es kann sich dabei um reine Erkenntnisgewinnung zur Qualitätsentwicklung handeln, es können damit Rechenschafts- und Kontrollansprüche abgedeckt werden etc. Die konkrete Ausgestaltung des jeweiligen Verfahrens (was wird evaluiert, wie wird evaluiert, von wem, wie wird berichtet und an wen) ist abhängig von der spezifischen Funktion des Peer Reviews (s. unten Kapitel 7.5). Auch die Frage der verschiedenen Ziele und Funktionen von Peer Reviews ist im Zusammenhang mit der Steuerung der Bildungssysteme in den einzelnen Ländern zu sehen, da generell das Kontrollbedürfnis der Behörden mit der zunehmenden Deregulierung steigt (vgl. Kapitel 1), ein Kontrollbedürfnis, das zunehmend durch externe (Ex-post-)Evaluationen gedeckt wird. Auf der anderen Seite sind auch die Bildungseinrichtungen aufgefordert, Rechenschaft abzulegen über die Bereiche, für die sie Verantwortung haben. Es ist also durchaus im Sinne sowohl von Politik und Verwaltung als auch der Bildungsinstitutionen, dass Evaluationsverfahren möglichst genau definiert und standardisiert werden, um Sicherheit, Transparenz und Vergleichbarkeit herzustellen. Die Abkehr von der Ex-ante-Regulierung bringt dementsprechend einen Bedarf nach stärker regulierten Ex-post-Evaluierungsverfahren mit sich. Die von außen, direkt oder indirekt (z.B. durch vorgelagerte Stellen/Agenturen oder durch die Vorgabe, eines der marktgängigen Managementsysteme, wie z.B. ISO

192

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

oder EFQM, einzuführen) von den Bildungsbehörden vorgegebene Standardisierung kann z.B. bedeuten, dass Selbstevaluierungen an Bildungseinrichtungen verpflichtend eingeführt werden  die Institution also nicht selbst darüber entscheidet, ob sie eine Evaluierung durchführt oder nicht. Weiters können auch wichtige Evaluationsentscheidungen, z.B. die Entscheidung über die Ziele der Evaluation, den Evaluationsgegenstand, die Evaluationsfragestellungen, den Ablauf und die Art und Weise der Dokumentation etc., bereits vorweggenommen sein. Es wird dabei selbst dann im gängigen Diskurs noch von Selbstevaluierung gesprochen, wenn die einzelne Bildungseinrichtung eine von außen im Detail vorgegeben Evaluierung nicht mehr selbst beschließt und plant, sondern nur noch den Vorgaben gemäß durchführt (s.u. Kapitel 7.3., vgl. dazu auch Kapitel 8). Es erscheint deshalb sinnvoll in der Folge zwischen dem „Ort der Steuerung“ und dem „Ort der Durchführung“ des Peer Reviews (einschließlich der vorangegangenen institutionellen Selbstevaluierung) zu unterscheiden (bezüglich dieser Unterscheidung vgl. Widmer 2004, 85f.). 7.2 Exkurs: Definition der „Bildungseinrichtung“ als (Handlungs)Einheit? Durch die (teilweise) Verlagerung von Kompetenz und Verantwortung auf die Ebene der Bildungseinrichtung ist diese zu einer zentralen Akteurin in der Qualitätssicherung und Qualitätsentwicklung geworden. Die Bildungseinrichtung wird als Einheit definiert in Abgrenzung zu anderen Bildungseinrichtungen sowie in Abgrenzung zu den anderen Ebenen des Bildungssystems wie der Ebene der staatlichen Verwaltung (die ihrerseits auf nationaler, regionaler, lokaler und manchmal auch sektoraler Ebene angesiedelt sein kann) oder auch der individuellen Ebene der am Bildungsprozess Beteiligten (Lehrende, Lernende, Verwaltungspersonal). Diese Einheit der Bildungseinrichtung ist ein Konstrukt, das in der Diskussion um Formen der externen Evaluierung von Bildungseinrichtungen sowie der Verbindung zwischen externer und interner Evaluierung sehr nützlich ist, da es Komplexität reduziert und das Thema damit handhabbar macht. Offensichtlich ist jedoch, dass eine Bildungseinrichtung in Wirklichkeit keine homogene Einheit darstellt, sondern ihrerseits aus verschiedenen Personengruppen (z.B. Lehrende (mit unterschiedlichem Status), Verwaltungspersonal, Schulleitung und Abteilungsleitungen, Lernende) besteht, die in vielfältigen hierarchischen Beziehungen zu einander stehen, unterschiedlichen Status haben

7.2 Exkurs: Definition der „Bildungseinrichtung“ als (Handlungs)Einheit?

193

und z.T. recht unterschiedliche Interessen verfolgen.93 Das harmonische und konstruktive Bild, das im Diskurs bisweilen von Selbstevaluierung gezeichnet wird, sozusagen im Gegensatz zu einer externen, spannungs- und konfrontationsgeladenen Evaluierung, entspricht nicht der Realität (vgl. z.B. auch die kritische Sichtweise von Stamm, 2003, 60f.). Fragen, die in diesem Zusammenhang aufgeworfen werden, sind inwieweit es gelingt, im Rahmen einer Selbstevaluierung 1) trotz des Machtgefüges eine symmetrische Kommunikation und Zusammenarbeit herzustellen und verschiedene Interessenlagen zu berücksichtigen94, sowie 2) sämtliche (Interessen-)Gruppen der Bildungseinrichtung in die Selbstevaluation einzubeziehen  in der Realität wird die Selbstevaluierung ja meist durch eine oder mehrere kleine Gruppen von Personen getragen (Q-Gruppen, Projektgruppen). Stamm sieht deshalb auch bei Selbstevaluation die Gefahr von Fassadenevaluationen bzw. von einem geringen Umsetzungsgrad der Ergebnisse, wenn die Akzeptanz für das Verfahren bei großen Teilen der Betroffenen fehlt. Es handelt sich also um eine sehr stark verkürzte und teilweise verzerrende Darstellung, wenn von der Bildungseinrichtung als Einheit gesprochen wird. Im Wissen um diese Problematik soll im Folgenden dennoch das Konstrukt „Bildungseinrichtung“ verwendet werden, da einerseits die Funktionsweise des Peer Reviews – und nicht die Strukturen und Prozesse der Qualitätssicherung und Qualitätsevaluierung innerhalb der Bildungseinrichtung  Fokus der Analyse ist, andererseits die Einbeziehung dieser Dimension die Komplexität so stark erhöhen würde, dass eine eigene Untersuchung erforderlich wäre: So liegen nicht für alle beschriebenen Verfahren umfassenden Informationen zu dieser Fragestellung vor. Weiters müssten dann nicht nur die verschiedenen Peer-ReviewVerfahren verglichen werden, sondern auch die verschiedenen Selbstevaluierungsverfahren und deren Umsetzung analysiert und dann zu den jeweiligen Peer-Review-Verfahren in Beziehung gesetzt werden. Gestreift wird das Thema der verschiedenen Varianten innerinstitutioneller Beteiligung und Aushandlung v.a. dann, wenn in Peer-Review-Verfahren bestimmte Prozeduren entwickelt wurden, um diese Beteiligung zu fördern. Das betrifft z.B. die Rückmeldeprozesse, aber auch die Einbeziehung verschiedener Betroffener und Beteiligter in die Datenerhebung (v.a. die Interviews) im Rahmen des Peer-Besuchs.

93 Im Hochschulbereich ist aufgrund der Ausrichtung auf Forschung und Lehre eine einheitliche Identität der Institution Universität noch unrealistischer (vgl. z.B. die Ausführungen von Laske und Hammer 1997, 29). 94 Gelingt dies nicht, kann eine externe Evaluation von den übergangenen Personen und Gruppen vorgezogen werden in der Hoffnung, bei externen EvaluatorInnen eher Gehör zu finden.

194

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

7.3 Initiative für Peer Reviews, Ort der Steuerung und Reichweite 7.3.1 Initiative Die Initiative zur Beteiligung an Peer Reviews geht in den meisten der präsentierten Fallbeispiele von den Bildungseinrichtungen selbst aus (Fallbeispiele 1 bis 7). In drei Fällen erhalten die Bildungseinrichtungen dabei Unterstützung durch öffentlich geförderte Projektstrukturen (Fallbeispiele 3, 6, 7), die dazu dienen sollen, die Erprobung von Peer Review als neues Evaluierungsverfahren systematisch voranzutreiben. Es handelt sich dabei um die Pilotprojekte in Katalonien, in Bern und in Hessen. Bis auf die Heideschule, die das Peer Review ohne Partnerschulen organisierte (Fallbeispiel 2), agieren die Bildungseinrichtungen dabei immer in einem Netzwerk mit anderen Schulen bzw. Berufsbildungszentren. Im Fall der Vereinigung der Berufsbildungszentren des Salesianerwerks (Fallbeispiel 4) ging die Initiative zu Peer Reviews von der Ebene des Netzwerks aus. Teil eines staatlich vorgeschriebenen Evaluierungsverfahrens ist Peer Review in den Niederlanden (Fallbeispiel 8), in Schottland (Fallbeispiel 9) und in Schleswig-Holstein (Fallbeispiel 10). 7.3.2 Ort der Steuerung Das schottische Verfahren sowie „Evaluation im Team“ (EVIT) in SchleswigHolstein werden von den Bildungsbehörden gesteuert und werden auch als Inspektionen bezeichnet. Sämtliche relevanten Entscheidungen, wer was wann wie unter welchen Gesichtspunkten und mit welchen Konsequenzen evaluiert, werden von der Verwaltung (Fallbeispiel 10) bzw. von einer der Verwaltung vorgeschalteten unabhängigen Behörde (Fallbeispiel 9) getroffen. Das Peer-Review-Verfahren an den Berufsbildungszentren in den Niederlanden (Fallbeispiel 8) unterscheidet sich grundlegend von den anderen Verfahren, da die Bildungseinrichtungen zwar verpflichtet sind, externe Evaluierungen durchzuführen, diese aber selbst gestalten können. Einen nicht zu übersehenden Einfluss auf die Auswahl der zu behandelnden Fragestellungen und Qualitätsbereiche hat dabei im Rahmen der „proportionalen Inspektion“ der staatliche „Qualitätsrahmen für die Selbstevaluierung“, der Qualitätsbereiche und Indikatoren vorgibt. Dieser Qualitätsrahmen ist nur für die staatlichen Inspektionen, die zusätzlich durch die Schulaufsicht in regelmäßigen Abständen durchgeführt werden, tatsächlich bindend, es macht für die einzelnen Bildungseinrichtungen jedoch Sinn, die Vorgaben des Qualitätsrahmens sowohl in der Selbstevaluierung

7.3 Initiative für Peer Reviews, Ort der Steuerung und Reichweite

195

als auch in externen Audits zu berücksichtigen, um so eine Verkürzung der Inspektionen zu erreichen. Über die anderen Elemente des Peer Reviews, also z.B. wer als Peer eingeladen wird, wie der Evaluierungsprozess abläuft und wie es zur Berichtlegung kommt, kann von den niederländischen ROCs selbst entschieden werden. In den anderen beschriebenen Fällen obliegt die Gestaltung des Evaluierungsverfahrens prinzipiell den Bildungseinrichtungen selbst, die sich dem Peer Review auch freiwillig unterziehen. Die einzelnen Einrichtungen müssen sich allerdings  bis auf die Pilotschulen im europäischen Selbstevaluierungsprojekt (Fallbeispiel 1) und die niedersächsische Heideschule (Fallbeispiel 2)  entweder mit den Partnereinrichtungen des Netzwerks absprechen oder, wenn sie an einem Modellprojekt teilnehmen, auch mit den Leitungen bzw. MitarbeiterInnen des jeweiligen Projekts, die hier neben der unterstützenden auch eine steuernde Rolle einnehmen können. Es zeigen sich auch in einigen Fällen Einflüsse der staatlichen Qualitätssicherungsvorgaben und -systeme. So orientieren sich die finnischen Gastgewerbeschulen in ihren Peer Reviews auch an EFQM und den Indikatoren für den finnischen Quality Award (der auf EFQM basiert). Ähnlich die Situation in Italien, wo der piemontesische Qualitätsverbund des Salesianerwerks neben den ISO-Standards zugleich auch die Einhaltung von regionalen Akkreditierungsbestimmungen durch die Peer Reviews überprüft. 7.3.3 Reichweite In Abhängigkeit von der Verortung der Steuerungsverantwortung zeigen die Peer-Review-Verfahren in den verschiedenen Fallbeispielen auch unterschiedliche Reichweiten. Während in Fallbeispiel 2 nur eine einzige Schule das Verfahren in dieser Form durchführt, sind in allen anderen Fällen mehrere Bildungseinrichtungen betroffen: fünf im Falle der finnischen Gastgewerbeschulen (Fallbeispiel 5), neun im Netzwerk der Salesianer in Norditalien (Fallbeispiel 4), neun ebenso im Modellprojekt eiver (Fallbeispiel 7), mittlerweile 42 Schulen im Intensivprojekt Schule (Fallbeispiel 7, wobei in den jahrgangsmäßigen Netzwerken jeweils etwa bis zu acht Schulen zusammengefasst sind), 50 im katalanischen Modellprojekt (Fallbeispiel 3), in den Niederlanden (Fallbeispiel 8), wo alle ROCs zur Durchführung externer Audits verpflichtet sind, haben sich verschiedene kleinere Netzwerke von Berufsbildungszentren (ROCs) gebildet, die aber auch untereinander Austausch halten. Im europäischen Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1) haben 86 der 101 Partnerschulen Peers eingesetzt, sind dabei jedoch ganz unterschiedlich vorgegangen, sodass nicht von einer gemeinsamen Methode gespro-

196

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

chen werden kann, es kam jedoch zum Austausch darüber und der Einsatz der Peers wurde metaevaluiert. Den von den Behörden vorgeschriebenen und kontrollierten Peer Reviews/Inspektionen (Fallbeispiele 9 und 10) sind alle Bildungseinrichtungen des jeweiligen (Bundes)Landes/Verwaltungsgebiets unterworfen. 7.4 Verbindung von Peer Review und Selbstevaluierung In sämtlichen beschriebenen Verfahrensvarianten basiert das Peer Review auf einer vorangegangen Selbstevaluierung, es kann also ein zweistufiges Verfahren festgestellt werden. (Auf die Berichtlegung als dritten Schritt in einem Peer Review wird weiter unten eingegangen.) Ausnahme ist das Europäische Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1), da in diesem Projekt keine eigenständige Peer Reviews durchgeführt wurden, die Peers vielmehr bereits in der Selbstevaluierungsphase hinzugezogen wurden. (Zur Diskussion, ob in diesem Fall noch von einem Peer Review gesprochen werden kann, s.u. Kapitel 7.18.1 und Kapitel 8). Die Selbstevaluierungen werden jedoch nicht in allen Fällen als direkte Vorbereitungen für das Peer Review durchgeführt, sondern es kann auch auf bereits bestehende Daten und Dokumente zurückgegriffen. Diese Vorgangsweise zeigt sich v.a. bei den Fallbeispielen, in denen Bildungseinrichtungen selbst initiativ werden (Fallbeispiele 2 teilweise auch in 5) bzw. auch in den beiden Fällen, wo das Peer Review als Probelauf für das ISO-Audit dient (Fallbeispiele 3 und 4). Im Falle der Heideschule wurde z.B. das Schulprogramm als Basisdokument für das Peer Review verwendet, in den ISO-basierten Peer Reviews die von ISO geforderten Qualitätsdokumente. Diese Vorgangsweise ist im Zusammenhang mit dem oft hohen Ressourcenaufwand für die Erhebung von Daten zu sehen: Sie erhöht daher einerseits die Durchführbarkeit eines Peer Reviews, das nicht durch zu umfangreiche, überfordernde Selbstevaluierungen gefährdet werden soll, andererseits ist gerade in Zeiten knapper werdender Ressourcen eine Nutzung bereits bestehender Daten und Evaluierungsergebnisse (z.B. von im Rahmen von Qualitätsmanagement routinemäßig erhobenen Daten) wirtschaftlich sinnvoll und notwendig. In der Vorbereitung des Peer Reviews können dann nach Bedarf zusätzlich Informationen erhoben bzw. Daten aktualisiert werden. Diese Vorgangsweise kommt v.a. für Bildungseinrichtungen in Frage, die bereits Evaluationserfahrung mitbringen. In den Pilotprojekten (Fallbeispiele 6 und 7) sowie in den staatlich reglementierten Evaluierungsverfahren (Fallbeispiele 9 und 10), aber auch im niederländischen Beispiel des Peer Reviews in ROC Aventus (Fallbeispiel 8) sind die die Selbstevaluierungen direkt auf die nachfolgende Peer Reviews ausgerichtet

7.5 Ziele und Funktionen von Peer Review

197

(vgl. dazu auch Kapitel 7.11). In den Modellprojekten geht es ja vor allem darum, auch die Selbstevaluierung der Bildungseinrichtungen zu fördern und entsprechende Kompetenzen in den Schulen aufzubauen (s. auch unten). Dafür stehen dann im Rahmen der Projekte zusätzliche Ressourcen – v.a. in Form von Zeitkontingenten für die mit der Evaluierung befassten LehrerInnen – zur Verfügung. Die beschriebenen staatlich regulierten Peer Review orientieren sich sehr stark an den im tertiären Sektor verwendeten Verfahren, in denen die Selbstevaluierung als erste Verfahrensstufe grundlegende Vorarbeiten für das nachfolgende Peer Review leistet. Eine interessante Variante bietet das Peer-Review-Verfahren an den finnischen Gastgewerbeschulen, in dem alle beteiligten Schulen  und nicht nur die gastgebende Schule  wichtige Indikatoren erheben und auswerten und in einem Bericht vorab übermitteln müssen. Das Verfahren steht damit zwischen einem Benchmarking-Verfahren und einem Peer Review. 7.5 Ziele und Funktionen von Peer Review95 7.5.1 Definitionen Evaluationen können verschiedene Ziele verfolgen, wodurch sie auch unterschiedliche Funktionen übernehmen. Eine gängige Unterscheidung betrifft die zwischen der formativen Funktion und der summativen Funktion. Mit der formativen Funktion wird das Ziel der internen Steuerung und Verbesserung verbunden, mit der summativen Funktion eine abschließende Bewertung zur Rechenschaftslegung bzw. Kontrolle und Legitimierung: Die formative Evaluation (Verbesserungsevaluation) setzt sich zum Ziel, Ansatzpunkte zur Verbesserung aufzuzeigen und damit systeminterne Lernprozesse auszulösen. Die primären Adressaten einer formativen Evaluation sind demzufolge innerhalb des Systems zu finden. Die summative Evaluation (Bilanzevaluation) hingegen ist eher auf Adressaten außerhalb der Systemgrenzen ausgerichtet. Sie soll Verantwortlichkeit gegenüber Außenstehenden erzeugen, Entscheidungsgrundlagen zur

95 In einer anderen Art und Weise verwenden Beywl und Speer (2004, 12) den Begriff „Funktion“: Sie verstehen darunter die Unterscheidung von „proaktiver Evaluation“, „klärender Evaluation“, „ interaktiver Evaluation“, dokumentierender Evaluation“, wirkungsfeststellender Evaluation“. Das, was ich unter Ziele und Funktionen verstehe, wird von Beywl und Speer als „Evaluationszwecke“ bezeichnet, im Unterschied zu den „Programmzielen“ des Evaluationsgegenstands (Beywl/Speer 2004, 15).

198

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien Verfügung stellen oder zur Systemlegitimation beitragen. (Widmer 2004, 86, Hervorhebung durch Widmer)

Mit „formativ“ wird weiters „aktiv-gestaltend, prozessorientiert, konstruktiv und kommunikationsfördernd“ assoziiert, mit „summativ“ „zusammenfassend, bilanzierend, ergebnisorientiert“ (Stockmann 2004, 17). Zusätzlich gibt es eine zeitliche Komponente dieser Begriffe  formative Evaluierung als begleitende Evaluierung oder Zwischenevaluierung bzw. summative Evaluierung als abschließende Evaluierung am Ende eines Programms oder einer Maßnahme. Auf die Relevanz dieser Konnotationen im Kontext der Evaluierung von Bildungseinrichtungen wird weiter unten eingegangen (s. Kapitel 8). Mit beiden Ansätzen wird für gewöhnlich auch die Steuerungsfunktion (Stockmann 2004, 18f.) von Evaluation unterstützt, die eine zentrale, wenn nicht die zentrale Funktion einer Evaluation darstellt. Damit ist gemeint, dass die Ergebnisse von Evaluationen der Entscheidungsfindung dienen. Für die Nutzung von Evaluationen ist die Steuerungsfunktion von allergrößter Bedeutung. In der oben genannten Definition der formativen Funktion ist die Steuerungsfunktion bereits eo ipso enthalten, die Steuerungsfunktion ist jedoch auch für summative Evaluationen von Bedeutung. Sie kommt nur dann nicht zum Tragen, wenn es um reine Legitimationsinteressen oder abschließende Bewertungen geht, die keinerlei weitere Konsequenzen nach sich ziehen. Wenn formative Evaluierungen eher mit internen AuftraggeberInnen und summative Evaluierungen mit externen AuftraggeberInnen in Verbindung gebracht werden, unterscheiden sich die beiden Ansätze vor allem in Bezug auf den Ort der Steuerung des Evaluierungsverfahrens (s.o. Kapitel 7.3.2), wobei die Entscheidung über die Konsequenzen der Evaluierung  im Sinne der oben genannten Steuerungsfunktion  dann meist auch bei den jeweils für die Ausgestaltung verantwortlichen Stellen liegt.96 Andere im vorliegenden Kontext bedeutsame Funktionen von Evaluationen97 sind v.a. die Dialog-/Lernfunktion (Stockmann 2004, 18f.98) sowie die PRFunktion (Posch/Altrichter 1997, 2799).

96 Diese Zuordnung ist die gebräuchlichste, es kann jedoch auch z.B. eine externe, übergeordnete Stelle eine interne Evaluierung einer Einrichtung anordnen, die Gestaltung und Durchführung sowie die Entscheidung über mögliche Konsequenzen aber bei der Einrichtung belassen. Eine andere Möglichkeit wäre, dass eine intern gesteuerte Evaluierung von einer externen Einrichtung durchgeführt wird. Zu den verschiedenen Varianten vgl. auch Widmer 2004, 85f. 97 Die Erkenntnisfunktion von Evaluierung (vgl. z.B. Stockmann 2004, 19) ist m.E. derart grundlegend, dass sie für jede Evaluierung gelten muss, anderenfalls es sich um eine Pseudo- oder Fassadenevaluation handelt.

7.5 Ziele und Funktionen von Peer Review

199

7.5.2 Analyse Die vorgestellten Peer-Review-Verfahren haben vornehmlich eine formative, d.h. begleitende und entwicklungsunterstützende Funktion. AdressatInnen der Evaluierung sind primär die Einrichtungen selbst, die die Evaluierungsergebnisse für die interne Orientierung und Selbstvergewisserung sowie für die Weiterentwicklung ihrer Praxis nutzen sollen (vgl. v.a. Fallbeispiele 1 bis 6, zu Fallbeispiel 7 siehe unten). Zusätzlich haben die Evaluierungen durch die Peers jedoch in einigen Fällen auch die Funktion der Öffnung der Institution nach außen sowie der Imagepflege. Das in Beispiel 2 geschilderte Peer Review an der Heideschule z.B. zielt auch explizit darauf ab, die Schule bei den Peers, die in diesem Fall relevante Stakeholder repräsentieren, in einem guten Licht erscheinen zu lassen. Von der Information der Betroffenen und Beteiligten (zu denen auch die Behörden zählen) zur Rechenschaftslegung ist der Weg nicht mehr weit. Gerade in den Modellprojekten, an denen die öffentliche Verwaltung ein besonderes Interesse hat, dienen die Peer Reviews auch dazu, Qualität an den evaluierten Einrichtungen sichtbar zu machen. Auch gibt es Anzeichen dafür, dass mit zunehmender Evaluationserfahrung die Bildungseinrichtungen selbst stärker an einer Außenwirkung interessiert sind. So wird im Berner Intensivprojekt Schule (Fallbeispiel 7), das in seinen Anfängen hauptsächlich formativ orientiert war, die Rechtfertigungsfunktion mittlerweile auch von den beteiligten Schulen stärker in den Vordergrund gerückt. Gleichzeitig sei auch auf den möglichen Dienstleistungscharakter der Peer Reviews hingewiesen: Deutlich wird dieser in den beiden Modellprojekten eiver und IPS (Fallbeispiele 6 und 7), wo jede Schule im Vorfeld des Peer Reviews

98 Die vier Funktionen von Evaluationen sind laut Stockmann: die Erkenntnisfunktion (zu Wirksamkeit und Akzeptanz des Gegenstandes), die Kontrollfunktion (zur Unterstützung von Entscheidungen), die Dialogfunktion (Einbeziehung der Beteiligten sorgt für Transparenz und Qualität) und die Legimitationsfunktion (zur Dokumentation der Effizienz des Gegenstands und der eingesetzten Mittel) (vgl. Stockmann 2004, 18f). 99 Laut Posch/Altrichter (1997, 27) gibt es folgende vier Funktionen von Evaluation: 1) Steuerungsfunktion: Qualitätsevaluation wird hauptsächlich zur Steuerung von Entwicklungsprozessen und für inhaltliche Entscheidungen über die Gestaltung eines Arbeitsprozesses durchgeführt. 2) Rechtfertigungsfunktion: Qualitätsevaluation dient der Legitimation von Produkten oder Dienstleistungen bzw. des erfolgten Aufwands und wird meist strategischen Entscheidungen zugrunde gelegt; 3) PR-Funktion: Qualitätsevaluation dient der Öffentlichkeitsarbeit und der Erhöhung der Sichtbarkeit schulischer Leistungen; 4) Kontrollfunktion: Qualitätsevaluation wird als Mittel hierarchischer Machtausübung und zur Stabilisierung bestehender Hierarchien verwendet. Letztere Funktion mag in der Realität vorkommen, erscheint aber m.E. nicht als kompatibel mit dem Ziel der Herstellung, Entwicklung und Gewährleistung von Bildungsqualität.

200

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Evaluierungsfragen zu aktuellen Problemen oder besonders bedeutsamen Qualitätsbereichen formuliert. Aufgabe der Peers ist es, der Schule ein Feedback zu diesen Fragestellungen zu geben. Auch in EVIT (Fallbeispiel 10) können Schulen für den Schulbesuch eigene Fragestellungen einbringen, zu denen sie eine externe Rückmeldung einholen wollen. V.a. im letzteren Fall, aber auch im Intensivprojekt Schule werden dadurch formative und summative Zielsetzungen verknüpft. In den beiden Fallbeispielen, in denen eine Form von Peer Review explizit für externe Kontrolle und Steuerung verwendet wird (Fallbeispiele 9 und 10), steht die summative, abschließend-bewertende Funktion im Vordergrund. AdressatInnen sind vor allem die Bildungsverwaltung bzw. im Falle Schottlands auch die Finanzierungsstellen („funding councils“). Weiters soll durch die Peer Reviews auch einer Rechenschaftspflicht gegenüber anderen Betroffenen und Beteiligten, wie z.B. Lernenden und ihre Eltern, Arbeitgebern, weiterführende Bildungseinrichtungen etc., nachgekommen werden. Dies zeigt sich. bei den schottischen Inspektionen, deren Ergebnisse einer breiten Öffentlichkeit zugänglich gemacht werden. Auch bei diesen auf Kontrolle und Rechenschaftslegung ausgelegten Peer Reviews wird auf die formativen Aspekte nicht verzichtet: Die Evaluierungsergebnisse dienen als Grundlage für Verbesserungen, die von den Bildungseinrichtungen im Anschluss an das Review verpflichtend durchzuführen sind. In den beiden genannten Fallbeispielen werden die Maßnahmen den Einrichtungen von der Schulaufsicht jedoch nicht aufoktroyiert, sondern gemeinsam diskutiert und vereinbart. Eine ähnliche Vorgangsweise findet sich auch im Intensivprojekt Schule (Fallbeispiel 7), in dem neben den evaluierten Bildungseinrichtungen und der IPS-Projektleitung auch Schulbehörden in das Follow-upVerfahren involviert sind. Die geplante Umsetzung von Maßnahmen wird im Intensivprojekt Schule vertraglich zwischen Schule und Behörde festgeschrieben. Einen Sonderfall stellen wiederum die Peer-Review-Verfahren an niederländischen Berufsbildungszentren dar. Diese sind primär formativ und unterstützen die Einrichtungen in ihrer Entwicklung. Gleichzeitig kann ein zufrieden stellendes Ergebnis der Selbstevaluierung in den für die Schulaufsicht relevanten Bereichen gemeinsam mit einem positiver Peer-Bericht Erleichterungen bei den offiziellen Inspektionen bedeuten. Prinzipiell wird in allen beschriebenen Peer-Review-Verfahren sowohl das Ziel der Qualitätsentwicklung als auch das Ziel der Qualitätssicherung verfolgt. Damit scheinen die beiden wichtigsten Ziele der Qualitätsevaluierung durch ein Verfahren abgedeckt werden zu können. Es ist dabei jedoch nach den AdressatInnen bzw. dem Ort der Steuerung zu fragen. AddressatInnen der Peer Reviews können je nach Fallbeispiel eher die Bildungseinrichtungen selbst oder

7.5 Ziele und Funktionen von Peer Review

201

äußere Stakeholder bzw. die Schulaufsicht sein. So liegt in den oben genannten, formativen Verfahren die Entscheidung über die Konsequenzen des Peer Reviews bei den Bildungseinrichtungen selbst, während in den summativ genannten Verfahren eine externe Stelle (z.B. die Schulaufsicht oder eine andere Behörde) die Beseitigung von Mängeln vorschreibt. Auch wenn die Bildungseinrichtung im zweiten Fall die konkrete Umsetzung für gewöhnlich mitbestimmen kann (sie muss die Maßnahmen ja auch implementieren), geht der Anstoß für Veränderungen primär von der externen, im Bildungssystem hierarchisch übergeordneten Stelle aus. Es erscheint plausibel, dass selbstverantwortete Entwicklungen anders verlaufen und andere Ergebnisse zeitigen als verordnete. So kann die Behörde meist nur die Einhaltung von Mindeststandards einfordern, eine darüber hinausgehende Orientierung an den Maximalstandards kann sie schwerlich durchsetzen. Gute bzw. beste Praxis kann letztlich nur von den handelnden Personen in den Bildungseinrichtungen selbst aus Eigenmotivation und in eigener Verantwortung hergestellt werden. Je stärker die Kontrollfunktion und die Rechenschaftslegung nach außen, desto mehr scheint bei den Bildungseinrichtungen das abzunehmen, was als „Ownership“ der Prozesse bezeichnet wird: Es gibt Anzeichen dafür, dass eine gänzlich von außen gesteuerte Evaluierung nur bedingt für die interne Qualitätsentwicklung als relevant empfunden wird. So hat z.B. Aberdeen College zusätzlich zu den (intern immer noch als „Inspektionen“ bezeichneten) staatlichen Reviews freiwillige Netzwerke mit anderen Bildungseinrichtungen zum gemeinsamen Qualitätsvergleich aufgebaut. Die PartnerInnen in diesen Netzwerken werden als tatsächliche Peers wahrgenommen, die Kooperationen scheinen wichtige Informationen und Anstöße für die Qualitätsarbeit zu geben, die im Rahmen der Inspektionen nicht geboten werden. Was den Aspekt der Qualitätssicherung betrifft, so kann dieser, wie oben gezeigt, auch in formativen Verfahren zum Tragen kommen. Es handelt sich dabei jedoch eher um das Ziel einer internen Orientierung und Selbstvergewisserung. Inwieweit eine formative, entwicklungsbezogene Evaluierung auch als Rechenschaftslegung nach außen dienen kann, hängt davon ab, wie sehr sich die Evaluierung an die Betroffenen und Beteiligten wendet, die als AdressatInnen für eine Rechenschaftslegung in Frage kommen bzw. auch davon, ob diese AdressatInnen eine von der Bildungseinrichtung eigenverantwortlich geplante und umgesetzte Evaluierung als ausreichend objektiv und verlässlich einstufen. Die Lern- und Dialogfunktion ist v.a. bei den formativen Verfahren (Fallbeispiele 1 bis 7) sowie im Falle von ROC Aventus (Fallbeispiel 8) von sehr großer Bedeutung. Die Wahl des Peer Reviews als externes Verfahren ist in den Fallbeispielen, in denen in einem Netzwerk kooperiert wird, eng mit dem Ziel des gegenseitigen Erfahrungsaustausches, des Vergleichs und des VoneinanderLernens verknüpft (Fallbeispiele 3 bis 8). In diesen Peer-Review-Modellen sind

202

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Peers und Evaluierte einander tatsächlich mehr oder minder gleichgestellt, die Kommunikation ist also symmetrisch, beide PartnerInnen im Peer Review können und sollen profitieren. Anders in den summativen, den Bildungseinrichtungen vorgeschriebenen Verfahren. Hier wird zwar auch Wert auf Austausch gelegt im Sinne einer gemeinsamen Diskussion zwischen Peers und VertreterInnen der Institution über die Ergebnisse des Reviews, die Einrichtung hat auch noch gewisse Verhandlungsmöglichkeiten (vgl. Fallbeispiel 9), letztlich besteht jedoch ein Machtgefälle zwischen den „InspektorInnen“ und den von ihnen Inspizierten. Auch wenn die EvaluatorInnen im Rahmen ihrer Tätigkeit Erfahrungen machen und etwas Neues (kennen)lernen können, so ist weder dies noch der Austausch mit den evaluierten Institutionen vornehmliches Ziel des Peer Reviews. Ein weiterer wichtiger Aspekt ist der Aufbau von Evaluationskompetenz an den Bildungseinrichtungen. Dieser nicht nur Ziel, sondern auch eine wichtige Vorbedingung für die Durchführung sowohl der Selbstevaluation als auch des Peer Reviews. Welche Maßnahmen in den einzelnen Peer-Review-Modellen zur Qualifizierung der Peers gesetzt werden, soll weiter unten genauer erörtert werden. Hier sei darauf hingewiesen, dass v.a. in den Modellprojekten der Aufbau von Evaluationswissen und -erfahrung in den Kollegien ein zentrales Ziel darstellt. Den Peer Reviews kommt damit auch eine Qualifizierungsfunktion zu. Die betrifft das Modellprojekt eiver (Fallbeispiel 6), in dem anhand der Peer Reviews und deren Vorbereitung die Evaluationskompetenz an den Schulen gefördert werden soll. Auch im Intensivprojekt Schule (Fallbeispiel 7) spielt der Qualifizierungsaspekt eine wichtige Rolle. Weiters kann eine Erweiterung von Erfahrung und Wissen der am Prozess beteiligten Personen in jedem Peer Review, wenn schon nicht ein intendiertes Ziel, so doch ein willkommener (Neben)Effekt sein. 7.6 Explizite oder implizite Evaluierungskriterien und Standards Hier soll nicht der Frage nachgegangen werden, welche Standards konkret in den verschiedenen Fallbeispielen für die Bewertung der Qualität durch die Peers maßgeblich sind, sondern in welchem Ausmaß sie explizit und damit als Beurteilungskriterien für alle Beteiligten transparent sind. In den staatlich regulierten Verfahren werden genaue Angaben über die zu evaluierenden Qualitätsbereiche gemacht sowie Indikatoren für qualitätvolle Arbeit, Strukturen, Prozesse und Ergebnisse in diesen Bereichen gelistet100. Die

100 Ob diese Qualitätsbereiche und Indikatoren die Realität in jedem Fall ausreichend abbilden, ist eine Frage, die hier zu weit führen würde. Auf jeden Fall muss berücksichtigt werden, dass es sich

7.6 Explizite oder implizite Evaluierungskriterien und Standards

203

Indikatoren sind zum größten Teil qualitative Leistungsindikatoren (Performance Indicators). Die Vorgaben haben für alle Einrichtungen Geltung und unterstützen damit die Vergleichbarkeit der Evaluierungen und deren Ergebnisse. Im Falle des schottischen Review (Fallbeispiel 9) gibt es offizielle Angaben dazu, welche Bewertungen vergeben werden können. Zusätzlich werden die Beurteilungskriterien durch Fallbeispiele veranschaulicht. Ähnliches gilt für den von ROC Aventus verwendeten Qualitätsrahmen für Selbstevaluationen: Qualitätsindikatoren sind sehr konkret formuliert und es werden Entscheidungsregeln angegeben zur Beurteilung der Einhaltung der (Mindest)Standards (Fallbeispiel 8). Auch im Verfahren „Evaluation im Team“ (Fallbeispiel 10), wird das Qualitätsverständnis durch verbindliche Qualitätsbereiche, die durch Indikatoren weiter definiert sind, erläutert. Zusätzlich werden sowohl durch einheitliche Fragebogenerhebungen als auch durch die Auswertung von Monitoringdaten (Schuldaten, Vergleichsarbeiten von SchülerInnen) für alle Schulen vergleichbare Ergebnisse erzeugt. Bei aller Standardisierung der Qualitätsbereiche und -kriterien in den oben genannten Verfahren bleibt jedoch immer individueller Spielraum, da die Bewertung der vorgefundenen Daten und Sachverhalte letztlich immer zu einem gewissen Teil im Ermessen der Evaluierenden liegt. In den anderen Fallbeispielen sind die Beurteilungskriterien nicht von vornherein festgelegt, können sich aber an vorhandenen Standards orientieren. Im niederländischen Beispiel (Fallbeispiel 8) ist dies der Qualitätsrahmen der Inspektion, in den beiden ISO-basierten Peer Reviews (Fallbeispiele 3 und 4) sind es die ISO-Standards (die allerdings Verfahrensstandards für ein Qualitätsmanagementsystem darstellen und keine auf Bildungsqualität bezogenen Standards) und im Fall der finnischen Gastgewerbeschulen (Fallbeispiel 5) Indikatoren, die auf dem EFQM-Ansatz und dem Finnish Quality Award basieren. Im katalonischen Projekt (Fallbeispiel 3) wurden mittlerweile auf der Basis von EFQM v.a. für den Bereich der „Ergebnisse“ Indikatoren entwickelt. Generell kann aber davon ausgegangen werden, dass gerade die offenen Peer-Review-Verfahren, die der Diskussion zwischen Evaluierten und Evaluierenden viel Raum geben, zu einer Auseinandersetzung mit den der Evaluierung zugrunde liegenden Bewertungskriterien führen können. Dies ist insbesondere dann zu erwarten, wenn Beurteilungen der Peers für die evaluierte Einrichtung nicht nachvollziehbar sind und diese Auffassungsunterschiede auch thematisiert werden können. Dass dazu Raum, Zeit und v.a. eine hohe Konfliktbereitschaft aller Beteiligten notwendig sind, liegt auf der Hand. Die in Peer Reviews gängi-

dabei nur um eine Auswahl von Items handelt, von denen angenommen wird, dass sie für die Qualität von Bildungsangeboten von Bedeutung sind. Eine gewisse Skepsis bezüglich der Gültigkeit der ausgewählten Indikatoren ist angebracht.

204

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

ge Praxis, Evaluierungsberichte der Peers durch die evaluierte Einrichtung auf faktische Richtigkeit und grobe Missverständnisse überprüfen zu lassen, reicht dafür nicht aus. In den Fallbeispielen, in denen Peer Reviews auf freiwilliger Basis durchgeführt werden, wird dem Austausch zwischen Peers und Personen aus der betroffenen Bildungseinrichtung ein hoher Stellenwert eingeräumt (vgl. Fallbeispiele 1 bis 7101), in den meisten Fällen geht es auch darum, durch die Peer Reviews mit den Kooperationspartnereinrichtungen im Netzwerk ein gemeinsames Qualitätsverständnis und gemeinsame Evaluierungsmethoden zu entwickeln (vgl. Fallbeispiele 3 bis 7). Dies bedeutet, dass diese Peer-ReviewVerfahren durch ihre kommunikative Ausrichtung den Beteiligten die Chance bieten, eigene Qualitätsvorstellungen transparent zu machen und gemeinsame Standards auszuhandeln. Diese können allerdings von Einrichtung zu Einrichtung und von Peer Review zu Peer Review unterschiedlich ausfallen, weshalb sich diese Herangehensweise nicht dazu eignet, ad hoc ein einheitliches Kontrollverfahren zu implementieren, wohl aber dazu, über längere Zeit hinweg bottom-up und durch Vernetzung den Aufbau eines von den Bildungseinrichtungen getragenen Qualitätsverständnisses zu fördern. 7.7 Gegenstand des Peer Reviews (Qualitätsbereiche) 7.7.1 Umfang des Evaluationsgegenstands Der Umfang des Peer Reviews im Sinne der im Rahmen des Peer Reviews zu evaluierenden Qualitätsbereiche ist, wie bereits oben erwähnt, in den staatlich regulierten Verfahrensmodellen strikt vorgegeben, in den auf Freiwilligkeit beruhenden Verfahren nur zum Teil bzw. werden die konkreten Fragestellungen erst während des Evaluierungsprozess festgelegt. Selbstverständlich haben Anzahl und Umfang der Qualitätsbereiche, die ihrerseits in Abhängigkeit von der Funktion und der Steuerung des Verfahrens zu sehen sind, auch einen direkten Einfluss auf die Dauer des Verfahrens und die benötigten Ressourcen. Freiwillige, selbstinitiierte Peer Reviews zum Zweck der Qualitätsentwicklung sind daher eher kurz und bündig, stark fokussiert auf aktuelle Probleme und Fragestellungen und vergleichsweise weniger aufwändig. Wenn es um umfassende Rechenschaftslegung geht, müssen alle vorgegebenen

101 Fallbeispiel 8 nimmt in dieser Frage wieder eine Zwischenposition ein, da einerseits die Peers tatsächlich gleichwertige PartnerInnen sind, die Auseinandersetzung aber nicht in dem Ausmaß gewünscht ist wie in den anderen auf Freiwilligkeit basierenden Verfahren.

7.7 Gegenstand des Peer Reviews (Qualitätsbereiche)

205

Qualitätsbereiche evaluiert werden, das kostet Zeit und benötigt beträchtliche Personalressourcen. Zusätzlich ist gerade bei den auf Freiwilligkeit basierenden Evaluierungsprojekten die Frage der Evaluierungserfahrung der Einrichtungen von Bedeutung: Je geringer die Evaluierungserfahrung, desto wichtiger ist es, „kleine Schritte“ zu gehen. Dies wurde im Pilotprojekt zur Selbstevaluierung von Schulen berücksichtigt, das zwar 12 Themenbereiche, in denen Ergebnisse, Prozesse auf der Ebene des Unterrichts, Prozesse auf der Ebene der Schule und die Kooperation mit dem Umfeld abgebildet wurden, für die Selbstevaluierung vorgab, aus denen die einzelne Schule aber nur vier bis fünf für eine eingehendere Evaluierung auswählen musste. Auch in den Modellprojekten eiver und IPS konzentriert sich die Evaluierung auf bestimmte Fragestellungen. In eiver (Fallbeispiel 6) behandeln die drei Evaluierungsverbünde jeweils ein Thema: entweder die Qualität der Ausbildungsverbünde oder die nachhaltige Wirkung von Fortbildungen oder die Abstimmung des Angebots mit dem regionalen Bedarf. Im ersten Durchgang (erstes Quartal 2005) befassten sich die Peer Reviews mit der Qualität der Evaluierungsplanung, im zweiten Durchgang wurde die Durchführung der Selbstevaluierung metaevaluiert, der Gegenstand des dritten Peer-Review-Durchgangs ist noch nicht geklärt. Im Intensivprojekt Schule (Fallbeispiel 7) wurden die Fragestellungen ursprünglich von den beteiligten Schulen selbst nach Bedarf und Interesse frei gewählt102, mittlerweile soll ein Grundraster an Qualitätsbereichen, der die Qualitätsziele der Erziehungsdirektion zusammenfasst, für Orientierung sorgen. Die vier den IPS-Schulen für die Selbstevaluierung empfohlenen Bereiche umfassen die Themen Unterrichten, Beziehungen, Lernergebnisse und Strukturen/Ressourcen. In den Peer Reviews sind aber pro Schule nur jeweils zwei von den Schulen gewählte Fragestellungen Gegenstand. Ebenso werden in den Peer Reviews des Netzwerks finnischer Gastgewerbeschulen und in den an der Heideschule durchgeführten Peer-Evaluierungen die Evaluationsgegenstände von den beteiligten Schulen für das jeweilige Review definiert. Auch hier handelt es sich um eine Auswahl aktueller Themen. In Peer-Review-Verfahren können Institutionen jedoch auch umfassend evaluiert werden. So behandeln die Reviews im katalanischen Qualitätsprojekt und im Netzwerk der Salesianer in Piemont (Fallbeispiele 3 und 4), sämtliche im Rahmen von ISO vorgegebenen Bereiche, die inhaltlich an die Prozesse in Be-

102 Im ersten Durchgang 1999 wurden den Schulen keine Vorgaben bezüglich der Fragestellungen gemacht, lediglich 2 Fragen wurden an allen Schulen gestellt. (Es waren dies Fragen 1) zur Zufriedenheit der Anspruchsgruppen mit dem vermittelten Kompetenzen sowie 2) zur Qualität der Rückmeldungskultur.) (vgl. Stamm/Büeler 1999, 8 und 13f.)

206

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

rufsbildungseinrichtungen angepasst wurden. In den katalanischen Reviews (Fallbeispiel 3) werden die strategische Prozesse (Curriculaentwicklung, Budgetplanung, Qualitätsplanung etc.), die Schlüsselprozesse (Kommunikation, Lernen etc.) und die unterstützenden Prozesse (EDV, Aus- und Weiterbildung der Lehrenden, Qualitätssicherung, Gesundheit und Sicherheit etc.) evaluiert. In den Peer Reviews der Berufsbildungszentren des Salesianerwerks (Fallbeispiel 4) wird zusätzlich auch die Erfüllung der regionalen Akkreditierungsbestimmung überprüft. Die im Netzwerk erarbeiteten Schlüsselbereiche für die Evaluierung sind das Verhältnis mit den Lernenden und deren Familien, die Qualifikationen und Kompetenzen der Lehrenden, Design und Inhalte der Curricula, die Lehrund Lernergebnisse sowie das Beschaffungswesen und die Wartung der Ausstattung. Ein bedeutender Teil der für Bildungsqualität relevanten Aktivitäten, Prozesse und Strukturen werden auch in den Peer Reviews am Trainingszentrum Aventus (Fallbeispiel 8) abgedeckt, da diese sich, wie erwähnt, am Qualitätsrahmen für Selbstevaluierung des Inspektorats orientieren. Dabei geht es einerseits um Maßnahmen und Systeme zur „Qualitätssicherung und Qualitätsentwicklung“, andererseits um die beiden Kernbereiche „Lehren und Lernen (Prozesse)“ und „Ergebnisse“. Die Qualitätsbereiche werden, wie oben bereits erwähnt, durch Mindeststandards in Form von Indikatoren genau definiert. In EVIT (Fallbeispiel 10) sind sechs Qualitätsbereiche vorgegeben: Bildungs- und Erziehungsprozesse, Schulische Effekte, Lern- und Arbeitsbedingungen, die Leitung der Schule, Qualitätsmanagement, Kooperation. Für jeden der Bereiche sind zwischen sechs und zehn Indikatoren zu erfüllen (vgl. MBWFK Schleswig-Holstein 2004, 12). Noch detaillierter ist auch der für die Peer Reviews/Inspektionen an den schottischen „Further Education Colleges“ geltende Qualitätsrahmen (Quality Framework for Scottish Further Education Colleges). Er sieht zwei Bereiche vor: einen für die „Subject Reviews“, d.h. die Evaluierung der einzelnen Fachbereiche an den Colleges und einen für die „Institutional Review“. Die Subject Reviews (Bereich A – Curriculumressourcen, Prozesse und Ergebnisse) umfassen folgende Elemente: Programmgestaltung, Gebäude und Infrastruktur (Accommodation and facilities for learning and teaching), Ausstattung, Personal, Lehr/Lernprozesse, Beurteilung, Fortschritt der Lernenden und Ergebnisse, Beratung und Unterstützung der Lernenden, Qualitätssicherung und Qualitätsverbesserung. Für die College Review (Bereich B – Leadership und Qualitätsmanagement) sind folgende Qualitätsbereiche zu evaluieren: Pädagogische Führung, Orientierung und Management; Zugang und Integration; Beratung und Unterstützung; Ressourcen und Dienstleistungen für die Unterstützung der Lernenden; Personal; Qualitätssicherung; Qualitätsverbesserung. Die Qualitätsbereiche für

7.7 Gegenstand des Peer Reviews (Qualitätsbereiche)

207

beide Reviews sind durch eine Reihe von Qualitätsindikatoren (die durch „Schlüsselstichworte“ sowie Angaben von möglichen Informationsquellen weiter erklärt werden) näher bestimmt. Zusätzlich kann in manchen Fällen zwischen den in der Selbstevaluierung behandelten Qualitätsbereichen und den Themen des Peer Reviews unterschieden werden. So wählen im Intensivprojekt Schule (Fallbeispiel 7) die Schulen nach der Selbstevaluierung zwei für sie bedeutsame Fragestellungen aus, zu denen sie durch das Peer Review Rückmeldungen erwartet. Nur diese – und nicht sämtliche in der Selbstevaluierung behandelte Bereiche  sind Gegenstand des Peer Reviews. Zusammenfassend lässt sich sagen, dass in den untersuchten Peer-ReviewModellen sowohl fokussierte Evaluierungen (Fallbeispiel 1, 2, 5, 6, 7) durchgeführt werden, die auf bestimmte, besonders relevante Themenbereiche abzielen, als auch umfassende Evaluationen stattfinden (Fallbeispiele 3, 4, 8, 9, 10). Fokussierte Evaluierungen finden sich nur in den auf Freiwilligkeit basierenden, formativen Peer Reviews. 7.7.2 Lehren und Lernen als zentraler Evaluationsgegenstand Lehren und Lernen als „Schlüsselprozess“ findet sich in allen Verfahren als zentraler Gegenstand von Selbstevaluierung und Peer Review: Im Projekt zur Selbstevaluierung an Schulen war eine Evaluierung der Prozesse auf der Ebene des Unterrichts verpflichtend. Auch im Review an der Heideschule (Fallbeispiel 2) wurde der Unterricht evaluiert. Im katalanischen Qualitätsprojekt (Fallbeispiel 3) wird Lernen als Schlüsselprozess im Rahmen des Reviews untersucht und bewertet. In den Peer Reviews im Netzwerk der Salesianer in Piemont (Fallbeispiel 4) werden sowohl Design und Inhalte der Curricula als auch Lehr-und Lernergebnisse evaluiert (der Lehr-Lernprozess jedoch vom staatlichen Evaluierungsinstitut INVALSI). Auch in den Peer Reviews an finnischen Gastgewerbeschulen ist Lehren und Lernen – trotz des Themenwechsels von Review zu Review – immer in einem gewissen Ausmaß Thema. Im Modellprojekt eiver (Fallbeispiel 6) ist die Qualität von Lehren und Lernen mittelbar Evaluationsgegenstand, sie wird in jedem der drei Evaluierungsverbünde aus einer anderen Perspektive einbezogen – als Qualität der Lernortkooperation zwischen Schule und Betrieb, als Ziel von Fortbildungen und deren Dissemination in der Schule sowie als Folge der Anpassung des Bildungsangebots an regionale Bedarfe. Der Unterricht selbst wird jedoch nicht evaluiert. Im Intensivprojekt Schule (Fallbeispiel 8) ist „Unterrichten“ einer der vier Evaluationsgegenstände, die Kernaufgabe Unterricht ist auch im Qualitätsrah-

208

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

men der Erziehungsdirektion vorgeben. Bislang konnten die Schulen ihre Fragestellungen jedoch frei wählen. Eine Analyse der Review-Themen ergab, dass die meisten Schulen einen Schwerpunkt im Qualitätsbereich „Beziehungen“ gesetzt hatten, in vielen Peer Reviews jedoch auch Aspekte von Lernen und Lehren (z.B. Evaluierung der Lehr- und Lernarrangements sowie der sozialen Beziehungen im Unterricht) evaluiert wurden (vgl. Strahm 2004a, 11. In den Reviews an ROC Aventus (Fallbeispiel 8), den schottischen Subject Reviews (Fallbeispiel 9) und den Evaluationen im Team in Schleswig-Holstein (Fallbeispiel 10) ist Lehren und Lernen zentraler Gegenstand der Evaluierung und zwar sowohl hinsichtlich der Prozessqualität als auch der Qualität der Ergebnisse. 7.7.3 Peer Review als Meta-Evaluation der Qualitätsevaluierung bzw. des Qualitätsmanagementsystems Darüber hinaus kann die Frage gestellt werden, ob die Peer-Review-Verfahren auch eine Meta-Evaluation des Qualitätsmanagementsystems (vgl. das Institutional Audit im Hochschulbereich, s. Kapitel 5) umfassen: Dies ist in Schottland im Rahmen der „College Review“ der Fall (Fallbeispiel 9) sowie auch in den ISObasierten Reviews (Fallbeispiele 3 und 4), in denen es ja vorrangig um die Beurteilung des Qualitätsmanagements geht. In den Reviews der finnischen Gastgewerbeschulen (Fallbeispiel 5) wurde bereits einmal das Qualitätsmanagement bewertet. Eine Beurteilung des Qualitätsmanagements ist auch in EVIT (Fallbeispiel 10) Gegenstand des Peer Reviews, wie eine institutionelle Evaluierung im Sinne des Institutional Audit grundsätzlich auch in allen anderen vorgestellten Verfahren möglich ist. Die Trennung zwischen der Evaluierung von Fachgebieten und der institutionellen Evaluierung findet sich allerdings nur in den schottischen Reviews. 7.8 Peer Review des Unterrichts auf individueller Ebene Peer Review unter Lehrenden wird in vier der beschriebenen Verfahren als Teil der Selbstevaluierung durchgeführt. Genannt seien v.a. die beiden durch FQS (Förderndes Qualitätsevaluations-System) inspirierten Peer-Review-Verfahren (Heideschule, Fallbeispiel 2, und Intensivprojekt Schule, Fallbeispiel 7), in denen die gemeinsame Qualitätsarbeit von Lehrenden, die sich im Tandem oder in einem kleinen Team gegenseitig evaluieren und in ihrer professionellen Entwicklung unterstützen, ein fester Bestandteil der Qualitätsbemühungen der Bildungseinrichtungen ist.

7.9 Peers

209

Auch am Aberdeen College (Fallbeispiel 9) unterziehen sich Lehrende im Rahmen der Selbstevaluierung der Einrichtung einem gegenseitigen Review, das sich v.a. auf die Unterrichtstätigkeit bezieht. Hospitationen sind Bestandteil dieser gegenseitigen Evaluierungen, es können aber auch andere Aktivitäten, die einen Austausch und ein kritisches Feedback unter KollegInnen fördern, gesetzt werden. Experimente mit Peer Reviews des Unterrichts unter KollegInnen derselben Schule, allerdings auf freiwilliger Basis und von den LehrerInnen selbst initiiert, gab es auch im Europäischen Pilotprojekt zur Selbstevaluation an Schulen (Fallbeispiel 1). 7.9 Peers Ein bestimmendes Element der verschiedenen Peer-Review-Verfahren sind die Peers. Analysekriterien zu diesem Punkt sind 1) wer überhaupt in Frage kommt, als Peer zu fungieren, 2) welchen institutionellen und qualifikatorischen Hintergrund die Peers mitbringen, 3) wer die Peers vorschlägt, auswählt und nominiert, 4) wie die Peer-Teams zusammengesetzt sind, 5) welche Aufgaben die Peers wahrnehmen und 6) wie die Peers auf ihre Rolle vorbereitet werden. Diese Fragen werden auf der Basis der verschiedenen Funktionen von Peer Review und der dahinter liegenden Steuerungsmodelle untersucht. 7.9.1 Wer sind die Peers? Woher kommen sie? Welche Qualifikationen werden von ihnen erwartet? Wer als Peer fungieren darf, ist nicht in allen Fällen a priori geregelt. Im Pilotprojekt zur Selbstevaluierung (Fallbeispiel 1) sowie in den Peer Reviews an der Heideschule (Fallbeispiel 2) werden sehr unterschiedliche Personen als Peers eingeladen, die Definition der Peers ist also weit gefasst. Diese können aus dem Kreis der Betroffenen und Beteiligten kommen (Eltern, Kooperationspartner, Unternehmen, regionale Behörden) oder auch aus dem Wissenschafts- oder Beratungsbereich. Auch Personen aus anderen Schulen können als Peers eingesetzt werden, z.B. DirektorInnen (im Ruhestand). Ausschlaggebend für die Auswahl der Peers ist einerseits ihre Expertise in Bezug auf die Evaluationsthemen, da die Bildungseinrichtung sich hilfreiches Feedback für die eigene Praxis erwartet. Das kann Fachexpertise und Arbeitserfahrung sein, aber auch eine bestimmte Perspektive, die die Peers einbringen (z.B. im Falle VertreterInnen von Unternehmen, KooperationspartnerInnen und Behörden). Andererseits wird im Falle der Heideschule auf Öffentlichwirksamkeit gesetzt, es wird also auch auf den

210

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

institutionellen Hintergrund und die Bedeutung bzw. das Ansehen der Peers geachtet bzw. können auch MedienvertreterInnen als Peers fungieren. Fachexpertise bzw. Expertise in Bezug auf die Fragestellung der Evaluierung sind die herausragenden Anforderungen und Auswahlkriterien in allen Verfahren. Die Expertise kann sich jedoch eher auf Qualitäts- und Evaluierungswissen beziehen oder auf inhaltliche Fachkenntnisse. In einigen Fällen ist beides gleichermaßen gefordert. Im Falle der Peer Reviews in Katalonien und Piemont (Fallbeispiele 3 und 4) sind die Qualifikationen der Peers, die aus Netzwerkschulen rekrutiert werden, klar definiert: Die Peers müssen über fundiertes Wissen und Erfahrung in Bezug auf Qualitätsmanagement und die ISO Normen verfügen. Im katalonischen Modellprojekt sind zusätzlich Kenntnisse des EFQM-Modells erforderlich, im Qualitätsprojekt des Verbunds der Salesianer Erfahrung mit dem regionalen Akkreditierungssystem in Piemont. Peers sind also für gewöhnlich QualitätsmanagerInnen/Qualitätsbeauftragte aus den Partnereinrichtungen. Zusätzlich wird auch darauf geachtet, dass die betreffenden Personen auch Insiderkenntnisse zum beruflichen Handeln in der Berufsbildung und zur Organisation eines berufsbildenden Colleges mitbringen. Peers sind daher für gewöhnlich selbst Lehrende. Darin liegt auch – neben dem Kostenargument – für die beteiligten Bildungseinrichtungen der Vorteil von Peer Review gegenüber einer herkömmlichen Beratung bzw. eines Audits, da professionelle BeraterInnen im Bereich des Qualitätsmanagement selten eine derart hohe Feldkompetenz aufweisen. Diese wird aber als notwendig erachtet, um die Verfahren und Prozesse des zu evaluierenden Berufsbildungszentrums adäquat beurteilen zu können. Für die Einladung von Peers an ROC Aventus (Fallbeispiel 8) stehen die fachspezifische Expertise und die Erfahrung mit Qualitätssicherung als Auswahlkriterium im Vordergrund. Neben den beiden fachlichen Peers, die sich aus FachkollegInnen aus anderen niederländischen Berufsbildungszentren rekrutieren und die je nach Abteilung/Fachbereich variieren, gibt es auch eine Vorsitzende/einen Vorsitzenden. Diese/Dieser ist eine angesehene unabhängige Expertin/ein angesehener unabhängiger Experte aus einem anderen Bereich, z.B. aus der Privatwirtschaft. Die/der Vorsitzende wird in einem Durchgang von FachReviews nicht gewechselt. Die beiden fachlichen Peers müssen zwar nicht zwangsweise ausübende Lehrkräfte sein, bis jetzt war dies aber der Fall, da die Qualitätsbeauftragten LehrerInnen mit Zusatzqualifikation sind. Diese Doppelqualifikation hat eine große Bedeutung für die Akzeptanz der Ergebnisse bei den Evaluierten. Erfahrung mit Qualitätsthemen ist auch für die Peers der finnischen Gastgewerbeschulen (Fallbeispiel 5), die Peers im deutschen Projekt eiver (Fallbeispiel 6) und im Intensivprojekt Schule (Fallbeispiel 7) eine wichtige Qualifika-

7.9 Peers

211

tion. In den drei Peer-Review-Verfahren sind die Peers LehrerInnen aus kooperierenden Bildungseinrichtungen, die an internen Qualitätsprojekten mitarbeiten. Weiters sind im finnischen Verfahren (Fallbeispiel 5) DirektorInnen und Abteilungsleitungen als Peers eingebunden, in eiver (Fallbeispiel 6) sind diese zwar Teil der Schulteams (d.h. der Qualitätsteams an den teilnehmenden Schulen), die Beteiligung der Schulleitungen als Peers ist aber nicht vorgesehen (in einigen Fällen fungierten jedoch auch AbteilungsleiterInnen als Peers). Selbstverständlich sind in diesen drei Verfahrensvarianten auch die fachspezifische Qualifikation bzw. die Expertise in Bezug auf konkrete Evaluierungsthemen von großer Bedeutung für die Auswahl der Peers. In den beiden staatlich regulierten Verfahren sind ebenfalls KollegInnen aus anderen Bildungseinrichtungen als Peers involviert. In EVIT (Fallbeispiel 10) ist dies eine Schulleiterin/ein Schulleiter einer vergleichbaren Schule. Diese/dieser soll die Perspektive der Praxis vertreten. Die anderen Teammitglieder sind eine Repräsentantin/ein Repräsentant der Schulaufsicht, die auch die Leitung des Verfahrens übernimmt, sowie eine Vertreterin/ ein Vertreter des IQSH (Institut für Qualitätssicherung Schleswig-Holstein). Zweitere/zweiterer hat eine ähnliche Funktion wie die wissenschaftliche Begleitung im Modellprojekt eiver (Fallbeispiel 6) oder die externe Moderationsexpertin/der externe Moderationsexperte in IPS (Fallbeispiel 7), indem sie/er spezielles Evaluierungs- und Qualitätsentwicklungswissen einbringt. Allerdings ist sie/er – anders als in den Peer Reviews der genannten Modellprojekte – auch stimmberechtigte Peer/stimmberechtigter Peer. Für die Reviews an schottischen Further Education Colleges (Fallbeispiel 9) werden VollzeitinspektorInnen und „associate inspectors“ eingesetzt103, zweitere sind FachkollegInnen aus vergleichbaren Bildungseinrichtungen (haben jedoch eher den Nimbus von InspektorInnen und es ist deshalb fraglich, ob sie als Peers bezeichnet werden können). Daneben sind auch LaieninspektorInnen Teil der Review Teams, durch die die Perspektive sonstiger Betroffener und Beteiligter abgedeckt wird. Zusammenfassend lässt sich sagen, dass es sich bei den Peers in den beschriebenen Verfahren vornehmlich um (Fach)kollegInnen aus anderen (vergleichbaren) Bildungseinrichtungen handelt. In sechs der zehn beschriebenen Peer-Review-Verfahren sind die Peers (fast) ausschließlich KollegInnen aus den Partnereinrichtungen im Kooperationsnetzwerk (Fallbeispiele 3 bis 8). In allen diesen Fällen ermöglicht bzw. erleichtert der Aufbau eines Netzwerkes für Peer Reviews die Rekrutierung von Peers aus anderen Einrichtungen.

103 Daneben gibt es noch die – zahlenmäßig eher unbedeutende  Gruppe der „assistant inspectors“, gleichsam „AushilfsinspektorInnen“ für Zeiten großen Arbeitsaufkommens.

212

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Auch in den anderen Peer-Review-Verfahren wird das kollegiale PeerModell berücksichtigt, in Schottland in Form der „associate inspectors“ (Fallbeispiel 9), in EVIT durch die Besetzung eines Mitglieds im Evaluierungsteam durch eine Leiterin/einen Leiter einer vergleichbaren Schule (Fallbeispiel 10). Auch in den beiden anderen Fällen (Fallbeispiele 1 und 2) sind LehrerInnen und MitarbeiterInnen anderer Schulen als Peers im Einsatz. Es werden jedoch nicht beliebige LehrerInnen für die Arbeit in Peer-Teams ausgewählt. Die Peers haben meistens eine besondere Funktion in ihrer Institution inne – fachlich und/oder auch hierarchisch. Qualifikationsanforderungen an die FachkollegInnen-Peers sind einerseits v.a. die für das jeweilige Peer Review notwendige fachliche Expertise, d.h. Erfahrung und Wissen bezüglich bestimmter Fächer (im Fall von Subject Reviews) und/oder bezüglich der jeweiligen Evaluierungsfragestellungen. Andererseits wird aber in den meisten Peer Reviews auch darauf geachtet, dass die Peers über Qualitätsmanagementwissen (in den eher an Qualitätsmanagement orientierten Reviews, z.B. Fallbeispiele 3, 4 und 8) bzw. über Erfahrung mit Qualitätsevaluierung (in den schulischen Modellprojekten, Fallbeispiele 5 bis 7) verfügen. Von den (Fach)KollegInnen-Peers wird also in den meisten Fällen eine zweifache Qualifikation gefordert – Expertise im evaluierten Fachbereich und Erfahrung und Kenntnisse bezüglich Qualitätsevaluierung und Qualitätsentwicklung. Deshalb sind Peers meist entweder Qualitätsbeauftragte (dort wo es ein implementiertes Qualitätsmanagement gibt) oder Mitglieder interner Qualitätsgruppen (Modellprojekte). Sie fungieren damit ihrerseits auch als MultiplikatorInnen in ihren eigenen Einrichtungen. Interessant ist auch die Tatsache, dass Personen aus der Schulhierarchie – DirektorInnen, AbteilungsleiterInnen etc. – in einigen Fällen dezidiert auch zu den Peers zählen (z.B. Fallbeispiele 5 und 6). Das mag den Gedanken des „gleichen Status“ von Peers hintertreiben, trägt aber dazu bei, dem Verfahren intern und extern mehr Gewicht zu geben. Bereits angesprochen wurde die Unterrichtserfahrung der Peers. Diese wird in den meisten Fällen vorausgesetzt. In allen hier untersuchten Verfahren rekrutiert sich zumindest ein Teil des Peer-Teams aus aktiven LehrerInnen (wobei Schulleitungen wie in EVIT hier auch dazu gezählt werden können). Unterrichtserfahrung ist, wie immer wieder betont wird, v.a. für die Evaluierung des Unterrichts oder unterrichtsbezogener Fragestellungen unerlässlich und erhöht die Glaubwürdigkeit des Verfahrens v.a. bei den internen NutzerInnen der Evaluation. Neben den (Fach)KollegInnen-Peers können auch, wie beschrieben, andere Personen aus verschiedensten Institutionen und mit unterschiedlichen professionellen Hintergründen als Peers herangezogen werden. Meist sind diese Peers der Gruppe sonstiger Beteiligter und Betroffener (Stakeholders) zuzuordnen. In den

7.9 Peers

213

beschriebenen Fallbeispielen spielen diese aber vornehmlich in den spontanen, unstrukturierten Varianten eine große Rolle (Fallbeispiele 1 und 2). Auch in der Variante des Berner Peer Review „Peer Review Formativ“, die auch als „erweiterte Selbstevaluierung“ bezeichnet wird, da die Peers in diesem Verfahren vornehmlich die Aufgabe zu haben, die Selbstevaluierungsergebnisse extern zu spiegeln, sind verschiedenste Betroffene und Beteiligte involviert. In den anderen Peer-Review-Verfahren kommen diese Gruppen nur vereinzelt zum Zug, so z.B. als Peer-Vorsitzende/Vorsitzender in den Peer Reviews an ROC Aventus (Fallbeispiel 8) oder als LaieninspektorInnen in den schottischen Reviews (Fallbeispiel 9). Staatliche regulierte Verfahren kennzeichnen sich im Unterschied zu den freiwilligen Peer Reviews durch den Einsatz von Vollzeitinspektoren aus, die auch als Schulaufsicht wahrgenommen werden (vgl. Fallbeispiel 9, aber auch Fallbeispiel 10). In die selbstiniitierten formativen Peer Reviews sind Behörden, wenn überhaupt, nur sporadisch als Peers eingebunden. Auch dort, wo die Peer Reviews auch summativen Zwecken dienen, wie im Intensivprojekt Schule (Fallbeispiel 7), ist die Schulverwaltung nicht im Peer-Team vertreten. Sie tritt erst auf, wenn es darum geht, die Ergebnisse der Peer Reviews umzusetzen, und bedient sich auch dann der Vermittlung der IPS-Projektleitung. Unabhängigkeit, Unparteilichkeit und Objektivität der Peers sind grundsätzlich in allen Peer-Review-Verfahren zentrale Anforderungen. In einigen formativen Verfahren wird die Unabhängigkeit und Unparteilichkeit der Peers (bzw. der kooperierenden Bildungseinrichtungen im Netzwerk, aus denen die Peers stammen) als wichtiges Auswahlkriterium thematisiert. Dies ist z.B. dann der Fall, wenn es starke Konkurrenz zwischen den Bildungseinrichtungen (z.B. um Lernende, in Folge auch um finanzielle Mittel) gibt. Explizit wird dieses Thema in zwei Fällen angesprochen, in denen bewusst die Kooperation mit geographisch entfernten Institutionen gesucht wurde: So sind die Partnerschulen des finnischen Peer-Review-Netzwerks über ganz Finnland verteilt. Ähnlich die Situation des Benchmarking-Zirkels des Aberdeen College, der drei Colleges aus von einander entfernten Gegenden Schottlands umfasst. In beiden Fällen wurde v.a. die geographische Nähe als Merkmal einer Konkurrenzsituation erkannt, was in Anbetracht der relativ geringen geographischen Mobilität in der beruflichen Erstausbildung sicherlich eine realistische Einschätzung darstellt. Da es sich bei diesen beiden Netzwerkaktivitäten um freiwillige, formative Prozeduren handelt, steht weniger die Frage der Objektivität im Vordergrund als die Konsequenzen der Preisgabe von sensiblen Informationen an Außenstehende, wie sie in einem Review oder einem Benchmarking-Verfahren zwangsläufig passiert: Die Bildungseinrichtungen wollen sich nicht von der Konkurrenz „in die Karten schauen lassen“.

214

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

In summativen, staatlichen Verfahren geht es v.a. um die Unvoreingenommenheit in der Bewertung, um allen beteiligten Einrichtungen ein faires Verfahren zu ermöglichen: Peers dürfen also weder in einem Naheverhältnis noch in einer Konkurrenzsituation zu den von ihnen Evaluierten stehen. Das Problem eines Naheverhältnisses zwischen Bildungseinrichtung und Peers wird interessanterweise auch in drei der Fallbeispiele angesprochen (Fallbeispiele 1, 4 und 5), in denen die Peer Reviews rein formativen Zwecken dienen. Zu große Nähe bzw. Freundschaft können im Peer Review Verfahren hinderlich sein, weil die Peers einerseits auf ihre KollegInnen in der evaluierten Einrichtung Rücksicht nehmen, andererseits eine große Vertrautheit mit der evaluierten Einrichtung die Peers zu einem Teil des Systems werden lässt und die Einnahme eines externen Standpunkts behindert104. Beide Faktoren können sich auf das Feedback negativ auswirken, in dem Sinne, dass Kritikpunkte hintangehalten oder gar nicht mehr wahrgenommen werden. Damit im Zusammenhang ist auch die generell schwierige Balance zwischen Empathie und kritischer Distanz im Peer-Review-Verfahren zu sehen (s.u. Rolle, Funktionen und Aufgaben der Peers Kapitel 7.9.4). Zusammenfassend lässt sich sagen, dass Peers in den beschriebenen Verfahren v.a. KollegInnen aus vergleichbaren Bildungseinrichtungen sind und in den allermeisten Fällen über Unterrichtserfahrung verfügen bzw. für gewöhnlich selbst aktive LehrerInnen sind. 7.9.2 Wer wählt die Peers aus? Für die Beschreibung der Peer-Review-Verfahren im Hochschulsektor wurde zwischen einem Vorschlagsrecht für Peers und der Nominierung der Peers unterschieden. Dies ist im Bereich der beruflichen Erstausbildung (noch) nicht nötig, auch weil es in den meisten Fällen keine komplizierten Steuerungs- und Organisationsstrukturen mit Behörden und (Qualitäts)Agenturen gibt. Der Großteil der Verfahren gründet sich auf der freiwilligen Durchführung von Peer Reviews durch die Bildungseinrichtungen. Diese wählen die Peers entweder selbst (Fallbeispiele 1, 2, 8) und/oder stimmen die Auswahl der Peers mit ihren Partnerschulen ab. Letzteres ist v.a. dann der Fall, wenn die Peer Reviews im Rahmen eines Kooperationsnetzwerks durchgeführt werden (Fallbeispiel 3 bis 7). In den Mo-

104 Vgl. hiezu auch die Ergebnisse der Metaevaluierung der Studiengangsbezogenen Peer Reviews an österreichischen Fachhochschulen, die zeigten, dass Peers, die in einem Naheverhältnis zum evaluierten Studiengang standen (und somit wichtiges „Insider-Wissen“ mitbrachten), sich gerade bei kritischen Fragestellungen mit dem Studiengang sozusagen „verbündeten“ und in eine Verteidigerrolle gerieten (vgl. Kozar 1999, 106f.).

7.9 Peers

215

dell- bzw. Kooperationsprojekten könnte zusätzlich auch die Projektleitung eine Rolle bei der Bestimmung der Peers spielen, dies lässt sich jedoch nicht beobachten, da die Bestimmung der Peers auch in diesen Verfahren – wiewohl es mehr oder minder explizite Kriterien für die Peers (v.a. bezogen auf ihre Qualifikation) gibt  den beteiligten Bildungseinrichtungen vorbehalten bleibt. In den beiden staatlichen Verfahren werden die Peers direkt von der Schulaufsicht (EVIT, Fallbeispiel 10) bzw. von der vorgeschalteten Evaluierungsstelle (HMIE, Fallbeispiel 9) ausgewählt. 7.9.3 Wie groß ist das Peer-Team? Welche Rollen gibt es? Wie setzt sich das Team zusammen? Im europäischen Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1) und in den ISO-basierten Peer Reviews in Piemont und Katalonien (Fallbeispiele 3 und 4) wurde/wird jeweils nur ein/e Peer eingesetzt. Es handelt sich bei diesen drei Beispielen um rein intern und formativ ausgerichtete Evaluierungen, die/der Peer hat vornehmlich beratende Funktion. Die/der Peer wird als ExpertIn für bestimmte Fragestellungen angesehen: Im europäischen Pilotprojekt zur Selbstevaluierung konnte die benötigte Expertise je nach Schule und Fragestellungen ganz unterschiedlich sein; in den beiden ISO-Reviews sind Peers speziell ausgebildete Qualitätsfachleute, die den von ihnen besuchten Schulen/Trainingszentren Hilfestellung in Bezug auf die Erfüllung der Qualitätsanforderungen geben sollen. Auch wenn sich daraus keinesfalls schließen lässt, dass eine Person als Peer in formativen Reviews ausreicht, so zeigt sich umgekehrt, dass es keinen Fall gibt, in dem ein auf externe Rechenschaftslegung ausgerichtetes Review von nur einer Peer/einem Peer durchgeführt wird. Dies hat auch mit der Frage der Objektivität solcher Verfahren zu tun, die den Einsatz von mehr als einer Peer/einem Peer notwendig macht. In allen anderen beschriebenen Fällen kommt ein Team zum Einsatz. Dieses umfasst in den untersuchten Peer-Review-Modellen drei und mehr Personen. Drei Personen nehmen an den „Evaluationen im Team“ (Fallbeispiel 10) teil, drei (bzw. vier) Personen in den Peer Reviews an ROC Aventus (Fallbeispiel 8), sechs bis acht (bzw. vier – siehe unten) in den Peer Reviews des Modellprojekt eiver (Fallbeispiel 6), fünf bzw. sechs Personen im Intensivprojekt Schule (Fallbeispiel 7), über zehn in den Subject Reviews an schottischen Further Education Colleges105 (in den College Reviews sind die Teams mit etwa 6-7 Personen klei-

105 In den neu eingeführten „proportionate inspections“ sollen auch die Reviewer Teams für Subjects Reviews kleiner werden (vgl. SFEFC/HMIe 2004c, 6).

216

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

ner) (Fallbeispiel 9), etwa zehn bis fünfzehn (acht bis zwölf – siehe unten) im Falle der finnischen Gastgewerbeschulen (Fallbeispiel 5), 22 Personen an der Heideschule (Fallbeispiel 1). Für eiver und für die Peer Reviews an finnischen Gastgewerbeschulen sind in den Zahlenangaben zu den Peer-Teams auch die „Peers“ der besuchten Schule berücksichtigt. Das geht darauf zurück, dass in diesen beiden Fällen die Zusammenarbeit von ausgewählten Peers der Netzwerkschulen im Vordergrund steht. Auch das Feedback geht in diesen beiden Fällen in erster Linie an die Peers der evaluierten Schule. Als externe Peers sind im Fall von eiver vier Personen im Einsatz (je zwei Personen aus den beiden Partnerschulen), im Fall der Peer Reviews im Netzwerk der finnischen Gastgewerbeschulen acht bis zwölf (je zwei oder drei Personen aus jeder Schule). Weiters werden auch Personen mit bestimmten Funktionen, die im Verfahren kein „Stimmrecht“ haben, bisweilen zu den Peers Teams dazugezählt. So sind in eiver und IPS (Fallbeispiele 6 und 7) zusätzlich wissenschaftliche ExpertInnen während des Reviews anwesend. In eiver sind dies ein oder zwei Personen aus dem Team der wissenschaftlichen Projektbegleitung, die allerdings nur stille BeobachterInnen sind. In IPS ist es eine externe Moderatorin/ ein externer Moderator mit Evaluationsexpertise, die/der die Peers coacht und den Evaluierungsprozess begleitet. Auch gibt es, wie bereits erwähnt, die Funktion einer Teamführerin /eines Teamführers (auch Vorsitzender/Vorsitzende oder PeerLeitung genannt) bzw. einer/eines Schriftführerin/Schriftführers. Diese beiden Funktionen können zusammenfallen und von einer/einem Peer ausgeübt werden (z.B. in IPS, Fallbeispiel 7), sie können auch auf verschiedene Personen aufgeteilt werden. So werden für die Peer Reviews an ROC Aventus zwei „echte“ Peers eingeladen (Fallbeispiel 8), eine weitere, angesehene Persönlichkeit aus einer anderen Branche übernimmt die Funktion der Teamführerin/des Teamführers, die Rolle der Schriftführerin/des Schriftführers obliegt der Person aus ROC Aventus, die auch für die Organisation der Peer Reviews verantwortlich ist. In mehr als der Hälfte der Peer-Review-Verfahren sind also zwischen drei und acht Personen als Peers im Team tätig (Fallbeispiele 6 bis 10, in letzterem Beispiel bezogen auf die College Review und die neu eingeführten proportionalen Verfahren), in zwei der dargestellten Verfahren können es auch etwas mehr Personen sein (Fallbeispiel 5, ehemalige Zusammensetzung der Teams in den Subject Reviews in Fallbeispiel 10). Ein Peer-Aufgebot von über 20 Personen wie im Fall der Heideschule (Fallbeispiel 2) ist äußerst ungewöhnlich. Ebenso ist die Praxis eines Reviews durch eine Person nicht so stark verbreitet und findet sich nur in rein intern-formativ ausgerichteten Verfahren. In Peer-Teams können auch verschiedene für die evaluierte Bildungseinrichtung (bzw. für die steuernde Stelle auf Systemebene) relevante Expertisen

7.9 Peers

217

und Sichtweisen eingefangen werden (vgl. Kapitel 5), indem ganz unterschiedliche Personen mit verschiedenen professionellen Hintergründen in das Peer-Team integriert werden. Von dieser Möglichkeit wird im Rahmen der hier vorgestellten Peer-Review-Verfahren an berufsbildenden Einrichtungen nicht oder nur in geringem Umfang Gebrauch gemacht, da die Peer-Teams mehrheitlich aus dem Kreis der (Fach)kollegInnen beschickt werden und andere Betroffene und Beteiligte kaum als Peers beteiligt sind. Die Anzahl der Peers steht weiters in Abhängigkeit vom Umfang der zu evaluierenden Fragestellungen (vgl. Kapitel 7.7) und der verfügbaren Zeit (s.u. Kapitel 7.12.1). Wenn ein Peer Review stark fokussiert ist, dann kann auch eine kleine Gruppe von Peers eine Evaluierung innerhalb einiger Tage bewerkstelligen. Meist ergibt sich eine zeitliche Limitierung nicht nur aufgrund des Aufwands für die Peers sondern auch aus der Belastung der evaluierten Einrichtung durch das Review. Wenn die Inhalte des Reviews sehr umfangreich, die Zeit aber begrenzt ist, kann ein größeres Peer-Team Abhilfe schaffen. Dies ist allerdings in den hier beschriebenen Verfahren nicht nötig. Die Größe der Teams wirkt sich außerdem auf die Möglichkeit der Auseinandersetzung und internen Abstimmung unter den Peers aus (s. dazu unten Kapitel 7.12.2). Wenn die Teams allzu groß werden, ist eine intensive Diskussion, an der sich alle beteiligen, nur erschwert möglich. Auch unter diesem Gesichtspunkt ist es sinnvoll, eine passende Gruppengröße zu wählen. 7.9.4 Rolle, Funktion und Aufgaben der Peers Im europäischen Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1) war die Ausgestaltung der Peer-Rolle den Schulen sowie den einzelnen handelnden Personen überlassen. Die Peers konnten aus verschiedensten Institutionen stammen und unterschiedlichste Qualifikationen mitbringen. In der MetaEvaluation des Projekts ist folglich von einer Vielzahl an Funktionen die Rede, die die Peers in der Begleitung des Selbstevaluierungsprozesses übernehmen konnten: 1) die Rolle der wissenschaftlichen Beratung zu Selbstevaluierung und Schulentwicklung, einschließlich des Einbringens von Methodenkompetenz und des Vermittelns von einschlägigem Wissen; 2) eine organisatorische Rolle in der Vorbereitung und Koordination der notwendigen Sitzungen und Treffen; 3) vielfältige, den Prozess unterstützende Funktionen – einerseits in Bezug auf die Motivation der Beteiligten, andererseits im Umgang mit Emotionen und Konflikten der Beteiligtengruppen untereinander;

218

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

4) die Rolle einer Vermittlung von Kontakten und Kooperation mit der Außenwelt. Das Projekt zeigte damit auf, welche Rolle(n) Peers übernehmen können, so sie die nötigen Qualifikationen aufweisen. Auch die zeitliche Komponente – in welchem Umfang und wie lange Peers zur Verfügung stehen – spielt dabei eine Rolle sowie die finanziellen Ressourcen, um diese Zusammenarbeit zu ermöglichen. Die tatsächliche Wahrnehmung dieser Rollen und Funktionen variierte daher von Schule zu Schule. Im Mittelpunkt stand jedoch für alle Schulen, die mit Peers arbeiteten, die Rolle der Peers als „kritische FreundInnen“, die eine Außensicht einbringen und der Einrichtung helfen, ihre eigenen blinden Flecken aufzuspüren. Insofern als die Peers aber selbst keine Evaluierung vornahmen, sondern die Selbstevaluierung nur begleiteten, unterscheidet sich das erste Fallbeispiel grundlegend von allen anderen, da die explizite Bewertungsfunktion fehlt. In den anderen beschriebenen Verfahren, die viel stärker vereinheitlicht sind, ist eine derartige Vielfalt an Funktionen der Peers nicht üblich. Einige der oben genannten Aufgaben und Rollen – wie die organisatorische Vorbereitung und Durchführung oder die wissenschaftliche Begleitung und Beratung – werden entweder von der evaluierten Einrichtung wahrgenommen (Organisation des Reviews) oder von zusätzlichen externen ExpertInnen (wissenschaftliche Begleitung, Moderation, s.o. Peer-Teams). Die hauptsächliche Aufgabe der Peers ist es kritisches Feedback zu geben. Die Peers halten mit ihren Rückmeldungen der Bildungseinrichtung einen Spiegel vor, decken blinde Flecken auf und bringen alternative Interpretationen ein. Das Feedback kann deskriptiv und/oder bewertend sein (wobei die Beschreibung eines Sachverhalts aufgrund allgemein anerkannter Beurteilungskriterien oft bereits eine bestimmte Bewertung nahe legt106). Im Falle des Intensivprojekts Schule (Fallbeispiel 7) wird sogar vorerst auf Beurteilungen durch die Peers verzichtet, um die Akzeptanz der Aussagen der Peers bei den Evaluierten zu erhöhen: Die Peers teilen ihre Beobachtungen bzw. die Ergebnisse der Interviews der evaluierten Schule im Rahmen einer „kommunikativen Validierung“ in verdichteter Form mit, bewerten diese aber nicht. Das Schulkollegium kann dann selbst Schlussfolgerungen ziehen, die Diskussion 106 So z.B. wenn die Beobachtungen und die Aussagen von Betroffenen und Beteiligten nahe legen, dass in den Klassenzimmern nach wie vor der Frontalunterricht vorherrscht. Methodenvielfalt bzw. die Anpassung der Methoden an die jeweilige Zielgruppe und das Thema ist ein gängiger (expliziter oder impliziter) Standard für Unterrichtsqualität. Ständiger Frontalunterricht in praxis- und handlungsorientierten Fächern wird gemessen an diesem Standard wohl nicht als zufrieden stellende pädagogische Praxis gelten.

7.9 Peers

219

bleibt eher auf der Ebene der Sachverhalte und instinktive Abwehrreaktionen fallen weniger stark aus als bei Werturteilen. Die Bewertung sowie die daraus folgenden Empfehlungen werden erst im Anschluss an das Review von PeerLeitungen und Projektleitung gemeinsam mit der Schule ausgearbeitet. Dem grundsätzlichen Verständnis des Pilotprojekts folgend, dass die Verantwortung letztlich bei der evaluierten Einrichtung selbst liegt, werden nur Rückmeldungen, die vom Kollegium in der kommunikativen Validierung angenommen wurden, auch verschriftlicht.107 Schlussfolgerungen und Empfehlungen sind v.a. in den summativen, staatlich kontrollierten Verfahren von Bedeutung (Fallbeispiele 9 und 10), aber auch in den Peer Reviews an ROC Aventus (Fallbeispiel 8), wo die Evaluierungsergebnisse und -empfehlungen zur Vereinbarung von Verbesserungsmaßnahmen zwischen dem oberen Management von ROC Aventus und den AbteilungsleiterInnen führt. (Mehr oder minder konkrete) Anregungen der Peers für die zukünftige Weiterentwicklung sind ebenso in den Pilotprojekten/Netzwerkprojekten erwünscht (vgl. Kapitel 7.14 und 7.15). Dabei geht die Bewertungsfunktion meist in die Beratungsfunktion über. Gerade in den Netzwerkprojekten ist die gemeinsame Arbeit am Qualitätsthema wichtigster Zweck der Kooperation (v.a. Fallbeispiel 4, 5, 6). In diesen intern-formativen Peer Reviews im Netzwerk stehen der Austausch zwischen Peers und Evaluierten (zwischen denen z.T. gar nicht unterschieden wird, da alle als „Peers“ angesehen werden, s.o.) und die gegenseitige Beratung und Unterstützung im Vordergrund. Die Peer Reviews sind nur ein Element einer weiter reichenden Kooperation. Für das Netzwerk finnischer Gastgewerbeschulen z.B. (Fallbeispiel 5) sind die Diskussion und der Austausch von Erfahrungen und Best Practice das wichtigste Element des Verfahrens. Das spiegelt sich auch im Ablauf des Peer-Besuches wider. Interessant ist in diesem Zusammenhang, dass das Netzwerk ursprünglich eine Benchmarking-Kooperation war und seine Aktivitäten nun in Richtung Peer Review weiterentwickelt hat. Ein weiteres Beispiel sind die Peer Reviews im Netzwerk der Berufsbildungszentren der Salesianer in Piemont (Fallbeispiel 4): Hier entstand die Idee, Peer Reviews durchzuführen, aus der Überlegung, teure externe BeraterInnen durch Fachkräfte aus dem Netzwerk zu ersetzen. Die Peers sind dann extern für die jeweils untersuchte Institution, dadurch dass alle Netzwerkpartnerorganisationen in Peer Reviews involviert sind, gibt es in jedem Berufsbildungszentrum Personen, die als Peers fun-

107 Die IPS Projektleitung geht einem systemisch-konstruktivistischen Ansatz folgend davon aus, dass auch die nicht-verschriftlichten Rückmeldungen als Intervention bei den Betreffenden wirken, auch wenn sie nicht in offizielle Maßnahmenpaketen festgeschrieben sind (vgl. Interview Peter Strahm, Mai 2005). Wie diese Rückmeldungen wirken, entzieht sich allerdings der externen Kontrolle.

220

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

gieren. Diese Vorgangsweise hat daher den zusätzlichen Vorteil, dass entsprechende Kompetenz innerhalb der Institution aufgebaut werden kann und muss. Ähnlich auch die Motivation in ROC Aventus (Fallbeispiel°8). Auch in diesem Fall hätte der Verpflichtung, sich einem externen Audit zu unterziehen, durch ein Audit professioneller UnternehmensberaterInnen Genüge getan werden können. Stattdessen setzen viele berufsbildende Einrichtungen in den Niederlanden auf gegenseitige Peer Reviews. Diese sind sowohl unter dem Kostenaspekt als auch unter dem Aspekt der Selbstbefähigung und des Aufbaus von Evaluierungs- und Beratungskompetenz eine attraktive Alternative. Wie viel Raum und Zeit der (gegenseitigen) Beratung in den anderen Peer-Review-Modellen gewidmet wird, wird weiter unten bei der Beschreibung der Peer-Besuche thematisiert. Grundsätzlich haben die Peers eine Doppelrolle bzw. doppelte Verantwortung. Die kommt treffend im Begriff „critical friend“ zum Ausdruck, der oft synonym für Peer verwendet wird. Einerseits sollen Peers Empathie und Verständnis für die Arbeitssituation und Problemlagen mitbringen – weshalb es auch von Vorteil ist, wenn sie aus vergleichbaren Einrichtungen kommen , andererseits sollen sie aber kritisch bleiben. Eine Balance zwischen empathischem Verständnis und kritischer Haltung zu finden, ist oft eine Gratwanderung für die beteiligten Peers. Wenn die Peers wenig von den Rahmenbedingungen und Vorgängen in der evaluierten Einrichtung verstehen, können ihre Rückmeldungen für die Evaluierten unverständlich oder irrelevant sein. (Dies wird ja auch AuditorInnen in den standardisierten Verfahren der Wirtschaft immer wieder vorgeworfen.)108 Wenn die Peers die evaluierte Einrichtung sehr gut kennen, können derartige Fehlinterpretationen vermieden werden, gleichzeitig besteht aber die Gefahr, „zu freundlich“ zu sein und Kritikpunkte entweder nicht zu sehen oder nicht in der angemessenen Deutlichkeit zu äußern (s. auch oben Kapitel 7.9.1). Ähnlich schwierig kann sich die Verbindung von Bewertung und Beratung gestalten. Diese ist selbstverständlich möglich, indem die Beurteilung durch die Peers durch eine anschließende Formulierung von Empfehlungen bzw. Ratschlägen ergänzt wird. Für die Akzeptanz und Umsetzbarkeit derartiger Ratschläge ist die Einbindung der evaluierten Einrichtung in einen gemeinsamen Diskussions-, Aushandlungs- und Problemlösungsprozess sinnvoll. Es stellt sich die Frage, wie die beiden Funktionen im einzelnen Peer-Review-Verfahren gewichtet werden und wie viel Zeit und Ressourcen für derartige Beratungen vorhanden sind.

108 Rückmeldungen, die einen anderen Kontext als den einer Bildungseinrichtung zugrunde legen, wie z.B. die innerbetrieblichen Strukturen und Prozesse in privatwirtschaftlichen Unternehmen, können natürlich auch als Inputs im Sinne positiver Irritationen gewertet werden. Diese für die Bildungseinrichtung sinnvoll auf ihre Arbeitszusammenhänge zu transferieren, bedarf jedoch weiterer Deutungen und Aushandlungen.

7.9 Peers

221

Durch die Beratung werden die EvaluatorInnen noch stärker zum Teil des Systems als wenn sie nur eine Bewertung abgeben. Problematisch kann es v.a. dann werden, wenn es zu wiederholten Peer Reviews mit den gleichen Peers kommt, da dann die EvaluatorInnen auch ihre eigenen Vorschläge und deren Umsetzung überprüfen müssen. Diese Dilemmata zwischen Nähe und Distanz zum Evaluationsgegenstand einerseits und zwischen Bewertungs- und Beratungsrolle andererseits teilen die Peers grundsätzlich mit vielen EvaluatorInnen im Bildungsbereich. Das Besondere an der Situation von Peers ist jedoch, dass sie als FachkollegInnen (wenn sie dies tatsächlich sind und nicht aus anderen professionellen Zusammenhängen kommen) das evaluieren, was sie selbst auch tun (nämlich unterrichten, mit SchülerInnen, KollegInnen und Eltern interagieren etc.) bzw. Strukturen und Prozesse bewerten, die denen, unter denen sie selbst arbeiten, sehr ähnlich sind. Dass es eine anderen Einrichtung ist (und nicht die eigene), die evaluiert wird, schafft zwar etwas Distanz, gleichzeitig ist aufgrund der Ähnlichkeiten des eigenen beruflichen Handelns mit dem der Evaluierten ein besonderes Naheverhältnis gegeben. Die Bewertung der fremden Einrichtung hat daher auch immer etwas mit einer Reflexion des eigenen beruflichen Selbstverständnisses und der eigenen Praxis zu tun. Zu den Aufgaben der Peers gehört es weiters, in bestimmten Umfang auch selbst Daten zu erheben (s.u. Kapitel 7.12.2), es handelt sich dabei fast ausschließlich um qualitative Informationen aus Interviews, Beobachtungen und einem Rundgang. Diese Erhebungen sollen dazu dienen, den Peers einen unmittelbaren Eindruck zu vermitteln sowie die schriftlichen Unterlagen der evaluierten Bildungseinrichtung durch zusätzliche Informationen zu ergänzen bzw. auch überprüfen und gegebenenfalls hinterfragen zu können. Umfang und Bedeutung dieser Aktivitäten sind in den einzelnen analysierten Verfahren unterschiedlich. In den meisten Peer-Review-Verfahren sind die Peers auch für die Verfassung eines Peer-Berichts verantwortlich (s.u. Kapitel 7.14). Darüber hinaus gibt es im Peer-Team in einigen Fällen besondere Rollen wie die der PeerLeitung/des Peer-Vorsitzes oder der Schriftführerin/des Schriftführers. 7.9.5 Schulung der Peers Um ihre Rolle als Peers ausfüllen zu können, bedürfen die Peers bestimmter Kompetenzen. Grundsätzlich gibt es die Möglichkeit, davon auszugehen, dass Peers ohne weitere Vorbereitung fähig sind, für die Bildungseinrichtung relevante Beobachtungen zu machen und diese mitzuteilen. Spezielle Schulungen sind dann nicht erforderlich. Dies ist unter zwei Bedingungen der Fall: Einerseits wenn es nur darum geht, eine Außensicht einzuholen – wobei dann darauf geach-

222

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

tet werden muss, dass eine für die Schule bedeutsame Perspektive durch die/den Peer abgedeckt wird  , andererseits wenn die Peers so ausgesucht werden, dass sie die relevanten Kompetenzen bereits mitbringen. Diese beiden Bedingungen treffen sowohl auf das Peer Review an der Heideschule in Niedersachsen (Fallbeispiel 2) als auch den Einbezug von Peers im europäischen Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1) zu. In allen untersuchten Peer Reviews ist die zweite Bedingung jedenfalls z.T. erfüllt, da bereits bei der Auswahl der Peers auf deren Expertise sowohl in fachlicher Hinsicht als auch in Bezug auf Qualitätssicherung und/oder Evaluierung geachtet wird (s.o. Kapitel 7.9.1). Zusätzlich werden in den meisten PeerReview-Verfahren, in denen es sich bei den Peers meist tatsächlich um FachkollegInnen handelt, diese auf ihre Tätigkeit vorbereitet bzw. werden Personen aus den Kollegien, die bestimmte Voraussetzungen, wie z.B. Erfahrung in Qualitätsevaluation bzw. Qualitätsmanagement bereits erfüllen, gewählt. Der Aufbau von Evaluationskompetenz an den Schulen ist, wie bereits erwähnt, in den PeerReview-Modellprojekten auch ein wichtiges Projektziel. Schulungen für Peers gibt es in den schulischen Modellprojekten (Fallbeispiele 6 und 7) und in den staatlich regulierten Verfahren (Fallbeispiele 9 und 10), aber auch in den ISO-basierten Peer Reviews. Sowohl im katalanischen Projekt (Fallbeispiel 3) als auch im Verbund der Berufsbildungszentren des Salesianerwerks (Fallbeispiel 4) werden die Peers umfassend für ihre Aufgabe vorbereitet. Im katalanischen Netzwerk ist ein Master-Abschluss in Qualitätsmanagement sogar Vorbedingung für die Tätigkeit als Peer. Gerade in den Netzwerkund den Modellprojekten sind allgemeine Schulungsmaßnahmen und Trainings zur Vorbereitung auf das Review nicht immer klar zu trennen. Inhalte von Trainings und Vorbereitungsworkshops umfassen v.a. Verfahrensfragen (Wie läuft ein Peer Review ab und was ist meine Aufgabe?), können aber auch Fragen des Evaluierungsdesigns und der Methoden, Themen aus der Organisationsentwicklung, Inputs und Übungen zu Kommunikations- und Sozialkompetenz sowie Moderations- und Konfliktmanagementkompetenz beinhalten. Auf die notwendigen „soft skills“ der Peers wird v.a. in den Pilotprojekten aus dem schulischen Bereich (IPS, eiver; Fallbeispiele 6 und 7) geachtet. In eiver und IPS ist die Qualifizierung der LehrerInnen an den Schulen, und insbesondere der Peers, die eine MultiplikatorInnenrolle innehaben, ein wichtiges Projektziel. In beiden Projekten werden die Schulungsmaßnahmen mit der Vorbereitung der Peer Reviews gekoppelt109.

109 Ein ähnliches Vorgehen ist bei der Vorbereitung der Peer Reviews an österreichischen Fachhochschulen zu beobachten.

7.10 Vorbereitung und Organisation

223

7.10 Vorbereitung und Organisation Die Vorbereitung und Organisation eines Peer Reviews umfasst verschiedene Aktivitäten, die z.T. synchron durchgeführt werden können, z.T. auf einander aufbauen. Ein unverzichtbarer Teil der Vorbereitung ist die Selbstevaluierung der Bildungseinrichtung. In den Verfahren, in denen eine Selbstevaluierung speziell in Hinblick auf das anschließende Peer Review durchgeführt wird, muss für diese ein angemessener Zeithorizont eingeplant werden (z.B. im Fall von ROC Aventus (Fallbeispiel 8) mindestens zwei Monate, in EVIT (Fallbeispiel 10) drei bis sechs Monate vor dem geplanten Evaluationszeitpunkt). Weiters sind Dokumente zur Selbstevaluierung sowie andere relevante Unterlagen für das Peer Review vorzubereiten. Diese werden den Peers rechtzeitig vor dem Peer Review übermittelt, so dass diese sich inhaltlich einlesen und vorbereiten können. Zusätzlich können auch, wie bereits besprochen, Schulungen eingeplant werden. Diese dienen in manchen Fällen unter anderem auch dazu, dass die Peers gemeinsam ihre Aufgaben im Peer Review vorbereiten (vgl. v.a. Fallbeispiele 6 und 7). Dabei geht es z.B. um die Erarbeitung von Interviewfragen und eine erste Sichtung und Diskussion der von der Bildungseinrichtung zur Verfügung gestellten Unterlagen (Fallbeispiel 7). Die Einladung der Peers und die organisatorische Planung und Vorbereitung des Reviews wird je nach Verfahren von der Bildungseinrichtung selbst  eventuell in Abstimmung mit den Partnereinrichtungen  (Fallbeispiele 2, 3, 4, 5, 8) oder im Fall von Pilotprojekten durch die Bildungseinrichtungen mit Unterstützung der MitarbeiterInnen des Projektstabs (z.B. Fallbeispiel 6) oder auch durch die Schulaufsicht bzw. eine der Schulaufsicht vorgelagerte Stelle in Absprache mit der Bildungseinrichtung (Fallbeispiele 9 und 10) vorgenommen. Dazu können auch Vorbereitungssitzungen einberufen werden wie im Falle von EVIT (Fallbeispiel 10), wo der Ablauf des Besuchs gemeinsam von Peer-Team und Schulausschuss geplant wird und die konkret zu verwendenden Methoden (Art der Unterrichtsbesuche, Interviews) abgestimmt werden. Wichtig ist neben der zeitlichen Koordinierung der diversen Vorbereitungsaktivitäten (Selbstevaluierung, Einladung der Peers, Übermittlung von Dokumenten an Peers, Schulungen) auch die Planung und Organisation des Ablaufs des Peer-Besuchs. Ein Ablaufplan / eine Tagesordnung wird für gewöhnlich von der zu evaluierenden Bildungseinrichtung erstellt. Für die Koordinierung des Peer Reviews kann an der zu evaluierenden Einrichtung  ähnlich wie in den Verfahren auf Hochschulebene  eine verantwortliche Person eingesetzt werden (s. z.B. Fallbeispiele 8, 10).

224

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Abbildung 9:

Vorbereitung und Organisation eines Peer Reviews

Selbstevaluierung

Planung des PeerBesuchs: zeitlich, organisatorisch und inhaltlich

Auswahl und Einladung der Peers Selbstbericht und ev. weitere Informationen an Peers

Selbstbericht

Ev. Schulung der Peers Ev. Vorbereitung des Peer-Besuchs durch die Peers Peer-Besuch

Quelle: eigene Darstellung

7.11 Selbstberichte Alle dargestellten Peer-Review-Verfahren beinhalten die Erstellung bzw. Zusammenstellung von Dokumenten als wichtige Vorinformation für die Peers. Ausnahme ist das europäische Pilotprojekt zur Selbstevaluierung an Schulen (Fallbeispiel 1), in dem die Peers an der Selbstevaluierung beteiligt waren, die Berichte also nicht Grundlage der Tätigkeit der Peers waren, sondern das Ergebnis der Selbstevaluierung, an der die Peers mitgewirkt hatten. Die den Peers zur Verfügung gestellten Dokumente geben für gewöhnlich allgemeine Informationen zur Einrichtung, ihrem Bildungsangebot und ihrem Leitbild. Eine (Kurz)Darstellungen der Ergebnisse der Selbstevaluierung ist meist der Kern

7.12 Peer-Besuch

225

dieser Dokumentation. Auch kann sie verschiedene quantitative Daten zur evaluierten Einrichtung enthalten – dies ist besonders interessant für Peer Review Ansätze, die auf Benchmarking basieren (z.B. Fallbeispiel 5). Die Verfassung eines „Selbstreports/Selbstberichts/Selbstevaluierungsberichts/Portfolios“, der/das einem vorgegebenen Schema folgt und die oben angeführten Informationen beinhaltet, ist in vier der untersuchten Peer-Review-Verfahren vorgeschrieben (Fallbeispiele 6 bis 9). In anderen Fällen werden die Dokumente anders bezeichnet, bieten aber summa summarum die gleichen Informationen wie die Selbstberichte (Fallbeispiele 3, 4, 10). In den ISO-basierten Peer Reviews sind das die umfangreichen Unterlagen für das ISO-Audit (Fallbeispiele 3 und 4) sowie im Fall der Peer Reviews im Verbund des Salesianerwerks zusätzliche, im Netzwerk erarbeitete Dokumente und Checklisten. In EVIT werden neben dem Schulprogramm die Ergebnisse der Online-Befragungen von SchülerInnen, LehrerInnen und Eltern, die Ergebnisse der Vergleichsarbeiten sowie verschiedene Schuldaten zur Verfügung gestellt. Die Peer Reviews im Netzwerk der finnischen Gastgewerbeschulen sehen, abweichend zur sonstigen Praxis, vor, dass Selbstberichte von allen beteiligten Schulen erstellt werden, und nicht nur von der zu evaluierenden Schule. Dies hat damit zu tun, dass, wie erwähnt, das Peer Review aus einem Benchmarking-Verfahren weiterentwickelt wurde. Für Benchmarking müssen alle Netzwerkmitglieder Daten liefern, da es um einen Vergleich der Indikatoren zwischen den Einrichtungen geht. Die zu evaluierende Schule wird deshalb auch als „gastgebende Schule“ bezeichnet. Gleichzeitig werden aber während des Peer-Besuchs durchaus auch Aktivitäten durchgeführt, z.B. Interviews und ein Rundgang, wie sie für Peer Reviews typisch sind. 7.12 Peer-Besuch 7.12.1 Dauer Die Dauer der Peer-Besuche in den untersuchten Verfahren beträgt zwischen einem halben Tag an der Heideschule (Fallbeispiel 2) und etwa einer Woche an schottischen Further Education Colleges (Fallbeispiel 9). In fast der Hälfte der Fälle (Fallbeispiel 1 wird hier nicht mitgezählt, da es keine Peer-Besuche in dem hier gemeinten Sinne umfasste) ist ein Tag für den Besuch vorgesehen, so z.B. in den Modellprojekten eiver und IPS (Fallbeispiele 6 und 7) sowie in den selbstorganisierten Peer Reviews der finnischen Gastgewerbeschulen (Fallbeispiel 5) und an ROC Aventus (Fallbeispiel 8), wobei im Berufsbildungszentrum Aventus an einem Tag jeweils nur ein Fachbereich evaluiert wird. Für die ISO-basierten

226

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Reviews werden in Katalonien (Fallbeispiel 3) zwei Tage veranschlagt, im Piemont (Fallbeispiel 4) drei Tage, wobei drei jeweils eintägige Reviews aufs ganze Jahr verteilt werden. Zwei Tage nehmen die Besuche durchschnittlich in EVIT (Fallbeispiel 10) in Anspruch, in Abhängigkeit von der Größe der evaluierten Schule können die Besuche auch nur einen Tag dauern (kleine Schulen mit weniger als 150 SchülerInnen) oder auf drei ausgeweitet werden (sehr große Schulen). Die Dauer der Peer-Besuche steht in direktem Zusammenhang mit der zeitlichen und ressourcenmäßigen Belastung der evaluierten Bildungseinrichtungen. Es muss davon ausgegangen werden, dass ein Peer-Besuch den normalen Betrieb erheblich beeinträchtigen kann: OrganisatorInnen der Peer Reviews und andere verantwortliche Personen der Bildungseinrichtung (z.B. DirektorInnen, Fachbereichs-/AbteilungsleiterInnen, Qualitätsbeauftragte etc.) müssen zumindest zeitweise (oder auch während des ganzen Besuchs) den Peers zur Verfügung stehen, InterviewpartnerInnen aus dem Kreis der LehrerInnen und SchülerInnen werden aus dem Unterricht gerissen, Räumlichkeiten und eventuell auch Equipment (wie z.B. Computer) sind belegt, Beobachtung durch die Peers im Rahmen des Rundgangs oder während der Unterrichtshospitationen stellen meist eine Ausnahmesituation für die Beteiligten dar etc. Peer-Besuche sind daher mit einem nicht unbeträchtlichen Aufwand auf Seiten der evaluierten Bildungseinrichtung verbunden und bringen auf jeden Fall Unruhe in den täglichen Ablauf. In den meisten der dargestellten Fälle hält sich die Belastung der Bildungseinrichtungen durch die Peer-Besuche in Grenzen  in mehr als der Hälfte der Fälle dauern diese nicht mehr als einen Tag, in drei Fällen zwei bzw. drei Tage. Dies ist v.a. für die selbstinitiierten Peer Reviews von Bedeutung, da nicht davon ausgegangen werden kann, dass zusätzliche Mittel für die Peer Reviews zur Verfügung stehen. Nur im Falle der umfangreichen Reviews durch HMIE in Schottland dauern die Reviews eine Woche. Zusätzlich zum Aufwand innerhalb der Bildungseinrichtung fallen auch für die Peers Kosten an. Diese können neben den Reisekosten und Aufwandsersätzen für Diäten und Unterbringung auch Honorare bzw. bei reziproken Reviews die anfallenden Personalkosten der eigenen Peers beinhalten. Umfang und Dauer des Reviews schlagen sich direkt in den Kosten nieder. Auch aus der Sicht der beteiligten Peers und der OrganisatorInnen der Reviews ist eine begrenzte Dauer oft von Vorteil, da die zeitliche Verfügbarkeit von Peers berücksichtigt werden muss: Je länger die vorgesehene Dauer des Peer-Besuchs, desto schwieriger wird es, geeignete Peers zu finden. Für die Peers kann die Dauer des Besuchs in vielen Fällen nicht mit der insgesamt für ein Review benötigten Zeit gleichgesetzt werden. Neben der (An)reise können v.a. die Vorbereitungs- und Nachbereitungsarbeiten ein-

7.12 Peer-Besuch

227

schließlich des Verfassens eines Berichts Zeit in Anspruch nehmen. (In wie weit diese Tätigkeiten in den einzelnen Verfahren die Aufgabe der Peers sind, wird an anderer Stelle erläutert.) ROC Aventus (Fallbeispiel 8) veranschlagt z.B. insgesamt vier Personentage pro Peer und Review, d.h. drei Tage für Vor- und Nachbereitung. Das Intensivprojekt Schule (Fallbeispiel 7) kalkuliert mit jeweils 1,5 Tagen pro Peer (0,5 Tage Schulung und Vorbereitung, Besuchstag), die Peers sind in diesem Verfahren aber durch die Peer Leitung, die externe Expertin/den externen Experten sowie die Projektleitung IPS stark entlastet. Der Peer Leitung, die auch die Organisation vor Ort übernimmt, werden insgesamt 4 Arbeitstage zugesprochen (also 3 Tage für Vor- und Nachbereitung), der externen Fachperson ebenso 4 und der Projektleitung IPS 2 (vgl. Strahm, IPS-Bericht 2004, 20). Nicht in allen untersuchten Fällen lassen sich die Vor- und Nachbereitungszeiten der Peer-Besuche klar von anderen Aktivitäten der Peers abgrenzen, da diese in die Netzwerk- und Modellprojekten auch in anderen Funktionen involviert sind. 7.12.2 Ablauf und Aktivitäten In allen Peer-Review-Verfahren (Fallbeispiele 2 bis 10) wird der Peer-Besuch sorgfältig vorbereitet und ein detaillierter, meist eher straffer Ablaufplan erstellt. Die Peer-Besuche bedeuten, wie bereits angedeutet, einen nicht unerheblichen organisatorischen Aufwand für die evaluierte Bildungseinrichtung. Die verschiedenen Aktivitäten während des Besuchs müssen koordiniert und geplant werden, ein Zeitplan erstellt, die betroffenen Personen informiert, die Räumlichkeiten reserviert, eventuell auswärtige InterviewpartnerInnen eingeladen werden. Während des Peer-Besuchs erfolgt meist eine zusätzliche Datenerhebung durch die Peers. Weiters sind auch verschiedene Abstimmungsgespräche unter den Peers aber auch zwischen den Peers und Personen aus der evaluierten Einrichtungen oft Teil des Besuchs. In diesen Gesprächen können bereits erste Bewertungen vorgenommen werden, die Analyse- und Beurteilungsphase kann sich aber auch auf die Nachbereitungsphase erstrecken. Die Aktivitäten im Einzelnen: In allen untersuchten Peer-Review-Verfahren umfasst der Peer-Besuch persönliche Interviews mit Betroffenen und Beteiligten aus der evaluierten Institution (meist Gruppeninterviews, aber manchmal auch Einzelgespräche) sowie in mehr als der Hälfte der Fälle auch einen Rundgang durch die Bildungseinrichtung (Fallbeispiele3, 5, 6, 7, 10). InterviewpartnerInnen können sein: die Direktion/das Management der Bildungseinrichtung, das Finanzmanagement, Abtei-

228

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

lungsleitungen, Administrativkräfte, Lehrende, Lernende und sonstige Beteiligte und Betroffene wie z.B. betriebliche Kooperationspartner. Im Intensivprojekt Schule (Fallbeispiel°7) wird darauf geachtet, dass die Interviews immer von einem Peer Tandem durchgeführt werden. Das erleichtert die Arbeit, da ein/e Peer die Fragen stellt, die/der andere Protokoll führt. Außerdem wird dadurch eine höhere Objektivität in Bezug auf die Wahrnehmung und Interpretation der Rückmeldungen der Befragten gewährleistet. Unterrichtsbeobachtungen sind hingegen nicht ganz so häufig (Fallbeispiel 2, 6, 9, 10). In zwei der vorgestellten Peer-Review-Verfahren verbringen die EvaluatorInnen einen großen Teil der Zeit in den Klassenzimmern: Im PeerBesuch an der Heideschule (Fallbeispiel°2) vermischen sich Unterrichtsbesuche mit Gesprächen und Diskussionen; während des EVIT-Besuchs (Fallbeispiel°10) gibt es verschiedene Methoden der Beobachtung von einem Rundgang bei offenen Türen, über Hospitation ganzer Unterrichtsstunden bis zur Begleitung einzelner Klassen über mehrer Stunden hinweg (Fallbeispiel°10). Die in den Reviews eingesetzten Evaluierungsmethoden sind also v.a. Dokumentenanalysen der zur Verfügung gestellten Unterlagen sowie mündliche Befragungen (Interviews, oft Gruppeninterviews), während Beobachtungen  in den Peer-Besuchen handelt es sich dabei meist um Unterrichtsbeobachtungen (Hospitationen)  seltener durchgeführt werden. 7.12.3 Beratungen im Peer-Team Die Diskussion und Auseinandersetzung im Peer-Team ist ein weiteres wichtiges Element von Peer Review. In drei der analysierten Beispiele kommt nur jeweils eine/ein Peer zum Einsatz, eine Besprechung und Beratung mit anderen Peers während des Reviews ist also in diesen Fällen gar nicht möglich (Fallbeispiele 1, 3 und 4). Während des Peer Reviews an der Heideschule (Fallbeispiel 2) war keine derartige teaminterne Diskussion vorgesehen, das Feedback wurde gleich an das Kollegium adressiert. In den anderen Peer-Review-Verfahren wird der Absprache zwischen den Peers bereits während des Besuchs Bedeutung eingeräumt (Fallbeispiele 5, 6, 7, 8). In den Peer Reviews an den finnischen Gastgewerbeschulen (Fallbeispiel 5) stehen die Diskussionen und Beratungen der Peers (einschließlich der als Peers nominierten VertreterInnen der besuchten Einrichtung) im Mittelpunkt des PeerBesuchs. Auch in den beiden Modellprojekten eiver und Intensivprojekt Schule (IPS) können und sollen sich die Peers während des Besuchstags austauschen. In eiver (Fallbeispiel 6) wird dabei – ähnlich wie in Fallbeispiel 5  auch mit den „Peers“ der besuchten Schule diskutiert. Im Intensivprojekt Schule (Fallbeispiel 7)

7.12 Peer-Besuch

229

sind Beratung im Peer-Team mehrmals am Tag eingeplant: Es finden Beratungen im Peer-Tandem nach jedem Interview statt, um eine erste Bewertung und Verdichtung der Ergebnisse vorzunehmen. In weiterer Folge werden die Ergebnisse der einzelnen Interviews vor der abschließenden Sitzung der Peers mit dem gesamten Kollegium („kommunikative Validierung“) in einer Sitzung des gesamten Peer-Teams gesichtet, die wichtigsten Rückmeldungen ausgewählt und für die kommunikative Validierung aufbereitet und visualisiert. Diese Auswertungssitzung wird von der externen ExpertIn/ dem externen Experten geleitet. Zwischenbilanzen und Absprachen des Evaluierungsteams während oder am Ende eines Besuchstags sind auch in EVIT (Fallbeispiel 10) Teil des Programms für den Vor-Ort-Besuch. Eine Meta-Evaluation des Vor-Ort-Besuchs durch das Peer-Team wird in den beiden Modellprojekten eiver und IPS (Fallbeispiele 6 und 7) am Ende des Besuchstags vorgenommen. Diese Meta-Evaluationen dienen der Weiterentwicklung der Verfahren (s.u. Kapitel 7.17). 7.12.4 Rückmeldegespräche Für die Akzeptanz der Ergebnisse in den evaluierten Bildungseinrichtungen ist von Bedeutung, wie akkurat, nachvollziehbar und bedeutsam sie für die beteiligten Personen sind. Neben der Berichtlegung durch die Peers im Anschluss an das Review (s. Kapitel 7.14) wird daher in den meisten Fällen Wert darauf gelegt, dass die Peers bereits während des Besuchs ein erstes Feedback geben und in Auseinandersetzung mit den von ihnen Evaluierten treten. Deshalb wird in einem Großteil der untersuchten Verfahren auch dem Dialog zwischen Peers und VertreterInnen der evaluierten Einrichtung über die Ergebnisse Raum gegeben (Fallbeispiele 2, 3, 4, 5, 6, 7, 9, 10). Diese Diskussionen ermöglichen eine Richtigstellung von faktischen Fehlern oder Missinterpretationen aber auch eine partizipativ-kooperative Aushandlung der wichtigsten Befunde. Dadurch wird neben der Dialogfunktion auch die Beratungs- und Lernfunktion von Peer Reviews gestärkt. In den Verfahren, in denen die Beratung zwischen den Peers im Vordergrund steht, sind diese Rückmeldegespräche zentraler Bestandteil des PeerBesuchs (Fallbeispiele 5 und 6). In eiver (Fallbeispiel 6) werden zusätzlich noch im Rahmen dieser Diskussionen und Beratungen gemeinsame Vereinbarungen über zukünftige Maßnahmen zwischen Peers und dem Evaluationsteam der Schule entwickelt. Im Intensivprojekt Schule ist vorgesehen, dass in der kommunikativen Validierung zwischen Peers und evaluierter Schule alle wichtigen Aussagen und Ergebnisse des Besuchstags zur Sprache kommen, die Schule kann auch Richtigstellungen in Bezug auf Fakten vornehmen. Nur Ergebnisse,

230

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

die von der Schule akzeptiert und sozusagen „freigegeben“ werden, werden auch in den offiziellen Bericht aufgenommen. Mündliches Feedback am Ende des Vor-Ort-Besuchs geben die Peers auch in den staatlich regulierten Verfahren in Schottland und Schleswig-Holstein (Fallbeispiele 9 und 10). Im Review der schottischen Further Education Colleges (Fallbeispiel 9) besteht bei diesen Gesprächen für die evaluierte Einrichtung die Möglichkeit zur Diskussion und eventuell zu Verhandlungen mit den InspektorInnen. In EVIT (Fallbeispiel 10) dient das Abschlussgespräch dem Austausch erster Rückmeldungen. Nur in einem geringen Teil der Fälle wendet sich das Abschlussgespräch an das gesamte Team. Dies ist der Fall im Peer Review an der Heideschule (Fallbeispiel 2) und im Intensivprojekt Schule (Fallbeispiel 7). In EVIT (Fallbeispiel 10) findet das Feedbackgespräch mit dem EVIT-Schulausschuss statt, der sich aus der erweiterte Schulleitung, Vertreter/innen der Lehrkräfte, Eltern, SchülerInnen und des Schulträgers zusammensetzt, nach Absprache können zusätzlich alle interessierten Lehrkräfte teilnehmen. Der Grund für die Abhaltung von Rückmeldegesprächen mit dem gesamten Kollegium oder großer Teile des Kollegiums ist, dass der Disseminationsaufwand innerhalb der Schule sinkt und durch Information und Beteiligung Informationsmängel und Widerstände abgebaut werden. In einem Fall, den Peer Reviews an ROC Aventus (Fallbeispiel 8) wird aufgrund schlechter Erfahrungen bewusst auf derartige Rückmeldegespräche verzichtet, da diese einerseits zu Konflikten führen können, die Peers sich andererseits aber durch ihre mündlichen Aussagen bereits in ihrer Bewertung festlegen. Aus diesem Grund werden diese Rückmeldegespräche in anderen Verfahren auch gut vorbereitet (vgl. IPS, Fallbeispiel 7), auch braucht es einige Erfahrung und Übung sowohl im Geben als auch im Nehmen von Feedback. Persönliche Anschuldigungen sind fehl am Platz (vgl. z.B. auch Fallbeispiel 4). Die Rückmeldung der Peers wird in den Peer Reviews an ROC Aventus (Fallbeispiel 8) daher erst nach dem Besuchstag als wohlüberlegtes Urteil und schriftlich in Form eines Evaluierungsberichts übermittelt. Mit den Rückmeldegesprächen wird für gewöhnlich der Peer-Besuch abgeschlossen, sollten diese nicht vorgesehen sein, gibt es nur eine Verabschiedung der Peers (Fallbeispiel 8), eventuell danach (auch abhängig vom Zeitrahmen) noch eine kurze Nachbesprechung im Kollegium (Fallbeispiel 2). 7.13 Einbezug von Betroffenen und Beteiligten Betroffene und Beteiligte können in verschiedener Art und Weise im Rahmen der Peer Reviews berücksichtigt werden. Einerseits können sie als Peers fungie-

7.14 Bericht

231

ren, was allerdings in den vorgestellten Fallbeispielen nur selten der Fall ist (s.o. Kapitel 7.9.1). Verschiedene Betroffene und Beteiligte wurden in den Peer Reviews an der Heideschule (Fallbeispiel 2) als Peers eingeladen, in den schottischen Review-Verfahren für Further Education Colleges werden Betroffene und Beteiligte sowohl in Selbstevaluierung als auch während des Vor-Ort-Besuchs als Befragte inkludiert, zusätzlich gibt es noch die Möglichkeit der Beteiligung von Laien (laypersons) im Inspektionsteam (Fallbeispiel 9). Andererseits kann das Feedback von Betroffenen und Beteiligten sowohl in die Selbstevaluierung als auch in die Erhebung während des Peer-Besuchs einfließen: Betroffene und Beteiligte sind also v.a. InterviewpartnerInnen in den verschiedenen Phasen des Reviews. In EVIT wird darauf geachtet, dass die vorbereitende OnlineFragebogenerhebung die Rückmeldungen der Eltern umfasst (Elternfragebögen). 7.14 Bericht 7.14.1 Gibt es einen schriftlichen Bericht? In allen untersuchten Peer-Review-Verfahren werden die Ergebnisse des Reviews schriftlich festgehalten, meist in Form eines Berichts (Fallbeispiele 2, 4, 5, 7, 8, 9, 10). Im Netzwerk der Berufsbildungseinrichtungen der Salesianer werden ausgefüllte Checklisten als Dokumentation der Peer Reviews verwendet, im Fall von eiver (Fallbeispiel 6) handelt es sich um von der wissenschaftlichen Projektbegleitung verfasste Protokolle. (In Fallbeispiel 1, dem europäischen Pilotprojekt zur Selbstevaluierung an Schulen gibt es nur einen Selbstevaluierungsbericht, da ja ein eigentliches Peer Review nicht stattfindet, s.o.) Diese Berichte sind meist zeitnah zum Peer Review fertig zu stellen, in einigen Verfahren wird dies auch explizit verlangt. So erfolgt die Berichtlegung in der Heideschule (Fallbeispiel 1) innerhalb einer Woche, allerdings war in diesem Fall keine weitere Akkordierung notwendig. Im Intensivprojekt Schule (Fallbeispiel 7) und in den Peer Reviews an ROC Aventus (Fallbeispiel 8) muss der Bericht vier Wochen nach dem Peer Review vorliegen, in diese Zeitspanne inkludiert ist bereits die Abstimmungsarbeit zwischen den VerfasserInnen, den anderen Peers und der evaluierter Bildungseinrichtung. In EVIT (Fallbeispiel 10) muss der Bericht innerhalb von drei Wochen fertig gestellt sein, in den schottischen Reviews der Further Education Colleges (Fallbeispiel 9) soll der Endbericht nach einigen Wochen vorliegen.

232

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

7.14.2 Wer verfasst den Bericht? Die Verantwortung für die Verfassung eines Berichts kann bei den Peers, bei Personen aus der evaluierten Einrichtung oder  im Falle von Modellprojekten  bei der Projektleitung/Projektbegleitung liegen. In der Mehrzahl der vorliegenden Verfahren sind es die Peers, die den Bericht erstellen (Fallbeispiele 3, 4, 7, 9, 10). In den katalanischen Peer Reviews (Fallbeispiel 3) arbeiten Peer und QualitätsmanagerIn der evaluierten Einrichtung bei der Berichtlegung zusammen, im Intensivprojekt Schule (Fallbeispiel 7) sind es die Peer-Leitung und die externe Expertin/der externe Experte und in den Peer Reviews an finnischen Gastgewerbeschulen erstellt die gastgebende Schule ein Protokoll (Fallbeispiel 5). ExpertInnen der externen wissenschaftlichen Begleitung sind in eiver (Fallbeispiel 5) für die Dokumentation der Peer-Besuche verantwortlich. Nur in insgesamt drei Fallbeispielen übernehmen Personen aus den evaluierten Bildungseinrichtungen das Verfassen des Berichts (Fallbeispiele 2, 5, 8), es werden dazu für gewöhnlich Notizen der Peers verwendet. Im Fall von ROC Aventus (Fallbeispiel 8) verfasst die/der Review-OrganisatorIn einen ersten Entwurf eines Berichts, der vom Peer-Team kommentiert und von der/dem Vorsitzenden weiter bearbeitet wird. Diese Person gehört zwar der evaluierten Einrichtung an, stammt aber aus einer anderen Abteilung, sodass sie nicht selbst in die evaluierten Prozesse eingebunden ist. Auch zeichnet letztendlich das gesamte Peer-Team für den Bericht verantwortlich. Damit ist diese Vorgehensweise eher als eine Variante der Berichtlegung durch die Peers zu sehen. Die Verfassung eines Erstentwurfs durch eine Mitarbeiterin/einen Mitarbeiter der evaluierten Einrichtung ist als Unterstützung und Serviceleistung an die Peers zu sehen und nicht als Übernahme von Verantwortung für den Bericht. In den Peer Reviews an finnischen Gastgewerbeschulen erstellt die gastgebende Schule ein Protokoll (Fallbeispiel 5). 7.14.3 Wie wird der Bericht akkordiert? Die Inhalte des Berichts werden in allen hier behandelten Peer Reviews mit der evaluierten Einrichtung akkordiert. Die Abstimmung kann bereits während des Besuchs oder/und im Laufe der Berichterstellung erfolgen. In der Berichtsphase beschränkt sich die Stellungnahme der evaluierten Einrichtung für gewöhnlich auf sachliche Richtigstellungen, inhaltliche Diskussionen werden eher noch während des Vor-Ort-Besuchs geführt (s.o. Kapitel 7.12.4). Besonders in den Fällen, in denen sich die Berichtlegung auch in gewissem Maße oder zum größten Teil an eine externe Öffentlichkeit wendet, werden die Berichte einer oder mehrerer Feedbackschleifen unterworfen (Fallbeispiele 7, 8,

7.14 Bericht

233

9, 10). Dabei wird ein Berichtsentwurf sowohl im Peer-Team abgestimmt – meist ist ja eine Person hauptverantwortlich für das Verfassen des Berichts, es muss also noch einmal ein Feedback von den anderen Peers eingeholt werden  als auch von der evaluierten Einrichtung gegengelesen und kommentiert. Nach dieser Stellungnahme wird der Bericht zum Peer Review von der für die Berichtlegung verantwortlichen Person noch einmal überarbeitet und dann endgefertigt. 7.14.4 Wer sind die AdressatInnen? Wird der Bericht auch öffentlich zugänglich gemacht? Hauptadressatinnen bzw. wichtige Adressatinnen sind in allen untersuchten PeerReview-Verfahren die Bildungseinrichtungen selbst. Zusätzlich können aber die Berichte auch an Externe ergehen. Dies ist in Netzwerkkooperationen und Modellprojekten der Fall, in denen auch die jeweils koordinierende Einrichtung (Projektteams, Gremien der Netzwerkkoordination) die Berichte erhält und eventuell auch im Hinblick auf die Weiterentwicklung des Peer-Review-Verfahrens auswertet (vgl. unten Meta-Evaluation, Kapitel 7.16). In Verfahren, die eine externe Rechenschaftslegung gegenüber der Bildungsverwaltung anstreben, sind die Berichte nicht nur für die Bildungseinrichtungen selbst sondern v.a. auch für die zuständigen Behörden bestimmt. Dies betrifft staatlich regulierte Verfahren aber auch z.B. das Intensivprojekt Schule (Fallbeispiel 7), das eine Verknüpfung von Qualitätsentwicklung und Rechenschaftslegung anstrebt. An eine weitere Öffentlichkeit wenden sich nur die Berichte im Rahmen der schottischen Inspektion (Fallbeispiel 9), wo Zusammenfassungen veröffentlich werden und auch über das Internet für alle Interessierten zugänglich sind (vgl. auch die Verfahren im Hochschulbereich, Kapitel 5). 7.14.5 Zusammenfassung: Funktion des Berichts Der Peer-Bericht dient als Medium für die Rückmeldungen der Peers. Als solches ist der Bericht nur ein – wenn auch herausragender  Teil des Feedbackprozesses. Wie oben ausgeführt, können Rückmeldungen (und eventuell auch Bewertungen der Peers sowie Diskussionen und Beratungen zwischen Peers und evaluierter Einrichtung) bereits ein Element des Peer-Besuchs sein. Weiters werden im schriftlichen Bericht die Ergebnisse des Reviews festgehalten und gesichert. Damit kann ein einheitliches, gemeinsames Verständnis über die Resultate der Evaluation hergestellt werden – meist auf dem Wege eines Feedbackverfahrens, in dem die evaluierte Einrichtung die Möglichkeit hat, zum Bericht

234

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Stellung zu nehmen. Der Bericht kann dann auch an andere Beteiligte und Betroffene übermittelt werden – und dient so auch einer Rechenschaftslegung der Bildungseinrichtung nach außen. In den hier behandelten Peer-Review-Verfahren aus dem Bereich der beruflichen Erstausbildung (bzw. der schulischen Ausbildung der Sekundarstufe) steht v.a. die Dissemination der Ergebnisse als Funktion der Berichte im Vordergrund, die Rechenschaftslegung nach außen spielt v.a. in den staatlich regulierten Verfahren eine wichtige Rolle. Letztere gleichen in diesem Punkt den Peer-ReviewVerfahren im Hochschulbereich, in denen das Verfassen eines schriftlichen Berichts große Bedeutung sowohl für die Ergebnissicherung als auch für die Rechenschaftslegung gegenüber staatlichen Stellen und anderen Betroffenen und Beteiligten hat. Grundsätzlich besteht aber auch in den anderen dargestellten Peer-ReviewModellen die Möglichkeit, die Berichte zusätzlich an Externe – seien es die Behörden, verschiedene Beteiligte und Betroffene (wie Eltern) oder auch eine breite Öffentlichkeit (z.B. durch Publikation)  zu adressieren. Je größer das Bedürfnis der Öffentlichkeit nach Information und Transparenz, desto bedeutsamer wird die Offenlegung von Evaluierungsergebnissen. 7.15 Follow-up 7.15.1 Planung, Vereinbarung und Umsetzung von Verbesserungsmaßnahmen Die Planung, Vereinbarung und Umsetzung von Maßnahmen aufgrund der Ergebnisse des Peer Reviews ist für gewöhnlich bereits Teil eines Follow-upProzesses. Für die Effektivität eines Peer Reviews im Sinne der Qualitätsentwicklung ist dieser Verfahrensschritt von allergrößter Bedeutung, die Tätigkeit der Peers endet jedoch für gewöhnlich mit der Berichtlegung. Der Follow-upProzess ist zwar in der oben genannten Definition eines Peer Reviews, das aus Selbstevaluierung, Peer-Besuch und Bericht besteht (vgl. Kapitel 2.4), nicht eingeschlossen und in der Realität von den Aktivitäten der Peers abgekoppelt, wird in einigen Verfahren aber bereits als weiteres Verfahrenselement dazugezählt (z.B. Fallbeispiele 7, 8, 9, 10)110. Dies ist v.a. dann der Fall, wenn einem Peer Review Leistungsvereinbarungen folgen sollen, die Umsetzung von Verbesserungsmaßnahmen also zwischen zwei Vertragspartnern festgelegt wird. Vereinbarungen können zwischen der Bildungseinrichtung und den zuständigen

110 Vgl. auch die Peer Reviews and österreichischen Fachhochschulen, Kapitel 5.5.2.

7.16 Exkurs: Art der Rückmeldung und Ausmaß der Involviertheit der Peers 235 Behörden (Stichwort: New Public Management) abgeschlossen werden (Fallbeispiele 9, 10; in IPS, Fallbeispiel 7 wird auch die Projektleitung des Modellprojekts in die Verhandlungen zur Leistungsvereinbarung eingeschaltet) oder auch innerhalb der Einrichtung, z.B. zwischen den evaluierten Abteilungen und dem zentralen Management (ROC Aventus, Fallbeispiel 8). Diese externen Vereinbarungen müssen dann innerhalb der Bildungseinrichtung bzw. innerhalb der Abteilung (im Fall von ROC Aventus) umgesetzt werden. Eine externe Kontrolle der Umsetzung nach einer bestimmten Zeit ist für gewöhnlich vorgesehen. In den formativen, freiwilligen Peer Reviews handelt es sich bei Follow-upAktivitäten meist von Vornherein um ein internes Procedere, das nicht (so stark) reglementiert ist. Die Umsetzung von Empfehlungen und Vorschlägen liegt in der alleinigen Verantwortung der beteiligten Einrichtungen und erfolgt auf freiwilliger Basis. Abschließend kann festgestellt werden, dass alle beschriebenen PeerReview-Verfahren in ein System kontinuierlicher Qualitätsverbesserung eingebettet sind. Im Falle der formativen Peer Reviews wird diese Qualitätsverbesserung vornehmlich intern gesteuert, in Falle der staatlichen Reviews extern durch die Behörde verlangt. 7.16 Exkurs: Art der Rückmeldung und Ausmaß der Involviertheit der Peers Peer Review als Evaluationsverfahren hat per definitionem eine Bewertung des Evaluationsgegenstandes – im vorliegenden Falle die Qualität der Leistungserbringung an einer Berufsbildungseinrichtung  zum Ziel. In der Praxis ist die Aufgabenstellung an die Peers jedoch nicht so eindeutig. So ist ein Spektrum an verschiedenen Arten der Rückmeldung möglich: Diese gehen von einem deskriptiven Feedback, das Beobachtungen sowie Aussagen von InterviewpartnerInnen nur spiegelt, über eine Rückmeldung der Analyse und Interpretationen der vorliegenden Daten bis zu expliziten Bewertungen. Die expliziten Bewertungen wiederum können unterschiedlich scharf ausfallen  als Zuordnung der einzelnen Evaluationsfragestellungen zu einem Stärken-Schwächen-Profil oder auch als tatsächliche Vergabe von Beurteilungen  z.B. im Sinne von ausreichend/nicht ausreichend oder auch in Form einer Skala (sehr gut, gut, ausreichend, unzureichend). In letzterem Fall wird die Leistung bzw. die Güte der Leistungserbringung einer Bildungseinrichtung an mehr oder weniger konkret formulierten Kriterien und Indikatoren gemessen. In summativen, von staatlicher Seite vorgegeben Peer Reviews ist die Bewertung ein zentraler Bestandteil. Diese wird auch anhand von Indikatoren vor-

236

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

genommen (Fallbeispiele 9 und 10). In den Peer Reviews an ROC Aventus (Fallbeispiel 8), das an den niederländischen Inspektionsrahmen angelehnt ist, werden ebenfalls Indikatoren überprüft. In den vorliegenden formativen Verfahren ist eine Bewertung im Sinne einer Art Notenskala nicht notwendig, da die Rückmeldungen nicht einem einrichtungsübergreifenden Vergleich sondern der interne Qualitätsentwicklung dienen. Es müssen aber jedenfalls Stärken und Schwächen von den Peers identifiziert werden, um der evaluierten Einrichtung Entwicklungsimpulse geben zu können. Wie „hart“ diese Bewertungen formuliert werden, kann jedoch unterschiedlich sein und ist sicher auch in Abhängigkeit von kulturellen Traditionen im Umgang mit Feedback zu sehen. So geben im Intensivprojekt Schule die Peers keine Bewertungen ab, sondern spiegeln nur die Befunde aus dem Vor-Ort-Besuch und formulieren Hinweise auf weiterführende Fragestellungen und Entwicklungspotentiale. Das Modellprojekt eiver (Fallbeispiel 6) befindet sich noch in einem Klärungsprozess, welche Form des Feedbacks angemessen und nützlich erscheint bzw. ob Peers auch beratend tätig sein sollen. In beratungsorientierten Verfahren wie dem an finnischen Gastgewerbeschulen (Fallbeispiel°5) angewandten ist eine Bewertung nicht nötig, diese ergibt sich aus dem Vergleich der Benchmarks. Die Diskussionen im Peer-Team sollen helfen, die Bedeutung der Unterschiede in den Benchmarks qualitativ zu erforschen und zu verstehen sowie mögliche Verbesserungen und Lösungen zu diskutieren. Damit ist eine zweite Frage angeschnitten, nämlich die, inwieweit Peers auch Vorschläge und Empfehlungen abgeben oder in die Planung von Verbesserungsmaßnahmen involviert sind. Hier gilt generell, dass Empfehlungen gemacht werden bezüglich der Bereiche, in denen Verbesserungen vorzunehmen sind, nicht aber wie diese Verbesserungen durchgeführt werden sollen. Die konkrete Planung und Umsetzung verbleibt in der Verantwortung der evaluierten Einrichtung. 7.17 Meta-Evaluation Selbstreflexion ist v.a. in den Netzwerkkooperationen und in den Modellprojekten (Fallbeispiele 3, 4, 5, 6, 7) ein wichtiger Bestandteil der Verfahren, z.T. sind Reflexionsrunden bereits Teil des Peer-Besuchs (vgl. Meta-Evaluation durch die Peers in Fallbeispiel 6 und 7). Das Verfahren wird in diesen Kooperationsprojekten aber auch im Rahmen von gemeinsamen Sitzungen und Tagungen im Netzwerk der Bildungseinrichtungen weiterentwickelt.

7.18 Zusammenfassung und allgemeine Charakteristiken von Peer Review

237

7.18 Zusammenfassung und allgemeine Charakteristiken von Peer Review 7.18.1 Wie weit handelt es sich bei den dargestellten Verfahren um Peer Review? Eine Klärung der Frage, ob bei allen dargestellten Evaluierungsverfahren tatsächlich von Peer Review gesprochen werden kann, soll in Kapitel 8 auf der Basis einer Neu-Definition von Peer Review vorgenommen werden. An dieser Stelle soll lediglich dargestellt werden, ob die untersuchten Verfahren die in Kapitel 2.4 vorgestellten Elemente eines Peer Reviews umfassen. Vorab seien einige Fragestellungen und Abgrenzungen erwähnt: So handelt es sich im Fallbeispiel 1, dem europäischen Pilotprojekt zur Selbstevaluierung an Schulen, wie bereits mehrfach konstatiert, nicht um ein Peer Review (dies war im Projekt auch gar nicht intendiert), da das Element einer eigenständigen externen Evaluierung, die von der Selbstevaluierung abgesetzt ist, fehlt. Es handelt sich dabei um eine Selbstevaluierung unter Einbeziehung von Peers. Die drei Stufen des Peer Reviews  Selbstevaluierung als Vorbereitung, Peer-Besuch als zentrales Element des Peer Reviews und Berichtlegung als Abschluss des Verfahrens  werden in allen anderen analysierten Verfahren (Fallbeispiele 2 bis 10) beachtet. Allerdings mit unterschiedlichen Schwerpunktsetzungen: So kann die Selbstevaluierung, auf der das Peer Review aufbaut, auch im Rahmen anderer Qualitätssicherungsverfahren erfolgt sein bzw. auch Teil eines Managementsystems sein. Das Peer Review schließt in diesem Fall an andere qualitätssichernde Maßnahmen an, eine Kombination mit international gängigen Managementsystemen wie ISO, EFQM, BSC oder nationalen Qualitätssystemen ist möglich. Auch bezüglich der Berichtlegung gibt es verschiedene Varianten: Die Berichte können formlos, allein für den internen Gebrauch bestimmt sein und nicht mehr als Protokolle des Peer-Besuchs darstellen. Dies trifft v.a. auf die Berichtlegung in den formativen, selbstinitiierten Verfahren zu. Je stärker das PeerReview-Verfahren auch der Rechenschaftslegung dient, desto umfassender sind die Abstimmungsverfahren zwischen VerfasserInnen, Peers und der evaluierten Einrichtung und desto strukturierter ist die Form der Berichte. Bei den Peers handelt es sich in den formativen Peer Reviews im Großen und Ganzen gleichgestellte Personen, die aus einer anderen Institution, aber einem ähnlichen Arbeitszusammenhang kommen. Sie entsprechen damit der oben gegebenen Definition (vgl. Kapitel 2.4). In den summativen Verfahren sind auch Personen der Schulaufsicht (Fallbeispiel 10) involviert bzw. VollzeitAssessorInnen der zwischengeschalteten Einrichtung, die traditionsgemäß als

238

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

InspektorInnen wahrgenommen werden (Fallbeispiel 9). In diesen beiden Fällen ist fraglich, ob tatsächlich von gleichgestellten Personen und einer Auseinandersetzung „auf gleicher Augenhöhe“ gesprochen werden kann. 7.18.2 Abgrenzung zu anderen Verfahren der Qualitätssicherung und Qualitätsentwicklung Die Definition und Auswahl der Peers sowie Fragen der Funktion und Steuerung des Verfahrens verweisen auf einen Graubereich zwischen Peer Review und anderen Verfahren der Qualitätssicherung und Qualitätsentwicklung. Peer Review als Evaluationsverfahren findet sich in einem Spannungsfeld zwischen Formen von Benchmarking bzw. kollegialer Beratung auf der einen Seite und Inspektionsverfahren auf der anderen Seite. So stellt sich die Frage, ob es sich bei Fallbeispiel 5, Peer Review an finnischen Gastgewerbeschulen, eher um ein Benchmarking- oder doch um ein PeerReview-Verfahren handelt. Die Fallbeispiele 9 und 10, Review der schottischen Further Education Colleges und „Evaluation im Team“ in Schleswig-Holstein, hingegen beschreiben staatliche Inspektionen. Diese wären an und für sich leicht von Peer Review zu trennen, wenn nicht zunehmend Peers auch in Inspektionsverfahren eingesetzt würden bzw. – wie es im Hochschulbereich bereits Realität ist  Peer Review mittelbar für staatliche Kontrollzwecke eingesetzt würde. Weiters werden immer öfter unabhängige Evaluierungs- bzw. Qualitätssicherungsagenturen mit der Überwachung, Steuerung und Organisation derartiger qualitätssichernder Evaluierungsprozeduren betraut (vgl. auch die Entwicklung im Hochschulsektor, Kapitel 5), sodass die Qualitätskontrolle nicht mehr direkt von Bildungsverwaltung durchgeführt wird. Ein Versuch, Peer Review von anderen Verfahren der Qualitätskontrolle abzugrenzen, wird in Kapitel 8 unternommen werden. 7.18.3 Typologie von Peer Reviews in Hinblick auf Funktion sowie Einpassung in die Qualitätssicherung auf Systemebene Ein Großteil der untersuchten Peer-Review-Verfahren sind Experimente, Modellprojekte und selbstkoordinierte Netzwerkinitiativen (Fallbeispiele 1 bis 7). Die Teilnahme an diesen Verfahren ist freiwillig, eine Einpassung in die Qualitätssicherung auf Systemebene (noch) nicht gegeben. In all diesen Verfahren werden hauptsächlich formative, qualitätsverbessernde Absichten verfolgt.

7.18 Zusammenfassung und allgemeine Charakteristiken von Peer Review

239

Anders die beiden staatlich vorgegebenen Inspektionssysteme, die sich eines Art Peer-Review-Verfahrens bedienen (Fallbeispiele 9 und 10): Diese stellen ein zentrales Element der Qualitätskontrolle auf Systemebene im jeweiligen Land dar. Eine Zwischenposition nimmt das niederländische Peer-Review-Verfahren ein, da es prinzipiell eine formative Zielsetzung verfolgt und selbstorganisiert abläuft, jedoch im Rahmen der proportionalen Inspektion auch als Grundlage für eine Anpassung der Intensität und des Umfangs der Inspektion herangezogen werden kann. In diesem Fall stellt Peer Review für die Bildungseinrichtungen eine Möglichkeit dar, der gesetzlichen Verpflichtung der Durchführung von externen Evaluierungen/Audits nachzukommen. Anhand der Funktion des Reviews und der Einpassung in die Qualitätssicherung auf Systemebene (d.h. dem Ort der Steuerung des Verfahrens) ergeben sich drei Typen von Peer Review:

Abbildung 10: Typologie von Peer Reviews Typ 1 das freiwillige, entwicklungsorientierte, formative Peer Review (für die interne Qualitätsverbesserung)

Typ 2 das verpflichtende, kontrollorientierte, summative Peer Review (für staatliche Inspektionszwecke)

Typ 3 das verpflichtende, entwicklungsorientierte, formative Peer Review (das auch als Grundlage für summative Evaluierungen im Rahmen staatlicher Qualitätskontrolle dienen kann) Quelle: eigene Darstellung

240

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

Ad Typ 1) In den formativen Peer-Review-Verfahren sind es die Bildungseinrichtungen selbst, die alleine oder mit anderen Bildungseinrichtungen gemeinsam das Verfahren weitgehend selbst bestimmen bzw. im Falle von Pilotprojekten im Vorfeld über ihre Projektteilnahme entscheiden. Es gibt unter diesen Verfahren sehr einfach, kostengünstig und ohne allzu große Vorbereitungsarbeiten zu implementierende Peer-Review-Varianten (vgl. z.B. Fallbeispiele 2 und 5), in denen darauf vertraut wird, dass die Personen, die als Peers eingeladen werden, aufgrund ihrer beruflichen Erfahrung der einladenden Einrichtung ein relevantes Feedback geben können. Die Peers sind „echte“ Peers, d.h. FachkollegInnen aus vergleichbaren Einrichtungen. Ob und wieweit an der Entwicklung eines standardisierten gemeinsamen Verfahrens gearbeitet wird, hängt von den zur Verfügung stehenden Ressourcen und dem Bedürfnis nach einer Standardisierung des Verfahrens (z.B. um Vergleichbarkeit zu erzielen, um gemeinsam das Verfahren optimieren zu können etc.) ab. In den Pilotprojekten (Fallbeispiele 6 und 7) und zwei der Netzwerkkooperationen (Fallbeispiele 3 und 4) wurden z.T. umfangreiche Vorgaben zu Inhalt und Ablauf des Peer Reviews ausgearbeitet. In diesen Verfahren kommt auch der Schulung der Peers eine hohe Bedeutung zu: Der Aufbau von Kompetenz im Hinblick auf Evaluierung und/oder Qualitätssicherung ist in diesen Fällen (Teil)Projektziel. Gerade in den beiden Modellprojekten geht es nicht nur darum, ein Feedback zu bekommen, sondern auch eine Durchführung des Reviews nach wissenschaftlichen Kriterien und Standards zu gewährleisten. In fast allen der untersuchten Fälle dieses Typs (eine Ausnahme bildet Fallbeispiel 2) arbeiten die Bildungseinrichtungen in Netzwerken zusammen. Die Peers sind dann hauptsächlich KollegInnen aus den Partnereinrichtungen des Netzwerks. Diese führen nicht nur eine externe Evaluierung (Analyse des Selbstreports, zusätzliche Erhebungen im Rahmen des Peer-Besuchs) durch und melden die Ergebnisse dieser Evaluierung an die Bildungseinrichtung zurück, sondern stehen oft auch als DiskussionspartnerInnen für gemeinsame Beratungen zur Verfügung. Die Evaluierungsergebnisse werden von den beteiligten Einrichtungen eigenverantwortlich in Verbesserungsmaßnahmen umgesetzt. (Ausnahme ist Fallbeispiel 7, wo die Behörde im Rahmen einer Leistungsvereinbarung mit der Schule in das Follow-up involviert ist.)

7.18 Zusammenfassung und allgemeine Charakteristiken von Peer Review

241

Ad Typ 2) Grundsätzlich gilt, dass die Verfahren im Typ 2 von den staatlichen Behörden gesteuert werden, die umfangreiche Vorgaben zu Ablauf, beteiligten Personen und Berichtlegung machen. Das Regulierungsausmaß ist hoch. Es ist genau festgelegt, wer die Peers bzw. InspektorInnen sind. Die „Peers“ werden von den zuständigen Behörden (oder mit der Organisation und Kontrolle dieser Evaluierungsverfahren betrauten Agenturen) nominiert und geschult, die evaluierten Bildungseinrichtungen haben keinen Einfluss auf die Auswahl. Teile des Evaluierungsteams sind mit Personen besetzt, die hauptberuflich für die staatliche Aufsichtsbehörde arbeiten. Detaillierte Vorgaben gibt es bezüglich der zu evaluierenden Qualitätsbereiche, die durch Indikatoren näher spezifiziert werden. Auch einheitliche Bewertungskriterien sind vorgesehen, um die Ergebnisse der Reviews vergleichbar zu machen. Die Konsequenz des Reviews für die Bildungseinrichtungen ist v.a. die verbindliche Umsetzung von mit den Behörden vereinbarten Verbesserungsmaßnahmen111. Ad Typ 3) Typ 3, in dieser Untersuchung repräsentiert durch das Peer-Review-Verfahren an ROC Aventus (Fallbeispiel 8), ist hinsichtlich der primären Funktion des Reviews, die ja entwicklungsorientiert ist, der Selbstbestimmung bei der Ausgestaltung des Verfahrens und der Auswahl der Peers sowie der Kooperation mit anderen Bildungseinrichtungen (die in diesem Fall aber eher lose ist) den Verfahren des Typs 1 zuzuordnen. Gleichzeitig ist das Verfahren jedoch nicht freiwillig, sondern dient der Erfüllung rechtlicher Verpflichtungen. Ein Peer Review vom Typ 3 steht also zwischen den Verfahren des Typs 1 und 2. In der Praxis ist es auch insofern von staatlichen Vorgaben geprägt, als Anforderungen des Inspektorats im Sinne eines effizienten Einsatzes von Ressourcen von den Bildungseinrichtungen auch im Peer Review berücksichtigt werden. In diesem Zusammenhang sei darauf hingewiesen, dass die Übergänge von Typ 1 zu Typ 3 in der Praxis oft fließend sind, da Bildungseinrichtungen, auch wenn sie sich freiwillig einem Peer Review unterziehen, auch Qualitätsstandards anderer relevanter Verfahren berücksichtigen können, um das Review auch für andere Zusammenhängen, in denen es um Zertifizierungen, Akkreditierungen oder andere summative Bewertungen geht, nutzbar zu machen (siehe z.B. die ISO-orientierten Peer Reviews). Diese Zertifizierungen etc. können selbst wie-

111 Andere Konsequenzen wie der Entzug der Berechtigung Prüfungen abzunehmen oder der Entzug von öffentlichen Geldern sind ähnlich wie in den Verfahren auf Hochschulebene meist eher theoretische Möglichkeiten.

242

7 Peer Review in der beruflichen Erstausbildung: Analyse der Fallstudien

derum für die Erfüllung staatlicher Anforderungen Bedeutung haben, z.B. als Bedingung für die Akkreditierung als Berufsbildungseinrichtung (wie in Piemont) oder als Nachweis eines geeigneten Qualitätsmanagementsystems. Schließlich sei darauf hingewiesen, dass auch die beiden gegensätzlichen Kategorien Typ 1 und Typ 2 in Bezug auf die Funktion des Peer Reviews nicht gänzlich trennscharf sind: Einerseits sind auch die Verfahren des Typs 2 auf Qualitätsverbesserung ausgelegt, diese steht jedoch stark unter dem Vorzeichen der Fehler- und Defizitbereinigung. Das Review dient ja dazu, die Einhaltung von staatlichen Mindeststandards zu gewährleisten. Allerdings können durch entsprechende Bewertungsschemata auch in Typ-2-Verfahren Anreize für den Aufbau von Best Practice gegeben werden (vgl. Fallbeispiel 9). Eine Vereinbarungskultur, die dem New Public Management entstammt, soll dafür sorgen, dass die Bildungseinrichtungen die Qualitätsverbesserung auch tatsächlich durchführen. In welchen Bereichen und in welche Richtung sich die Bildungseinrichtung selbst entwickeln möchte, ist jedoch im Rahmen dieser Verfahren nur dann relevant, wenn das Vorhaben in die im Inspektionsrahmen zu bewertenden Qualitätsbereiche und Indikatoren fällt. Andererseits können auch, wie bereits erwähnt, legitimatorische, rechenschaftslegende Ansprüche in formativen Peer Reviews (Typ 2) verfolgt werden. Das kann bedeuten, dass Ergebnisse des Peer Reviews verschiedenen Anspruchsgruppen (z.B. auch den Behörden) zugänglich gemacht werden bzw. auch für andere kontrollorientierte Verfahren genutzt werden. In einem der dargestellten Verfahren (Fallbeispiel 7) wird die summative Wirkung durch den Einbezug der Schulaufsicht in das Verfahren angestrebt. Diese ist Mitglied des Projektbeirats, kann an Peer Reviews teilnehmen und ist v.a. zuständig für die Leistungsvereinbarung mit der Schule.

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Im folgenden Kapitel werden auf der Basis der Befunde aus der empirischen Erhebung die zu Beginn angeführten Definitionen von Peer Review (vgl. Kapitel 2) reflektiert und in manchen Bereichen präzisiert oder neu formuliert. Es soll geklärt werden, wie Peer Review im Bildungsbereich als Evaluierungsverfahren definiert und eingeordnet werden, wer als Peer gelten und wie Peer Review von anderen, verwandten Verfahren abgegrenzt werden kann. Wie bereits ausführlich dargestellt (Kapitel 3 bis 5), kann Peer Review auf verschiedenen Ebenen der Bildungssysteme zum Einsatz kommen (Mikro-, Meso-, Makroebene), was auch unterschiedliche Evaluierungsgegenstände bedeutet: Während auf der Mikroebene individuelle Leistungen bewertet werden, steht bei Evaluierungen auf der Mesoebene die einzelne Bildungseinrichtung im Blickpunkt; auf der Makroebene werden die Strukturen (von Teilen) des Bildungswesens und Prozesse auf politisch-administrativer Ebene betrachtet. Da durch die Verwendung des Begriffs „Peer Review“ allein nicht erkenntlich ist, um welche Form es sich handelt, scheint eine Erweiterung und Präzisierung durch einen Zusatz (Peer Review auf der Ebene der Bildungssysteme, Peer Review auf der Ebene von Bildungseinrichtungen, Peer Review als Personalevaluation) im Hinblick auf einen unmissverständlichen und eindeutigen wissenschaftlichen (aber auch politischen) Diskurs empfehlenswert. Da sich diese Arbeit schwerpunktmäßig mit Peer Review auf der Organisationsebene (Mesoebene) beschäftigt, werden die folgenden Überlegungen hauptsächlich diese Form des Peer Reviews zum Ausgang nehmen. Einige Argumente sind jedoch auch für das Verständnis anderer Formen von Peer Review hilfreich. Zusätzlich kann auch die Auseinandersetzung mit Peer-Review-Verfahren außerhalb des Bildungsbereichs, d.h. v.a. mit dem Forschungs-Peer-Review, zur Klärung zentraler Aspekte des Verfahrens beitragen. Wenn auf Peer Review auf anderen Ebenen als der Organisation oder in anderen Bereichen als dem Bildungswesen Bezug genommen wird, wird dies jedoch jeweils deutlich gemacht. Eine weitere Stufe der Komplexität ergibt sich durch den Fokus der Dissertation auf die berufliche Erstausbildung. Es wird daher in einem ersten Schritt aufgezeigt, wie Peer Review als Verfahren zur Evaluierung von Bildungseinrichtungen definiert werden kann, um dann in einem zweiten Schritt die Bedingun-

244

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

gen und Funktionsweisen von Evaluierungen im Bereich der beruflichen Erstausbildung im Vergleich zum Hochschulbereich in den Blick zu nehmen. Vor dem Hintergrund dieser Betrachtungen und Abgrenzungen werden die in Kapitel 6 und 7 untersuchten Verfahren im Bereich der beruflichen Erstausbildung noch einmal analysiert und eingeordnet. 8.1 Peer Review als Evaluationsverfahren Ausgangspunkt dieser Arbeit ist, dass es sich bei Peer Review um ein Evaluationsverfahren handelt bzw. handeln kann, wenn bestimmte Bedingungen erfüllt sind. Ein „Review“ als „Bewertung und Überprüfung“ zielt jedenfalls darauf ab, den Wert einer Sache (eines Bildungsprogramms, einer Einrichtung etc.) zu ermitteln. Zieht man die in Kapitel 2 angeführten Definitionen von Evaluation heran, so bedarf es allerdings weiters „systematischer Untersuchungen, die empirische, d.h. erfahrungsbasierte Informationen bereitstellen“ (Definition von Beywl 1999, 31), um Peer Review als eine Form der Evaluierung definieren zu können. In der Praxis des Peer Reviews, wie sie in den vorangegangen Kapiteln dargestellt wurde, scheint auch diese Anforderung erfüllt zu sein, da Peer Review auf einer vorangegangen Selbstevaluierung aufsetzt und diese durch zusätzliche Erhebungen und Analysen komplettiert und überprüft. Es geht also nicht um rein subjektive Einschätzungen der Peers, vielmehr müssen Bewertungen auf der Grundlage empirischer Informationen auch begründbar sein. Diese Definition von Peer Review als auf Intersubjektivität und Objektivierbarkeit der Ergebnisse abzielendes Verfahren steht im Gegensatz zu früheren Darstellungen, in denen Peer Review in einer Typologie von Qualitätsbewertungsverfahren im europäischen Hochschulwesen als (Parade)Beispiel für ein „subjektives“ Verfahren angeführt wurde (Europäische Kommission 1993, 8, s. auch 21 und Anhang C): Der größte Nachteil einer „Peer Review“ ist deren subjektiver Charakter. Die Urteile entstammen in jedem Falle unüberprüfbaren geistigen Prozessen bei den Urteilenden. Deshalb bleibt der „Peer-Review“-Prozess so etwas wie eine „Black Box“. Soziologische Untersuchungen zum tatsächlichen Ablauf des traditionellen „PeerReview“-Prozesses haben einen weiteren, damit verbundenen Nachteil ergeben: Die Urteile der „Peers“ werden noch durch andere Faktoren als die wissenschaftliche Qualität beeinflusst. Es kann eine intellektuelle und/oder soziale Voreingenommenheit bestehen, und/oder es können Zufallsfehler auftreten. Trotz des hohen Aussagewertes des „Peer-Review“-Verfahrens ist also dessen Zuverlässigkeit nur gering.“ (Europäische Kommission 1993, Anhang C, XVI)

8.1 Peer Review als Evaluationsverfahren

245

Diese Beurteilung  die der von Scriven sehr ähnlich ist (Scriven 1991, 255, vgl. die Einleitung zu dieser Arbeit)  ist allerdings wie aus dem Text klar hervorgeht, stark von den Praktiken bei der Bewertung von Forschungsleistungen beeinflusst, die ja bis heute, was ihre Objektivität und Verlässlichkeit betrifft, umstritten sind (s.o. Kapitel 3.2). Die Autoren des Berichts, Van Gucht und Westerheijden, deuten auch bereits eine Weiterentwicklung von Peer Review an, die durch neue Funktionen und neue Anwendungsgebiete in Gang gesetzt wird. Sie charakterisieren die traditionellen Peer Reviews als Bewertungsprozesse, „die in den verschiedenen Disziplinen seit jeher angewendet werden“ und „die sich an ‚intrinsischen’ Forschungszielen orientieren, d.h. ausschließlich an wissenschaftlicher Qualität und wissenschaftlichem Fortschritt“ (Europäische Kommission 1993, Anhang C, XV) und merken dann an: Die neuen Evaluierungsprozesse jedoch erfassen nicht nur sowohl Forschung wie Lehre, sondern zielen darüber hinaus auf andere, „extrinsische“ Ziele ab, wie soziale Relevanz und Abrechenbarkeit gegenüber Geldgebern. Dies macht die Anwendung dieser Verfahren komplizierter: erfordert die „neue“ Anwendung andere Verfahren, eine andere Definition der „Peers“ und/oder andere (implizite) Beurteilungskriterien? (Europäische Kommission 1993, Anhang C, XVf.)

Seit den frühen 90er Jahren haben sich nicht nur die Peer-Review-Verfahren weiterentwickelt, sondern auch das Verständnis von Ausprägungs- und Einsatzmöglichkeiten. Auch wenn Leistungsindikatoren, die in der oben genannten Publikation als „objektive“ Instrumente dem „subjektiven“ Peer Review gegenübergestellt werden, auch heute noch von vielen als „objektiver“ beurteilt werden als die Ergebnisse qualitativer Reviews112, würde dieser Gegensatz in dieser Form wohl heute nicht mehr herausgestrichen werden, zumal das Peer Review auf Organisationsebene, wie sich anhand der beschriebenen Verfahrensvarianten zeigen lässt, durch die spezifische Ausgestaltung seiner Verfahrensschritte insgesamt intuitive, subjektive Einschätzungen der Peers, die nicht einer Überprüfung anhand empirischer Informationen unterzogen werden, zurückdrängt. Wichtige Verfahrensprinzipien, die diese Ausrichtung auf intersubjektive, nachvollziehbare Ergebnisse unterstützen, sind neben dem Einfließen von Resultaten einer Selbstevaluierung der Einsatz von gängigen (sozialwissenschaftlichen) Erhebungsmethoden während des Peer-Besuchs und die Auswertung der

112 Über die Objektivität und Aussagekraft von Leistungsindikatoren wird seit langem eine intensive Diskussion geführt, auf die ich an dieser Stelle nicht eingehen möchte, da dies vom Thema abbringen würde.

246

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Befunde dieser Erhebungen durch das Peer-Team sowie  als zusätzliches Korrektiv  auch die Möglichkeit der evaluierten Einrichtung zu den Resultaten des Reviews Stellung zu nehmen bzw. in einem Diskussionsprozess mit den Peers die Ergebnisse zu validieren. Sämtliche dieser Verfahrenselemente steigern die empirische Absicherung, Objektivität und Nachvollziehbarkeit der Befunde und Schlussfolgerungen113 und erhöhen so nicht nur die Glaubwürdigkeit des Verfahrens nach außen hin (also z.B. gegenüber Behörden und anderen externen Anspruchsgruppen) sondern auch die Akzeptanz des Verfahrens bei den Evaluierten selbst und steigern so die Nützlichkeit der Evaluierung. Ob und wie Peer Review als Evaluierungsverfahren (sozial)wissenschaftlichen Kriterien (Objektivität, Reliabilität, Validität) entsprechen kann, wird weiter unten behandelt (s. Kapitel 9.1.). Es handelt sich bei Peer Review jedenfalls, wie auf den ersten Blick einsichtig wird, um kein quantitatives, experimentelles oder quasi-experimentelles Verfahren zum Nachweis von Kausal- und Wirkungsketten. Peer Review kann jedoch prinzipiell den Kriterien von qualitativen Evaluierungsansätzen genügen, zum Mindesten aber können Qualitätsanforderungen, wie sie an die Selbstevaluation gestellt werden, erfüllt werden. Eine Analyse des Verfahrens anhand der Standards für Evaluation (des „Joint Committee on Standards for Educational Evaluation“ bzw. der Deutschen Gesellschaft für Evaluation) wird in Kapitel 9 vorgenommen. 8.2 Peer Review als mehrstufiges Verfahren Peer Review wurde in den vorangegangenen Beschreibungen immer als Verfahren dargestellt, das auf einer Selbstevaluierung (oder zumindest Selbsteinschätzung) aufbaut, als Kern einen Vor-Ort-Besuch der Peers beinhaltet, und dessen Ergebnisse schriftlich (meist) durch die Peers in einem Bericht festgehalten werden. Diesem Ablauf folgen die meisten der beschriebenen Verfahren auf Organisationsebene, auch wenn es v.a. im Bereich der Hochschulevaluierung Abweichungen von diesem Schema gibt: So kann in manchen Fällen der Vor-OrtBesuch auch ausfallen oder die Berichte werden durch andere Personen als die Peers bzw. nicht allein durch die Peers verfasst, was relativ häufig vorkommt (vgl. Kapitel 5). Auch in Bezug auf die Selbstevaluierung kann nicht in jedem Fall von einer umfassenden, nach wissenschaftlichen Kriterien durchgeführten Evaluation ausgegangen werden. Dies ist auch im Bereich der dargestellten Verfahren auf der Ebene der beruflichen Erstausbildung zu beobachten, v.a. dann, wenn aus der Wirtschaft stammende Qualitätsmanagementverfahren (wie z.B.

113 Kromrey (2004, 246) spricht vom „Prinzip der ‚Objektivierung durch Verfahren’“.

8.2 Peer Review als mehrstufiges Verfahren

247

ISO) den Ausgangspunkt bilden oder wenn aus Ressourcengründen vorerst Selbsteinschätzungsdarstellungen, wie z.B. Schulprogramme, als Basis für das Peer Review herangezogen werden. Grosso modo lässt sich jedoch feststellen, dass das genannte zweistufige (bzw. dreistufige – wenn die Berichtlegung als eigener Schritt gezählt wird) Ablaufschema für Peer Reviews auf der Organisationsebene eingehalten wird. Ähnliches gilt für Peer Reviews auf der Makroebene sowie auf Peer Review des Unterrichts  nicht allerdings für Peer Review zur Beurteilung von Forschungsleistungen einzelner WissenschafterInnen oder WissenschafterInnenteams. Grundsätzlich impliziert Peer Review jedoch nicht diese stufige Abfolge. Es ist selbstverständlich auch denkbar, dass Peer Review tatsächlich nur eine Evaluierung durch die Peers umfasst, ohne dass eine Selbstevaluierung vorangegangen ist.114 Dann erhöht sich allerdings der Aufwand der Peers deutlich, soll das Peer Review im gleichen Umfang und in der gleichen Tiefe durchgeführt werden. Meta-Evaluationen zu Peer Review (vgl. z.B. Kozar 1999 und Clementi et al. (2004) für Evaluierungen des Peer-Review-Verfahrens an österreichischen Fachhochschulen) streichen immer wieder die Bedeutung der Qualität der Selbstevaluierung und der Selbstberichte für den Erfolg des Peer Reviews heraus. Das bedeutet, dass die Selbstevaluierung eine wichtige Vorarbeit für die Tätigkeit der Peers darstellt, die durch die Peers entweder aus zeitlichen, organisatorischen oder finanziellen Gründen nicht geleistet werden könnte. Gerade wenn Peers aus anderen Einrichtungen (oder gar aus dem Ausland) kommen, ist mit dem Peer Review ja ein beträchtlicher Aufwand verbunden. Die Zeit, die die Peers für das Review – und v.a. für den Peer-Besuch  benötigen, sollte demnach eher als kurz veranschlagt werden. Neben finanziellen Erwägungen spielt auch die Verfügbarkeit der Peers eine Rolle sowie die Tatsache, dass durch das Review die tägliche Routine in einer Einrichtung durchbrochen wird, was zu empfindlichen Störungen führen kann, wenn sich das Review über längere Zeiträume zieht. Die Selbstevaluierung stellt daher einen sinnvollen Schritt in der Vorbereitung des Peer Reviews dar. Wäre für die Entscheidung, ob eine Evaluierung vorerst von den Betroffenen selbst oder gleich direkt von den Peers durchgeführt wird, allein nur die Verfügbarkeit von Peers in der eigenen Organisation ausschlaggebend, so könnte

114 Der Fall, dass dem Peer Review eine – eventuell mit anderen Zielen durchgeführte – Selbstevaluierung vorausgegangen ist, die nicht im Rahmen des Peer Reviews berücksichtigt wird, ist sehr unwahrscheinlich, da dieses Vorgehen ineffizient und widersinnig wäre. Dies ist nur dann denkbar, wenn sich die Selbstevaluierung mit ganz anderen Themen beschäftigt hätte als das Peer Review oder bereits zu lange zurückläge, um noch aussagekräftig zu sein. Selbst dann könnten die Ergebnisse dieser Selbstevaluierung als Hintergrundinformation herangezogen werden.

248

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

bei Peer Reviews auf der individuellen Ebene z.B., v.a. wenn die Peers aus der eigenen Organisation kommen – wie in manchen Peer Reviews unter Lehrenden (vgl. Kapitel 4) –, auf eine Selbstevaluierung verzichtet werden. Trotzdem umfassen auch viele dieser Programme eine Selbstevaluierung. Tatsächlich sprechen für die Kombination von Peer Review mit einer Selbstevaluierung neben organisatorischen, finanziellen und zeitlichen Bedingungen auch andere, inhaltliche Gründe. So sind für die Generierung bzw. Bereitstellung bestimmter Informationen, die direkt die Praxis reflektieren, die zu Evaluierenden oft die einzige oder beste Quelle bzw. müssten sie als Hauptbetroffene ohnehin in den Evaluierungsprozess einbezogen werden. Weiters ist im Hinblick auf die Güte des Peer-ReviewVerfahrens der Perspektivenwechsel, der durch diese Verknüpfung erreicht wird, von großer Bedeutung: Die Innensicht der Organisation bzw. der in ihr handelnden Personen (Selbstevaluierung) wird durch die externe Sicht der Peers ergänzt. Der abschließende Bericht der Peers sollte beiden Gesichtspunkten gerecht werden. Die Verknüpfung von Selbstevaluierung und Peer Review stellt also ein Element der Triangulation dar, das die Vollständigkeit, Validität und Akzeptanz der Ergebnisse des externen Reviews erhöht. Dies ist einer der Gründe, warum auch im Bereich der Personalevaluation (Peer Review of Teaching) Peer Review mit Selbstevaluierung verknüpft wird. Ergänzt werden diese Evaluierungen durch Bewertungen der verantwortlichen Vorgesetzten, sodass Personalentscheidungen auf insgesamt 3 Säulen ruhen (vgl. Chism 1999). Dies ist auch ein denkbares Modell für die Positionierung von Peer Review in einem Gesamtsystem der Qualitätssicherung auf Systemebene (mehr dazu in Kapitel 10). Noch ein weiteres qualitatives Argument spricht für die Durchführung einer Selbstevaluierung als Vorbereitung auf das Review: Es wird damit nicht nur wichtige Vorarbeit im Sinne einer Reduzierung des Aufwands für die Peers geleistet, sondern auch organisationsintern bei den Betroffenen der Boden für die externe Evaluierung bereitet. Auch wenn für gewöhnlich nur eine kleine Gruppe aus der Organisation die Selbstevaluierung aktiv gestaltet, kann davon ausgegangen werden, dass die Beteiligung an und Identifikation mit dem Prozess innerhalb der Einrichtung relativ groß ist115, v.a. dann wenn darauf geachtet wird, dass möglichst viele Betroffenen nicht nur involviert sind sondern den Prozess als ihren eigenen erleben („Ownership“). Dazu gehört auch, dass die Bedeutsamkeit der Selbstevaluierung für die eigene tagtägliche Arbeit für diejenigen, die der Organisation angehören, klar ersichtlich ist.

115 Für eine kritische Betrachtung vgl. Kapitel 7.2.

8.2 Peer Review als mehrstufiges Verfahren

249

Unter diesen Voraussetzungen sensibilisiert eine Selbstevaluierung die Einrichtung für Evaluierungsfragen, lässt sie Erfahrungen sammeln und Methoden kennenlernen. Darüber hinaus kann die Selbstevaluierung bewirken, dass die Ebene der Organisation und deren Bedeutung für die Zusammenarbeit und die gemeinsamen Ergebnisse den einzelnen Organisationsmitgliedern stärker bewusst werden. In manchen Selbstevaluierungsverfahren werden auch Evaluierungsschritte auf der individuellen Ebene vorgeschaltet116, sodass auch auf der Mikroebene der Umgang mit Evaluierung erprobt wird (vgl. Fallbeispiel 1, 2, 7 und 9). Eine auf eine Selbstevaluierung folgende externe Evaluierung wird daher vermutlich schon allein deshalb als weniger bedrohlich erlebt, weil die Betroffenen ja sozusagen „gut vorbereitet“ sind. Auch das Verständnis für die im Rahmen des Peer Reviews zu behandelnden Fragen ist höher, als wenn noch keine Auseinandersetzung damit stattgefunden hätte. Es kann infolge einer Selbstevaluierung bei Mitgliedern der Organisation selbst das Bedürfnis entstehen, zu wichtigen Fragen eine Außensicht einzuholen und die eigenen Evaluierungsergebnisse einer externen Bewertung zu unterziehen. Diese positiven Auswirkungen auf das folgende Peer Review können jedoch ins Gegenteil umschlagen, wenn die Selbstevaluierung schwere Störungen im sozialen Gefüge hervorgerufen hatte und von den Beteiligten als missglückt empfunden wurde. Dann wird vermutlich auch das Peer Review von den Problemen der Selbstevaluierung überschattet sein. Auch für die Selbstevaluierung gilt daher, dass einschlägige Evaluierungsstandards, wie sie für den deutschsprachigen Raum z.B. von der Deutschen Gesellschaft für Evaluation oder der Schweizerischen Evaluationsgesellschaft verabschiedet worden sind (vgl. DeGEval 2004b, Groupe de Réflexion Meta-Evaluation 2000) beachtet werden. Nur eine gelungene Selbstevaluierung kann zum Erfolg eines nachfolgenden Peer Reviews beitragen. Andernfalls bleibt immer noch die Möglichkeit, das Peer Review für die Aufarbeitung von Problemen zu nützen, in Anbetracht der kurzen Zeitpanne, die für Reviews, und v.a. die Vor-Ort-Besuche für gewöhnlich zur Verfügung steht, sollten diesbezügliche Erwartungen jedoch nicht allzu hoch geschraubt werden. Die Verknüpfung von Selbstevaluierung und Peer Review macht also aus mehreren Gründen Sinn und hat sich  vermutlich aufgrund der sich daraus ergebenden Vorteile für das Verfahren insgesamt  sowohl im Hochschulsektor als

116 Also das, was nach Beywl in einer puristischen Auslegung als tatsächliche „Selbstevaluation“ verstanden werden kann, s. auch Kapitel 2.2.2 und 8.3.

250

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

auch in den Modellprojekten zu Peer Review in der Erstausbildung (vgl. Kapitel 6 und 7) in der Praxis durchgesetzt117. Ob die Selbstevaluierung als konstitutives Element eines Peer Reviews angesehen werden sollte (Selbstevaluierung als Teil des Peer Reviews, vgl. z.B. Stamm 2003, 55) oder „nur“ als Vorbedingung für ein Peer Review, kann nicht abschließend bestimmt werden. In der Praxis kann es sowohl hilfreich sein, die Selbstevaluierung sehr stark auf das Peer Review auszurichten, woraus sich eine sehr enge Verknüpfung ergibt, oder auch die Selbstevaluierung als eigenes Verfahren anzusehen, dem ein Peer Review folgen kann aber nicht muss. Aus den dargestellten Argumenten sowie der unmittelbar ersichtlichen Notwendigkeit der Verschriftlichung von Evaluierungsergebnissen in einem Endbericht zur Sicherung und Dissemination eben dieser Ergebnisse ergibt sich als abschließendes Resümee die Sinnhaftigkeit der Verbindung der drei Verfahrensschritte Selbstevaluierung – Peer Review – Peer-Bericht. Zu ergänzen ist, dass die Selbstevaluierung selbstverständlich auch für sich alleine durchgeführt werden kann, während ein Peer Review ohne vorangegangene Selbstevaluierung zwar theoretisch denkbar, aber aus Gründen der Prozessqualität sowie aufgrund von organisatorischen und finanziellen Erwägungen praktisch nicht sinnvoll erscheint. 8.3 Peer Review als externe Evaluation zwischen Staat und Profession Zur Verortung von Peer Review als Evaluationsverfahren sind sowohl in Kapitel 2 als auch in Kapitel 7 (v.a. 7.1.2) bereits einige wichtige Dimensionen und Kriterien genannt worden. In diesem Kapitel sollen noch einmal mögliche Definitionen von Peer Review im Spannungsfeld zwischen Selbst- und Fremdevaluation, interner und externer Evaluation sowie der Einflussbereiche von Staat bzw. Profession diskutiert werden, um ein differenziertes Verständnis von Peer Review als Evaluationsverfahren zu ermöglichen.

117 Zur „Bewährung“ des mehrstufigen Verfahrens im Hochschulbereich vgl. auch die Empfehlungen des Stifterverbands für die Deutsche Wissenschaft vom Mai 2003 (Bornmann et al. 2003, 19), in denen auch auf eine Reihe von einschlägigen Berichten aus dem Hochschulbereich hingewiesen wird: „Unsere Ergebnisse verdeutlichen, dass sich das mehrstufige Verfahren für die Evaluation von Studium und Lehre (interne Evaluation, externe Evaluation, Umsetzung der Empfehlungen und Veröffentlichung) bewährt und einstufigen Verfahren vorgezogen werden sollte. Über die Bewährung des mehrstufigen Verfahrens berichten auch Brennan & Shah (2000), Brennan, Frazer, Glanville, Kump, Staropoli, Sursock, Thume, Westerheijden & Williams (1998), Europäische Kommission (1995a und 1995b), Europäische Kommission/Targeted Socio-Economic Research Program (1998), European Training Foundation (2000), Fredericks, Westerheijden & Weusthof (1994), Thune & Kristoffersen (1999) und Vroeijenstijn (2000).“ (Bornmann et al. 2003, 19)

8.3 Peer Review als externe Evaluation zwischen Staat und Profession

251

Verschiedene Aussagen in der Literatur rechnen Peer Review einmal der externen Evaluation, einmal der internen oder Selbstevaluation zu oder bezeichnen auch Peer Review als „Mittelding“ zwischen beiden Evaluationsarten, ohne genauer darauf einzugehen, was darunter verstanden werden kann (vgl. auch Kapitel 2.1.4). So wird v.a. im Zusammenhang mit Hochschulevaluation Peer Review als Instrument der Selbstkontrolle der Wissenschaft genannt (vgl. Kapitel 3). In einer Systematik von Mechanismen zur Überprüfung der Qualität an Universitäten rechnet Pechar (Pechar 1993, 13) die professionelle Kontrolle durch die akademische Gemeinschaft zu den internen Verfahren. In anderen Kontexten von Evaluation herrscht noch Unklarheit über die Positionierung von Peer Review (oder „Peer Evaluation“, diese Begriff kann als Synonym gelten) (vgl. Basel 2004, 44; Kapitel 2.1.4). In ihrem Glossar zur wirkungsorientierten Evaluation führen Beywl und Speer „Peerevaluation“ als eigene Evaluationsart neben Selbstevaluation, Fremdevaluation, interner Evaluation sowie (als Gegensatz zur internen) auch der externen Evaluation an: Evaluationsarten: Hierunter werden die verschiedenen Arten der Verortung einer Evaluation verstanden. Sie kann sich extern oder intern in Bezug auf die programmtragende Organisation verorten, kann die fachliche Perspektive des Systems übernehmen (Selbstreferenz) oder gezielt ihm fremde Perspektiven und Geltungsansprüche einbringen (Fremdreferenz) interne, Peerevaluation, Selbstevaluation, Fremdevaluation. (http://www.univation.org/glossar/index.php, 30.3.2006, Stichwort Evaluationsarten; die unterstrichenen Begriffe werden in eigenen Einträgen erklärt; vgl. auch Beywl/Speer 2004, 11)

Für den Begriff „Peerevaluation“ findet sich im Glossar jedoch (noch) kein eigener Eintrag: Auch daran lässt sich erkennen, dass eine eindeutige und nachvollziehbare Verortung von Peer Review in der Evaluationsforschung bislang noch nicht vorgenommen wurde. Erschwerend kommt bei derartigen Definitionen hinzu, dass die Begrifflichkeiten selbst oft nicht klar sind. So werden z.B. Selbstevaluation und interne Evaluation in der Praxis meist synonym verwendet (vgl. auch die Standards zur Selbstevaluation der Deutschen Gesellschaft für Evaluation, DeGEval 2004a). Termini können je nach Kontext ganz unterschiedliche Bedeutungen erhalten118. Aber auch EvaluationsforscherInnen gebrauchen keine einheitliche Terminologie. Nach Widmer (2004, 85) können folgende Dimensionen für die Verortung von Evaluationen herangezogen werden: Das Gegensatzpaar „selbst“ und

118 So z.B. auch der schillernde Begriff „Programmevaluation“ s.u. Kapitel 8.5.

252

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

„fremd“ für den Ort der Steuerung einer Evaluation, „intern“ und „extern“ für den Ort der Durchführung sowie „formativ“ und „summativ“ für den Ort der Nutzung einer Evaluation(vgl. auch Kapitel 7.1.2).

Abbildung 11: Dimensionen der Verortung einer Evaluation Dimension/Verortung

Ort der Steuerung einer Evaluation

Ort der Durchführung einer Evaluation

Ort der Nutzung einer Evaluation

Innerhalb der/s Institution/Projektes

Selbstevaluation

Interne Evaluation

Formative Evaluation

Außerhalb der/s Institution/Projektes

Fremdevaluation

Externe Evaluation

Summative Evaluation

Quelle: übernommen aus Widmer 2004, 85

Während Beywl für die Bestimmung der Begriffe „interne“ und „externe“ Evaluation ebenfalls den Ort der Durchführung einer Evaluation  innerhalb bzw. außerhalb der programmtragenden Institution  heranzieht, werden die Termini „Selbstevaluation“ bzw. „Fremdevaluation“ für eine Differenzierung der Fachund Feldkompetenz der EvaluatorInnen hinsichtlich des Evaluationsgegenstands (vgl. die ausführliche Beschreibung in Kapitel 2.1.3) verwendet. Der „Fremdevaluation“ stehen somit sowohl die Selbstevaluierung als auch die Peerevaluation gegenüber. Die Steuerungsverantwortung müsste dann allerdings folgerichtig als zusätzliche Dimension eingeführt werden. Sowohl die von Widmer angeführte Dimension des Ortes der Steuerung als auch die von Beywl eingeführte Fachperspektive stellen außerordentlich nützliche Kriterien zur Verortung von Peer Review dar. Um die Komplexität zu reduzieren, soll vorerst auf die Unterscheidung „intern“ und „extern“ sowie auf den professionellen Bezug eingegangen werden. Der Ort der Steuerung eines Peer Reviews (vgl. für eine erste Übersicht im Bereich der beruflichen Erstausbildung Kapitel 7.1.2) soll weiter unten behandelt werden.

8.3 Peer Review als externe Evaluation zwischen Staat und Profession

253

Die Klärung der Frage, ob es sich bei Peer Review nun um eine interne oder eine externe Evaluierung handelt, ist für die Bestimmung der Einsatzmöglichkeiten von Peer Review von größter Bedeutung. In Bereichen, in denen es um öffentliche Güter geht, deren Bereitstellung vorwiegend mit öffentlichen Mitteln finanziert wird  wie dies im Bildungsbereich ja zweifellos der Fall ist , kommen für eine (externe) Kontrolle durch den Staat (oder andere relevante externe Stakeholder) letztendlich immer nur externe Evaluierungsverfahren in Frage. Diese können auf Selbstevaluierung / interne Evaluierung aufbauen, durch diese aber in der Praxis nicht gänzlich ersetzt werden. Die z.T. widersprüchlichen Aussagen bezüglich Peer Review als externes oder internes Verfahren können also auf einen nicht explizit vollzogenen Wechsel der Bezugsdimensionen zurückgeführt werden. Geht man von der Organisation als Bezugseinheit für die Bestimmung von extern und intern aus, so stellen die Systemgrenzen den Ort dar, an dem sich (mit gewissen praktisch möglichen Unschärfen) relativ klar benennen lässt, ob jemand zur Organisation gehört – und dementsprechend als „intern“ bezeichnet werden kann – oder nicht – was zur Folge hat, dass diese Person als extern bezeichnet wird. Da die Unterscheidung „intern“ und „extern“ sich auf die Herkunft der EvaluatorInnen bezieht, kann in Anbetracht der Tatsache, dass die Peers in den Peer-Review-Verfahren auf Organisationsebene aus anderen Einrichtungen stammen, von Peer Review als externem Evaluierungsverfahren gesprochen werden. Dementsprechend kann auch auf den anderen Ebenen des Bildungssystems durch die Bestimmung der Systemzugehörigkeit der Peers geklärt werden, ob es sich um externe oder interne Evaluation handelt. In allen in dieser Arbeit beschriebenen Verfahren nicht nur auf der Mesoebene, sondern auch auf der Mikro- und Makroebene handelt es sich dieser Definition zufolge um externe Evaluierungen. Dies ergibt sich auch aus der primären Funktion des Peer Reviews, die darin besteht eine (kritische) Außensicht einzuholen: Ob eine individuelle Person ihr professionelles Handeln durch eine andere Person evaluieren lässt oder ein Bildungssystem (oder Teile davon) auswärtige ExpertInnen zu einem Review einlädt, folgt im Rahmen dieser Betrachtungsweise der gleichen Logik. Auf der Mikroebene müsste allerdings folgerichtig die einzelne Person als System definiert werden. Das bedeutet, dass KollegInnen – selbst wenn sie aus der gleichen Einrichtung stammen  als „Außenstehende“ eine Evaluierung vornehmen. Dies ist in den verschiedenen Programmen zu „Peer Review of Teaching“ auch so intendiert (vgl. Kapitel 4). Aus der Perspektive der Organisationszugehörigkeit würden KollegInnen aus der gleichen Einrichtung jedoch als „intern“ gelten. Als zentrales Unterscheidungsmerkmal sehe ich hier die Intention der Evaluierung: Geht es dezidiert um den Blick von außen – wie es im Peer Review der Fall ist , dann ist von externer Evaluierung zu sprechen.

Quelle: eigene Darstellung

Supranationale Ebene (Transnationale Zusammenarbeit, EU)

Ebene des Gesamtsystems (einschließlich Subeinheiten: z.B. regionale/lokale Bildungsverwaltung)

Ebene der Organisation (einschließlich Subeinheiten wie z.B. Teams, Fachbereiche, Abteilungen etc.)

Ebene des Individuums

Ebenen des Bildungssystems

Zugehörigkeit

Profession

254 8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Abbildung 12: Bezugsdimensionen Lehrende als Profession

8.3 Peer Review als externe Evaluation zwischen Staat und Profession

255

Die Charakterisierung von Peer Review als „Selbstevaluierung“ oder „Selbstkontrolle“ hingegen folgt einer Logik, die die Profession als Bezugspunkt für die Einordnung als externes oder internes Verfahren heranzieht und quer zu der oben angeführten Kategorisierung, die dem Aufbau der Bildungssysteme folgt, liegt.119 Es wird dabei davon ausgegangen, dass es so etwas wie eine Professionszugehörigkeit der handelnden Personen über die Organisations- und Systemgrenzen hinweg gibt. Diese Professionszugehörigkeit ist im Forschungszusammenhang ebenso bedeutsam bzw. für manche Belange, wie z.B. für die Etablierung einer wissenschaftlichen Reputation, bedeutsamer als die Organisationszugehörigkeit. Auch kann eine Bewertung der Forschungsleistungen, wie bereits erwähnt, aufgrund der Notwendigkeit, dass EvaluatorInnen über hoch spezialisierte einschlägige fachlichen Kompetenzen verfügen, nur von FachkollegInnen durchgeführt werden. Peer Review in der Forschung stellt daher, selbst wenn die Verfahren für die Betroffenen transparenter und offener gestaltet werden, für Personen und Institutionen außerhalb der jeweiligen Disziplin tatsächlich nach wie vor eine „Black Box“ dar. Voraussetzung für die Anerkennung dieses Verfahrens als qualitätsvolles und auch nach außen hin Vertrauen erzeugendes Instrument ist die Prämisse, dass sich die Wissenschaft als Profession bzw. die einzelnen Disziplinen allgemeingültigen wissenschaftlichen Standards verpflichten. Während es nachvollziehbar ist, dass unter den genannten Bedingungen im Forschungsbereich Peer Review als Instrument der „Selbstkontrolle“ bezeichnet, wird, erscheint eine direkte Übertragung dieser Betrachtungsweise auf andere Kontexte wie Lehre und Unterricht bzw. die Evaluierung von Einrichtungen, sei dies nun in dem Hochschulwesen oder in der allgemeinen und beruflichen Erstausbildung, nicht unproblematisch. Schmidt (2005, 3) spricht hier zu Recht von einem „Paradigmenwechsel“. Allerdings ist im Hochschulwesen insgesamt aufgrund der komplexen Aufgabenstellungen und den oft nur schlecht messbaren Ergebnissen, eine standardisierte, quasi-objektive, indikatorenbasierte externe Kontrolle (durch das Management oder andere externe Instanzen) aufgrund von Validitätsproblemen insgesamt nur eingeschränkt möglich (vgl. Pellert 1999, 170ff., Schmid 2005), weshalb für bestimmte Fragestellungen auf das Urteil aus der Profession zurückgegriffen wird. Diese Problematik teilt der Hochschulsektor auch mit anderen professionellen Arbeitsfeldern.

119 Während die Evaluierung von Forschungsleistungen von Einzelpersonen durch Peers selbst zwar nicht als Selbstevaluierung bezeichnet wird, kann dies auf der Ebene von Organisationen (oder Teilen davon) durchaus passieren, wenn die Profession (Berufsstand, wissenschaftliche Community etc.) als Bezugsebene gewählt wird.

256

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Was den Bereich von Lehre und Unterricht betrifft, gibt es gerade in der Erstausbildung ein ausgeprägtes Standesdenken unter den Lehrenden, das sich vor allem in der Auseinandersetzung mit anderen gesellschaftlichen Anspruchsgruppen äußert. Was ein gemeinsames Verständnis dessen, was qualitätsvolles professionelles Handeln von LehrerInnen ausmacht, betrifft, sind Standards – wenn überhaupt – nur implizit vorhanden: Diese können individuell ganz unterschiedlich sein und basieren v.a. in den eher traditionellen Bildungssystemen zumeist auf eigenen Schulerfahrungen bzw. auf der Sozialisation als Lehrerin/Lehrer während der Lehrausbildung und im beruflichen Alltag. Dazu kommen noch verschiedene einander bzw. der vorherrschenden Praxis z.T. widersprechende Strömungen und Richtungen in der Pädagogik, die Werthaltungen und Handeln der Lehrkräfte beeinflussen, sowie internalisierte Fachstandards.120 Es kann also im Kontext von Unterricht nicht von einem gemeinsamen Qualitätsverständnis der Profession ausgegangen werden, das über die formale Einhaltung gesetzlicher Vorgaben (Lehrpläne, Prüfungsvorschriften) hinausgeht. Auch wird von LehrerInnen die Profession nicht als primärer Bezugspunkt ihrer Berufstätigkeit gesehen, wie es für andere ExpertInnenorganisationen („professional bureaucracies“ nach Mintzberg 1989) oder auch die Forschung (s.o) typisch ist (vgl. auch Altrichter/Posch 1999, 204).121 Dies ist im Lehrberuf durch eine in der Schulforschung gut dokumentierte Eigenheit bedingt, die als „Autonomie-Paritäts-Prinzip“ bekannt ist. Damit wird die Tatsache bezeichnet, dass Lehrerinnen und Lehrern im Klassenzimmer eine fast uneingeschränkte Autonomie eingeräumt wird, während gleichzeitig Unterschiede in der Unterrichtsqualität zwar in der Praxis (v.a. von den betroffenen SchülerInnen und deren Eltern) wahrgenommen werden, formal aber nicht existieren: Schulen verstanden sich (und verstehen sich teilweise heute noch) als administrative Ansammlung von mehr oder weniger autonomen Einzelkünstlern (sprich: Lehrpersonen). Das für solche Schulen typische "Autonomie-Paritäts-Prinzip" (Dan Lortie

120 Die Bedeutung verschiedener Schulen oder Richtungen innerhalb der Disziplinen wird auch im Zusammenhang mit Peer Review in der Hochschulevaluierung thematisiert: „This validity of judgement in the eyes of the reviewed depends on the ‚shared specialist expertise’ of reviewers and reviewed […]  which by the same token, defines the limits of its applicability: in paradigmatically fragmented disciplines one can only give judgement within schools, for reputations are only valid within the group of adherents to a certain paradigm. In such cases, peer review can only flourish within lower-level entities such as paradigmatic schools.” (van Vught 1997, 64) 121 Zu ergänzen wäre, dass LehrerInnen durch das traditionelle, segmentierte, „zellulare“ Organisationsmodell von Schule (vgl. Altrichter/Posch 1999, 200ff.) auch meist nur lose an die eigene Organisation angebunden sind. Sie sind also in mehrfacher Hinsicht in ihrer Berufstätigkeit isolierte „EinzelkämpferInnen“.

8.3 Peer Review als externe Evaluation zwischen Staat und Profession

257

[1975, MGG]) bedeutet, dass ein egalitäres Bild der Lehrerinnen und Lehrer vorherrscht, dass also Lehrerinnen und Lehrer grundsätzlich als gleich zu betrachten sind (was kollegialen Austausch uninteressant macht). Zudem besagt das Prinzip, dass die Lehrpersonen gewissermaßen als Privatgelehrte autonom sind, niemandem Rechenschaft schulden. (Strittmatter 2002, 2)

Neue Steuerungsmodelle im Schulbereich versuchen durch eine Vielzahl von Maßnahmen Qualitätsstandards (sei es als Bildungsstandards, d.h. als Outputstandards, sei es als Prozessstandards für guten Unterricht, sei es durch Evaluierungen) explizit zu machen und die LehrerInnen darauf zu verpflichten. Die Ausformulierung von professionellen Standards für LehrerInnen, wie z.B. die Standesregeln des Dachverbands Schweizer Lehrerinnen und Lehrer (vgl. LCH Dachverband Schweizer Lehrerinnen und Lehrer 1999), ist allerdings noch wenig verbreitet. Auch Peer Review als Verfahrung zur Bewusstmachung, Verdeutlichung und kollegialer Aushandlung von Unterrichtsqualität kann hier einen Beitrag leisten. Als alleiniges Verfahren der Qualitätskontrolle, das bei allen Anspruchsgruppen ausreichendes Vertrauen erzeugt, taugt es aber vermutlich (noch) nicht. Das könnte es nur werden, wenn einerseits ein explizites Qualitätsverständnis innerhalb der Profession Rechenschaftslegung transparent macht und andererseits den staatlichen Kontrollinteressen durch umfassende Regulierung und Standardisierung des Verfahrens Rechnung getragen wird (vgl. Kapitel 9.2). Auch ist es nicht so, dass  wie es in der Grundlagenforschung der Fall ist  niemand als die FachkollegInnen die Qualität von Lehre und Unterricht definieren und bewerten könnte. Ganz im Gegenteil, gerade im Bildungsbereich gibt es neben den LehrerInnen selbst ein weites Spektrum an Anspruchsgruppen, die berechtigterweise eigene Qualitätsziele propagieren und deren Umsetzung auch beurteilen können. Zu diesen Anspruchsgruppen zählen SchülerInnen und deren Eltern aber auch AkteurInnen wie die Bildungsverwaltung und die Politik, die Sozialpartner, die Wirtschaft, das lokale Umfeld („community“) und die Gesellschaft als Ganze. Peer Review als kollegiale Evaluierung wird also immer ein Evaluierungsverfahren unter mehreren bleiben, v.a. die staatliche Kontrolle wird voraussichtlich nicht durch Peer Review ersetzt werden können. Im Spannungsfeld zwischen Staat, Profession und Markt („KundInnen“)  letzterer hat in der Erstausbildung jedoch nach wie vor nur bedingt Einfluss (vgl. oben Kapitel 7.1.2)  ordnen Posch und Altrichter Peer Review als eigenes, externes, durch die Profession kontrolliertes Verfahren ein (ohne jedoch auf die weitere Konsequenzen für eine Steuerung auf Systemebene einzugehen):

258

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Abbildung 13: Interne/externe Evaluation: unterschiedliche Typen der Rechenschaftslegung Kontrollinstanz

intern

extern

Evaluation durch die Schulleitung

Evaluation durch die Schulaufsicht oder beauftragte Institute

Profession

Selbstevaluation der Lehrenden

Peer review

KundInnen

Evaluation durch SchülerInnen und Eltern

Marktverhalten der Eltern

Staat

Quelle: Posch/Altrichter 1997, 25

Als Evaluierungsverfahren kommt Peer Review durch seinen Bezug auf die Profession demgemäß eine besondere Stellung innerhalb der Evaluierungsarten zu. Da die Peers aufgrund ihrer beruflichen Erfahrungen eine einzigartige Kenntnis der zu evaluierenden Arbeitszusammenhänge mitbringen, ist ihre Feldkompetenz profunder und gleichzeitig auch von anderer Qualität als die anderer EvaluatorInnen, da Peers das, was evaluiert werden soll, aus ihrer eigenen Praxis kennen. Sie sind „Insider“  in Bezug auf die von ihnen zu evaluierenden Werthaltungen, die Handlungs- und Verhaltensweisen, die Sprache, und die Kenntnis von Problemfeldern, Abläufen und Strukturen  und zugleich auch „Outsider“, da sie einer anderen Organisation angehören. Daraus ergibt sich ein für die Rolle der Peers typisches Spannungsfeld zwischen Nähe und Distanz zum Evaluierungsgegenstand (für weitere Ausführungen zur speziellen Rolle von Peers s.u. Kapitel 8.7) sowie die Möglichkeit, im Rahmen eines Peer-Review-Verfahrens – so das Vertrauen zwischen Peers und Evaluierten dies trägt  zu den Brennpunkten des professionellen Handelns vorzudringen, die Personen mit geringerer Feldkompetenz verschlossen bleiben würden. Gleichzeitig birgt dies aber auch die Gefahr einer gemeinsamen Nabelschau, wenn Peers ihrer Aufgabe als externe EvaluatorInnen, die eine kritische Außenperspektive einbringen, nicht ausreichend wahrnehmen. Für Peer Review als Evaluierungsart bedeuten die beruflichen Gemeinsamkeiten von EvaluatorInnen und Evaluierten, dass Peer Review tatsächlich näher

8.4 Funktionen und Ort der Steuerung von Peer Review

259

an der Selbstevaluierung angesiedelt werden muss als andere Evaluationsarten. Peer Review und Selbstevaluierung haben demnach, wie Beywl treffend herausarbeitet, den Fach- und Professionsbezug gemeinsam. Dennoch ist Peer Review selbstverständlich keine Selbstevaluierung, die (nach Beywl) ja nur den handelnden Personen selbst bzw. dem allgemeinen Sprachgebrauch folgend (d.h. als Selbstevaluierung i.w.S.) den Organisationsangehörigen vorbehalten bleibt. Für die theoretische Verortung von Peer Review scheint mir daher die Einführung der Dimension „Profession“ im Sinne von „fachlich-professioneller Zugehörigkeit/Perspektive“ als Unterscheidungsmerkmal eine notwendige Voraussetzung, da die Peers zwar das gleiche professionelle Bezugssystem mit den Evaluierten verbindet, sie aber als „Externe“ auch eine Außensicht einbringen, und diese Besonderheit in der Dichotomie „selbst“ und „fremd“, wie Beywl sie vorschlägt, nicht ausreichend abgebildet werden kann122. Peer Review stellt demgemäß eine externe Evaluation innerhalb der Profession dar. 8.4 Funktionen und Ort der Steuerung von Peer Review Während die Verantwortung für die Durchführung von Peer Review klar bei den Peers bzw. im Falle der vorangehenden Selbstevaluierung bei der zu evaluierenden Einrichtung liegt, kann die Steuerung des Verfahrens von verschiedenen Orten aus erfolgen. Mit der Gesamtsteuerung des Verfahrens verbunden ist für gewöhnlich auch die Bestimmung der (Haupt-)Funktion des Reviews sowie des Nutzens. Wie die Fallbeispiele gezeigt haben, kann Peer Review prinzipiell für eine Vielzahl von Evaluationsanliegen eingesetzt werden: als Kontrollinstrument, als Verfahren zur Rechenschafts- und Bilanzlegung (summativ), als entwicklungsorientiertes Verfahren für die Einleitung von Verbesserungen, als kommunikations- und dialogförderndes und bewusstseinbildendes Verfahren sowie als Instrument der Profil- und Imagebildung. Für die Zuordnung von Evaluationsverfahren werden die Merkmale „kontrollorientiert“ (summativ) und „entwicklungsorientiert“ (formativ) in Forschung und Praxis meist als bedeutendste Unterscheidungskriterien genannt, da sie weit reichende Konsequenzen haben (vgl. z.B. Strittmatter 2002, für den Hochschulbereich Müller-Böling 1997): So differenziert Kromrey (2004, 235f.) die Funktion von Evaluation anhand von 3 Paradigmen: dem Kontrollparadigma, dem Entwicklungsparadigma und dem Forschungsparadigma (das im vorliegenden

122 Peer Evaluation wäre, legt man die Begrifflichkeiten von Beywl zugrunde, eine „externe Selbstevaluation“.

260

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Fall jedoch höchstens im Sinne von Meta-Evaluationen zu Peer Review oder im Sinne von Aktionsforschung Bedeutung haben kann). Nisbet (1990) spannt in seiner „Evaluationslandkarte“ das Feld noch weiter auf, um die Motivation als wichtiges Merkmal zu integrieren. So kann der Anstoß zu Evaluierungen aus einem intrinsischen professionellen Interesse erfolgen oder auch aus der Notwendigkeit, extern Rechenschaft abzulegen. Aus der Grafik geht auch unmittelbar hervor, dass Kontrolle und Entwicklung/Wachstum in einem starken Spannungsverhältnis stehen. Das bedeutet zwar nicht, dass Evaluation nicht beide Ziele zugleich verfolgen kann, es veranschaulicht aber, dass dann mit Zielkonflikten bzw. mit Abstrichen bei der Erreichung der Evaluationsziele sowie der Prozessqualität zu rechnen ist. Abbildung 14: Evaluation – a cognitive map

Quelle: Nisbet 1990, 5

Da Peer Review prinzipiell in jedem dieser Quadranten angesiedelt werden kann, soll nun analysiert werden, welche Funktion dem Peer Review am besten entspricht bzw. für welche Funktionen andere, bereits bestehende Verfahren besser geeignet erscheinen. Dazu werden einige generelle Argumente, die für eine

8.4 Funktionen und Ort der Steuerung von Peer Review

261

Trennung von stark kontrollorientierten und auf Entwicklung abzielenden Evaluationsverfahren sprechen, dargelegt und auf die Situation in der Erstausbildung umgelegt.123 Gerade im Bereich der Erstausbildung gibt es in (fast) allen Bildungssystemen für die Qualitätskontrolle etablierte Verfahren – meist Inspektionsverfahren, die traditionellerweise eine stark anlassbezogene, input-orientierte Kontrolle von Einzelpersonen bedeuten bzw. eine Intervention in Krisenfällen. Diese traditionellen Inspektionsverfahren wurden in einigen Ländern in den letzten Jahren stark verändert bzw. wurden auch neue Verfahren entwickelt, um eine umfassendere, periodisch wieder kehrende, auch Prozesse und Outputs berücksichtigende Überprüfung ganzer Bildungseinrichtungen zu gewährleisten. Diese Verfahren werden von eigens dazu bestellten, meist hauptberuflichen InspektorInnen durchgeführt und folgen dem mehrstufigen Ablauf, wie er auch für Peer-ReviewVerfahren typisch ist. Was spricht dafür oder dagegen, derartige auf Kontrolle ausgerichtete Verfahren als Peer Review durchzuführen? Für Peers als EvaluatorInnen auch in kontrollorientierten Verfahren spricht, dass sie sehr hohe Fach- und Feldkenntnisse aufweisen. Doch das kann in gleicher Weise auch für andere externe EvaluatorInnen gelten. Im Falle von InspektorInnen haben diese für gewöhnlich selbst einen beruflichen Hintergrund als LehrerInnen. Das bedeutet aber auch, dass Peers, wenn sie für Qualitätskontrolle eingesetzt werden und sich ihre Rolle der von InspektorInnen oder anderer als Kontrollinstanzen wahrgenommene Personen stark annähert bzw. mit ihr zusammenfällt, meist auch als InspektorInnen wahrgenommen werden. Der Qualitätsmanager von Aberdeen College formuliert dies folgendermaßen: ”The political statement is that it is a review process but people who do it are still called inspectors.“ (Hollstein, Peer Review Panelinterview, 4). Im Schulbereich ist es also schwierig bis unmöglich, externe Qualitätskontrolle in der Wahrnehmung der Evaluierten von Inspektionsverfahren zu trennen. Die Ausrichtung eines Peer-Review-Verfahrens auf Qualitätskontrolle hat in jedem Fall mehrere gewichtige Konsequenzen: Es verstärkt sich der meist ohnehin vorhandene Reflex, Probleme vor externen BesucherInnen zu verstecken, so dass der Aufbau von gegenseitigem Vertrauen und die Offenheit des Dialogs zwischen Peers und evaluierter Einrichtung stark leidet. Der Besuch der Peers wird eher als Bedrohung erlebt. Im Extremfall kann es zu Pseudoevalua-

123 Im Diskurs zur Hochschulevaluation ist eine zunehmende Trennung zwischen Akkreditierungsverfahren als primär qualitätskontrollierenden Verfahren und Evaluationen als eher entwicklungsorientierten Verfahren zu bemerken. So merkt Kromrey (2005, 2) an, dass Akkreditierung und Evaluation „identische Verfahrensstrukturen“ aufweisen, aber „unterschiedlichen Zwecke[n] und Logiken“ dienen.

262

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

tion kommen, wenn die evaluierte Einrichtung den Peers bewusst ein geschöntes Bild zeichnet und Mängel verborgen werden (vgl. dazu auch z.B. Müller-Böling 1997, 103; Strittmatter 2002, 4). Zur Durchsetzung einer umfassenden und wahrheitsgemäßen Repräsentation der Einrichtung während des Reviews braucht es entweder Macht (s. linker oberer Quadrant der Evaluationslandkarte) oder eine hohe Bereitschaft der Evaluierten, selbst Verantwortung zu übernehmen (s. linker unterer Quadrant der Evaluationslandkarte). Für die Peers, deren Rolle als EvaluatorInnen ohnehin eine diffizile ist, kann eine derartige Situation äußerst unangenehm werden, wenn sie z.B. KollegInnen zur Herausgabe von Informationen zwingen müssen u.ä.m. Aufgrund ihrer Position sind die Peers für die Zeit des Reviews dann faktisch nicht mehr „Gleichgestellte“124, es herrscht ein Machtgefälle zwischen Peers und Evaluierten. Sobald das Peer Review beendet ist, begegnen einander beide Seiten jedoch wieder auf gleicher Ebene. Es stellt sich zusätzlich die Frage, ob LehrerInnen sich unter diesen Bedingungen als Peers zur Verfügung stellen werden. In einem kontrollorientierten Verfahren gelingt aufgrund der grundsätzlich geringeren freiwilligen Kooperationsbereitschaft der Evaluierten meist nur eine Überprüfung der Einhaltung von Mindeststandards. Auch wenn es im Rahmen von kontrollorientierten Verfahren (wie Inspektionen) Ansätze zur Identifizierung von guter bzw. bester Praxis gibt, ein Review also nicht notwendigerweise defizitorientiert sein muss, so bleibt doch die Bereitschaft, Probleme freiwillig offen zu legen und zu diskutieren, beschränkt. Der nachvollziehbare Wunsch der Evaluierten, ein gutes Bild zu machen, steht einem vertrauensvollen Dialog über Verbesserungsmöglichkeiten entgegen. Kontrolle verträgt sich auch nicht mit Modellen der Exzellenz, da keine Einrichtung die Verbesserung von bereits als gut beurteilten Bereichen mit einer Kontrollinstanz besprechen wird. Ebenso gibt es einen inhärenten Widerspruch zwischen Kontrolle und Beratung wie auch Untersuchungen zur Rolle der Schulaufsicht ergeben haben (vgl. Schratz 1996, 107ff.) Werden Peers in kontrollorientierten Verfahren eingesetzt, kommen daher einige der Potentiale von Peer Reviews nicht zur Entfaltung. Dazu gehören der Aufbau eines Dialogs unter KollegInnen aus verschiedenen Einrichtungen, die Entwicklung eines gemeinsamen Verständnisses von qualitätsvollem professionellem Handeln, die Möglichkeit kollegialer Beratung, die Verbesserung der eigenen Praxis im Austausch mit den Peers, die Vernetzung von Bildungsein-

124 Diese Tatsache hat im Fall der Peer Assistance and Review Programme zu rechtlichen Problemen geführt, da nicht klar war, ob Peers, wenn sie die Rolle der Schulaufsicht bzw. Vorgesetzten übernehmen, noch als LehrerInnen gelten und als solche gewerkschaftlich vertreten werden können. (vgl. AFT/NEA 1998, Anhänge C und D; Hertling 1999)

8.4 Funktionen und Ort der Steuerung von Peer Review

263

richtungen u.v.m. Auch wirkt das Review dann eher nur in die Richtung der evaluierten Institution, während ein offener und entwicklungsorientierter PeerReview-Prozess auch für die Peers neue Erkenntnisse und Einsichten sowie Anstöße zu Verbesserungen in der eigenen Einrichtung geben kann125. Was vor allem gegen eine Ausrichtung von Peer Review auf Qualitätskontrolle spricht, ist, dass gerade im Bereich der Erstausbildung die Schulaufsicht diese Aufgabe ebenso gut wahrnehmen kann. Es besteht außerdem die Gefahr, dass Peer Review und traditionelle Inspektion verschmelzen und Peer Review seine Eigenständigkeit verliert. Aus dem Gesagten lässt sich erkennen, dass Peer Review eher als entwicklungsorientiertes Verfahren einzustufen ist. Unterstützt wird diese Verortung durch die oben ausführlich dargestellte Einschätzung, dass im Bereich der Erstausbildung die Kontrolle innerhalb der Profession die externe staatliche Kontrolle in absehbarer Zeit nicht gänzlich ersetzen wird können. Ob der Anstoß zu einem Peer Review einem Interesse der handelnden Personen nach einer Selbstvergewisserung durch externe Evaluierung (s. rechter unterer Quadrant der Evaluationslandkarte) entspringt oder dem Wunsch, über die eigene Tätigkeit nach außen Rechenschaft abzulegen (s. rechter unterer Quadrant der Evaluationslandkarte), kann offen bleiben. Beide Motivationen sind berechtigt und mit den Möglichkeiten eines Peer-Review-Verfahrens vereinbar. Der Ort der Steuerung eines Peer Reviews steht insofern mit der Funktion des Verfahrens in engem Zusammenhang, als bei kontrollorientierten Reviews davon auszugehen ist, das die übergeordnete Behörde wichtige Teile des Verfahrens definiert (z.B. wer die Peers sind, welche Bereiche und Themen untersucht werden etc.) bzw. die Einhaltung diesbezüglicher Vorgaben überprüft. In entwicklungsorientierten Peer-Review-Verfahren kann eine Instanz außerhalb der evaluierten Einrichtung, z.B. die Behörde, oder auch die Projektleitung eines Modellvorhabens, ebenso Teile des Verfahrens vorgeben, es kann jedoch angenommen werden, dass die Schulen selbst dabei ein größeres Mitsprachrecht haben. In selbstinitiierten, freiwilligen Peer Reviews liegt – wie in Kapitel 6 und 7 beschrieben – die gesamte Ausgestaltung des Verfahrens in der Hand der Bildungseinrichtung. Welche Modelle hier aus der Perspektive der Systemebene denkbar sind, soll in Kapitel 9 skizziert werden.

125 Vgl. z.B. die diesbezüglichen Erwartungen und Ziele des Intensivprojekts Schule, Kapitel 6.4.7.

264

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

8.5 Evaluationsgegenstand von Peer Review auf Organisationsebene Evaluationsgegenstand von Peer Review auf der Organisationsebene ist die Leistungserbringung innerhalb der evaluierten Einrichtung. Es können die gesamte Institution oder auch nur Teile der Institution untersucht und bewertet werden. Zu unterscheiden ist hier weiters zwischen der Evaluierung von Lehren und Lernen als „Schlüsselprozess“ bzw. „Kerngeschäft“ von Bildungseinrichtungen und den anderen Bereichen der Organisation. Zu ersterer können das Unterrichtsgeschehen, aber auch Prüfungen, Beratung und Unterstützung der SchülerInnen sowie in manchen Ländern auch die Curriculumsentwicklung bzw. die Umsetzung von Lehrplanautonomie (soweit gesetzlich möglich) gezählt werden. Zu zweiterer gehört z.B. die Untersuchung administrativer Abläufe, der Leitung / des Managements, der Kommunikation und Kooperation zwischen den LehrerInnen untereinander sowie mit dem administrativen Personal, der Beziehungen zu den SchülerInnen, des Schulklimas, von externen Kooperationen mit verschiedenen relevanten Anspruchsgruppen, aber auch von „harten“ Bereichen wie Infrastruktur, Beschaffung und Finanzen. Als Querschnitts- und Metamaterie kann auch das Qualitätssicherungssystem in einer Einrichtung insgesamt evaluiert werden. Ob die Evaluierungsthemen anhand von Qualitätsbereichen definiert werden und in welchem Ausmaß ihre Behandlung als verpflichtend für das Review vorgegeben werden, hängt von den einzelnen Verfahren ab. Wie in Kapitel 6 und 7 gezeigt, haben gesetzliche Vorschriften bzw. Vorgaben aus staatlichen Pilotprojekten ebenso einen Einfluss wie die Vorerfahrungen in Bezug auf andere Verfahren der Qualitätssicherung. Insbesondere werden auch Modelle aus der Wirtschaft, v.a. ISO 9000ff. und das Exzellenzmodell EFQM, in Peer-ReviewVerfahren eingebracht. In manchen Verfahren definieren auch die evaluierten Schulen je nach ihren Interessen und ihrer aktuellen Situation bestimmte Evaluierungsthemen. Trotz der großen Unterschiede zwischen den einzelnen Verfahren in Bezug auf den Umfang und die konkrete Ausgestaltung der Qualitätsbereiche, zeigt sich, dass sich die Evaluationsfragestellungen insgesamt innerhalb des oben skizzierten Rahmens befinden. Wichtig scheint es klarzustellen, dass es sich in der Regel nicht um die Evaluation von (staatlich finanzierten) Projekten oder Programmen handelt, die zeitlich terminisiert sind. Dies ist nur dann der Fall, wenn Peer Review eingesetzt wird, um die Umsetzung von Modellprojekten oder Schulversuchen an den Bildungseinrichtungen zu evaluieren. Vielmehr ist der Evaluationsgegenstand – die Leistungserbringung einer Bildungseinrichtung – auf Dauerhaftigkeit angelegt. Die begutachteten Aktivitäten haben keinen definierten Anfang und kein Ende, wie das bei klassischen Programmevaluationen der Fall ist, und die Evaluation

8.5 Evaluationsgegenstand von Peer Review auf Organisationsebene

265

dient für gewöhnlich nicht dazu, prinzipielle Entscheidungen über Weiterführung des Bildungsangebots zu treffen126. Vielmehr geht es vornehmlich um die Bewertung und Weiterentwicklung des gewöhnlichen, tagtäglichen Bildungsbetriebs. Dabei kann 1) die Art der Leistungserbringung selbst evaluiert werden oder es werden 2) in einer Meta-Evaluation die Evaluationskultur und Qualitätssicherungsmechanismen der Einrichtung untersucht. Versucht man, die Evaluationsgegenstände von Peer Review in gängige Definitionen aus der Evaluationsforschung einzubetten, so handelt es sich am ehesten um eine Kombination von Programmevaluation und Organisationsevaluation.127 Letztere ist relativ unmissverständlich die Evaluation von „auf Dauer gestellte[n] Systeme[n] mit spezifischer  hier pädagogischer  Zweckorientierung, geregelter Arbeitsteilung und beständigen Grenzen“ (Beywl 1999, 40), von Interesse sind in der Regel Aufbau- und Ablauforganisation sowie Kommunikationsflüsse und Entscheidungswege, aber auch soziales Klima und Kooperation. Schwieriger ist die Eingrenzung des schillernden Begriffes des „(Bildungs)Programms“. Programme sind laut Beywl „Bündel von Maßnahmen, je bestehend aus einer Folge von Aktivitäten, basierend auf einem Set von Ressourcen, gerichtet auf bestimmte bei bezeichneten Zielgruppen zu erreichende Ergebnisse (outcomes). Ein Programm besteht aus einem fixierten (verschriftlichten) Plan oder Entwurf, und dessen Umsetzung in Praxis oder Handeln. Im Programmentwurf sind die Ziele, Vorgehensweisen usf. der Praxis konkret vorweggedacht.“ (Beywl 1999, 39) Programme können auf verschiedenen Ebenen angesiedelt sein, für die gegenständliche Untersuchung ist die Mesoebene einer Organisation oder Organisationsabteilung relevant. Beywl geht davon aus, dass Programmevaluierung im Bildungsbereich „zum dominanten Typus der Evaluation wird“ (Beywl 1999, 41), sieht aber den Schulbereich als Ausnahme, da dort seiner Einschätzung nach die Organisationsevaluation vorherrscht128. Mit Programm kann also dieser De-

126 Eine Einstellung des Betriebs von (Teilen einer) Bildungseinrichtung aufgrund einer Evaluation stellt eine ganz seltene Ausnahme dar und ist dann denkbar, wenn Evaluierung bereits mit dem Ziel beauftragt wurde, über die Weiterführung eines bestimmten Angebots Entscheidungsgrundlagen aufzubereiten. Im Rahmen einer „Routineevaluierung“ derartig schwerwiegende Konsequenzen anzuordnen bleibt auch in den Ländern bzw. in den Bildungssektoren, in denen der Rechenschaftsgedanke stärker verbreitet ist, eher eine theoretische Möglichkeit (vgl. oben). 127 Beywl unterscheidet weiters die Politikevaluation (im Sinne von „policy evaluation“), die Personalevaluation und die Produktevaluation (vgl. Beywl 1999, 38ff.). 128 Laut Beywl ist das Dominieren der Organisationsevaluation durch organisatorische Merkmale der Schulen bestimmt wie die geringen Steuerungsmöglichkeiten, das Bestehen nur einer Hierarchieebene, der Status von LehrerInnen als unkündbare, autonome BeamtInnen, die geringe Marktmacht der KundInnen (vgl. Beywl 1999, 41, Fußnote 57).

266

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

finition zufolge auch die Planung und Erbringung der „Dienstleistung Unterricht“ in einem bestimmten Ausbildungsgang gemeint sein. Was die Verwendung des Begriffs Programmevaluierung für den Schulbereich erschwert, ist nicht nur die Seltenheit derartiger Bemühungen im Rahmen von Schulevaluation, wie Beywl argumentiert – hier sind ja Veränderungen in Gange – sondern insbesondere, dass der Begriff im Kontext der Schule gänzlich ungebräuchlich ist. Es ist auch unklar, was durch den Begriff „Programm“ abgedeckt wird: das Curriculum (das in vielen Ländern im Bereich der Erstausbildung nach wie vor jedenfalls zum größeren Teil zentral vorgegeben ist), die Unterrichtsvorbereitung der LehrerInnen, Abstimmungsprozesse innerhalb der Schule, die Betreuung der SchülerInnen während des gesamten Bildungsgangs etc.? Beide Formen der Evaluierung werden auch im Hochschulbereich angewandt (vgl. Kapitel 5), wobei hier zwischen Programmevaluierung, d.h. der Evaluierung von Studiengängen, und dem Institutional Audit, d.h. den Qualitätssicherungsmechanismen auf der Ebene der Gesamtorganisation, unterschieden wird. Im Deutschen wird im zweiten Fall von der „institutionellen Evaluierung“ gesprochen. Schmidt ortet bezüglich derartiger Evaluationsformen jedoch auch für den Hochschulbereich ein „Theoriedefizit“ (Schmidt 2005, 2). Er unterscheidet zwischen Projektevaluierung, Programmevaluierung und institutioneller Evaluierung, wobei die letzten beiden für die Evaluierung von Hochschulen relevant sind. Als Beispiel für die Programmevaluierung nennt er die Akkreditierung von Studiengängen, die institutionelle Evaluierung „hat eine deutlich breitere Ausrichtung, indem sie nach Möglichkeit die Institution in all ihren unterschiedlichen Facetten, unterschiedlichen Handlungsfeldern und -ergebnissen in den Blick nimmt“ (Schmidt 2004, 227). Institutionelle Evaluierung legt als summative Evaluierung „ein Konzept des Qualitymanagements im Sinne von Zertifizierung ganzer Einrichtungen“ als auch als formative Evaluierung „ein solches der Organisationsentwicklung nahe“ (Schmidt 2004, 229). Der Begriff „Programm“ bleibt in dieser Unterscheidung jedoch unscharf, insbesondere weil er nur teilweise mit dem Begriff des „educational program“ aus der amerikanischen Evaluationsforschung zur Deckung gebracht werden kann, weshalb auch „theoretische Modelle zur Evaluation […] aus gutem Grund in der Hochschulevaluation kaum rezipiert [werden], da sie an eine spezifische Form der Evaluation, die Programmevaluation, gebunden sind. Diese wiederum spielt in der Mehrzahl der im Hochschulbereich durchgeführten Evaluationen nur eine nachgeordnete Rolle, da es hier weniger um die Implementierung von Projekten, als viel mehr um die Unterstützung bei Fragen der Organisations- und Qualitätsentwicklung in einem definierten, auf Langfristigkeit angelegten Handlungsrahmen geht. Wirkungsanalysen oder Fragen der Übertragbarkeit von Mo-

8.6 Standards, Evaluationskriterien und Qualitätsverständnis

267

dellen kommt mithin eine geringere Bedeutung zu, zumal die in der Regel starke Prozessorientierung der Hochschulevaluation der Maßgabe entspricht, dass es sich bei Hochschulen um soziale Systeme handelt, die mit evaluativen Testdesigns nicht oder nur zum Teil angemessen zu beschreiben sind.“ (Schmidt 2005, 5) Eine Begriffsklärung sowie die Weiterentwicklung von theoretischen Konzepten, die diese verschiedenen Gegenstände und Handlungsräume der Evaluation einerseits zu einander in Beziehung setzen und andererseits deutlicher abgrenzen, wäre also v.a. unter dem Gesichtspunkt sinnvoll, ja notwendig, dass der Bereich der Evaluation von Organisationen und ihrer Angebote im Bildungsbereich einen immer größeren Anteil an der Nachfrage nach Evaluation insgesamt darstellt. Festzuhalten ist abschließend, dass aufgrund der Fortdauer des Evaluationsgegenstands die Begriffe „summativ“ und „formativ“ in ihrer zeitlichen Dimension nicht ganz passend erscheinen. Insbesondere kann von einer summativen, im Sinne einer abschließend bewertenden, bilanzziehenden Evaluierung nur in Ausnahmefällen gesprochen werden (vgl. Fußnote 127). Für gewöhnlich bedeutet summativ in diesem Kontext eine auf Rechenschaftslegung ausgerichtete Bewertung zu einem bestimmten Zeitpunkt, d.h. eine Zwischenbilanz. Die hohe Bedeutung formativer Elemente bei der Evaluierung von Organisationen ergibt sich daher zwangsläufig aus der Dauerhaftigkeit des Evaluationsgegenstands. 8.6 Standards, Evaluationskriterien und Qualitätsverständnis Peer Review wird aufgrund seines Ursprungs in der Evaluierung von Forschung gemeinhin als Verfahren charakterisiert, das mit impliziten Beurteilungskriterien arbeitet, die angesehene VertreterInnen der Profession in der Evaluierung anlegen, ohne diese jedoch in den meisten Fällen offen darzulegen bzw. darlegen zu müssen. Diese Vorgangsweise hat Peer Review auch die Einordnung als „subjektives“ Evaluierungsverfahren eingetragen (vgl. Kapitel 8.1). Die Anwendung von Peer Review auf die Lehre hat nicht nur hinsichtlich des Professionsbezugs zu einem Paradigmenwechsel geführt, sondern auch einen „Objektivierungsschub“ eingeleitet: Zusätzlich zu der Reputation der GutachterInnen sollen explizite Qualitätsstandards die Verlässlichkeit und Güte der Evaluationsergebnisse sichern.129 Dabei geht es in erster Linie nicht um Verfahrens-

129 „Doch zwischen beiden Formen der Bewertung – der mehr oder weniger systematischen Evaluation von Forschung und Lehrer einerseits und der fachöffentlichen Bewertung von Forschungsleistungen andererseits – liegt ein Paradigmenwechsel, der sich in erster Linie entlang eines fragilen Qualitätsbegriffs und des fehlenden bzw. kontroversen Verständnisses der gesellschaftlichen Funktion von Hochschulen beschreiben lässt: Der Versuch, Qualitätsunterschiede im Rahmen von Evalua-

268

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

standards – also wie die Evaluation durchzuführen ist – sondern um die Überprüfung standardisierter quantitativer und qualitativer Indikatoren, die die Qualität der Leistungserbringung einer Einrichtung wiedergeben sollen. Wie in den vorangegangenen Kapiteln beschrieben ist der Einsatz derartiger Leistungsindikatoren nicht nur im Hochschulbereich, sondern auch in der Erstausbildung v.a. in den Ländern, die seit langem eine Tradition der indikatorengestützten Evaluierung haben bzw. diese gerade einführen, verbreitet (vgl. v.a. die Fallbeispiel 8 bis 10). Grundsätzlich können Indikatoren helfen, willkürliche Bewertungen zu verhindern, und Leistungen auch einrichtungsübergreifend transparenter zu machen. Sie können Orientierung geben und zur Bewusstseinsbildung über das, was Qualität ausmachen kann, beitragen. In der Realität sollte jedoch klar sein, dass Indikatoren nur einen Ausschnitt der Realität wiedergeben: Gibt es zu wenige und sind diese zu simpel, werden wichtige Aspekte (wie z.B. Kontextvariablen) nicht berücksichtigt, sind sie zu umfassend und komplex, können sie nur von SpezialistInnen ausgewertet und interpretiert werden.130 Auch bleibt selbst in einem sehr detaillierten Indikatorensystem immer noch Spielraum für individuelle Bewertung. Letztlich werden Indikatoren in den allermeisten Fällen erst durch eine Interpretation aussagekräftig, insbesondere wenn es darum geht, Schlussfolgerungen hinsichtlich von Verbesserungsmaßnahmen zu ziehen. Gerade in diesem Punkt, der Analyse und v.a. der Deutung der empirischen Ergebnisse, liegt die Stärke des Peer Reviews: Das können und sollen Peers leisten – hier liegt ihre Aufgabe und auch ihre spezielle Eignung als EvaluatorInnen. Dabei ist es letztlich unerheblich, ob die vorangehende Erhebung nun einem (quantitativen und/oder qualitativen) Indikatorensystem folgte oder nicht, immer davon ausgehend, dass die Bewertung im Rahmen einer Evaluation über das simple „Abhaken“ von Indikatoren auf Checklisten hinausgeht. Wenn es nur darum geht, Indikatorenwerte nach einem detailliert vorgegebenen, starren Schema einzuordnen (z.B. Wert X bedeutet „erfüllt“, Wert Y bedeutet „nicht erfüllt“ etc.), scheinen nicht nur das Einbeziehen von Peers sondern auch Evaluation als Verfahren insgesamt nicht unbedingt notwendig. Allerdings lassen gerade qualitative Indikatoren („performance indicators“, Leistungsindikatoren)

tionen oder bspw. im Zusammenhang mit Ansätzen der parametergestützten Mittelverteilung messbar zu machen, verlagert den Fokus von einem allgemein gehaltenen Verweis auf Reputation […] hin zu quasi-objektiven Qualitätsindikatoren.“ (Schmidt 2005, 3) 130 Auf die generelle Gefahr, dass sich Bildungseinrichtungen auf die Indikatoren einstellen und Aspekte der Qualität nur dann Aufmerksamkeit erhalten, wenn sie durch die Indikatoren abgebildet werden, einzugehen, würde in diesem Zusammenhang zu weit führen, ebenso wie die Wiedergabe der sehr umfassenden wissenschaftlichen und politischen Diskussion zur indikatorengestützten Evaluierung.

8.6 Standards, Evaluationskriterien und Qualitätsverständnis

269

meist einen Spielraum für Bewertung. Für die Beurteilung komplexerer Leistungsindikatoren schließlich bedarf es in jedem Fall einer fachlichen Expertise. Ob Indikatoren von den Betroffenen als hilfreich oder einengend erlebt werden, kommt einerseits auf ihre Passung an, also ob das, was sie zu messen vorgeben mit ihrer Hilfe auch zufrieden stellend gemessen werden kann, andererseits auf den Detailliertheitsgrad: Während die Formulierung von Qualitätsbereichen und -themen mit einigen repräsentativen, die Qualitätsbereiche beispielhaft erklärenden Indikatoren als richtunggebend für ein besseres Verständnis von Qualität und der Evaluationsfragestellungen sorgen und zur Weiterentwicklung der Indikatoren führen kann, lassen allzu detaillierte und umfangreiche Indikatorensysteme die Evaluierung zu einem technisch-bürokratischen Vorgang werden, der mit einer intrinsisch motivierten, professionellen Qualitätsentwicklung nicht viel gemein hat. Zusätzlich kommt in jedem Evaluationsverfahren und so auch im Peer Review den Verfahrensstandards eine große Bedeutung zu. In welcher Weise die Art der Durchführung von Peer Review bzw. verschiedene Verfahrenselemente und -standards zur Objektivierung und auch zur größeren Akzeptanz bei externen und internen Anspruchsgruppen beitragen können, wurde bereits ausgeführt (s. Kapitel 8.1). Es empfiehlt sich also, die Güte des Peer-Review-Verfahrens in erster Linie über Prozessstandards sicherzustellen. Hier sollte – bei allen Ausgestaltungsvarianten v.a. die Transparenz von Evaluierungsschritten, -methoden und -ergebnissen gewährleistet sein sowie die Möglichkeiten der Triangulation und der Stellungnahme der evaluierten Einrichtung zu den Evaluierungsergebnissen ausgeschöpft werden. An dieser Stelle soll eine weitere Funktion von Evaluation im Allgemeinen und Peer Review im Besonderen – wie sie bereits in Kapitel 7 angedeutet wurde (vgl. Kapitel 7.6)  ins Spiel gebracht werden, nämlich dass Evaluation selbst zur Bestimmung und Aushandlung des Qualitätsbegriffs beitragen kann (und soll)131. Dies ist, wie anhand der Fallbeispiele in Kapitel 6 und 7 gezeigt, durchaus eine wichtige Funktion von Peer Review. Voraussetzung ist, dass einer Auseinandersetzung zwischen den Peers und der evaluierten Einrichtung über die Evaluierungskriterien und -standards Raum gegeben wird: Je stärker die Beteiligung, je offener die Kommunikation, je mehr Raum der Diskussion und Auseinandersetzung gegeben werden, desto eher werden implizite Standards und Kri-

131 Vgl. für den Hochschulbereich Schmidt 2005, 3: „Hierbei die Bestimmung dessen, was Qualität in einem spezifischen Fachkontext ausmacht, in die Verantwortung der Fachvertreter zu legen, hat gute Gründe und ist zu Recht als ein wesentlicher Teil des Evaluationsverfahrens zu verstehen, indem der Diskurs um Ziele und Qualitätskriterien selbst häufig einen wesentlichen Gewinn für das Selbstverständnis und die fachinterne Diskussion insgesamt darstellt.“

270

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

terien explizit (mit der Gefahr, dass Auffassungsunterschiede offen gelegt werden und mithin nicht mehr übergangen werden können). Damit verabschiedet man sich von der Prämisse, dass es ein Set allgemein gültiger Qualitätsstandards gäbe, die von vornherein definiert und überall angewendet werden können und damit Vergleichbarkeit herstellen. Solange man letzteres nicht als Voraussetzung für ein objektives Verfahren ansieht, ist mit der Aushandlung des Qualitätsbegriffs und der damit einhergehenden Offenlegung der angewandten Qualitätskriterien eine hohe Transparenz und Nachvollziehbarkeit und damit auch Objektivität der Ergebnisse verbunden. Zusätzlich kann diese Vorgangsweise zu einer Weiterentwicklung eines personen- und institutionenübergreifenden Qualitätsverständnisses innerhalb der Profession beitragen, in dem gemeinsam getragene Werte, Ziele und Pflichten sowie die Auffassung von professionellem Handeln insgesamt zum Thema gemacht werden. Aus einer Systemperspektive eignet sich das Peer-Review-Verfahren, um die bottom-up Ausbildung und Entwicklung eines Qualitätsverständnisses in den Bildungseinrichtungen zu fördern. Auf einer Metaebene können zusätzlich bereits bestehende oder in Entwicklung begriffene Indikatorensysteme im professionellen Dialog auf ihre Tauglichkeit überprüft werden. 8.7 Definition der Peers: Wer sind die Peers? Nach der in Kapitel 2 eingeführten, vorläufigen Definition ist ein/e “Peer” eine Person ƒ ƒ ƒ

die gleichgestellt ist mit der Person / den Personen, deren Leistung überprüft wird, die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in einer ähnlichen Einrichtung, die meist aus einer anderen Einrichtung kommt, also extern ist,

und die ƒ ƒ

über spezifische professionelle Fachkenntnisse und Erfahrung verfügt (professionelle Feldkompetenz, Verständnis, Werte, Sprache, …) und dadurch sozusagen “Insiderwissen“ über den Gegenstand der Evaluierung in den Prozess einbringt und dieses mit der externen Perspektive verbindet (“externeR InsiderIn”).

8.7 Definition der Peers: Wer sind die Peers?

271

Wieweit Peers in der Praxis dieser Definition entsprechen bzw. welche Argumente für oder gegen die Beibehaltung dieser Begriffsbestimmung sprechen, soll im Folgenden analysiert werden. 8.7.1 Puristischer Peer-Begriff vs. erweiterte Definition Während Peers, wie bereits ausführlich thematisiert, immer externe Personen sind, ist die Einschränkung des Terminus „Peer“ auf gleichgestellte FachkollegInnen unter verschiedenen Gesichtspunkten zu hinterfragen. So steht eine puristische Auslegung des Peer-Begriffs, die besagt, dass nur FachkollegInnen Peers sind, einer „erweiterten“ Definition gegenüber, der gemäß auch andere „Sachverständige“ als Peers gelten können (vgl. Kozar 1999, 44). Diese erweiterte Definition kommt v.a. im Hochschulwesen zum Tragen und wurde bereits zu Beginn der europäischen Qualitätsdiskussion im Universitätsbereich in dem bereits genannten Strategiepapier der Kommission genannt: Diese [die Peers, MGG] können aus vielen Interessensverbänden (darunter Arbeitgeberorganisationen, Industrieverbände, berufsständische Vereinigungen) kommen und müssen je nach Art des Besuchs (Prüfung von Inhalt und Niveau eines speziellen Studiengangs oder Management-Audit auf der institutionellen Ebene) besondere Voraussetzungen erfüllen (akademisches Fachwissen; Erfahrung im Management usw.). (Europäische Kommission 1993, 21)

Die heutige Praxis von Peer Review im Hochschulbereich entspricht dieser sehr offen gehaltenen Auslegung des Peer-Begriffs. Oft ist in einschlägiger Literatur auch nicht von Peers, sondern allgemein von ExpertInnen, Sachverständigen oder GutachterInnen die Rede. Im Bereich der beruflichen Erstausbildung handelt es sich – v.a. in den entwicklungsorientierten Verfahren  bei den Peers hauptsächlich um (Fach)kollegInnen aus anderen (vergleichbaren) Bildungseinrichtungen. In der Regel sind Peers auch selbst aktive LehrerInnen. Andere ExpertInnen werden in einigen Verfahren beigezogen, die Mehrheit der Peers stammt aber tatsächlich aus einem Arbeitszusammenhang, der dem der Evaluierten ähnlich ist. 8.7.2 Peers als ExpertInnen aus verschiedenen Institutionen und Professionen Was spricht für einen erweiterten Peer-Begriff? Für die evaluierte Einrichtung ist v.a. der „Sachverstand“, d.h. die einschlägige Expertise der Peers in Hinblick auf

272

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

die zu evaluierenden Fragestellungen von Bedeutung. Es spricht also aus dieser Sicht nichts dagegen, für die Evaluierung der Lehre FachkollegInnen als Peers einzusetzen, für andere Evaluierungsgegenstände  wie z.B. die institutionellen Verfahren zur Organisationsentwicklung, das interne Qualitätsmanagementsystem, externe Kooperationen oder den Verbleib von AbsolventInnen  Personen in Peer-Teams zu berufen, die für das jeweilige Thema spezielle Fachkenntnisse mitbringen  also z.B. professionelle OrganisationsentwicklerInnen und QualitätsmanagementberaterInnen oder Personen aus Organisationen, mit denen kooperiert wird bzw. die AbsolventInnen aufnehmen. Damit ist ein zweiter wichtiger Aspekt angesprochen: Wenn es darum geht, bestimmte Perspektiven in das Peer Review zu inkludieren, kann der institutionelle Hintergrund der Peers eine wichtige Rolle spielen. Auf diese Weise können nicht nur wichtige Qualitätsfaktoren direkt angesprochen werden – wie z.B. ob weiterführende Bildungsinstitutionen oder Unternehmen die vermittelten Kompetenzen für angemessen halten oder ob z.B. die Zusammenarbeit mit Betrieben für berufliche Praktikumsphasen zufrieden stellend organisiert ist – sondern auch im Sinne einer Rechenschaftslegung gegenüber verschiedenen gesellschaftlichen AkteurInnen auch die Sichtweisen und Qualitätsvorstellungen dieser Stakeholder direkt in das Review eingebracht werden. Eine nicht allzu enge Fassung der Definition der Peers/ExpertInnen kann daher von Vorteil sein, um das Review flexibel auf die aktuellen Fragestellungen und Bedürfnisse der evaluierten Einrichtung ausrichten und Personen mit relevanter Expertise oder institutionellem Hintergrund bei Bedarf einbinden zu können. Wenn jedoch Peers im Sinne von gleichgestellten FachkollegInnen, die nicht nur Fachkenntnisse, sondern auch berufliche Expertise, Erfahrungen und Sozialisation, Sprache und Werte mit den Evaluierten gemein haben, in PeerTeams durch verschiedene andere ExpertInnen ersetzt werden, dann stellt sich die Frage, ob und bis zu welcher Grenze noch von Peer Review gesprochen werden kann. 8.7.3 Peers als Personen, die aus gleichen/ähnlichen professionellen Arbeitszusammenhängen stammen Das Besondere an der Evaluierung durch Peers sind nicht nur die hohe Feldkompetenz der Peers sondern auch der Umstand, dass Peers – und das hebt sie von anderen ExpertInnen ab , da sie aus einem gleichen oder jedenfalls sehr ähnlichen Arbeitsumfeld kommen, während eines Peer Reviews immer auch ihre eigene Praxis reflektieren und hinterfragen. Sie sind daher von vornherein nicht so distanziert wie andere Sachverständige, die bestimmte fachliche Kenntnisse

8.7 Definition der Peers: Wer sind die Peers?

273

anwenden ohne in die Evaluationsfragestellungen jedoch persönlich involviert zu sein. Die Evaluierung durch KollegInnen hat daher eine andere Qualität als die durch ExpertInnen, die rein durch ihre Fachkompetenzen ausgewiesen werden. Worin diese besondere Qualität liegt, ist im Schulbereich unter anderem auch im Umfeld von Projekten mit kritischen FreundInnen (‚critical friends’) diskutiert worden (s.o. Kapitel 6, Fallbeispiel 1, und 8.11.5) Ein Charakteristikum ist die Auseinandersetzung beider Seiten mit der eigenen Arbeit und der Beschäftigung mit Fragen der Professionalität. Dabei steht v.a. in den entwicklungsorientierten Verfahren nicht eine bedingungslos neutrale Einstellung der Peers im Vordergrund, sondern eine kritische Haltung gepaart mit der Verpflichtung, die evaluierte Einrichtung in ihrem Bemühen um Qualität zu unterstützen. Peer Review kann daher auch zur Weiterentwicklung des Professions- und Qualitätsverständnisse sowohl bei den Evaluierten als auch bei den Peers beitragen. Mit anderen Worten ist nicht nur die Beziehung zwischen den beiden Seiten symmetrischer als bei anderen Arten der externen Evaluation  die Kommunikation soll ja auf gleicher Augenhöhe erfolgen  , Peer Reviews versprechen zusätzlich einen direkten Nutzen (der Ergebnisse v.a. aber auch der Erfahrungen aus dem Prozess) nicht allein für die Evaluierten, sondern auch für die Peers, die Erkenntnisse über und Anregungen für die eigene Praxis mitnehmen können. Da Peers aus eigener Erfahrung wissen, wovon sie sprechen, wird ihren Rückmeldungen von den Evaluierten auch eine hohe Glaubwürdigkeit attestiert, was die Akzeptanz der Ergebnisse steigert132. 8.7.4 Peers als Gleichgestellte Aus dem eben Dargelegten ergibt sich auch, dass Peers als FachkollegInnen tatsächlich „Gleichgestellte“ sein sollten. Direkte oder indirekte Vorgesetzte, zu denen per definitionem in der hierarchischen Organisation Schule kein symmetrisches Verhältnis besteht, sind damit von der Teilnahme an einem Review als Peer ausgeschlossen. Dies betrifft insbesondere Schulaufsichtspersonen sowie DirektorInnen und AbteilungsleiterInnen. In der Praxis kann aber die Einbeziehung dieser Personen trotz oder gerade aufgrund ihrer Funktion auch gewünscht werden. So ist die Unterstützung der Schulleitung für erfolgreiche

132 Vgl. z.B. die Aussagen von Willem de Ridder, Qualitätsbeauftragter an ROC Aventus, zur Unterrichtserfahrung von Peers: "You get more credits from the teachers when you have had some experience. I for instance have been a teacher for several years and people say: 'Oh you know what it's like.' And I can say things easier than some of my colleagues who just went to university and also work for the staff unit education."

274

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Schulentwicklung immer eine wichtige Voraussetzung. In Netzwerkprojekten, in denen alle Schulen Peers stellen, kann es daher vorkommen, dass auch Leitungspersonen in die Qualitätsteams aufgenommen werden. Dies bedeutet jedoch nicht zwangsläufig, dass sie auch als Peers aktiv werden, wie sich in Fallbeispiel 6 (Kapitel 6.4.6) zeigt. In jedem Fall evaluieren die Peers jedoch fremde Einrichtungen, selbst wenn SchulleiterInnen involviert sind, haben diese also gegenüber den Evaluierten keine Vorgesetztenrolle inne, den anderen Peers gegenüber jedoch vielleicht schon. Es kann daher zusätzlich vereinbart werden, dass für die Zeit des Reviews sämtliche Leitungsfunktionen ruhen, die Peers also auch innerhalb des Teams gleichgestellt agieren (Fallbeispiel 6). Trotz dieser Vorkehrungen ist die Einbeziehung von Personen mit Vorgesetztenfunktionen immer problematisch. Zur Rolle der Schulaufsicht wird unten noch Stellung genommen (s. Kapitel 8.11.2). „Gleichstellung“ bedeutet jedoch nicht, dass Personen mit hoher Expertise und Reputation nicht für Peer Reviews in Frage kommen. Im Gegenteil, das fachliche Renommee der Peers liegt der ursprünglichen Idee des Peer Reviews zugrunde und kann in vielen Fällen auch von den Evaluierten gewünscht werden. Auch wenn dies die vollkommene Symmetrie der Beziehungen zwischen Evaluierenden und Evaluierten im Prozess etwas schmälert, kann es für bestimmte Fragen von Vorteil sein, Personen als Peers einzuladen, deren Expertise größer ist als die eigene, insbesondere wenn es um schwierige Fragen geht und spezielle Erfahrungen und Kenntnisse nötig sind, um diese zu beurteilen, oder wenn eine Einrichtung hofft, von den Peers etwas lernen zu können. In der Darstellung nach außen wirken Peers mit hoher Reputation als GarantInnen für eine hochqualitative Evaluierung, in der Innensicht wird ihren Bewertungen und Schlussfolgerungen von Mitgliedern der evaluierten Einrichtung vermutlich höhere Akzeptanz entgegengebracht, v.a. wenn es sich um die Evaluierung kontroverser Themen handelt. 8.7.5 Peers als unabhängige EvaluatorInnen Ein weiteres Merkmal von Peers ist wie bei anderen EvaluatorInnen auch ihre Unabhängigkeit. Peers sollen unbefangen sein und in keinem Interessenkonflikt stehen, um einen gedeihlichen Ablauf der Evaluation und unverzerrte Evaluierungsergebnisse zu gewährleisten, beides notwendige Voraussetzungen für eine glaubhafte Rechenschaftslegung nach außen sowie die Akzeptanz des Verfahrens nach innen. Diese Unabhängigkeit und Unbefangenheit kann Peers prinzipiell unterstellt werden, wenn sie aus anderen Einrichtungen kommen, die zu der evaluierten nicht in einem Konkurrenzverhältnis steht. Aber auch allzu große Freundschaft kann sich störend auswirken, wie die Praxis zeigt (vgl. z.B. die

8.7 Definition der Peers: Wer sind die Peers?

275

Erfahrungen aus Fallbeispiel 5, Kapitel 6.4.5, oder den Erfahrungen mit Peer Review an österreichischen Fachhochschulen, Kapitel 5.5.2). Peers sollten daher auf jeden Fall Distanz halten können, um sich ohne auf eigene Interessen  sei es die Loyalität zur eigenen Einrichtung, seien es die freundschaftlichen Beziehungen zur evaluierten Institution  Rücksicht nehmen zu müssen auf die Fragestellung der Evaluierung und die zu untersuchende Einrichtung konzentrieren zu können. 8.7.6 Internationale Peers Der Vollständigkeit halber soll auf die Praxis, internationale ExpertInnen für Peer Reviews zu rekrutieren eingegangen werden, wie sie im Hochschulbereich gang und gäbe ist (vgl. auch Kapitel 5): Ein wesentlicher Aspekt, der in einem Qualitätsmanagement-System mit europäischer Dimension besonders hervorgehoben werden sollte, ist die Einbeziehung internationaler Experten in die Review-Kommissionen. Diese sind am besten in der Lage, den europäischen Aspekten der Studienprogramme und Einrichtungen besonderes Augenmerk zu widmen. (Europäische Kommission 1993, 22) Im Berufsbildungsbereich ist die Internationalisierung noch bei weitem nicht so weit fortgeschritten, die Peer-Review-Verfahren sind auf regionaler/nationaler Ebene angesiedelt und kommen ohne internationale Peers aus. Transnationale, grenzüberschreitende Peer Reviews in der beruflichen Erstausbildung, in denen wenigstens ein Mitglied der Peer-Teams aus einem anderen Land kommt, werden im Rahmen des oben genannten Leonardo da Vinci Projekts „Peer Review in initial VET“ das erste Mal erprobt (vgl. www.peer-revieweducation.net sowie Gutknecht-Gmeiner et al. 2005). Wozu werden Peers aus anderen Ländern beigezogen? Im Hochschulbereich wird damit v.a. der Internationalisierung des Sektors auf mehrfache Weise Rechnung getragen: Einerseits ist es Aufgabe dieser Peer / dieses Peers (meist ist es nur eine Person) Aspekte der Internationalisierung, wie z.B. internationale Kooperationen, Ausrichtung der Ausbildung auf internationale Qualitätsstandards etc. zu beurteilen, andererseits werden dadurch die Evaluierungsverfahren selbst grenzüberschreitend und auf ein übernationales Publikum ausgerichtet. Peers aus dem Ausland zu rekrutieren hat daher auch einen hohen Symbolwert. Aus europäischer Sicht kann durch die Auseinandersetzung zwischen den ausländischen Peers und der evaluierten Einrichtung auf persönlicher und institutioneller Ebene Offenheit und Transparenz erzeugt werden. Dies dient dazu, Austausch und Kooperation zu fördern und letztendlich schrittweise zu einem gemeinsamen Verständnis von Qualität zu gelangen. Der zuletzt genannte Grund

276

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

war auch maßgeblich für die Pilotierung von transnationalen, d.h. grenzüberschreitenden Reviews in der beruflichen Erstausbildung im Rahmen des Leonardo Projekts. 8.7.7 Resümee: Wer sind die Peers? Wenn Peers als EvaluatorInnen mit besonders ausgewiesener professioneller Fach- und Feldkompetenz definiert werden, dann ist für ihre Rekrutierung v.a. die Passung ihrer Expertise zu den spezifischen Themen des Reviews ausschlaggebend. Wenn es in der beruflichen Erstausbildung um das zentrale Thema Lehren und Lernen geht, dann sollten Peers auch selbst ausreichend Unterrichtserfahrung haben. Auch andere Bereiche der Operation einer Bildungseinrichtung können durchaus von „richtigen“ Peers, d.h. Personen, die aus dem gleichen Arbeitsumfeld wie die Evaluierten stammen, evaluiert werden, da es ja um eine Beurteilung aus der Perspektive der Profession geht. Zur Profession gehören im Zusammenhang mit der beruflichen Erstausbildung v.a. die Personen, die unmittelbar für das „Kerngeschäft“ Unterricht verantwortlich sind, d.h. in erster Linie die LehrerInnen, aber auch BeraterInnen im Schuldienst, sowie möglicherweise auch anderes Schulpersonal wie z.B. Administrativkräfte. Eine gewisse berufliche Erfahrung ist notwendig, um als Peer die entsprechende Fachkompetenz mitzubringen. Personen, die gerade erst begonnen haben zu unterrichten, als Peers zu involvieren, ist daher eher ungewöhnlich133. Für manche Fragestellungen macht es auch im Kontext der beruflichen Erstausbildung Sinn, Peers aus anderen Institutionen und Arbeitszusammenhängen mit ein zu beziehen. Genannt seien hier v.a. VertreterInnen der verschiedenen Betroffenen und Beteiligten (Stakeholder): Eltern, VertreterInnen der SchülerInnen bzw. ehemaliger SchülerInnen, UnternehmensvertreterInnen als KooperationspartnerInnen und AbnehmerInnen von AbsolventInnen, VertreterInnen zuführender und abnehmender Bildungseinrichtungen, ev. auch der SozialpartnerInnen oder des lokalen Umfelds (dies ist vor allem in Ländern, wo es einen stärkeren Bezug der Bildungseinrichtungen zur Gemeinde (community) gibt, von Belang) etc. Zusätzlich können wie in den Verfahren im Hochschulbereich auch andere ExpertInnen – UnternehmensberaterInnen, OrganisationsentwicklerInnen, WissenschafterInnen etc. – involviert werden. Dabei sollte jedoch immer die

133 In den analysierten Peer-Review-Verfahren ist das nur im Projekt eiver (Fallbeispiel 6) einmal vorgekommen.

8.7 Definition der Peers: Wer sind die Peers?

277

Eignung der gewählten Peers für die Bewertung der Reviewthemen im Vordergrund stehen. Eine weitere Möglichkeit ist, eine Person mit einschlägiger Evaluierungskompetenz, d.h. mit einer Ausbildung in Evaluation und ausreichend Erfahrung, in die Peer-Teams aufzunehmen (vgl. Fallbeispiel 7 in Kapitel 7). Diese Person kann dann z.T. die Verantwortung für die Einhaltung von Standards im Evaluationsprozess übernehmen sowie den anderen Teammitgliedern, wenn diese selbst (noch) nicht evaluationserfahren sind, mit Rat und Tat zu Seite stehen, z.B. bei der Erarbeitung von Leitfäden für den Peer-Besuch und in allgemeinen Fragen zu Evaluationsmethoden. Diese Person kann auch während des Verfahrens die interne Moderationsfunktion im Peer-Team in den Analysephasen oder auch das Feedback an die evaluierte Einrichtung übernehmen. Durch den Einbezug einer Evaluationsexpertin / eines Evaluationsexperten können zwei Ziele verfolgt werden: einerseits kann diese Person – so dies von den anderen Peers akzeptiert wird – Peers, die wenig Evaluationserfahrung haben, in ihrer Rolle als EvaluatorInnen unterstützen, andererseits kann dadurch auch nach außen hin die Einhaltung gewisser wissenschaftlicher Standards gewährleistet werden, ohne dass alle Mitglieder des Peer-Teams eine umfassende Schulung in Evaluation erhalten haben müssen (vgl. dazu auch Fallbeispiel 7). 8.7.8 Zusammenstellung von Peer-Teams Bei der Zusammenstellung derartiger „gemischter“ Review Teams sind mehrere Aspekte zu beachten: Erstens sollte das wichtigste Definitionsmerkmal von Peer Review, nämlich die Evaluierung durch gleichgestellte FachkollegInnen, nicht unterwandert werden, da sonst eher von einer „Evaluierung unter Beiziehung von Peers“ die Rede sein sollte als von Peer Review. Die „echten“ Peers sollten also im Review Team überwiegen, d.h. mindestens die Hälfte der Teammitglieder stellen. Nur so können die Charakteristika eines kollegialen Review gewahrt werden. Zweitens ist zu berücksichtigen, dass das Peer-Team als Ganzes ausreichend Kompetenzen aufweisen sollte, d.h. es muss nicht die/der einzelne Peer alle Kenntnisse und Erfahrungen mitbringen, die für das Peer Review notwendig erscheinen, sondern es können und sollen sich die Peers durchaus auch ergänzen. Dabei sollte drittens auch darauf geachtet werden, wie die Peers innerhalb des Teams zusammenarbeiten. Sind die Peer-Teams zu inhomogen, dann kann die Funktion des Evaluationsteams gestört werden, wenn diese zu keiner gemeinsamen Betrachtungsweise kommen. Eine gewisse Mischung der PeerTeams kann jedoch auch dafür sorgen, dass eine größere Bandbreite von Perspektiven eingenommen wird. Gibt es innerhalb des Peer-Teams eine starke

278

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

hierarchische Ausdifferenzierung – z.B. aufgrund der Herkunft der handelnden Personen aus unterschiedlichen hierarchischen Ebenen oder von Institutionen, die gesellschaftlich unterschiedlich bewertet werden – dann kann sich auch dies negativ auswirken. Zusätzlich sollten die Teams nicht allzu groß sein, sodass eine direkte Kommunikation und Diskussion zwischen den Teammitgliedern möglich ist (vgl. auch Kapitel 7.9.3). 8.7.9 Motivation der Peers und Kosten Schließlich sei noch die Frage der Rekrutierung von Peers sowie das Kostenargument angesprochen: Während „echten“ Peers weitgehend eine intrinsische Motivation unterstellt werden kann, an einem Peer Review teilzunehmen – die Neugierde, eine andere Schule kennen zu lernen, das professionelle Interesse an Qualitätsfragen, die mit der Tätigkeit als Peer verbundene Auszeichnung als ausgewiesene Expertin / ausgewiesenen Experten, die persönliche Weiterentwicklung als LehrerIn etc.  sind Peers aus anderen Arbeitszusammenhängen schwieriger zu rekrutieren. Bei bestimmten Stakeholdergruppen wie z.B. Eltern oder VertreterInnen von Kooperationsbetrieben kann ebenso wie bei LehrerInnen ein unmittelbares Interesse vorhanden sein, an einem Review teilzunehmen, da dadurch wichtige Themen angesprochen und die eigenen Vorstellungen von Qualität eingebracht werden können. Andere ExpertInnen werden sich jedoch nur dann für die eher anstrengende Arbeit in einem Review Team zur Verfügung stellen, wenn sie entsprechend entlohnt werden. Während sich „echte“ Peers und „Stakeholder-Peers“ aufgrund des Eigeninteresses mit Aufwandsentschädigungen oder nicht allzu hohen Honoraren zufrieden geben, kann dies insbesondere bei professionellen BeraterInnen nicht vorausgesetzt werden. Diese werden die einschlägigen Tarife ihrer Branche verlangen, da sich die Tätigkeit als Peer für sie nicht von ihrer sonstigen beruflichen Tätigkeit unterscheidet, bzw. werden sie nur dann als Peers überhaupt zur Verfügung stehen, wenn entsprechende Honorare gezahlt werden. Wie in den Fallbeispielen zu Peer Reviews in der beruflichen Erstausbildung mehrmals angeführt, waren es  unter anderem  die hohen Kosten für externe Beratung, die die Bildungseinrichtungen auf Peers zurückgreifen ließen. Sollte der Gedanke von Peer Review als einer Evaluierung unter KollegInnen und der professionellen Verpflichtung von LehrerInnen, als Peer zur Verfügung zu stehen  wie es für den Hochschulbereich bereits postuliert wurde (vgl. Kromrey 2003, 56f.)  Verbreitung und Unterstützung finden, so kommt Peer Review, auch wenn LehrerInnen von den zuständigen Behörden ausreichend

8.8 Rolle und Aufgaben der Peers

279

(bezahlte) Zeit und Ressourcen für ihre Tätigkeit als Peers zugestanden wird, sicherlich für das Gesamtsystem günstiger als der Zukauf externer Beratung. 8.7.10 Rekrutierung von Peers In Hinblick auf die Rekrutierung von Peers kann für die (berufliche) Erstausbildung von anderen Voraussetzungen als im Hochschulbereich ausgegangen werden. Entscheidend sind v.a. die Größe des Sektors und das entsprechende Potential bei der Gewinnung von Peers. Im Gegensatz zum Hochschulbereich, wo v.a. in weniger verbreiteten, spezialisierten Disziplinen die Auswahl potentieller Peers sehr beschränkt ist, sollte es im Sekundarbereich (das Gleiche gilt für die Primarstufe), selbst wenn strenge Aufnahmekriterien wie langjährige Unterrichtserfahrung, einschlägige Fachkenntnisse, Passung der Expertise zu den jeweiligen Evaluationsfragestellungen (ev. auch Empfehlung der Peers durch Vorgesetzte) etc. eingesetzt werden, ein sehr großes Angebot an Personen geben, die prinzipiell als Peers fungieren können. Damit kann auch bei entsprechender Organisation der Verfahren auf einrichtungsübergreifender Ebene vermieden werden, dass sich Evaluierende und Evaluierte (zu gut) kennen (was in manchen Fällen im Hochschulbereich aufgrund der beschränkten Auswahl an Peers gar nicht anders möglich ist). Dies hat zweierlei zur Folge: Einerseits kann durch ein großes Pool an Peers dem Vorwurf gegen Peer Review, Freundschaftsgutachten zu produzieren, besser entgegengetreten werden, andererseits kann so auch sichergestellt werden, dass es nicht zu einer starken Überlastung einzelner Personen kommt. 8.8 Rolle und Aufgaben der Peers Die Fülle der möglichen Rollen und Aufgaben von Peers wurden bereits in Kapitel 7 anhand der Fallbeispiele ausführlich erörtert: Diese reichen von organisatorischer Vorbereitung und Durchführung, über Moderationsaufgaben, Vernetzungsaktivitäten und fachlichem Austausch bis zu Evaluation und Beratung. Sämtliche dieser Rollen und Aufgaben können prinzipiell mit der Rolle von Peers als EvaluatorInnen in Einklang gebracht werden, im Folgenden soll aber vor allem auf die Kernaufgaben eingegangen werden, die sich im Rahmen von Peer Review als Evaluationsverfahren ergeben.

280

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

8.8.1 Aufgaben der Peers In den Peer-Review-Verfahren auf Organisationsebene sind Peers nicht nur für Bewertung und Rückmeldung zuständig, sondern  allerdings in einem geringeren Ausmaß als in anderen Evaluationsdesigns  auch für die Erhebung und Analyse von Daten. Peers greifen zum einen auf Daten und Evaluierungsergebnisse zurück, die die evaluierte Einrichtung selbst dokumentiert hat, führen aber zum anderen selbst im Rahmen des Peer-Besuchs noch einmal in begrenztem Umfang eine eigene Erhebung durch. Diese ist aus Zeit- und Ressourcengründen für gewöhnlich nur auf bestimmte Fragestellungen fokussiert oder wird  im Falle einer breiteren Palette an Evaluationsthemen – nicht so stark ins Detail gehen. Bei den Erhebungsmethoden handelt es sich v.a. um Interviews mit Fokusgruppen, aber auch bisweilen um Beobachtungen, v.a. des Unterrichtsgeschehens. Diese Erhebung dient den Peers dazu, sich ein eigenes Bild zu machen und die Angaben der zu evaluierenden Einrichtung aus dem Selbstevaluierungsbericht zu überprüfen. Die Hauptaufgabe der Peers besteht darin, die (vorhandenen und selbst erhobenen) Daten zu analysieren und zu bewerten und der evaluierten Einrichtung ein kritisches Feedback zu geben. Die Datenanalyse erfolgt im Falle der von der Einrichtung im Vorfeld bereitgestellten Daten bereits in der Vorbereitungsphase durch die einzelnen Peers, im Falle der selbst erhobenen Daten während des Peer-Besuchs oder nach dem Peer-Besuch. In den meisten Verfahren ist während des Peer-Besuchs Zeit für eine Analyse und Diskussion der Befunde sowie für Absprachen der Peers untereinander vorgesehen. Bezüglich der Art, in der Peers Bewertungen vornehmen und Rückmeldungen geben, können – wie die Analyse verschiedener Verfahren in der (beruflichen) Erstausbildung gezeigt hat  verschiedene Varianten festgestellt werden: Eine Möglichkeit, wie sie im Intensivprojekt Schule (Fallbeispiel 7) angewandt wird, ist, dass Peers gar kein eigenes Urteil abgeben, sondern der evaluierten Einrichtung in einem deskriptiven Feedback die Befunde der Erhebung spiegeln. Dabei treffen sie natürlich eine Auswahl der ihnen bedeutsam erscheinenden Daten, bewerten diese aber nicht sondern geben nur wieder, was sie aus den vorhandenen Berichten sowie der Interviews und Beobachtungen vor Ort an Informationen gewonnen haben. Auch Aussagen und Meinungen von Interviewten können so im Sinne eines „refero relata“ weitergegeben werden. Stellung beziehen die Peers nur insofern, als sie Hinweise auf weiterführende Fragestellungen aus den dargestellten Ergebnissen destillieren. Es bleibt der evaluierten Einrichtung überlassen, diese Rückmeldungen zu bewerten und – auch unter der Mitwirkung einer externen Projektleitung bzw. einer externen Fachperson für Evaluation  Konsequenzen abzuleiten.

8.8 Rolle und Aufgaben der Peers

281

Diese Vorgehensweise hat den Vorteil, dass die Peers der – je nach kulturellem Hintergrund und Tradition als mehr oder weniger unangenehm empfundenen  Pflicht der Bewertung des Handelns von KollegInnen entgehen. Das kollegiale Urteil kann auf beiden Seiten Unbehagen und Widerstände auslösen, selbst dann, wenn es dezidiert nicht um die Bewertung von Individuen geht, sondern um eine Evaluation auf Organisationsebene. Fraglich ist allerdings, ob es sich bei einem derartig vorsichtigen Feedbackverfahren, das ohne direkte Bewertung und Schlussfolgerungen seitens der Peers auskommt, noch um eine Evaluation handelt. In den meisten Fällen sind wie in den Verfahren im Hochschulbereich das professionelles Urteil, die kritische Bewertung und die Formulierung von Schlussfolgerungen, Hauptbestandteil des Peer-Review-Verfahrens. Auch Empfehlungen werden für gewöhnlich abgegeben, jedoch sind sie in den meisten Fällen eher allgemeiner Natur, d.h. die Peers empfehlen der evaluierten Einrichtung, Maßnahmen zu ergreifen, um bestimmte identifizierte Probleme und Schwachstellen zu beheben, geben aber keine konkreten Vorschläge ab, wie dies zu geschehen habe. Die kollegiale Beratung kann in Peer Reviews ausdrücklich gewünscht sein oder auch streng abgelehnt werden. Abgesehen von einer generellen Spannung zwischen Beratung und Bewertung innerhalb von Evaluationen, v.a. wenn es sich um Rechenschaftslegung nach außen handelt, kann gerade in Peer Review die hohe Feldkompetenz der Peers, die oben als besonderes Qualitätsmerkmal beschrieben wurde, auch problematisch werden: Dann nämlich, wenn Peers ständig den Vergleich mit der eigenen Praxis herstellen, anstatt sich auf die Spezifika der zu evaluierenden Einrichtung zu konzentrieren. Sehr störend schließlich kann es sein, wenn die Peers in einem quasi-missionarischen Eifer den Evaluierten während des Reviews ihre eigenen Erfahrungen als Lösung präsentieren. Um dies zu verhindern, wird in manchen Verfahren bewusst auf jede Form der Beratung verzichtet und den Peers als wichtigste Verhaltensanleitung die Notwendigkeit, sich von den eigenen Erfahrungen zu lösen und diese außen vor zu lassen, mit auf den Weg gegeben (vgl. Fallbeispiel 8). Auf den Punkt gebracht wird dieses Spannungsfeld, in dem die Peers tätig werden, durch folgende Charakterisierung von kritischen FreundInnen durch die deutschen Projektschulen im Rahmen des Europäischen Projekts zur Selbstevaluierung (Fallbeispiel 1): Kritische FreundInnen „wissen viel, aber nichts besser“ (Haenisch/Kindervater 1999,14). In anderen Fällen sind der Austausch zwischen Peers und evaluierter Einrichtung sowie Beratung und Unterstützung wichtige Elemente des Peer Reviews. Dabei ist jedoch zu beachten, dass einerseits die Peers sich von ihrer eigenen Praxis distanzieren, um möglichst unvoreingenommen die zu evaluierende

282

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Einrichtung in den Blick zu nehmen, andererseits das kollegiale Verhältnis und die symmetrische Interaktion zwischen Peers und Evaluierten gewahrt bleiben. Es ist ratsam, die Erwartungen an die Peers bezüglich der Abgabe von Empfehlungen bzw. Beratung und Unterstützung im Vorfeld des Reviews offen dar zu legen und entsprechende (schriftliche) Vereinbarungen zu treffen. 8.8.2 Sind Peers EvaluatorInnen? Kann aus den oben genannten Aufgaben der Peers davon ausgegangen werden, dass Peers, die im Rahmen eines Peer Reviews auf Organisationsebene tätig werden, tatsächlich als EvaluatorInnen bezeichnet werden können? Beywl und Speer (2004) definieren EvaluatorInnen als „Personen, die Evaluationen steuern und vollständig oder teilweise durchführen. Innerhalb der verschiedenen Evaluationsarten sind die Rollen und mögliche Rollenkonflikte der Evaluatorinnen und Evaluatoren sehr unterschiedlich ausgeprägt. In der Regel werden wegen der vielfältigen Anforderungen an die Kompetenz, Evaluationsteams gebildet.“ (Beywl/Speer 2004, 15, Stichwort Evaluatoren und Evaluatorinnen) Wie bereits umfassend dargestellt, sind Peers auf jeden Fall Personen, die eine Evaluation durchführen. Ihre Handhabe zur Steuerung der Evaluation ist jedoch im Vergleich zu anderen Evaluationsarten eher gering. So ist das Evaluationsdesign weitgehend vorgegeben, ebenso Zweck und Themen der Evaluation, die entweder die zu evaluierende Einrichtung festlegt oder eine übergeordnete staatliche Behörde. Auch die Auswahl der Methoden ist eher eingeschränkt, wenn Peers der gängigen Vorgangsweise folgen wollen. Prinzipiell können die Peers jedoch natürlich auch andere Methoden als Gruppeninterviews und Beobachtungen für den Peer-Besuch vorschlagen. Sie können auch auf die Auswahl der von ihnen Interviewten Einfluss nehmen oder zusätzliche Informationen und Dokumente anfordern. Es erscheint daher insgesamt gerechtfertigt, Peers – im Rahmen der Bandbreite von Rollen und Aufgaben, die je nach Evaluationsart, wie Beywl und Speer ausführen, auch unterschiedlich ausfallen können  als EvaluatorInnen zu bezeichnen. 8.9 Kompetenzen der Peers Wenn Peers EvaluatorInnen sind, stellt sich die Frage nach ihrer Evaluationskompetenz. Hier kann zwischen der Feldkompetenz, die in diesem Fall, wie ausführlich erläutert, eine sehr hohe ist, und der eigentlichen Evaluationskompe-

8.10 Peer Review und Betroffene & Beteiligte

283

tenz, d.h. den einschlägigen Kenntnissen und Erfahrungen in Evaluation, unterschieden werden. Da Evaluation traditionell nicht Teil der LehrerInnenausbildung ist, kann hier nicht von einem Grundstock an Wissen ausgegangen werden. In fast allen analysierten Peer-Review-Verfahren ist deshalb eine Schulung vorgesehen oder die Peers werden so ausgewählt, dass sie eine Doppelqualifikation – Feldkompetenz als Peer und einschlägige Kompetenz in Evaluation bzw. Qualitätssicherung/Qualitätsmanagement  mitbringen. In einigen Modellprojekten ist der Aufbau von Evaluationskompetenz in den Kollegien auch ein zentrales, mit der Vorbereitung und Durchführung von Peer Reviews verbundenes Ziel. Für Peer Review gelten daher ähnliche Voraussetzungen wie für den Aufbau einer Selbstevaluationskultur: Es braucht eine Qualifizierung oder eine einschlägige Unterstützung der AkteurInnen, um ein qualitätsvolles Verfahren zu gewährleisten.134 8.10 Peer Review und Betroffene & Beteiligte Betroffene und Beteiligte (Stakeholder) in angemessener Weise in eine Evaluierung einzubeziehen ist ein Merkmal guter Evaluationen. Wie und wie weit ist dies im Peer-Review-Verfahren umsetzbar? Grundsätzlich gibt es – wie in anderen Evaluationsarten auch  zwei Möglichkeiten der Einbindung von Betroffenen und Beteiligten: Sie können einerseits während der Evaluation zu den sie betreffenden Themen befragt werden, andererseits können ausgewählte VertreterInnen auch in Evaluationsteams aufgenommen werden. Im Peer Review kann beides zum Tragen kommen. Standard ist die Befragung von VertreterInnen zentraler Anspruchsgruppen, also v.a. von Lehrenden, SchülerInnen/Studierenden, aber auch von Leitungs- und Administrativpersonal sowie der Eltern. Dieses Spektrum an InterviewpartnerInnen kann je nach Evaluationsfragestellung auch erweitert werden, z.B. durch UnternehmensvertreterInnen, VertreterInnen vor- oder nachgelagerter Bildungssektoren, RepräsentantInnen wichtiger gesellschaftlicher Interessengruppen, Mitglieder der Schulaufsicht etc. Gleichzeitig ist es aber auch möglich – wie v.a. die Praxis im universitären

134 Interessant wäre in diesem Zusammenhang einerseits eine Analyse der Unterschiede zwischen GutachterInnen in technischen, betriebswirtschaftlichen, medizinischen, juristischen etc. Kontexten, für deren Einsatz ausschließlich ihre Fachkenntnisse ausschlaggebend sind, und Peers, andererseits eine Überprüfung der für Peers nötigen Kompetenzen als EvaluatorInnen anhand einschlägiger Standards, wie z.B. die „Empfehlungen zur Aus- und Weiterbildung von EvaluatorInnen“ der Deutschen Gesellschaft für Evaluation.

284

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Bereich zeigt , dass die eine oder andere dieser Anspruchsgruppen direkt im Peer-Team vertreten ist135 (vgl. auch oben, Kapitel 8.7). 8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten 8.11.1 Peer Review und Audit Die Begriffe Evaluierung, Review und Audit werden oft synonym verwendet. In den dargestellten Fallbeispielen aus der beruflichen Erstausbildung war v.a. in den beiden Verfahren, die auf eine ISO-Zertifizierung abzielen (Fallbeispiele 3 und 4) sowie im finnischen und niederländischen Verfahren von Audit die Rede (was bis zu einem gewissen Grad auch in der Beschreibung der Verfahren beibehalten wurde). In der Praxis können unter den verschiedenen Termini durchaus sehr ähnliche (oder sogar identische) Verfahren verstanden werden, die Begriffe selbst haben jedoch unterschiedliche Herkunft und tragen damit auch unterschiedliche Konnotationen. Während Evaluierung ein Begriff aus der sozialwissenschaftlichen Forschung ist, stammt Audit aus dem Bereich der Rechnungsprüfung. Review hingegen wird und wurde in verschiedenen Kontexten gebraucht (vgl. Kapitel 2), als Peer Review bezieht sich der Terminus aber v.a. auf die Beurteilung von Forschungsleistungen und stammt daher aus dem universitären Bereich. In dieser Arbeit wurde „Review“ als Synonym für Evaluation definiert. Audit hingegen bezeichnet traditioneller Weise eine Rechnungsprüfung und kommt ursprünglich aus dem Bereich der staatlichen Finanzkontrolle. Wie überzeugend nachgewiesen wurde, haben sich Audit und Evaluation in Bezug auf die Vorgehensweisen (Prüfung von Dokumenten, Vor-Ort-Besuch sowie Erhebungsmethoden (Interviews etc.)  auch Peers können in Audits eingesetzt werden) in den letzten Jahrzehnten sehr stark angenähert.136 Dies ist darauf zurückzuführen, dass Audits zunehmend nicht nur als Prüfung der Wirt-

135 Interessant ist die Einbindung von Studierenden als Peers, wie sie im Hochschulbereich gelegentlich vorkommt (vgl. Kapitel 5). In Empfehlungen des Stifterverbands für die Deutsche Wissenschaft (Bornmann et al. 2003), die auf einer Verfahrens- und Wirksamkeitsanalyse deutscher Evaluationsverfahren beruhen, wird ausdrücklich auf diese Möglichkeit hingewiesen, die nach Meinung von befragten ExpertInnen die „Akzeptanz des Evaluationsverfahren unter den Studierenden“ erhöht (Bornmann 2003, 14, vgl. auch Fußnote 23 auf Seite 15). 136 In den folgenden Ausführungen zu Unterschieden und Gemeinsamkeiten von Audit und Evaluierung beziehe ich mich auf folgende Literatur: Wisler 1996, Pollitt/Summa 1996, Divorsky 1996, Chelimsky 1996, Brooks 1996 und Leeuw 1996. Vgl. auch die Definition in Beywl/Speer 2004, 4, Stichwort Audit.

8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten

285

schaftsgebarung verstanden werden, sondern als „Performance Audits“ auch die Prozesse und Strukturen, die zur Leistungserbringung führen (insbesondere die Qualität des Managements) sowie die Erreichung inhaltlicher Ziele untersuchen. Trotz starker Konvergenzen in Bezug auf Inhalte und Verfahren, können Evaluation und Audit anhand folgender Kriterien unterschieden werden: ƒ

ƒ

ƒ

ƒ

Audits werden von staatlicher Seite durchgeführt, AuditorInnen stammen aus einschlägigen Einrichtungen (Rechnungshöfen) und können direkt Macht ausüben. EvaluatorInnen hingegen können zwar auch durch den Staat beauftragt werden, ihre Kontrollbefugnisse sind jedoch geringer und mittelbarer. Audits überprüfen, ob bestehende Sollvorschriften eingehalten werden, typischerweise werden nur Abweichungen von der Norm rückgemeldet. Eine Aushandlung von Kriterien, anhand derer die Qualität einer Institution, eines Programms, einer Maßnahme bestimmt werden kann, ist im Rahmen von Audits nicht vorgesehen, da diese bereits im Vorhinein im Detail festlegt wurden. In Evaluationen hingegen kann gerade die Bestimmung der Ziele des evaluierten Programms wichtiger Bestandteil der Evaluationsaktivitäten sein. Auch geht es in Evaluationen nicht nur darum zu überprüfen, ob und in welcher Weise die Ziele erreicht wurden, sondern um die Erforschung von Wirkungsweisen und sich daraus ergebende Empfehlungen für Anpassungen. Während Audits nur überprüfen, ob Wirkungen in der geplanten Form und im geplanten Ausmaß erzielt wurden, versuchen Evaluationen, diese Wirkungen auch zu erklären. Audits überprüfen Mindeststandards und spielen im Rahmen von Zertifizierungen und Akkreditierungen eine Rolle; andere Aspekte der Funktionsund Wirkungsweise als die, für die es Regelungen gibt, deren Einhaltung zu überprüfen ist, sind in der Regel nicht relevant. Während Evaluationen auch zur Überprüfung von Mindeststandards eingesetzt werden können, weisen sie doch einen umfassenderen Zugang in der Herangehensweise an ihre Untersuchungsgegenstände auf.

In den beschriebenen Peer-Review-Verfahren im Bereich der Erstausbildung kommen Charakteristika des Audits auf zwei verschiedene Weisen zum Tragen: Erstens können sie durch die Berücksichtigung von Qualitätssystemen aus der Wirtschaft (v.a. das Qualitätsmanagement nach ISO 9000ff.), die Audits für die Zertifizierung einsetzen, in Peer Reviews hineingetragen werden, wie anhand der Fallbeispiel 3 und 4 gezeigt wurde. Zweitens arbeiten staatliche Kontrollverfahren (Fallbeispiele 9 und 10) mit der Vorgabe und Überprüfung von Indikatoren,

286

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

die in möglichst unmissverständlicher Art und Weise vorgeben sollen, was unter „Qualität“ verstanden wird und was nicht. In sämtlichen Verfahren geht es jedoch eindeutig um mehr als nur um die Überprüfung der Einhaltung von Vorschriften und der Erfüllung von Leistungsindikatoren. Insbesondere dienen die auf Freiwilligkeit basierenden Netzwerkprojekte auch zur Weiterentwicklung der Qualität an den teilnehmenden Einrichtungen, die Inhalte und Bewertungskriterien für das Review sind zwar vorgegeben, es besteht aber großes Interesse, auch darüber hinausgehende Fragestellungen zu behandeln. Dies gilt in gewissem Ausmaß auch für die summativen Verfahren in Fallbeispiel 9 und 10. Die Unterscheidung zwischen Peer Review und Audit ist im Einzelfall nicht immer klar ersichtlich, auch hier gibt es große Überschneidungen. Definiert man Peer Review als entwicklungsorientiertes Evaluationsverfahren, das Erfahrungsaustausch zwischen Einrichtungen und ein professionelles Qualitätsverständnis „bottom-up“ fördert, dann ist klar, dass die evaluierten Einrichtungen und die Peers nicht durch allzu detaillierte Vorschriften gegängelt werden dürfen. Insbesondere sollte im Rahmen des Verfahrens eine Diskussion über das, was Qualität ausmacht und wie diese festgestellt werden kann, ermöglicht werden. Vorgaben im Sinne von vorab definierten Qualitätsbereichen oder Evaluationsfragestellungen sollten der Orientierung dienen und einen gewissen Grad der Vergleichbarkeit ermöglichen, nicht aber zu einem starren, technokratischen Verfahren führen, in dem Peers nur noch überprüfen, ob Qualitätsindikatoren erfüllt werden oder nicht. In diesem Sinne lässt sich Peer Review deutlich von Audit-Verfahren abgrenzen. 8.11.2 Peer Review und Inspektion In einem Vergleich von Peer Review und Inspektion ist vorneweg zu berücksichtigen, dass es „full inspections“, d.h. Inspektionen, die die Bildungseinrichtung (im Kontext der Inspektion ist das für gewöhnlich die Schule) als Ganze untersucht, nicht in allen Ländern gibt. Eine europaweite Untersuchung zum Thema „Inspektorate“ zeigt, dass die nach wie vor vorherrschende Aufgabe der Inspektorate in den meisten europäischen Ländern in der Überprüfung der Qualität der Arbeit von LehrerInnen und Schuladministration liegt, Inspektionen sich also in einem großen Ausmaß mit Personalevaluation befassen (vgl. Standaert 2000, 15f.). Im Gefolge der in vielen Ländern zu beobachtenden Dezentralisierung ist für die Zukunft zu erwarten, dass Agenden der Personalevaluation zunehmend an die einzelnen Standorte verlagert werden, während sich als Hauptaufgabe von Inspektoraten die „intergral/full inspection“ der Schulstandorte herauskristallisiert (vgl. Standaert 2000, 39f., 42). Diesem Entwicklungstrend sind auch die in

8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten

287

Kapitel 6 beschriebenen neu entwickelten Evaluationsverfahren in Deutschland zuzuordnen (vgl. Fallbeispiel 10 sowie Kapitel 6.4.11). Wenn in Folge von Inspektion die Rede ist, sind also diese umfassenden, auf die Bildungseinrichtung als Ganze fokussierenden Verfahren gemeint, da nur diese vom Umfang und Untersuchungsgegenstand her mit Peer Review auf der Organisationsebene vergleichbar sind. Eine Verortung von Peer Review als primär entwicklungsorientiertes Verfahren stellt das Verfahren in einen Gegensatz zur Inspektion, die v.a. der Qualitätskontrolle dient. Berücksichtigt man jedoch, dass Inspektionen nicht nur die Behebung von Defiziten, sondern in zunehmenden Maße Qualitätsverbesserungen an den inspizierten Standorten bewirken sollen (vgl. z.B. http://www.hmie.gov.uk/ (7.12.2005), Earley et al. 1996, MBF SchleswigHolstein 2005), verliert dieser Gegensatz an Schärfe. Zudem können ja Peer Reviews – auch wenn sie formativ angelegt sind – durchaus auch Aspekte der Rechenschaftslegung nach außen beinhalten. Auch bedeutet die Weiter- oder Neuentwicklung von Inspektionsverfahren nicht nur, dass die Begrifflichkeiten diffus werden – ist unter einem „College Review“ (Fallbeispiel 9) oder einer „Evaluation im Team“ (Fallbeispiel 10) nun eine Inspektion zu verstehen oder nicht – sondern auch, dass neue Steuerungsformen, wie z.B. die Etablierung von unabhängigen Agenturen, die als Puffer zwischen der einzelnen Einrichtung und der staatlichen Behörde fungieren, traditionelle Strukturen allmählich ersetzen. Weiters können auch für Inspektionen Peers eingesetzt werden bzw. kann die Grenze zwischen Peers und InspektorInnen insgesamt fließend sein, da letztere ja für gewöhnlich aus der Profession kommen. Es kann hier also ein Graubereich zwischen Peer Review und Inspektion festgestellt werden. Ausgehend von den unterschiedlichen Funktionen von Peer Review und Inspektion wäre eine Möglichkeit der Unterscheidung, welcher Aspekt – die Qualitätskontrolle oder die Qualitätsentwicklung – stärker ausgeprägt ist. Zusätzlich kann berücksichtigt werden, ob es in dem jeweiligen Verfahren eher um die Überprüfung von Mindeststandards – was für eine Einordnung als Inspektion spricht – oder um eine über Mindeststandards hinausgehende Befassung mit Qualitätsentwicklung geht – was auf Peer Review hindeuten würde. Eine Unterscheidung kann auch anhand der handelnden Personen vorgenommen werden. Einfach ist dies, wenn die Bezeichnung InspektorIn noch in Gebrauch ist und die evaluierende Person in der Bürokratie angesiedelt sind. Ein weiterer Indikator für ein Inspektionsverfahren ist die Existenz vollzeitberuflicher ReviewerInnen/GutacherInnen/AssessorInnen etc., derartige Positionen sind in einem Peer-Review-Verfahren, das sich ja aus Personen speist, die in der Pra-

288

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

xis stehen, nicht denkbar.137 Eine weiteres Merkmal, das zur Abgrenzung von Peers und InspektorInnen dienen kann, ist, dass Peers auch selbst evaluiert werden können, während InspektorInnen nicht in die Bildungsarbeit involviert sind, und daher auf dieser Ebene auch nicht evaluiert werden138. Wechselseitige Reviews sind nur zwischen Peers, nicht jedoch zwischen Peers und InspektorInnen möglich. Zu dieser Asymmetrie kommt in vielen Bildungssystemen noch die Vorgesetztenfunktion von InspektorInnen hinzu. Selbst wenn InspektorInnen ursprünglich aus den gleichen beruflichen Arbeitszusammenhängen wie die von ihnen Beurteilten stammen, sind sie in der Praxis aufgrund ihres Status im Machtgefüge von gleichgestellten Peers zu unterscheiden. Wie verhält es sich nun mit Peer-Teams, deren Qualitätsurteil, wie in den Verfahren auf Hochschulebene, wenn nicht direkte, so doch indirekte (z.B. über eine Qualitätsagentur oder andere staatliche oder quasi-staatliche Stellen vermittelte) Konsequenzen für die Bildungseinrichtung hat? In diesem Fall kann das oben Gesagte nicht gelten, da diese Peers ja prinzipiell keine andere formale Stellung innerhalb des Bildungssystems haben als die von ihnen Evaluierten. Diese Form des Peer Reviews für Zwecke der Überprüfung und Kontrolle von Qualität kann, wie bereits erwähnt (vgl. Kapitel 8.3), Peers in eine schwierige Lage bringen, in einen undefinierten Zustand zwischen KontrolleurInnen und KollegInnen. Mag diese Vorgangsweise der externen Qualitätskontrolle durch Peers im Hochschulbereich aufgrund der nur durch Peers abzudeckenden Fachkompetenzen nötig sein, so erscheint sie für den Bereich der beruflichen Erstausbildung aufgrund seiner Größe und Struktur nicht zwingend. Eigens dafür ausgebildete (hauptberufliche) externe EvaluatorInnen/ InspektorInnen/BegutachterInnen, die aus dem Kreis der Lehrenden rekrutiert werden (wie es traditioneller Weise im Bereich der Inspektorate auch der Fall war und ist) oder mindestens ein bestimmtes Maß an Feldkompetenz aufweisen, können in diesem Sektor,

137 Eine Ausnahme könnte die Einbindung der oben genannten EvaluationsexpertInnen bilden, die dann nicht ExpertInnen aus dem Feld sondern (haupt- oder nebenberufliche) ExpertInnen für die Durchführung von Evaluationen sind. 138 Eine Evaluation von InspektorInnen ist dann gegeben, wenn die Tätigkeit des Inspektorats überprüft wird – mithin geht es dabei um andere Themen und Fragestellungen als bei einem Peer Review auf Organisationsebene. Die Evaluierung kann durch eine dem Inspektorat übergeordnete Stelle oder auch als Selbstevaluierung erfolgen, aber nicht durch Peers aus den Bildungseinrichtungen; Rückmeldungen der Schulen zu den Inspektionsverfahren – wie es sie z.B. in EVIT, Fallbeispiel 10, gibt  sind im Kontext der Qualitätssicherung und Weiterentwicklung des jeweiligen Verfahrens auf der Metaebene zu sehen. Theoretisch möglich wäre natürlich auch ein Peer Review zwischen Inspektoraten wie es im Bereich der Qualitätsagenturen im Hochschulsektor aktuell auf europäischer Ebene eingeführt wird (vgl. Kapitel 5.3).

8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten

289

wie oben bereits ausgeführt, die externe Kontrolle zur Einhaltung von Mindeststandards übernehmen. Peers können auch in qualitätssichernden, inspektionsähnlichen Verfahren eine Rolle spielen, um 1) die Sicht der Praxis besser einzubringen und 2) um den Antagonismus zwischen Inspektionsteams und evaluierten Einrichtungen etwas abzumildern. „Echte“ Peers werden als RepräsentantInnen der KollegInnenschaft und als „Vertrauenspersonen“ der Evaluierten eingebunden139. Trotzdem sollte in diesen Fällen nicht von Peer Review gesprochen werden, da die Peers als offizielle BegutachterInnen im Einsatz sind und als der verlängerte Arm staatlicher Kontrollmacht angesehen werden können. Es geht also nicht mehr um Evaluierung unter KollegInnen, sondern darum, Inspektionsteams mit Personen aus vergleichbaren Einrichtungen, die sozusagen die Perspektive der Praxis einbringen, zu besetzen oder zu ergänzen. Aus diesem Grund kann das Verfahren bereits in Richtung Inspektion „kippen“, wenn die Schulaufsicht auch nur durch eine Person vertreten ist. Andererseits könnte man auch von einem Kontinuum sprechen, auf dem verschiedene Verfahren angesiedelt sind: von „reinen“ Peer Reviews unter FachkollegInnen am einen Ende des Spektrums über Mischformen mit Peers und Personen aus der Schulaufsicht bis zu reinen Inspektionsverfahren am anderen. Letztendlich ist für den Prozess im Verfahren ausschlaggebend, wie die Evaluierungsteams von den Evaluierten wahrgenommen werden. Dadurch werden sowohl die Erwartungen als auch das Verhalten der Evaluierten bestimmt. Es ist anzunehmen, dass die von Evaluation Betroffenen in der Praxis rasch herausfinden, ob es sich um Inspektion in anderer Ummantelung handelt oder um ein gänzlich neuartiges Verfahren wie das Peer Review. Die Beteiligung von Peers in einem externen Evaluierungsverfahren reicht also nicht aus, um automatisch von einem Peer-Review-Verfahren zu sprechen. Zur Abgrenzung von Inspektionsverfahren können folgende Unterscheidungsmerkmale dienen: ƒ ƒ ƒ

Die Funktion und die Ziele des Reviews – Peer Review lässt sich als primär entwicklungsorientiertes Verfahren verorten; Die Peers – Peers sind immer Gleichgestellte und stehen noch in der Praxis; Die Konsequenzen  Peer Review hat keine externen Konsequenzen im Sinne staatlicher Sanktionen und Auflagen sondern zielt auf die interne Motivation zur Qualitätsverbesserung ab.

139 Vgl. die Einbindung von SchulleiterInnen in die EVIT-Teams. Diese werden von den evaluierten Schulen selbst ernannt und sind daher wichtige Vertrauenspersonen (vgl. Interview Kühme, 11).

290

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

Welche Position Peer Review als eigenständiges Qualitätsevaluierungsverfahren zwischen der in vielen Ländern propagierten Selbstevaluation (i.w.S.) der Bildungseinrichtungen und staatlichen Kontrollmechanismen einnehmen kann, ist Gegenstand einer zusammenfassenden Analyse in Kapitel 9. 8.11.3 Peer Review und kollegiale Beratung (Peer Learning) Peer Review und kollegiale Beratung haben große Überschneidungsbereiche, da im Rahmen von Peer Review auch die Beratung und der Austausch unter KollegInnen eine große Rolle spielen können. Wie kann also Peer Review von kollegialer Beratung abgegrenzt werden? Als Evaluationsverfahren hat Peer Review immer eine Bewertung durch die Peers zum Ziel. Dies ist in der kollegialen Beratung nicht vorrangig bzw. in einigen Fällen auch nicht wünschenswert. Auch bei kollegialer Beratung kann zwar davon ausgegangen werden, dass sich die beratenden KollegInnen ein professionelles Urteil bilden, dieses ist aber nicht Hauptthema des Prozesses und muss auch nicht kommuniziert werden. Kollegiale Beratung kann Teil eines Peer Reviews sein, das mehrstufige Peer-Review-Verfahren, wie es oben dargestellt wurde, würde jedoch kaum als reine kollegiale Beratung angesehen werden. Auch wenn kollegiale Beratung / Peer Learning aufwändige Erhebungen (von Seiten der Beratenen und/oder der BeraterInnen) umfasst, ist Peer Review doch aufgrund seiner Definition als Evaluierungsverfahren von kollegialer Beratung abgrenzbar, indem es eine professionelle Beurteilung durch die Peers umfasst, die auch schriftlich dargelegt wird. 8.11.4 Peer Review und Benchmarking Auch Peer Review und Benchmarking weisen – auch wenn sie aus ganz anderen Kontexten stammen – in der Praxis Gemeinsamkeiten auf. In einem oben beschriebenen Fallbeispiel hat sich ein Benchmarking-Verfahren in Richtung Peer Review weiterentwickelt. Benchmarking als Vergleich von Benchmarks, d.h. quantitativen, aber auch qualitativen Indikatoren, die branchenintern oder auch branchenübergreifend der Qualitätsbewertung dienen, kommt aus der Wirtschaft und wird meist organisationsübergreifend vorgenommen. Es bilden sich Benchmarking-Zirkel oder –Netzwerke, innerhalb derer die Werte für ausgesuchte Benchmarks verglichen werden. Ziel ist es, von den Besten zu lernen. Es gibt in Benchmarking-Zirkeln daher immer auch persönlichen Austausch, um Best Practice diskutieren zu können. Oft ist die Zusammenarbeit zwischen den Einrichtungen gerade in Bereichen, in denen es noch keine allgemein verbreiteten Indi-

8.11 Abgrenzung von Peer Review zu anderen Verfahren und Aktivitäten

291

katoren gibt, auch relativ eng, da die Definition von vergleichbaren Indikatoren bereits eine Herausforderung darstellt. Innerhalb der Benchmarking-Zirkel sollte, wie in Peer-Review-Netzwerken, die direkte Konkurrenz nicht allzu groß sein, da sonst die Bereitschaft Informationen auszutauschen gering ist. Trotz dieser organisationsübergreifenden Zusammenarbeit ist Benchmarking im Kern ein auf Wettbewerb ausgerichtetes Verfahren (vgl. auch Beywl/Speer 2004, 5, Stichwort Benchmarking). Für Peer Review gilt, dass Benchmarks, also relevante Qualitätsindikatoren, in der Evaluierung berücksichtigt werden können. Werden Indikatoren verwendet, die weithin anerkannt sind, dann kann dies auch die Glaubwürdigkeit des Peer Reviews nach außen stärken. Zusätzlich gibt ein Vergleich mit anderen Einrichtungen auch intern eine Orientierung. Peer Review ist jedoch kein Verfahren, das auf einen Vergleich verschiedener Einrichtungen abzielt. Peer Review setzt vielmehr dort an, wo Benchmarking endet: in der qualitativen Interpretation der Indikatoren und dem Ziehen von Schlussfolgerungen. Die Tatsache, dass Zahlen alleine oft noch nicht viel aussagen, ist auch einer der Gründe, warum Benchmarking durch Peer Review ergänzt wird (vgl. Fallbeispiel 5). Ein zusätzliches Unterscheidungsmerkmal ist, dass Peer Review während des Verfahrens auf eine Organisation fokussiert, d.h. es gibt Evaluierte und Evaluierende, während in Benchmarking immer alle in gleicher Weise beteiligt sind. Aus der Systemperspektive betrachtet, können Benchmarking und Peer Review gleichermaßen dazu eingesetzt werden, Austausch zwischen Einrichtungen zu stimulieren, die Netzwerkbildung zu fördern und den institutionsübergreifenden Diskurs über das, was Qualität ausmacht, voranzutreiben. 8.11.5 Peers und „kritische FreundInnen“ Der Begriff „kritischer Freund / kritische Freundin“ wird oft synonym für Peer gebraucht. Es handelt sich dabei um einen aussagekräftigen, prägnanten Terminus, der das Verständnis von KollegInnen als EvaluatorInnen in einem entwicklungsorientierten Peer Review gut zum Ausdruck bringen kann – die Balance zwischen Nähe und Distanz, das Spannungsverhältnis zwischen einer Parteinahme für die Qualitätsentwicklung an der evaluierten Einrichtung und dem kritischen Blick (und Feedback) von außen. Der Begriff „kritische FreundInnen“ wird v.a. in Schulentwicklungsprojekten verwendet. Er umfasst dann allerdings nicht nur FachkollegInnen, sondern auch andere Personen, die zur Qualitätsentwicklung beitragen, und deckt sich folglich mit dem erweiterten PeerVerständnis. Es spricht daher prinzipiell nichts gegen synonyme Verwendung, wenn man sich über mögliche Unterschiede bewusst ist. So müssen kritische FreundInnen

292

8 Überprüfung und (Neu)Bestimmung der Definition von Peer Review

nicht unbedingt EvaluatorInnen sein. In vielen Projekten ist dies zwar der Fall und die Vorgangsweisen können auch mit dem Peer-Review-Verfahren weitgehend identisch sein (vgl. Toonen, 2005), es gibt jedoch für kritische FreundInnen auch andere Einsatzbereiche, wie z.B. die Unterstützung bei Selbstevaluierung und Schulentwicklung, wie in Fallbeispiel 1 gezeigt wurde. Der Terminus „critical friend“ wird also umfassender gebraucht als der von Peers im Rahmen des Peer-Review-Verfahrens. Als weiteres Unterscheidungsmerkmal könnte gelten, dass Verfahren mit kritischen FreundInnen noch stärker auf Beratung ausgerichtet sind als Peer Review (vgl. z.B. Swaffield (2004). Critical friends haben zudem in vielen Fällen eine stärkere persönliche Beziehung zu den von ihnen „Befreundeten“ und arbeiten oft über eine längere Zeit mit ihnen zusammen. Auch das Bilden von Zweierteams zwischen kritischen FreundInnen und Befreundeten ist möglich  so wie es z.B. in einem Projekt zur Personalentwicklung von SchulleiterInnen geschieht, wo diese sogar im Rahmen von gegenseitigen Besuchen für begrenzte Zeit gemeinsam wohnen (vgl. Toonen, 2005, 117). 8.12 Zusammenfassung: Was ist Peer Review und was nicht? Zurückkommend auf die Fallbeispiele von Peer-Review-Verfahren in der beruflichen Erstausbildung, kann nun aufgrund der vorgenommenen Neudefinition von Peer Review eine Zuordnung der drei identifizierten Peer-Review-Typen (Kapitel 7) vorgenommen werden. Typ 1 als freiwilliges, entwicklungsorientiertes Verfahren, das der internen Qualitätsverbesserung dient fällt unter die Kategorie Peer Review, desgleichen Typ 3, das verpflichtende, entwicklungsorientierte, formative Peer Review, das zusätzlich auch als Grundlage für summative Evaluierungen im Rahmen staatlicher Qualitätskontrolle dienen kann. Damit werden die Verfahren aus den Fallstudien 2 bis 8 als Peer Review definiert. Die Verfahren der Fallstudien 9 und 10, die als Typ-2-Verfahren charakterisiert wurden, stellen verpflichtende, kontrollorientierte und summative Reviews für Zwecke der staatlichen Kontrolle und Rechenschaftslegung dar. Diese Verfahren bedienen sich ebenfalls Peers als EvaluatorInnen, stellen aber insgesamt Inspektionsverfahren bzw. Weiterentwicklungen von aus dem angelsächsischen Raum stammenden Schulinspektionen dar. Sie entsprechen nicht der für PeerReview-Verfahren typischen symmetrischen Interaktion zwischen EvaluatorInnen und Evaluierten. Wie oben ausgeführt, ist die Einbindung von Peers alleine noch kein ausreichendes Indiz für das Vorliegen von Peer Review, da Peers prinzipiell in verschiedensten Verfahren – Inspektionen, Evaluationen, Audits –

8.12 Zusammenfassung: Was ist Peer Review und was nicht?

293

als Mitglieder von ExpertInnenteams zum Einsatz kommen können, um einschlägige Feldkompetenz einzubringen und die evaluierte Profession als FachvertreterInnen zu repräsentieren. Von selbst versteht sich aus der Definition von Peer Review als eine von Peers durchgeführte Evaluation, dass das Zuziehen von Peers zur Unterstützung bei der Selbstevaluierung, wie es in manchen Projekten aus dem Schulbereich, in denen mit „kritischen FreundInnen“ gearbeitet wird, praktiziert wird, nicht als Peer Review gewertet werden kann. In diesem Sinne fällt auch Fallbeispiel 1, dem europäischen Pilotprojekt zur Selbstevaluierung an Schulen, nicht in die Kategorie von Peer Review, sondern ist als Art „erweiterte Selbstevaluierung“ zu verstehen. Von Peer Review auf der Ebene der Organisation ist demnach die Rede, wenn es sich um eine externe Evaluation handelt, ƒ ƒ ƒ ƒ ƒ

die hauptsächlich von Peers, d.h. gleichgestellten, unabhängigen FachkollegInnen ausgeführt wird, die aus vergleichbaren Einrichtungen kommen, die daher auf einer symmetrischen Beziehung zwischen EvaluatorInnen und Evaluierten aufbaut, die einen Austausch zwischen den Peers und der evaluierten Einrichtung und in gewissem Ausmaß auch die Aushandlung des zugrunde gelegten Qualitätsbegriffs zulässt, die mehrstufig ist, d.h. als externe Evaluation auf einer Selbstevaluation der Einrichtung aufbaut und einen schriftlichen Bericht der Peers umfasst, in der Bewertungen auf empirische Basis gestellt werden und für die Evaluierten sowie andere Anspruchsgruppen und Interessierte nachvollziehbar sind.

Für die berufliche Erstausbildung (und das Gleiche kann auch für den allgemeinbildenden Bereich der gesamten Primar- und Sekundarstufe gelten) ist Peer Review zudem als formatives, entwicklungsorientiertes Verfahren anzulegen, das zwar zusätzlich auch der Rechnungslegung nach außen dienen kann, nicht jedoch für Kontrollzwecke durch staatliche Behörden. Wie im Bereich der Hochschulevaluierungen können auch VertreterInnen von verschiedenen Gruppen von Beteiligten und Betroffenen in Peer-Teams einbezogen werden – für die berufliche Bildung sind hier vorrangig die Unternehmen als Abnehmerorganisationen und KooperationspartnerInnen zu nennen.

9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung

In einem abschließenden Kapitel soll nun, nachdem in den vorangegangenen Kapiteln ein Spektrum an Verfahrensvarianten in der beruflichen Erstausbildung / im Schulwesen dargestellt und analysiert sowie eine Neudefinition von Peer Review vorgenommen worden ist, auf die einleitend genannten Fragestellungen zur Qualität von Peer Review als Evaluationsverfahren sowie auf die mögliche Positionierung in einem Gesamtkonzept zur Qualitätssicherung und Qualitätsentwicklung aus der Perspektive der Systemebene eingegangen werden. 9.1 Güte von Peer Review als externes Evaluierungsverfahren Für eine breitere Anwendung von Peer Review auch im Bereich der Erstausbildung ist die (Anerkennung der) Güte des Verfahrens eine zentrale Vorbedingung. Aufgrund der weiten Verbreitung im Hochschulsektor kann angenommen werden, dass Peer Review den Ansprüchen der Beteiligten und Betroffenen – einschließlich der Universitäten und der Verantwortlichen auf staatlicher Seite  gerecht wird. Doch wie weit genügt Peer Review auch einschlägigen Standards der Evaluationsprofession? Ich möchte im Folgenden Peer Review als externes formative Evaluationsverfahren, wie es in Kapitel 8 für den Bereich der beruflichen Erstausbildung definierte wurde, einer Analyse anhand der Standards für Evaluation der Deutschen Gesellschaft für Evaluation unterziehen und Empfehlungen für die Ausgestaltung des Peer Reviews anhand der einzelnen Standards formulieren. 9.1.1 Die Standards für Evaluation der Deutschen Gesellschaft für Evaluation Die Standards für Evaluation der Deutschen Gesellschaft für Evaluation (vgl. DeGEval 2004b) basieren wie die der Schweizerischen Evaluationsgesellschaft (vgl. Widmer et al. 2000) auf den „Program Evaluation Standards“ des „Joint Committee on Standards for Educational Evaluation“ (Sanders/Beywl (Hg.) 2000), die ursprünglich für Evaluationen im Bildungsbereich entwickelt worden waren. Diese Standards, die in der überarbeiteten Fassung der Deutschen Gesellschaft für

296 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Evaluation für verschiedenste Evaluationsansätze, -zwecke und -felder Geltung haben, wurden als Maximalstandards konzipiert, d.h. es „ist nicht immer möglich, allen Standards in gleicher Weise gerecht zu werden.“ (DeGEval 2004b, 17). Widmer nennt in seiner bekannten Studie zur Meta-Evaluation als Erfordernisse für Bewertungskriterien für Evaluationen „methodische Offenheit“, „umfassende Bewertung“, „weite Verbreitung, Anerkennung und Akzeptanz“ sowie einen „ausreichenden Detaillierungsgrad“ (Widmer 1996, 11f.) und zeigt auf, dass die Standards des „Joint Committee“ diesen Anforderungen im Vergleich zu anderen einschlägigen Standards am besten entsprechen (vgl. Widmer 1996, 13f.). Ich schließe mich dieser Sichtweise an und möchte die für Evaluationen im deutschsprachigen Raum akkordierte Variante der Standards, die DeGEval Standards, die für die Konzeption und Durchführung von Evaluationen in Deutschland und in Zukunft auch verstärkt in Österreich bedeutsam sein werden140, als Referenzkriterien für die Bewertung des Peer-Review-Verfahrens nutzen. Vorausgeschickt werden muss, dass die Standards im Rahmen der professionellen Verpflichtung zu einer qualitätsvollen Vorgangsweise selbstverständlich für die jeweils konkrete Durchführung von Peer Review als Orientierungsrahmen herangezogen werden sollten, es ist also immer eine Anpassung an die jeweiligen Bedingungen und Zwecke des Peer Reviews zu leisten. An dieser Stelle interessieren daher v.a. die übergeordneten Fragestellungen, die sich aus den spezifischen Charakteristika des Peer Reviews ergeben. Peer Review weist insbesondere folgende Merkmale und Eigenheiten auf, die es von anderen Ansätzen unterscheidet: ƒ ƒ ƒ

Den Einsatz von Peers als EvaluatorInnen, die oben genannten Verfahrenselemente und -schritte, die bereits so etwas wie einen „Kanon“ darstellen sowie die vornehmlich qualitative Vorgangsweise.

Darüber hinaus können auch allgemeine Empfehlungen, die sich aus den Standards ergeben, auf das Verfahren angewandt werden.

140 Es kann davon ausgegangen werden, dass die Bedeutung der Standards der DeGEval, die im Rahmen ihrer letzten Mitgliederversammlung (Oktober 2005) in „DeGEval – Gesellschaft für Evaluation“ umbenannt wurde, um die Öffnung zu einer national übergreifenden Gesellschaft für Evaluation zum Ausdruck zu bringen, auch in Österreich, das in der DeGEval stark vertreten ist, in Zukunft zunehmen wird.

9.1 Güte von Peer Review als externes Evaluierungsverfahren

297

9.1.2 Analyse und Empfehlungen anhand der Standards für Evaluation Die 25 Einzelstandards sind vier übergreifenden Eigenschaften zugeordnet, die Evaluationen aufweisen sollten: Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Die sieben Nützlichkeitsstandards „sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichtet“ (DeGEval 2004b, 8 und 21ff.). Gerade wenn Peer Reviews mit formativer Absicht durchgeführt werden, ist prinzipiell eine hohe Nützlichkeit des Verfahrens zu erwarten. Einen besonderen Angelpunkt stellt allerdings die Glaubwürdigkeit und Kompetenz des Evaluators / der Evaluatorin (N3) dar. Um diese zu gewährleisten müssen EvaluatorInnen nicht nur persönlich vertrauenswürdig, sondern auch fachlich und methodisch kompetent sein. Peers als angesehene VertreterInnen der Profession genießen prinzipiell hohe Glaubwürdigkeit in Bezug auf ihre Fach- und Feldkenntnisse. Andere Kompetenzen wie insbesondere Kenntnisse und Erfahrung in Evaluation können jedoch nicht vorausgesetzt werden. Daher erscheint es notwendig, Peers auf ihre Aufgabe vorzubereiten und, wenn möglich, auch in Evaluationsmethoden sowie in den für ihre Aufgabe nötigen sozialen und kommunikativen Kompetenzen zu schulen. Umfassende Lehrgänge, die Peers befähigen, eigene Evaluationsdesigns zu entwerfen und komplexe qualitative aber v.a. quantitative Verfahren anzuwenden scheinen jedoch nicht notwendig. Das Verfahren ist ja prinzipiell auf gängige qualitative Methoden beschränkt. Peers sollten also die Grundlagen der Fragetechniken und Interviewführung beherrschen sowie in Vorbereitung auf das Review für die jeweiligen Fragestellungen geeignete Leitfäden entwickeln können. Das Gleiche gilt auch für die Vorbereitung und Durchführung von Beobachtungen, auch hier sollten Peers fähig sein, systematisch vorzugehen und für die Themen des Reviews bedeutsame Beobachtungen zu machen. Zusätzlich sind in Anbetracht der Notwendigkeit, innerhalb des Peer-Teams über Bewertungen zu verhandeln sowie der evaluierten Einrichtung ein für die Betroffenen akzeptables Feedback zu geben, v.a. die Kompetenzen der Peers in der Gesprächsführung, der Moderation sowie dem Geben von Feedback wichtige Voraussetzungen für das Gelingen des Reviews. Diese Kompetenzen können entweder durch Schulungen vermittelt werden oder es kann eine Qualitätssicherung in Bezug auf die Evaluationskompetenzen auch durch das Einbeziehen einer professionellen Evaluatorin / eines professionellen Evaluators in das Peer-Team erreicht werden. Diese Person hat dann in etwa die Funktion einer wissenschaftlichen Begleitung/Beratung. Selbstverständlich können auch beide Strategien parallel eingesetzt werden. Die externe Evalu-

298 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung atorin / der externe Evaluator hat die Aufgabe, die Peers während des gesamten Prozesses zu coachen und auf die Qualität des Vorgehens zu achten. Sie/er kann z.B. bereits in der Vorbereitungsphase bei der Erstellung von Fragebögen und Leitfäden behilflich sein, Informationen zu spezifischen Themen wie z.B. Fragetechniken und Verhalten in Interviewsituationen geben, während des Reviews heikle Sitzungen moderieren und bei der Analyse und Bewertung der Ergebnisse dem Team Hilfestellung geben. So wie das Team als Ganzes in Bezug auf die fachlichen Themen des Reviews kompetent sein muss – und nicht jede Person allein sämtlichen Anforderungen gerecht werden muss  kann auch die Evaluationskompetenz in dieser Art und Weise durch ein Mitglied eingebracht und repräsentiert werden. Dies soll dem Anliegen eines Peer-Review-Verfahrens, die Kompetenzen der Beteiligten im Bereich der Evaluation zu heben, keinen Abbruch tun, im Gegenteil, die Rolle einer externen Evaluatorin / eines externen Evaluators im Peer-Team soll zur Qualifizierung der anderen Mitglieder durch die praktische Unterstützung vor Ort in besonderer Weise beitragen. Über Fragen der Kompetenzen hinaus muss bei der Auswahl der Peers selbstverständlich auch auf deren Integrität und Unabhängigkeit geachtet werden. Die anderen Standards aus dieser Gruppe erzeugen keinen Diskussionsbedarf, für ihre Erfüllung im Rahmen eines Peer Reviews können folgende Empfehlungen gegeben werden: ƒ

ƒ

ƒ

Die Identifizierung der Beteiligten und Betroffenen (N1) hat bereits in der Phase der Selbstevaluierung zu erfolgen, die Außensicht der Peers in der Vorbereitung des Peer-Besuchs kann zusätzliche Anregungen für die Einbeziehung von wichtigen Anspruchsgruppen geben. Auch können Beteiligte und Betroffene ebenfalls als Peers eingesetzt werden und so ihre Sichtweisen und Ansprüche direkt einbringen. Die Klärung der Evaluationszwecke141 (N2) sollte ebenfalls im Vorfeld vorgenommen werden, und zwar durch die evaluierte Einrichtung oder – so vorhanden – auch in Abstimmung mit der Einrichtung, die Peer Reviews institutionenübergreifend koordiniert. Die Peers müssen umfassend über die Evaluationszwecke informiert werden. Die Auswahl und der Umfang der erfassten Informationen (N4) sollte zwischen der evaluierten Einrichtung und den Peers abgesprochen werden, insbesondere sollte dies auf die Selbstevaluierung abgestimmt werden. Eine Konzentration auf wesentliche Informationen im Rahmen des Peer Reviews erscheint aufgrund der beschränkten Zeit und Ressourcen nötig.

141 „Evaluationszwecke“ wurden in dieser Arbeit als „Funktionen von Evaluationen“ bezeichnet (vgl. v.a. Kapitel 7.5 und 8.4).

9.1 Güte von Peer Review als externes Evaluierungsverfahren ƒ

ƒ

ƒ

ƒ

299

Die Transparenz von Werten (N5) kann durch die Offenlegung der Werthaltung durch die zu evaluierenden Einrichtung selbst im Vorfeld des Peer Reviews (Selbstevaluierungsbericht) sowie durch die Vorgangsweise während des Peer Reviews gewährleistet werden. Während bis zu einem gewissen Grad aufgrund des gleichen oder sehr ähnlichen Arbeitsumfelds sowie der ähnlichen Ausbildung und beruflichen Sozialisation von einem höheren Deckungsgrad der Werthaltungen von Peers und Evaluierten ausgegangen werden kann, so darf dies doch nicht als gegeben vorausgesetzt werden. Es ist daher von großer Bedeutung, dass auch die Werte der Peers identifiziert und thematisiert werden können, v.a. dann, wenn es offensichtliche Diskrepanzen gibt. Wenn nötig, sollten auch die Peers ihre eigenen Werthaltungen sowohl im Gespräch als auch im schriftlichen Bericht darlegen, um ihre Bewertungen nachvollziehbar zu machen und eventuell auch einem Diskussionsprozess zu unterziehen. Vollständigkeit und Klarheit der Berichterstattung (N6) sollte durch die Kombination von mündlicher Rückmeldung und Diskussion sowie schriftlicher Berichtlegung gewährleistet werden. Es ist allerdings zu berücksichtigen, dass Peer-Review-Berichte in der Regel eher kurz ausfallen, um die AdressatInnen und NutzerInnen nicht zu sehr zu strapazieren. Da die Berichte nicht allzu detailliert ausfallen können, ist darauf zu achten, dass sie sich auf die wesentlichen Informationen konzentrieren. Die Rechtzeitigkeit der Evaluation (N7) betrifft die Steuerung und Organisation des Peer Reviews insgesamt, sollte es eine koordinierende Einrichtung geben, hat diese die Wünsche und Bedürfnisse der evaluierten Einrichtung diesbezüglich zu berücksichtigen. Bereits zu Beginn der Vorbereitungsphase sollte die zeitliche Dimension geklärt werden (z.B. Gibt es bestimmte Fristen, zu denen Ergebnisse vorhanden sein sollen?), aber auch das Zusammenspiel von Selbstevaluierung und Peer Review muss bedacht werden, d.h. die Selbstevaluierungsergebnisse müssen rechtzeitig vor dem geplanten Peer-Besuch vorliegen, sodass sie noch von den Peers studiert und analysiert werden können. Peer Review kann aufgrund seiner Charakteristika eine hohe Nutzung und einen hohen Nutzen der Evaluation (N8) generieren. Einerseits kann durch das zweistufige Verfahren und die sehr aktive Beteiligung der evaluierten Einrichtung von einem hohen Prozessnutzen ausgegangen werden, andererseits tragen sowohl die vermutete Akzeptanz der Peers als EvaluatorInnen sowie die mündlichen Rückmeldungs- und Diskussionselemente zur Nutzung der Evaluationsergebnisse insgesamt bei, v.a. wenn wichtige VertreterInnen der evaluierten Einrichtung bzw. auch das gesamte Kollegium anwesend sind. Die Verschriftlichung im Peer-Bericht dient dann eher der Siche-

300 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung rung der Ergebnisse sowie eventuell der Weitergabe an Dritte. Als Empfehlung kann gelten, dass Nutzen und Nutzung durch die zu evaluierende Einrichtung im Vorfeld bestimmt werden sollten, dies schließt auch einen Interessenausgleich zwischen verschiedenen Gruppen und Personen innerhalb der Einrichtung ein. Die Peers sind davon bereits in der Vorbereitungsphase zu informieren. Ähnliches wie für die Nützlichkeitsstandards gilt auch für die drei Durchführbarkeitsstandards, deren Einhaltung im Rahmen eines Peer Reviews prinzipiell nichts entgegensteht. Durchführbarkeitsstandards „sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird (DeGEval 2004b, 9 und 26f.). Empfehlungen für die Ausgestaltung eines Peer Reviews in Hinblick auf die Durchführbarkeitsstandards sind: ƒ

ƒ

ƒ

Das Peer Review als flexibles Verfahren gibt bestimmte Schritte vor, lässt sich aber leicht an die vorhandenen Ressourcen anpassen. Die Gestaltung als angemessenes Verfahren (D1) ist daher möglich. Insbesondere kann der Umfang des Evaluationsgegenstands in Abstimmung mit dem Informationsbedarf (s.o.) an die jeweilige Ressourcensituation angepasst werden. (D1) Belastungen können v.a. dann vertretbar gehalten werden, v.a. wenn es nicht um umfassende Qualitätskontrolle geht sondern um die Evaluierung von spezifischen Fragestellungen, die für die Qualitätsentwicklung bedeutsam sind. Der Aufwand für Peers und evaluierte Einrichtung ist im Vorfeld abzuklären. Ein diplomatisches Vorgehen (D2) ist dem Verfahren inhärent, da Peers als Gleichgestellte und FachkollegInnen in der Regel größere Akzeptanz erfahren als andere externe EvaluatorInnen oder VertreterInnen der Schulaufsicht. Auch die Rückkopplungsschleifen und die kommunikative Validierung der Ergebnisse durch die Einrichtung sowie das Einbeziehen wichtiger Gruppen von Betroffenen und Beteiligten (s.o.) erhöhen Akzeptanz und Nutzung. Die Effizienz (D3) von Peer Review lässt sich im Vergleich zu anderen Verfahren auf mehrfache Weise erzielen. So stellt Peer Review ein effizientes Verfahren dar, da die Ergebnisse der Selbstevaluierung (auch wenn diese ursprünglich für einen anderen Zweck durchgeführt wurde) sozusagen noch einmal verwendet werden. Viele der benötigten Daten können relativ kostengünstig innerhalb der Einrichtung erhoben werden. Weiters ist der Einsatz von Evaluationsteams aus der KollegInnenschaft vermutlich weniger kostspielig als der professioneller EvaluatorInnen oder AuditorInnen

9.1 Güte von Peer Review als externes Evaluierungsverfahren

301

(vgl. auch Kapitel 8.7.9). Es empfiehlt sich, die Kosten für das Peer-Team, aber auch die Aufwendungen im Rahmen der Selbstevaluierung, im Vorfeld zu ermitteln und dem erwarteten Nutzen gegenüberzustellen. Die dritte Gruppe sind die Fairnessstandards, die gewährleisten sollen, „dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird“ (DeGEval 2004b, 9 und 28ff.). Einer etwas ausführlicheren Betrachtung bedarf innerhalb dieser Gruppe der Standard „unparteiische Durchführung und Berichterstattung“. Auch hier ist wieder die besondere Rolle von Peers als EvaluatorInnen zu berücksichtigen. Eine unparteiische Durchführung und Berichterstattung (F4) kann im Rahmen eines Peer Reviews durch mehrere Faktoren und Verfahrensweisen erreicht werden. Einerseits ist die Unbefangenheit und Unabhängigkeit der Peers eine Voraussetzung für die Zusammenstellung der Peer-Teams. Trotz der Nähe der Peers zum Evaluationsgegenstand, den sie aus ihren eigenen Arbeitszusammenhängen kennen, ist von einer größeren Distanz auszugehen als bei der Selbstevaluierung, in der praxisgestaltende Fachleute und Evaluierende identisch sind und Unparteilichkeit nicht vorausgesetzt werden kann (vgl. Müller-Kohlenberg /Beywl 2003, 65) Trotzdem kann es für kollegiale Peers schwierig sein, in allen Fragen immer fair und möglichst frei von persönlichen Gefühlen zu bleiben. Auch kann es blinde Flecken geben bzw. die Tendenz zu einer freundlicheren Beurteilung, da es sich bei den Evaluierten um KollegInnen handelt und man Verständnis für etwaige Mängel aufbringt. Hier ist es von Vorteil, wenn in den Peer-Teams auch andere Personen aus dem Kreis der Beteiligten und Betroffenen mitwirken: Diese bringen andere Perspektiven und Ansprüche ein und verhindern so eine „Nabelschau“, das Review-Team wird multiperspektivisch. Auch die Koordination der Peer Reviews durch eine unabhängige Stelle kann sich günstig auswirken, da dadurch die Beziehung zu bzw. Abhängigkeit von der zu evaluierenden Einrichtung eingeschränkt wird. Tritt die Bildungseinrichtung selbst als Auftraggeberin auf, könnten Sichtweisen und Erwartungen von maßgeblichen Personen der Einrichtung (wie z.B. der Schulleitung) ein größeres Gewicht erhalten, als angemessen erscheint. ƒ

Eine formale Vereinbarung (F1) über Umfang, Zweck und Fragestellungen (sowie eventuell auch die angewandten Methoden) des Peer Reviews sollte in schriftlicher Form zwischen allen betroffenen Parteien abgeschlossen werden. Zu diesen kann neben den Peers und der von ihnen evaluierten Einrichtung auch eine koordinierende Stelle gezählt werden. In diesen Verträgen sollten neben den oben genannten Kerninformationen insbesondere der

302 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung

ƒ

ƒ

ƒ

Umgang mit zur Verfügung gestellten und erhobenen Daten (Vertraulichkeitsvereinbarungen) und die Berichtlegung geregelt werden. Der Schutz individueller Rechte (F2) sollte prinzipiell durch die abgeschlossenen Vereinbarungen (F1) gewährleistet sein. Darüber hinaus kann festgehalten werden, dass ein Peer Review auf die Organisationsebene abzielt, Individuen also nicht evaluiert werden. Im Einzelfall kann es sich als problematisch erweisen, wenn während des Reviews von den Peers grobe Missstände in Bezug auf Einzelpersonen geortet werden. Für derartige Fälle sollte es ein allen Beteiligten bekanntes Procedere geben. Die Zustimmung der Betroffenen, d.h. der LehrerInnen, sollte gerade in formativen Peer Reviews im Voraus eingeholt werden, wenn Unterrichtsbeobachtungen (mit oder ohne Vorankündigung) durchgeführt werden sollen. Letzteres trägt auch zu einem diplomatischen Vorgehen (D2) bei. Eine vollständige und faire Überprüfung (F3) kann weniger durch umfassende Erhebungen als durch die Triangulation von Selbstevaluierung und Peer Review sowie die gängige Praxis einer Stärken-Schwächen-Analyse (sowohl in der Selbstevaluierung als auch im Peer Review) erreicht werden. Augenmerk ist hier eher darauf zu legen, dass die Ausgewogenheit der Evaluierung nicht durch eine Überforderung der Peers – z.B. wenn der Umfang der zu untersuchenden Fragestellungen den zeitlichen Rahmen sprengt  in Mitleidenschaft gezogen wird. Dem Standard Offenlegung der Ergebnisse (F5) kann Peer Review durch die doppelte Rückmeldung an die evaluierte Einrichtung  sowohl in der mündlichen Präsentation der Ergebnisse während des Reviews als auch im schriftlichen Bericht  nachkommen. Von Vorteil kann es sein, wenn bereits das verbale Feedback an das gesamte Kollegium geht, der Bericht sollte jedenfalls in der evaluierten Einrichtung allen zugänglich sein, nicht nur den LehrerInnen, sondern auch anderen Beteiligten und Betroffenen wie SchülerInnen, Eltern, kooperierende Betriebe etc. Wie weit der Bericht auch an die Schulaufsicht ergeht bzw. veröffentlicht wird, ist in einem formativen Review mit den Beteiligten abzuklären. Vereinbarungen über Offenlegung von Ergebnissen sollten im Vorfeld getroffen werden. Auch der Umgang mit abweichenden Bewertungen im Peer-Team sollte am besten im Vorfeld abgeklärt werden: Ist es möglich, dass einzelne Mitglieder des Teams auch abweichende Stellungnahmen abgeben und im Bericht dokumentieren oder soll das Peer-Team auf jeden Fall eine gemeinsame Bewertung abgeben, die dann auch gemeinsam verantwortet wird?

Die Standards der letzten Gruppe, die Genauigkeitsstandards, „sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweili-

9.1 Güte von Peer Review als externes Evaluierungsverfahren

303

gen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt“ (DeGEval 2004b, 10 und 31ff.). Dem größten Teil der Genauigkeitsstandards wird im Peer-Review-Verfahren entsprochen, in einigen Bereichen kann durch die Beachtung bestimmter Abläufe und die Schaffung spezifischer Voraussetzungen die Qualität des Verfahrens stark gesteigert werden  entsprechende Vorgangsweisen werden wieder als Empfehlungen dargestellt. Auf zwei Standards, die die wissenschaftliche Güte einer Evaluation betreffen, soll im Detail eingegangen werden. Es handelt sich dabei um Standard G5 „valide und reliable Informationen“ sowie G7 „Analyse qualitativer und quantitativer Informationen“. Der Standard „valide und reliable Informationen“ (G5) wird folgendermaßen umschrieben: G5 Valide und reliable Informationen: Die Verfahren zur Gewinnung von Daten sollen so gewählt oder entwickelt und dann eingesetzt werden, dass die Zuverlässigkeit der gewonnenen Daten und ihre Gültigkeit bezogen auf die Beantwortung der Evaluationsfragestellungen nach fachlichen Maßstäbe sichergestellt sind. Die fachlichen Maßstäbe sollen sich an den Gütekriterien quantitativer und qualitativer Sozialforschung orientieren. (DeGEval 2004b , 33) Von Bedeutung ist, dass zwischen quantitativen und qualitativen Verfahren unterschieden werden kann und dass nur die jeweils gültigen wissenschaftlichen Standards zur Anwendung kommen.142 Da es sich bei Peer Review um ein qualitatives Verfahren handelt, sollten einschlägige Gütekriterien der qualitativen Sozialforschung eingehalten werden. Als solche können nach Mayring (2002, 144ff.) gelten: Verfahrensdokumentation, argumentative Interpretationsabsicherung, Regelgeleitetheit, Nähe zum Gegenstand, kommunikative Validierung und Triangulation. Wie kann Peer Review den einzelnen hier genannten Gütekriterien gerecht werden? ƒ

Peer Review als stufiges Verfahren gibt bereits einen bestimmten Ablauf vor. Die konkrete Ausgestaltung der Schritte sollte so dokumentiert werden, dass diese nachvollziehbar sind – z.B. durch eine Beschreibung des Evaluationsgegenstands und der Vorgehensweise im Schlussbericht sowie durch die Beifügung von verwendeten Leitfäden, Checklisten, Gesprächsprotokollen, ausgefüllten Beobachtungsbögen sowie der Dokumentation der Analy-

142 In den Standards des Joint Committee (Sanders/Beywl (Hg.) 2000) ist dieser Standard auf zwei getrennte Standards aufgeteilt  „valide Informationen“ und „reliable Informationen“  und erhält dadurch noch mehr Gewicht. Die Standards der DeGEval lassen es zu, dass je nach Ausrichtung der Evaluation auf qualitative oder quantitative Ansätze nur jeweils die auf den Ansatz bezogenen Kriterien zur Anwendung kommen müssen.

304 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung

ƒ

ƒ ƒ

ƒ

ƒ

se- und Interpretationsphase(n) etc. (Um die Berichte nicht zu überfrachten, sollten diese Dokumentation in einem Anhang beigefügt werden.) Eine systematische Vorgehensweise (Regelgeleitetheit) ist für Peer Review unumgänglich. Der Ablauf und die sich daraus ergebenden Regeln sollten bereits im Vorfeld festgelegt werden bzw. sind sie bis zu einem gewissen Grad durch das Verfahren bereits vorgegeben (Selbstevaluierung, Dokumentenanalyse durch die Peers, Erhebung vor Ort im Rahmen des PeerBesuchs (Interviews, Rundgang sowie eventuell teilnehmende Beobachtungen), Bericht). Die Nähe zum Gegenstand ergibt sich im Peer Review durch den Einsatz von Peers. Die Qualität von Datenerhebungsinstrumenten und Daten sollte durch entsprechende Schulung der Peers bzw. durch die Hilfestellung einer wissenschaftlichen Begleitung (die auch als Mitglied im Peer-Team fungieren kann, s. auch oben) gewährleistet werden. Zusätzlich müssen im Verfahren selbst Vorkehrungen zur Sicherung von Objektivität und Validität getroffen werden: so z.B. durch die Auswahl der Peers, aber auch durch Verfahrensregeln, die z.B. vorgeben, dass Interviewgruppen möglichst repräsentativ zusammengestellt werden sollen, oder durch die Möglichkeit, dass es auch zu Parallelerhebungen in besonders bedeutenden Fragen oder mit wichtigen Stakeholdergruppen kommt. Auch der Einsatz von jeweils zwei Peers in jedem Erhebungsschritt kann die Objektivität erhöhen. Eine argumentative Interpretationsabsicherung ist durch das Peer-Team zu leisten. Von großer Bedeutung ist hier einerseits, dass einer Diskussion von Interpretationen im Peer-Team Raum gegeben wird, andererseits, dass Peers auch angemessen auf diese Anforderung vorbereitet werden. PeerSchulungen sollten daher auf jeden Fall das Thema Auswertung von Daten und Interpretation beinhalten. Zusätzlich kann dem Peer-Team auch eine ausgebildete Evaluatorin / ein ausgebildeter Evaluator zur Seite gestellt werden, die/der in der Analysephase darauf achtet, dass Interpretationen gestützt auf die erhobenen Daten argumentativ untermauert werden sowie dass alternative Auslegungen in Betracht gezogen und im Peer-Team eventuell auch diskutiert werden. Dies erleichtert dann auch die kommunikative Validierung, die ebenfalls im Peer-Review-Verfahren vorgesehen ist, zumindest wird ja der evaluierten Einrichtung die Möglichkeit gegeben, zum schriftlichen Bericht Stellung zu nehmen. In qualitativer Hinsicht wünschenswert ist darüber hinaus gerade in einem formativen Peer Review, dass es auch ein mündliches Verfahren zur kommunikativen Validierung gibt, an dem möglichst viele der Beteiligten und Betroffenen teilnehmen. Wie weit der direkte Dialog über Evaluie-

9.1 Güte von Peer Review als externes Evaluierungsverfahren

ƒ

305

rungsergebnisse zwischen Peers und Evaluierten von den Beteiligten und Betroffenen gewünscht ist, hängt allerdings stark von den kulturellen Traditionen in Bezug auf Feedback und Aushandlung ab und davon, welche Vorkehrungen getroffen werden, um dieses Verfahrenselement zu einem für alle Beteiligten akzeptablen zu machen (vgl. die Ablehnung einer mündlichen Diskussion am Ende des Peer-Besuchs im niederländischen Peer Review an ROC Aventus, Fallbeispiel 8). Triangulation ist, wie bereits erwähnt, durch die verschiedenen im PeerReview-Verfahren eingefangenen Perspektiven gegeben: Die Sicht der evaluierten Einrichtung fließt durch die Selbstevaluierung und durch ihre Mitwirkung als Evaluierte während des Peer-Besuchs ein, die Peers verkörpern eine Außensicht, die je nach Zusammensetzung der Peer-Teams selbst wieder unterschiedlichste Blickwinkel und Erfahrungshintergründe einschließen kann. In einem gemischten Team aus FachkollegInnen und VertreterInnen anderer Gruppen können so interne „checks and balances“ bei der Erhebung, Auswertung und Interpretation der Daten gewährleistet werden. Zusätzlich soll im Peer Review darauf geachtet werden, dass quantitative Daten – so vorhanden  angemessen berücksichtigt werden.

Insgesamt kann festgestellt werden, dass bei Berücksichtigung der sozialwissenschaftlichen Gütekriterien in der oben dargestellten Weise das Peer-ReviewVerfahren durchaus objektive, verlässliche und gültige Ergebnisse zeitigen kann. Dadurch kann auch die Anforderung nach einer „Analyse qualitativer und quantitativer Informationen“ (G7) in „nach fachlichen Maßstäben“ angemessener und systematischer Form erfüllt werden (DeGEval 2004b, 34). Weitere Gütekriterien für die Genauigkeit von Evaluation können folgendermaßen berücksichtigt werden: ƒ

ƒ

Die exakte Beschreibung des Evaluationsgegenstandes G1 ergibt sich einerseits aus der Selbstevaluierung, andererseits aus zusätzlichen Fragestellungen, die von der evaluierten Einrichtung als Evaluationsauftrag an die Peers formuliert werden kann. Es ist auf jeden Fall sinnvoll, den Evaluationsgegenstand sowie etwaige spezielle Fragestellungen im Vorfeld abzuklären und in einer schriftlichen Vereinbarung festzuhalten. Zusätzlich kann in Vorbereitung auf den Peer-Besuch ein Treffen zwischen den Peers und VertreterInnen der zu evaluierenden Bildungseinrichtung organisiert werden, um den Evaluationsgegenstand noch einmal zu definieren bzw. Unklarheiten aus dem Weg zu räumen. Eine eigene Kontextanalyse G2 wird in einem Peer Review in der Regel nicht durchgeführt, für gewöhnlich kennen die Peers die Kontextbedingun-

306 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung

ƒ

ƒ

ƒ

gen aus ihrer eigenen beruflichen Tätigkeit. Wenn VertreterInnen aus dem Umfeld der evaluierten Einrichtung als Peers zugezogen werden, können Kenntnisse zu ausgewählten Kontextbedingungen auch durch das PeerTeam eingebracht werden. Dies erscheint v.a. dann sinnvoll, wenn es um bestimmte Themenbereiche geht, die stark von externen Faktoren bestimmt sind (z.B. durch die Art der Studierendenpopulation (z.B. geringe Sprachkenntnisse etc.); Einsparungen der öffentlichen Hand; Bereitstellung von Praktika durch lokale Wirtschaftsbetriebe etc.). Wenn möglich und für die Fragestellung des Reviews von Bedeutung, können Kontextbedingungen auch im Vorfeld in der Selbstevaluierung erhoben werden. Eine genaue Beschreibung von Zwecken und Vorgehen (G3) sollte ebenso im Vorfeld vorgenommen und schriftlich vereinbart werden. Während in einem formativen Peer Review Evaluationsgegenstand und -zweck vornehmlich durch die evaluierte Einrichtung definiert werden sollten, ist es Aufgabe der Peers einen Vorschlag bezüglich Ablauf, Zeitplan, Methoden, zu befragende/beobachtende Personen(gruppen) vorzulegen, der mit der Einrichtung, die ja auch organisatorische Vorkehrungen treffen muss, akkordiert wird. Dieser Austausch kann intensiviert werden durch eine gemeinsame Planung des Vorgehens mit der evaluierten Einrichtung, v.a. hinsichtlich des Peer-Besuchs. Der Zeit- und Ablaufplan für den Peer-Besuch sollte schriftlich vorliegen. Die Angabe von Informationsquellen (G4) sollte im Peer-Bericht erfolgen (eventuell in einem Anhang, s.o.). Informationsquellen können sein: allgemeine, meist schriftlich vorliegende Informationen zur Bildungseinrichtung, statistische Daten (so vorhanden), Selbstevaluationsergebnisse  diese sollten im Selbstevaluierungsbericht dokumentiert sein  sowie die während des Peer Reviews durchgeführten Interviews, Gruppendiskussionen, Beobachtungen etc. Die detaillierte schriftliche Dokumentation aller Informationsquellen, v.a. der Erhebungen im Rahmen des Peer-Besuchs, im Sinne ausführlicher Transkripte und detaillierter Aufzeichnungen ist aus praktischen Gründen nicht möglich, es handelt sich vornehmlich um Kurzprotokolle der Peers zu Interviews, Gruppendiskussionen und Beobachtungen, die nach einem am besten im Vorfeld schon erstellten Schema abgefasst werden (s.o. Regelgeleitetheit, Standard G5). Eine systematische Fehlerprüfung (G6) ist dem Peer Review als stufiges Verfahren inhärent, da die Peers ja während des Reviews auch die Ergebnisse der Selbstevaluierung noch einmal überprüfen und es dabei gleichzeitig zu einer Triangulation der Perspektiven kommt. Elemente wie die kommunikative Validierung sowie Parallelerhebungen (s.o.) tragen zusätzlich zur Überprüfung der Plausibilität und Validität der Ergebnisse bei.

9.1 Güte von Peer Review als externes Evaluierungsverfahren ƒ

ƒ

307

Im Peer-Review-Verfahren sollten Schlussfolgerungen, wie oben bereits dargestellt, auf jeden Fall begründet sein (G8). Da Berichte kurz ausfallen, stellt die Nachvollziehbarkeit der Schlussfolgerungen hohe kommunikative und argumentative Anforderungen an die Peers. Die Berichte können jedoch durch verbales Feedback an die evaluierte Einrichtung ergänzt werden, das auch längere Erläuterungen zulässt. Im Zweifelsfall können Argumentationsstränge ebenso wie die Darstellung des Verfahrens, der Methoden und der Informationsquellen in einem Anhang dargelegt werden. Aufgrund der bereits genannten Vorkehrungen zur Dokumentation des Peer-Review-Verfahrens sollten auch Meta-Evaluationen (G9) möglich sein. Sämtliche schriftlichen Unterlagen (Selbstevaluierungsbericht, PeerBericht, Anhänge und zusätzliche Unterlagen) können zu diesem Zweck auch in einem Portfolio gesammelt werden. Zusätzlich kann eine MetaEvaluation durch die Beteiligten, d.h. durch die Peers und/oder durch die evaluierte Einrichtung, im Anschluss an Peer Review durchgeführt werden, um das Verfahren zu reflektieren und ev. zu verbessern. Dies ist v.a. in Modellprojekten gängige Praxis. Möglich ist auch eine wissenschaftliche MetaEvaluation wie sie z.B. im Rahmen des Leonardo da Vinci Projekts „Peer Review in initial VET“ durchgeführt wird.

9.1.3 Resümee und Zusammenfassung der Empfehlungen Zusammenfassend können sowohl für die Auswahl und Vorbereitung der PeerTeams als auch für die einzelnen Verfahrensschritte folgende Empfehlungen gegeben werden: Bei der Zusammensetzung der Peer-Teams ist darauf zu achten, dass die Peers unabhängig und integer sind sowie geeignete fachliche, soziale und kommunikative Kompetenzen mitbringen (N3). Peers sollten daher nicht aus konkurrierenden Einrichtungen stammen, aber auch nicht in einem starken Naheverhältnis zur evaluierten Einrichtung stehen (F4). Die für die Evaluationsthemen notwendigen Feldkompetenzen sollte das Peer-Team als Ganzes aufweisen. Einschlägige Evaluationskenntnisse und -erfahrungen der Peers sind von Vorteil, sind diese nicht gegeben, empfiehlt sich eine Schulung bzw. die Unterstützung durch eine erfahrenen Evaluatorin / einen erfahrenen Evaluator, die/der auch Teil des Peer-Teams sein kann (N3). Ein gemischtes Peer-Team, in dem sowohl FachkollegInnen aus vergleichbaren Einrichtungen als auch RepräsentantInnen von Betroffenen und Beteiligten vertreten sind, kann die Güte des Verfahrens in Bezug auf ein weiteres Spektrum an Sichtweisen, Verhinderung einer kollegialen „Nabelschau“ und Einbringen von Kontextinformationen verbessern (N1, D2, F4, G2, G5).

308 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Für die Güte des Verfahrens hat die Vorbereitungsphase eine zentrale Bedeutung. In ihr sollten die Grundlagen für die qualitätsvolle Abwicklung des gesamten Peer Review gelegt werden. Es bedarf dazu einer intensiven Kommunikation zwischen allen Beteiligten, d.h. zwischen der evaluierten Einrichtung und den Peers sowie – so vorhanden – auch einer koordinierenden Stelle, die die einzelnen Bildungseinrichtungen bei der Vorbereitung und Durchführung der Peer Reviews unterstützt. Vorbereitende Treffen, in denen die wichtigsten Fragen diskutiert werden, können hier unterstützend wirken. Abgeklärt werden sollten v.a. die Evaluationszwecke (N2), der Informationsbedarf (N4), der Nutzens für verschiedene Anspruchsgruppen (N8) und der Evaluationsgegenstand (G1). Dies rechtzeitig zu tun ist auch deshalb wichtig, weil Selbstevaluierung und Peer Review idealer Weise gut auf einander abgestimmt sein sollten. Auch etwaige zeitliche Vorgaben (N7) sollten von Anfang an in die Planung einfließen nicht nur in Hinblick darauf, dass die Selbstevaluierungsergebnisse rechtzeitig vorliegen müssen, sondern auch bezüglich externer zeitlicher Anforderungen  wenn z.B. die Ergebnisse eines Peer Reviews auch für andere Zwecke, wie die Rechenschaftslegung nach außen, genutzt werden sollen. Die zeitliche Belastung für die Peers und die evaluierte Einrichtung sowie die Kosten sollten ebenso im Vorfeld ermittelt werden (D1, D3). Bei Bedarf kann der Umfang des Evaluationsgegenstands an die jeweiligen Ressourcen angepasst werden. Im Anschluss daran sollten die Pflichten der Vertragsparteien – der Peers, der evaluierten Einrichtung, ev. auch der koordinierenden Stelle  schriftlich vereinbart werden (F1). Diese formalen Vereinbarungen umfassen neben dem Evaluationsgegenstand (G1), den Informationsbedürfnissen (N1), den Zweck und die Fragestellungen (G3), auch den Umgang mit Informationen und Ergebnissen sowie den Schutz individueller Rechte (F1, F2, F5). Zusätzlich zu diesen Vereinbarungen kann relativ kurz, d.h. am besten nach dem Studium des Selbstreports, vor dem Peer Review ergänzend noch eine Besprechung zwischen Peers und evaluierter Einrichtung angesetzt werden, in der die Details für den PeerBesuch ausgearbeitet werden. Dies betrifft eine genauere Definition des Evaluationsgegenstands und der spezifischen Aufgabenstellungen der Peers sowie die Planung des Ablaufs für den Besuchstag / die Besuchstage und die Abklärung der angewandten Methoden. Ein Plan für den Peer-Besuch bezüglich Zeitplan, Methoden, zu befragenden/beobachtenden Personen(gruppen) sowie Anforderungen für deren Auswahl und den zeitlichen Umfang für Analysephasen im Team sollte vom Peer-Team vorgeschlagen und mit der evaluierten Einrichtung abgestimmt werden (G3). Auch zusätzliche Dokumente, so nötig, können von den Peers in dieser Phase angefordert werden. Der Plan für den Peer-Besuch sollte schriftlich niedergelegt werden (G3), um Transparenz zu sichern und den organisatorischen Ablauf zu erleichtern.

9.1 Güte von Peer Review als externes Evaluierungsverfahren

309

Im Rahmen der Selbstevaluierung sollten einschlägige Standards für Selbstevaluierung (vgl. z.B. DeGEval 2004b, Groupe de Réflexion Meta-Evaluation 2000) eingehalten werden. Aus den oben genannten allgemeinen Standards ergeben sich folgende Empfehlungen, die vor allem den Nützlichkeitsstandards zuzuordnen sind: Beteiligte und Betroffene sollten identifiziert und einbezogen werden (N1), so nötig sollte auch ein Interessenausgleich zwischen verschiedenen Gruppen und Personen innerhalb der Einrichtung (N8) herbeigeführt werden, um eine umfassende Nutzung sicherzustellen. Fragestellungen und zu erhebende Informationen (N4, G1) sollten ins Gesamtkonzept des stufigen Verfahrens passen und das Peer Review optimal vorbereiten. Von großer praktischer Bedeutung ist, dass die Selbstevaluierungsergebnisse rechtzeitig vorliegen (N7). Es sollte weiters darauf geachtet werden, ob sich aus der Selbstevaluierung spezifische Fragestellungen für das Peer Review ergeben, die in den Auftrag an die Peers einfließen sollten (G1). Wichtig ist auch die Offenlegung der Werthaltung durch die zu evaluierende Einrichtung selbst im Selbstevaluierungsbericht (N5). Dies kann z.B. durch Bezugnahme auf ein Leitbild geschehen. Auf die für die Datenerhebung und -analyse während des Peer-Besuchs nötigen Kompetenzen des Peers-Teams wurde bereits oben eingegangen. Es sollte dabei auch darauf geachtet werden, dass alle wichtigen Anspruchsgruppen befragt werden (N1, N8, D2). Um die Objektivität zu erhöhen, können die Erhebungen jeweils von Teams (zwei oder mehr Personen, Effizienzgründe sprechen für Zweierteams) durchgeführt werden bzw. auch Parallelerhebungen stattfinden (z.B. parallele Interviews mit den gleichen Anspruchsgruppen durch verschiedene Mitglieder des Peer-Teams) (G5, G6). Die erhobenen Daten und deren Interpretation sollten im Peer-Team ausführlich diskutiert werden, um eine faire und objektive Beurteilung, in die verschiedene Sichtweisen einfließen, zu gewährleisten (F4, G6). Sowohl für die Datenerhebung als auch eventuell für die Auswertung sollten im Vorfeld Instrumente (Fragebögen, Leitfäden, Analyseraster etc.) entwickelt werden, die während des Reviews zur Anwendung kommen (G5, G6, G7). Schlussfolgerungen sollten transparent und aufgrund der empirischen Daten nachvollziehbar sein (G8). Eine mündliche Rückmeldung am Ende des Peer-Besuchs trägt zur Vollständigkeit und Klarheit der Berichterstattung (N6) sowie zur Nutzung der Evaluationsergebnisse bei, v.a. wenn wichtige VertreterInnen der evaluierten Einrichtung bzw. auch das gesamte Kollegium anwesend sind (N8, F5). Auch die Peers sollten die von ihnen angelegten Wertmaßstäbe sowohl im Bericht (s.u.) als auch bei Bedarf in der direkten Kommunikation mit der evaluierten Einrichtung darlegen (N5). Die mündliche Rückmeldung durch die Peers sollte gerade in einem formativen Review auch zur kommunikativen Validierung durch die

310 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung evaluierte Einrichtung genützt werden, um die Ergebnisse auf Plausibilität und Gültigkeit zu überprüfen (G6). Durch diese Vorgangsweise kann erreicht werden, dass Peer Review nicht als subjektives Verfahren, in dem renommierte GutachterInnen (gleichsam als unhinterfragte Gurus) nicht weiter begründete Meinungen abgegeben, angesehen wird, sondern als offenes Verfahren, dass Werte, Interpretationen und Schlussfolgerungen transparent macht und demokratische Prozesse der Aushandlung unterstützt. Im Peer-Bericht werden die Ergebnisse des Reviews schriftlich dokumentiert, es handelt sich dabei aus Ressourcengründen, aber auch aus Gründen der NutzerInnenfreundlichkeit, um kurze Berichte, in denen die wichtigsten Ergebnisse dargestellt werden (N6). Diese Berichts sollen trotz ihrer Kürze zur Vollständigkeit und Klarheit der Berichterstattung beitragen: Schlussfolgerungen sollten begründet (G8) und Werte offen gelegt werden (N5). Die angewandten Methoden (G8) sollten kurz angeführt werden. Fragebögen und Erhebungs- und Analyseleitfäden sowie die Dokumentation von Informationsquellen (und eventuell auch der Auswertungsschritte) können in einem Anhang angefügt werden (G4). Der Bericht sollte in der evaluierten Einrichtung allen Betroffenen und Beteiligten zugänglich sein (F5), die Frage der Veröffentlichung bzw. der Übermittlung des Berichts an andere Interessierte sollte in der Vorbereitungsphase geklärt werden. Die beschriebene Vorgangsweise sollte durch die umfassende schriftliche Dokumentation aller Schritte eine Meta-Evaluation (G9) ermöglichen. Zur Weiterentwicklung des Verfahrens empfiehlt es sich, eine solche auch durchzuführen – entweder relativ niederschwellig als Reflexion der Beteiligten im Anschluss an das Peer Review oder auch als umfassende wissenschaftliche Meta-Evaluation. 9.2 Chancen und Grenzen von Peer Review Eine mögliche Positionierung von Peer Review in einem Gesamtkonzept zur Qualitätssicherung und Qualitätsentwicklung aus der Perspektive der Systemebene ist im Zusammenhang mit der zunehmenden Deregulierung und Autonomisierung der Bildungssysteme und den sich daraus ergebenden Anforderungen an die Systemsteuerung zu betrachten. Es gilt den speziellen Beitrag von Peer Review im Vergleich zu anderen gängigen Verfahren und Maßnahmen (vgl. Kapitel 1.2) herauszuarbeiten und generelle Konzepte für den Einsatz von Peer Review zu skizzieren. Diese können die Basis für die Entwicklung von konkreten Implementationsplänen für ein bestimmtes Bildungssystem bieten, sind selbst jedoch nicht als solche zu verstehen.

9.2 Chancen und Grenzen von Peer Review

311

9.2.1 Grenzen von Peer Review Als Verfahren, das auf die Evaluierung der Institution abzielt, muss Peer Review mit anderen ähnlich ausgerichteten Verfahren verglichen werden. Kritisch zu analysieren ist v.a. der besondere Nutzen von Peer Review im Vergleich zu diesen Verfahren, da nur dieser einen Einsatz von Peer Review rechtfertigen kann. Peer Review hat sich also mit folgenden Ansätzen zu messen bzw. muss der „Added Value“ von Peer Review zu diesen Verfahren bestimmt werden: Selbstevaluierung auf Ebene der Bildungseinrichtung, Inspektionsverfahren (v.a. die umfassende Inspektion neuen Typs vgl. Kapitel 8.11.2)143 sowie die gerade im Bereich der beruflichen Bildung verbreiteten Qualitätssysteme der Industrie. Posch und Altrichter (1997, 87) nennen zusätzlich noch „Mischkonzepte interner und externer Evaluation“ als eigene Methode. Die Kombination von interner und externer Evaluation ist jedoch mittlerweile gerade in Inspektionsverfahren im Sinne der „full inspections“ (wenn vielleicht auch noch nicht überall Praxis, so doch) „State of the Art“ der Qualitätsevaluation. Auch Peer Review ist in diesem Sinne ein „Mischkonzept“. Andere Formen der Qualitätssicherung wie Verbesserung der LehrerInnenausbildung, Personalevaluation an Schulen, Bildungsstandards, Vergleichstests, Externalisierung der Leistungsbeurteilung, fokussierte Evaluationen durch beauftragte (wissenschaftliche) Evaluationsinstitute etc. sind hier nicht als Konkurrenzverfahren, sondern von vornherein als komplementäre Maßnahmen, die an anderen Stellen ansetzen oder eine andere Zugangsweise verfolgen, zu sehen. Peer Review ist also ein weiteres Verfahren, dass die Bildungseinrichtung in den Mittelpunkt der Qualitätskonzepte stellt und passt somit prima vista gut in die Deregulierungskonzepte. Wie ausführlich analysiert (vgl. Kapitel 8.3 und 8.11.2), eignet sich Peer Review in der beruflichen Erstausbildung (und das Gleiche gilt auch für das gesamte Schulwesen einschließlich der Primarstufe) allerdings aus mehreren Gründen nicht besonders gut als externes Verfahren für staatliche Qualitätskontrolle. Hier liegt eine der Grenzen der Einsatzmöglichkeiten von Peer Review in der beruflichen Erstausbildung / im Schulwesen. Spricht schon die Problematik von konfligierenden Beziehungssystemen – die Gleichzeitigkeit einer kollegialen, symmetrischen Beziehung der Peers und der von ihnen Evaluierten als KollegInnen und der Machtposition der Peers in externen kontrollorientierten Verfahren  gegen den Einsatz von Peers in dieser Funktion, so erscheint es im Schulwesen bzw. in der beruflichen Erstausbildung auch nicht

143 Akkreditierungssysteme sind im Bereich der beruflichen Erstausbildung (noch) nicht sehr verbreitet. Sie sind noch stärker als Inspektionen auf externe Kontrolle von Mindeststandards ausgerichtet.

312 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung notwendig, Peers, also aktive FachkollegInnen, als EvaluatorInnen für die staatliche Qualitätskontrolle einzusetzen: Auch andere Personen sind fachlich in der Lage, die Qualität von Bildungseinrichtungen zu bewerten (vgl. auch Kapitel 8.4 und 8.11.2). Zusätzlich ist in der beruflichen Erstausbildung / im Schulwesen die Verbindung von Inspektion und externer Qualitätskontrolle stark verwurzelt, es besteht die Gefahr, dass Peer Review in der Wahrnehmung der betroffenen Bildungseinrichtungen nicht als eigenes Verfahren gesehen wird: Die Grenze zu Inspektionsverfahren, in denen auch Peers zum Einsatz kommen, wie es in einigen Ländern praktiziert wird, ist fließend. Peer Review kann u.U. – je nach Steuerungssystem  staatliche Schulaufsicht bzw. externe Qualitätssicherungen durch professionelle EvaluatorInnen teilweise ersetzen oder ergänzen, sollte aber nicht als solche instrumentalisiert werden, wenn es seinen eigenen Charakter behalten soll. Auch reicht der Einbezug von Peers in Evaluations- und Inspektionsverfahren allein, wie ausführlich argumentiert (vgl. Kapitel 8.3 und 8.11.2), nicht aus, um ein Verfahren als „Peer Review“ zu charakterisieren. Ein weiteres Instrument, das bei der internen Qualitätssicherung und Qualitätsentwicklung an den einzelnen Standorten ansetzt, ist die Selbstevaluierung. Diese ist eine Voraussetzung für die Durchführung eines Peer Reviews, Peer Review mithin auf jeden Fall eine komplementäre Maßnahme, die – im Falle eines formativen Reviews  eine Bewertung aus externer Sicht einbringt, die im Gegensatz zu anderen externen Verfahren auf Institutionsebene primär zur internen Nutzung gedacht ist. Wenn Peer Review ebenso wie Selbstevaluierung hauptsächlich formativen entwicklungsorientierten Zwecken dient, worin liegt dann der Zusatznutzen von Peer Review? Würde nicht eine formative Selbstevaluierung ergänzt durch eine summative externe Evaluierung (durch die Schulaufsicht, durch beauftragte wissenschaftliche Institute) für die Weiterentwicklung und Steuerung der Bildungseinrichtungen sowohl aus Sicht der Institutionsebene als auch aus der der Systemebene ausreichen? Qualitätsmanagementsysteme aus der Wirtschaft (ISO 9000 ff., EFQM, BSC) und Peer Review können ebenfalls nebeneinander bzw. einander ergänzend zum Einsatz kommen, insbesondere kann Peer Review, wie oben gezeigt, auf diesen aufbauen und jedenfalls teilweise auch Anforderungen aus diesen Verfahren übernehmen (Qualitätsbereiche, Indikatoren etc.). Sollte Peer Review sich als freiwilliges Qualitätsverfahren etablieren, das speziell auf die Bedingungen und Qualitätsanforderungen in der Berufsbildung Bezug nimmt und auch aus der Wirtschaft Anerkennung erfährt, dann könnte sich Peer Review auch zu einem Konkurrenzverfahren zu den genannten Systemen entwickeln. Voraussetzung ist allerdings vermutlich eine Art Zertifizierung von Peer Review zur „Qualitätssicherung der Qualitätssicherung“ und die Transparenz und Einheitlichkeit von Qualitätsstandards und Verfahren.

9.2 Chancen und Grenzen von Peer Review

313

Eine besondere Herausforderung bei der Implementierung von Peer Review liegt in der Glaubwürdigkeit von Peer Review als externes Evaluationsverfahren in der Öffentlichkeit. Dies hat mit den spezifischen traditionellen Rahmenbedingungen im Bildungswesen zu tun, die ein von den LehrerInnen getragenes, nach außen transparentes Selbstverständnis der Profession bislang zumeist nicht förderten (vgl. Kapitel 8.3). Damit verbunden ist auch „die völlig fehlende Tradition für diese Art von Qualitätsevaluation, die fehlende methodische Ausbildung und die verbreiteten Ängste, die eigene Praxis KollegInnen gegenüber zugänglich zu machen“ (Posch/Altrichter 1997, 81). Ergänzen würde ich diese Einschätzung durch den Hinweis auf das nicht zu unterschätzende Unbehagen, dass die Rolle als Peer bei LehrerInnen auslösen kann. Die geringe Erfahrung mit Qualitätsevaluation kann bei anderer Betrachtung allerdings auch als eine Chance für Peer Review angesehen werden: Geht man davon aus, dass Formen institutioneller Evaluierung in Zukunft auch in der beruflichen Erstausbildung / im Schulwesen aufgrund der Veränderungen in den Bildungssystemen sozusagen unausweichlich sind144, kann Peer Review von den Betroffenen möglicherweise als ein niederschwelliges und weniger bedrohliches Verfahren erlebt werden als z.B. Vollinspektionen. Soll Peer Review zusätzlich eingeführt werden, ist schließlich die Problematik der Belastung für die Evaluierten zu beachten, was nach einer effizienten Verknüpfung mit bestehenden Verfahren verlangt (vgl. auch oben Durchführungsstandards D1 und D2). 9.2.2 Chancen von Peer Review aus der Sicht der Bildungseinrichtungen Aus der Sicht der Bildungseinrichtungen, die freiwillig an einem Peer Review teilnehmen, bietet das Verfahren die Chance einer Vergewisserung über die Qualität der Einrichtung durch eine externe Bewertung, die durch Gleichgestellte erfolgt und Erfahrungsaustausch und Voneinander-Lernen ermöglicht. Peer Review ist durch die symmetrische Beziehung zu den Peers weniger angstbesetzt als andere externe Qualitätssicherungsverfahren, ein gemeinsames Grundverständnis verringert die Gefahr, dass die Situation an der Bildungseinrichtung und die Rahmenbedingungen und Spielräume von den EvaluatorInnen aus Mangel an Feldkompetenz falsch interpretiert werden, und es deshalb zu Irritationen und

144 Für Österreich hat Schratz als Ergebnis einer Studie zur „Rolle der Schulaufsicht in der autonomen Schulentwicklung“ bereits 1996 eine Weiterentwicklung und Neudefinition der Rolle der Schulaufsicht im Sinne eines Organs, das als „Aufsichtsteam“ eine Überprüfung nach dem in dieser Arbeit bereits mehrfach genannten Muster der Vollinspektionen von Schulen auf der Organisationsebene durchführt, implizit empfohlen (vgl. Schratz 1996, 226f., Szenario 4).

314 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Verärgerung kommt. Dadurch steigt auch die Akzeptanz der von den Peers geäußerten Schlussfolgerungen und Empfehlungen. Gleichzeitig verhindert der Blick von außen, dass blinde Flecken unerkannt bleiben bzw. die Innensicht und externe Realität zu weit auseinander klaffen. Auch steigert eine externe Bestätigung des eingeschlagenen Wegs das Selbstbewusstsein, Hinweise auf Verbesserungsmöglichkeiten geben Orientierung für die Weiterentwicklung. Peer Review fördert den Erfahrungsaustausch zwischen Bildungseinrichtungen, die Selbstreflexion sowie die Diskussion über Qualitätsziele und -standards und deren Umsetzung vor Ort. Dass diese Chancen des Peer-Review-Verfahrens von Bildungseinrichtungen auch wahrgenommen werden, bestätigt das Interesse und die freiwillige Teilnahme an einschlägigen Modellprojekten (vgl. Fallbeispiele 1 bis 7 sowie das mehrfach genannte europäische LdV Projekt „Peer Review in initial VET“). 9.2.3 Chancen von Peer Review aus der Sicht der Systemebene Wie stellt sich das Potential von Peer Review nun aus Sicht der Systemebene dar? Ausschlaggebend für eine Bewertung von Peer Review sind die Anforderungen an Systemsteuerung und Qualitätssicherung, die sich aus der zunehmenden Dezentralisierung und Autonomisierung ergeben (vgl. Kapitel 1). Steuerung, d.h. die „gezielte Einflussnahme auf die Entscheide und auf die Tätigkeit anderer Menschen, um sie in eine bestimmte Richtung zu bewegen“ (Hutmacher 1998, 51, zitiert nach Altrichter 1999, 2) erfolgt nicht mehr direkt mittels gesetzlicher Vorgaben und Durchgriffsrechte der Schulaufsicht (Inputkontrolle) sondern indirekt und vermehrt durch Prozess- und Outputkontrolle. Dabei liegt nun, wie erwähnt, das Hauptaugenmerk v.a. auf der einzelnen Einrichtung, der „Zwischenebene zwischen Unterricht und Schulsystem“ (Maritzen 1998, 612), die stärker als bisher Entscheidungen treffen und eigenverantwortlich umsetzen kann. Durch Autonomie werden verschiedenste Zielsetzungen verfolgt, die Maritzen unter den Bezeichnungen „Demokratiemodell“, „Selbstverwaltungs- oder Funktionalmodell“ bzw. „Markt- oder Betriebsmodell“ subsumiert (vgl. Maritzen 1998, 617f.): Demokratische Mitbestimmung verschiedener Anspruchsgruppen durch neue Entscheidungsgremien vor Ort soll „Kontrolle von Machtausübung, folgenreiche Interessenartikulation und Einflussnahme von unten ermöglichen“ (Maritzen 1998, 617). Gleichzeitig wird davon ausgegangen, dass „eine funktional differenzierte und hochspezialisierte Gesellschaft entsprechende Organisationen braucht, die so beschaffen sind, daß sie flexibel, selbständig und mit ausreichend komplexen inneren Handlungsmöglichkeiten auf Umweltanforderungen eingehen können“ (Maritzen 1998, 617). Im Funktionalmodell wird angenommen, dass diese Anpassung und Entwicklung vor Ort besser leistbar ist

9.2 Chancen und Grenzen von Peer Review

315

als durch eine zentrale Verwaltung. Das Betriebsmodell wiederum betont die betriebswirtschaftliche Effizienz der Leistungserbringung sowie die Differenzierung: Durch Profilbildung der Schulstandorte und Wettbewerb soll das Angebot vergrößert und durch die Konkurrenz zwischen den Bildungseinrichtungen, die im traditionellen System formal als gleich gegolten haben, der Marktlogik folgend die Qualität gesteigert werden. Um diese Ansprüche einlösen zu können, müssen auf Systemebene Voraussetzungen geschaffen, d.h. v.a. die rechtlichen Rahmenbedingungen und Handlungsmöglichkeiten angepasst, aber auch Motivation und Befähigung der umsetzenden Personen und Einheiten sichergestellt werden. Gleichzeitig ist eventuell negativen Folgen der Autonomisierung entgegenzuwirken: So besteht die Gefahr, dass es durch unkontrollierte Deregulierung zur Desintegration des Bildungssystems kommt. Die Entwicklung von Schulautonomie muss daher auf Systemebene ständig beobachtet werden, um Fehlentwicklungen zu verhindern. Insbesondere ist die Einhaltung von Qualitätsstandards an den einzelnen Standorten sowie die Umsetzung von allgemeinen Bildungszielen und -prioritäten wie etwa ein breiter Zugang zu Bildung, umfassende Bildungsangebote, Vergleichbarkeit von Abschlüssen, Ausgleich regionaler Unterschiede, Chancengleichheit etc. zu überprüfen. Es muss eine Rückbindung der autonomen Schulen in das Gesamtsystem (andere Schulen, Unterstützungssysteme, Verwaltung) gewährleistet werden. Bildungspolitik und Bildungsverwaltung bedienen sich zur Schaffung all dieser Voraussetzungen indirekter Steuerungsinstrumente, d.h. v.a. neuer Formen der Evaluation und des Monitoring sowie des Angebots von bedarfsorientierten sowie die allgemeinen bildungspolitischen Zielsetzungen fördernden Unterstützungsleistungen. Inhaltlich können sich entsprechende Maßnahmen auf ein weites Spektrum an intermediären Zielsetzungen und Faktoren beziehen, im Folgenden soll nur auf die im Zusammenhang mit Peer Review relevanten eingegangen werden. Insbesondere soll untersucht werden, ob, und wenn ja wie, Peer Review dazu beitragen kann, sowohl die Profilbildung und Entwicklung an der einzelnen Einrichtung zu unterstützen als auch Elemente institutionsübergreifender Zielsetzungen einzubringen. 9.2.4 Peer Review und Kompetenzerweiterung Zentraler Aspekt der Implementierung von Qualitätsentwicklung in den Einrichtungen ist die Qualifizierung von LehrerInnen für Schulentwicklungs- und Evaluationsaufgaben. Peer Review verlangt hier ebenso wie Selbstevaluation nach entsprechenden Fortbildungsmaßnahmen zum Aufbau von Evaluationskompetenz. Zugleich kann die Tätigkeit als Peer aber auch als Weiterbildung gesehen werden: Einerseits werden mittels „learning by doing“ Evaluationskenntnisse

316 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung und -erfahrungen erweitert, andererseits kommt es zu einer Auseinandersetzung mit Qualitätsfragen und meist auch zur Reflexion der eigenen Praxis. Zusätzlich kann ein Peer Review auch für die Peers konkrete Anstöße für die Weiterentwicklung der eigenen Tätigkeit bzw. der eigenen Einrichtung geben. Für die evaluierte Einrichtung kann Peer Review über die Rückmeldung von Evaluierungsbefunden hinaus gerade in formativen, entwicklungsorientierten Verfahren auch wichtige qualifizierende Aspekte einbringen. Dies kann natürlich die pädagogischen Kompetenzen der Beteiligten betreffen, aber auch soziale und kommunikative Fähigkeiten sowie Evaluationskompetenzen. Damit kann Peer Review auch zur Professionalisierung des Sektors insgesamt beitragen. 9.2.5 Peer Review und Professionsentwicklung Von großer Bedeutung für die Systementwicklung ist die Stärkung der LehrerInnenrolle im Sinne der Entwicklung eines Professionsverständnisses. „Es wäre fatal, das zukünftige Bildungswesen mit einer defensiven oder demoralisierten Lehrerschaft aufbauen zu wollen, die sich selbst als Verlierer der Veränderungen empfinden.“ (Altrichter 1999, 36) Für LehrerInnen sind die aktuellen Entwicklungen stark ambivalent: Einerseits ist nicht nur ihr gesellschaftlicher Status nicht zuletzt durch eine kritische Öffentlichkeit geringer geworden, sondern auch ihr individueller Handlungsspielraum durch den Bedeutungszugewinn der Prozesse auf Schulebene eingeschränkt worden: In Bereichen, in denen LehrerInnen traditionell autonom entscheiden konnten, sind nun zunehmend auf Schulebene gefasste Beschlüsse zu berücksichtigen. Das Autonomie-Paritätsprinzip ist also etwas ins Wanken geraten. Andererseits können LehrerInnen im Kollektiv nun auf der Ebene der einzelnen Einrichtung oft mehr mitbestimmen als früher. Dies könnte auch auf ihre Rolle im Bildungssystem insgesamt ausgedehnt werden, Voraussetzung dafür ist allerdings die Steigerung eines einrichtungsübergreifenden, expliziteren Professionsverständnisses unter den LehrerInnen, dass von gemeinsamen Vorstellungen von qualitätsvollem Handeln geprägt ist und das Selbstbewusstsein der LehrerInnen stärkt. Damit werden dann auch externe Ansprüche als weniger bedrohlich erlebt. Dass ein verändertes Berufsbild auch Änderungen in den Arbeitsbedingungen erfordert und Zeit und Ressourcen für professionelle Weiterentwicklung, die über punktuelle individuelle fachliche Fortbildung hinausgeht, zugestanden werden müssen, wird hier vorausgesetzt. In der gemeinsamen, einrichtungsübergreifenden Entwicklung eines neuen Professions- und Qualitätsverständnisses liegt eine der wichtigsten Chancen von Peer Review. Einerseits zielt Peer Review als Evaluierungsverfahren auf die Profession als Bezugspunkt ab, andererseits unterstützt es den Professionalisierungsprozess. In einem formativen Peer Review geschieht dies vorwiegend bot-

9.2 Chancen und Grenzen von Peer Review

317

tom-up, indem die jeweils beteiligten Personen ihre Vorstellungen dessen, was guten Unterricht bzw. eine gute Schule ausmacht, transparent machen und als Kriterien in der Analyse und Interpretation anlegen. Auch eine Auseinandersetzung mit Rahmenvorgaben der Bildungspolitik, wie z.B. Bildungszielen, Qualitätsstandards und Indikatoren, kann stattfinden. Ein offener Diskussionsprozess, wie oben gefordert, ermöglicht dann einen Abgleich bzw. die gemeinsame Erarbeitung eines neuen Verständnisses. Zusätzlich kann durch das Peer-ReviewVerfahren auch der direkte Austausch mit anderen Anspruchsgruppen, die ja ebenfalls in einem Peer-Team vertreten sein können, gefördert werden, sodass in dieses Professionsverständnis auch Inputs von außerhalb des Bildungssektors einfließen. Selbstverständlich muss Unterricht dabei zentraler Gegenstand der Auseinandersetzung sein, ohne die Berücksichtigung des „Kerngeschäfts“ von LehrerInnen ist Professionsentwicklung nicht denkbar. Lehren und Lernen stellt, wie in Kapitel 6 und 7 dargelegt, in den analysierten Peer-Review-Verfahren ein wichtiges Thema dar. Allerdings wird gerade in traditionellen Schulsystemen der Unterricht als Schulentwicklungs- und Qualitätsbereich nach wie vor oft vernachlässigt.145 Durch Peer Review kann dieses Tabu der Beschäftigung mit dem Unterricht in anderer Weise durchbrochen werden, als wenn externe EvaluationsexpertInnen (aus Universitäten und Forschungsinstituten) oder die Schulaufsicht die Qualität überprüfen: Peers sind (gerade in formativen Reviews) zwar nicht mit vergleichbarer Macht ausgestattet und sind deshalb formal weniger bedrohlich, eine schlechte Bewertung von KollegInnen kann aber durchaus als unangenehm, ja peinlich erlebt werden. Die Angst vor einer Blamage kann durchaus stärkere Impulse zu Veränderungen geben als formale Zielvereinbarungen mit einer übergeordneten Behörde. Genau an diesem Punkt setzt Peer Review an.

145 Vgl. z.B. die Einschätzung von Specht, der als allgemein bekannt voraussetzt, „dass die Veränderung und Verbesserung des Unterrichts und der Leistungsbeurteilung im Rahmen jedes Schulentwicklungsprojektes einen wunden Punkt markiert. Die Schulen beschäftigen sich  insbesondere wo die entsprechenden Projekte primär von Lehrerinnen und Lehrern getragen sind  mit großer Bereitwilligkeit mit Fragen des Schulklimas, mit der Qualität des Arbeitsplatzes Schule für Lehrer, mit der Entwicklung von Außenbeziehungen und auch mit dem innerschulischen Management. Der Unterricht selbst dagegen gilt noch immer als Feld nahezu unbeschränkter individueller Autonomie der einzelnen Lehrperson. Der Blick von außen in die Praxis des Klassenzimmers gilt als Angriff auf die Methodenfreiheit und als Gefährdung des Postulats der prinzipiellen Gleichheit von Lehrerarbeit. Das – man kann sagen: berüchtigte  „Autonomie-Paritätsmuster“, das sich als latente Norm des Lehrberufs über Generationen hinweg festgesetzt hat, gilt nicht von Ungefähr als eines der größten Hindernisse auf dem Weg zu einer Kultur der Schulentwicklung, die auch die Praxis des Lehrens und Lernens in ihre Veränderungsbemühungen mit einbezieht.“ (Specht 1999a, 7)

318 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Verstärkt werden kann der Effekt von Peer Review hinsichtlich der Entwicklung eines Professionsverständnisses, wenn dem Peer Review auf Organisationsebene Formen der kollegialen Unterstützung, Beratung und Bewertung in Bezug auf das Unterrichtsgeschehen auf der individuellen Ebene vorangehen. Dies kann zwischen Einzelpersonen oder innerhalb von Teams umgesetzt werden. Neben Unterrichtshospitationen können hier verschiedenste andere Formen von Peer Review oder Peer Learning zum Einsatz kommen (vgl. Kapitel 4). Auch für die Kombination von Evaluierung unter KollegInnen auf der individuellen Ebene mit einem Peer Review auf Organisationsebene gibt es Beispiel aus der Praxis in der beruflichen Erstausbildung / im Schulwesen (vgl. Kapitel 6 und 7, Fallbeispiele 1, 2, 7 und 9). Mit der Entwicklung eines Professionsverständnisses und der institutionsübergreifenden Zusammenarbeit einher geht auch eine Reduktion der traditionellen Vereinzelung und Isolation der im Bildungsbereich Tätigen. Peer Review ist hier ein Instrument, das derartige Bemühungen auf Ebene der Bildungseinrichtung als Beispiel guter Praxis zugänglich macht und durch die Öffnung der einzelnen Institutionen nach außen gleichzeitig eine überinstitutionelle Ebene ins Spiel bringt. 9.2.6 Peer Review und eine neue Kultur der Aushandlung und Vereinbarung Mit der Entwicklung eines Professionsverständnisses einher geht eine neue Kultur der demokratischen Aushandlung, in der Wertvorstellungen, Interessen und Bedürfnisse verschiedener Anspruchgruppen offen diskutiert werden können. Dies ist insbesondere dann notwendig, wenn es keine vorgegebenen Regelungen gibt oder geben kann, weil die Problematik komplex und nicht vorhersehbar ist. Ziel ist es gemeinsame Lösungen zu finden, die dann in Vereinbarungen ihren Niederschlag finden. Einigungsprozesse, die auf Argumenten und Überzeugungsarbeit aufbauen, sowie die Bereitschaft, Rechenschaft abzulegen, werden sowohl innerhalb der einzelnen Bildungseinrichtung als auch im Kontakt mit der Umwelt zunehmend notwendig. Peer Review kann auch in dieser Frage wichtige Entwicklungsimpulse geben, indem diese Prozesse auf eine suprainstitutionelle Ebene gehoben werden. Dies betrifft v.a. die Aushandlung eines Qualitätsverständnisses zwischen LehrerInnen aus verschiedenen Einrichtungen, aus verschiedenen Regionen und eventuell auch aus verschiedenen Schultypen.146

146 Im europäischen Peer Review Projekt werden Peer Reviews im italienischen Konsortium zwischen verschiedenen Typen von Bildungseinrichtungen aus unterschiedlichen Regionen durchge-

9.2 Chancen und Grenzen von Peer Review

319

Zusätzlich können auch andere VertreterInnen externer Anspruchsgruppen einbezogen werden. Austausch und Auseinandersetzung zwischen den Peers nimmt dabei eine Zwischenstellung zwischen schulinterner und öffentlicher Diskussion ein. Voraussetzung ist selbstverständlich, dass das Peer-Review-Verfahren interaktiv und diskursiv angelegt wird, sowie dass es einen gewissen Freiraum für die Professionellen gibt, ihr Qualitätsverständnis in einem bestimmten Ausmaß einzubringen und zu bestimmen. Das bedeutet, dass Verwaltung und Politik dies erstens zulassen müssen und zweitens auch bereit sein müssen, diese neuen Spielregeln selbst einzuhalten. Dabei können übergeordnete Zielsetzungen und Prioritäten des Gesamtsystems auch zuwiderlaufende Entscheidungen auf lokaler oder regionaler Ebene in manchen Fällen außer Kraft setzen, wichtig ist allerdings, dass es für alle Beteiligten transparente Regelungen gibt und ein diskursives Verfahren zum Einsatz kommt. 9.2.7 Peer Review und Vernetzung Mit zunehmender Autonomisierung der Bildungseinrichtungen steigt die Notwendigkeit sowohl vertikaler als auch horizontaler Kommunikationflüsse sowie eines gemeinsamen Lernprozesses im Gesamtsystem: Erfahrungsaustausch und Vernetzung zwischen Schulen sowie eine effiziente Verständigung zwischen allen involvierten AkteurInnen ist eine weitere Bedingungen für eine erfolgreiche Steuerung auf Systemebene. Dadurch können Fehler vermieden und Beispiele guter Praxis rasch verbreitet werden. Eine herausragende Bedeutung kommt dabei dezentralen Netzwerken von Schulen zu. Durch die geringere Regelungsdichte und die Rücknahme der behördlichen Interventionen müssen nun die Bildungseinrichtungen selbst miteinander in Verhandlung treten: Es bedarf einer „engere[n] und qualitativ veränderte[n] Kooperation zwischen Schulen […] und zwar sowohl in Fragen der äußeren Schulangelegenheiten (z.B. Klassenbildungen, Schülerzuweisungen, Übergänge usw.) als auch in Fragen inhaltlicher Schulgestaltung (z.B. regionale Abstimmung der Angebotsstrukturen)“ (Maritzen 1998, 623f.). Auch für die Qualitätsentwicklung spielt die Vernetzung von Bildungseinrichtungen eine wichtige Rolle: Netzwerke sind auch ein geeigneter Ort für das Führen eines professionel-

führt. Damit wird unter anderem das Ziel verfolgt, auf Einrichtungsebene Verständnis für die verschiedenen Typen von Bildungsinstitutionen zu fördern (Italien ist gerade dabei, sein traditionell stark fragmentiertes Berufsbildungssystem von regional zertifizierten Anbietern und zentral von Rom aus verwalteten Schulen zu integrieren) sowie überregionale Vernetzung zu stimulieren.

320 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung len Diskurses und bieten eine gute Basis für den Vergleich einzelner Einrichtungen, aber auch der verschiedenen Typen von Bildungsinstitutionen (in den meisten Bildungssystems gibt es ja mehrere Stränge in der beruflichen Erstausbildung / im Schulwesen, die sich gerade in der oberen Sekundarstufe stark ausdifferenzieren) sowie regionaler Unterschiede und Besonderheiten. Sie können einerseits Standardsetzung, andererseits den Transfer von Innovationen zwischen den verschiedenen Teilen der Bildungssysteme – lokalen/regionalen Subsysteme sowie verschiedenen Angebots- und Einrichtungstypen  fördern. Netzwerkbildung stellt mithin eine Möglichkeit dar, wie auf Systemebene der oben genannten Gefahr der Fragmentierung und des Auseinanderdriftens der Systemteile entgegenwirkt werden kann. Peer Review steht in mehrfacher Hinsicht in Zusammenhang mit Vernetzung und Erfahrungsaustausch zwischen Bildungseinrichtungen. Auf der einen Seite stimulieren die meisten Peer-Review-Verfahren die Netzwerkbildung bzw. bauen sie auf bereits vorhandenen Kooperationen auf. Selbst dort, wo einzelne Einrichtungen selbstinitiiert und ohne Netzwerk Peer Reviews durchführen, sind geeignete externe Kontakte zu anderen Schulen oder VertreterInnen von Anspruchsgruppen Voraussetzung. Wie in Kapitel 6 und 7 beschrieben, ist die Zusammenarbeit von Bildungseinrichtungen im Netzwerk ein wichtiger Faktor in der Konzeption und Implementierung der Peer-Review-Verfahren. Die Kooperation erfährt durch die wechselseitigen Peer Reviews eine Intensivierung, die Behandlung sowohl von allgemeinen als auch einrichtungsspezifischen Fragestellungen in den einzelnen Peer Reviews zeigt Übereinstimmungen und Unterschiede auf. Die gemeinsame Weiterentwicklung des Qualitätsverständnisses erfolgt sowohl während der Peer Reviews als auch durch Meta-Evaluation im Netzwerk. Die Vertrauensbasis zwischen NetzwerkpartnerInnen kann auf der anderen Seite auch die Einführung von Formen externer Evaluation erleichtern. Dies kann in der aktuellen Entwicklung, in der Evaluation zunehmend verbindlich vorgeschrieben oder zumindest dringend empfohlen wird, von nicht zu unterschätzender Bedeutung werden. Brockmeyer und Edelstein beschreiben die Vorteile von Evaluation in Netzwerken folgendermaßen: Es ist bekannt, wie hoch die Hemmschwelle gegenüber dem Einstieg in die Evaluation ist, wie wenig das ‚Handwerkszeug’ bekannt und vertraut ist, wie schwer es fällt, Arbeitsbereiche auszuwählen, in denen man evaluative Erfahrungen gewinnen kann. Netzwerke können sich hier leichter tun. Schulen mit ähnlichen pädagogischen Leitideen und mit vergleichbarem Profil können sich auch mit geringeren Schwierigkeiten in die Prozesse und Probleme der anderen Schulen hineindenken als Schulen mit sehr unterschiedlichen Eigenprägungen. So lässt sich in einem Netz-

9.2 Chancen und Grenzen von Peer Review

321

werk von Schulen, die kontinuierlich miteinander arbeiten, ohne große Schwierigkeiten eine Evaluation durch die Partner durchführen. Aus der Vertrautheit der Arbeitssituation lassen sich gemeinsame Frageraster entwickeln. Die Evaluation selbst kann in der Regel relativ offen und ohne große ‚Offenlegungsangst’ der jeweils evaluierten Schule durchgeführt werden. (Brockmeyer/Edelstein; 1995, 107)

Peer Review erhöht somit das Potential von Netzwerken in der Verbreitung von guter Praxis und in der (zumeist freiwilligen) Aushandlung und Dissemination von Qualitätsstandards. Vernetzung und Austausch können ja längerfristig nicht als Selbstzweck dienen, sie müssen ein Ziel verfolgen, konkrete Aktivitäten beinhalten und für die Beteiligten einen Nutzen bringen. Gerade Peer-ReviewNetzwerke bieten sowohl für die teilnehmenden Institutionen als auch die Systemebene konkrete Chancen für die Weiterentwicklung der Bildungsqualität. Wenn Peer Reviews zum Austausch zwischen verschiedenen Schultypen oder Regionen eingesetzt werden, kann zusätzlich Verständnis zwischen Subsystemen gefördert werden und einer Abschottung von Regionen oder einzelnen Schultypen gegengesteuert werden. Zusätzlich können  in Hinblick auf das Ziel der Heranführung der einzelnen Einrichtungen an externe Evaluierung  gute Netzwerkkontakte den Einstieg in Peer Review als niederschwelliges externes Evaluationsverfahren unterstützen. 9.2.8 Peer Review und Internationalisierung Grenzüberschreitende Peer Reviews sind bereits in Hinblick auf ihren Beitrag zur Internationalisierung auf der Ebene der Bildungseinrichtungen  Evaluierung der internationalen Ausrichtung von Curricula oder der grenzüberschreitenden Kontakte und Aktivitäten  diskutiert worden. Gerade in der beruflichen Bildung, die direkt für den Einstieg ins Arbeitsleben vorbereitet, ist es von großer Bedeutung, der zunehmenden Internationalisierung der Wirtschaft bereits in der Ausbildung Rechnung zu tragen. Peer Reviews mit ausländischer Beteiligung können darüber hinaus auch im Sinne der Vernetzung und des Erfahrungsaustausches einen wichtigen Beitrag für die grenzüberschreitende Verständigung und Kooperation in Europa leisten. Durch die transnationale Zusammenarbeit von Bildungseinrichtungen in einem Peer-Review-Netzwerk kann die Lücke zwischen der Kooperation auf der Ebene der Verwaltung, die in Europa auf vielfältige Weise vorangetrieben wird, und den Maßnahmen auf individueller Ebene wie z.B. Mobilitätsprogrammen geschlossen werden. Über die gemeinsame Arbeit am Thema Qualität kann auf der Ebene der Bildungseinrichtungen  also bottom-up  ein Verständnis für andere

322 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Bildungssysteme gefördert werden. Transnationale Reviews und die dazu nötigen, gemeinsam akkordierten Verfahrensweisen und Standards können helfen, Vergleichbarkeit und Transparenz zwischen den europäischen Mitgliedsstaaten herzustellen. Gemeinsame Verfahren der Qualitätssicherung können in weiterer Folge als vertrauensbildende Maßnahmen die Umsetzung umfassender europäischer Kooperation, wie sie zum Beispiel in der Schaffung eines Europäischen Qualifikationsrahmens vorgeschlagen wird, unterstützen. Praktisch umgesetzt werden könnte die europäische Vernetzung durch Peer Review auf Institutionsebene z.B. durch den Aufbau eines europäischen Exzellenz-Netzwerkes in Anlehnung an Modelle, wie sie z.B. die European Foundation for Quality Management (EFQM) für Unternehmen oder das EQUISNetzwerk für Wirtschaftsuniversitäten geschaffen haben. Eine weitere Möglichkeit wäre die sukzessive Integration von auf europäischer Ebene entwickelten Peer-Review-Verfahren in die nationalen Qualitätssicherungssysteme. Dies erscheint im Falle von Peer Review insofern leichter möglich, als damit Neuland betreten wird. Peer Review stellt in der beruflichen Erstausbildung / im Schulwesen in vielen Ländern ein neues Verfahren dar, ein europäischer Standard tritt also nicht in Konkurrenz zu bereits bestehenden Modellen. Aufgrund der Flexibilität des Verfahrens, die, wie in den Kapiteln 5, 6 und 7 dargestellt, eine Vielzahl verschiedener Varianten ermöglicht, kann ein europäisches Peer-ReviewVerfahren auch relativ leicht an nationale Gegebenheiten angepasst werden. 9.2.9 Peer Review und Kosten Das Argument der im Vergleich zu anderen externen Evaluierungsverfahren geringen Kosten von Peer Review ist in dieser Arbeit bereits mehrfach angesprochen worden. Zu beachten ist dabei, dass Peers tatsächlich aus der Profession kommen oder als VertreterInnen von Anspruchsgruppen ein direktes, intrinsisches Interesse an Bildungsqualität haben, da nur dann die Möglichkeit besteht, auch mit niedrigeren Honorarsätzen gute und engagierte EvaluatorInnen zu finden. Die zugrunde liegende Prämisse für die Rechtfertigung niedrigerer finanzieller Gegenleistungen ist, dass auch die Peers in der einen oder anderen Weise direkt von einem Peer Review profitieren  sei es, weil sie als FachkollegInnen für ihre eigene Praxis Impulse bekommen, sei es, weil sie als Stakeholder-Peers relevante eigene Ansprüche und Sichtweisen einbringen können (vgl. die Fallbeispiele in Kapitel 6 sowie Kapitel 8.7.9). Wenn es zu wechselseitigen Peer Reviews zwischen Einrichtungen kommt (bzw. in einem Netzwerk auf Ausgleich geachtet wird), kann auch gänzlich auf Geldflüsse verzichtet werden, da jede Einrichtung in gleichem Maße eigene Peers als Personalressource für die

9.3 Varianten der Implementierung und Positionierung von Peer Review

323

Peer Reviews anderer Institutionen zur Verfügung stellt und die der anderen Einrichtungen für das eigene Peer Review nutzen kann. Aus der Sicht der Systemebene ergeben sich multiple Synergien: Erstens kann Weiterbildung in Evaluierung sowohl für die Selbstevaluierung als auch für Peer Reviews genutzt werden, zweitens bleiben im Rahmen von Peer Reviews gewonnene Erkenntnisse und Erfahrungen zur Gänze im System, d.h. es ist ein zweifacher Transfer möglich – sowohl in der evaluierten Einrichtung als auch in den Einrichtungen, aus denen die Peers stammen, und drittens stellt die Teilnahme als Peer per se eine anspruchsvolle Weiterbildung dar. Zusätzliche können indirekte Effekte, wie in den vorangegangen Kapiteln beschrieben, verfolgt werden. Durch die aufgewendeten Mittel können demnach auf verschiedenen Ebenen mehrfache Wirkungen erzielt werden. 9.3 Varianten der Implementierung und Positionierung von Peer Review 9.3.1 Gestaltungsfaktoren und Maßnahmen zur Einführung von Peer Review Im vorangegangenen Kapitel ist Peer Review als ein vergleichsweise niederschwelliges externes Evaluierungsverfahren, das Qualitätsbewusstsein, Netzwerkbildung und Professionalisierung im Bildungssystem fördert, dargestellt worden. Peer Review kann also einen Beitrag zur Implementierung von neuen Formen der Systemsteuerung leisten, ist jedoch selbstverständlich nicht das einzige Verfahren, das dazu taugt: Auch andere Aktivitäten und Maßnahmen können hier ebenso zweckmäßig sein. Peer Review kann demnach als ein nützliches, andere Maßnahmen ergänzendes Instrument für die Förderung und Implementierung zentraler Ziele in zunehmend deregulierten Bildungssystemen angesehen werden. Welche Formen der Pilotierung oder Implementierung von Peer Review sind denkbar? In einer ersten Typologie bestehender formativen Verfahren wurde zwischen freiwilligen, selbstinitiierten, selbstgesteuerten Peer-ReviewModellen (Typ 1) und verpflichtend vorgeschriebenen, aber ebenso auf Einrichtungsebene gesteuerten Peer Reviews (Typ 3) unterschieden. Neben diesen beiden Typen wären auch noch andere Varianten denkbar: So könnte das PeerReview-Verfahren zwar relativ stark standardisiert und vorgegeben sein, die Teilnahme aber freiwillig erfolgen. Von grundlegender Bedeutung ist daher erstens, woher die Initiative kommt und wer für die Steuerung des Verfahrens zuständig ist  also die Frage, ob es sich um einen Top-down- oder einen Bottom-up-Ansatz handelt, zweitens, ob und wie stark es zu einer Standardisierung und Regulierung des Verfahrens

324 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung kommt, und schließlich drittens  auf längere Sicht gesehen , ob die Durchführung von Peer Reviews auf Freiwilligkeit beruht oder als verpflichtend vorgeschrieben wird. Im Prinzip sind hier alle Kombinationen möglich, die einzelnen Faktoren können verschiedene Ausprägungen entlang eines Kontinuums einnehmen.

Abbildung 15: Gestaltungsfaktoren für die Implementierung von Peer Review Faktor

Kontinuum der Ausprägungen

Initiative & Steuerung

bottom-up

l

top-down

Standardisierung & Regulierung

gering

l

stark

Verbindlichkeit

freiwillig

l

verpflichtend

Quelle: eigene Darstellung

Den Behörden steht also eine Vielzahl von Möglichkeiten für die Implementierung und Steuerung von Peer Review offen, selbst wenn auf die Einführung von Peer Review als neue Form der Inspektion von Bildungseinrichtungen (Typ 2) verzichtet wird. Dabei kann eine Einführung von Peer Review in einem Bildungssystem in unterschiedlicher Intensität, mit unterschiedlichem Aufwand und durch unterschiedliche Vorgehensweisen erfolgen: von Unterstützungsangeboten für freiwillige Peer Reviews, die von Bildungseinrichtungen initiiert werden, über stärker strukturierte Interventionen wie z.B. Modellprojekte bis hin zur Institutionalisierung. Diese unterschiedlichen indirekten und direkten Einflussmöglichkeiten der Bildungsverwaltung stehen in der Praxis auch mit einer stufenweisen Implementierung  von experimentellen Erprobungen an einzelnen Bildungseinrichtungen über Modellvorhaben bis hin zur flächendeckenden Einführung  in einem chronologischen Zusammenhang.

9.3 Varianten der Implementierung und Positionierung von Peer Review

325

Maßnahmen zur Förderung von Peer Review können z.B sein: ƒ

ƒ ƒ ƒ ƒ

Unterstützung einzelner Bildungseinrichtungen, die Peer Review durchführen wollen, z.B. durch entsprechende Schulungsangebote oder auch durch die Bereitstellung von finanziellen Mittel für die durch das Peer Review entstehenden Zusatzkosten; Unterstützung der Netzwerkbildung von Bildungseinrichtungen, die gemeinsam Peer Reviews durchführen wollen, wobei die Verantwortung für die Organisation bei den Bildungseinrichtungen selbst bleibt; Die Durchführung von Modellprojekten, an denen Bildungseinrichtungen auf freiwilliger Basis teilnehmen, die Organisation und Koordination von Peer Reviews wird dabei durch eine zentrale Projektstelle unterstützt; Die Etablierung von institutionalisierten Stützstrukturen (wie z.B. eine koordinierende Stelle), die Peer Reviews abwickeln und den Bildungseinrichtungen vielfältige Unterstützung bieten; Die Verpflichtung zur Durchführung von Peer Reviews – entweder als individuell gesteuerter Prozess oder als vorgegebenes Standardverfahren.

Entsprechend der zunehmenden Formalisierung der Strukturen kann davon ausgegangen werden, dass auch der Einfluss der Bildungsverwaltung auf die Verfahren zunimmt. Grundsätzlich gibt es verschiedene Möglichkeiten zur Standardisierung und Regulierung des Verfahrens: So können z.B. Vorgaben gemacht werden, wer als Peer fungieren darf, wie die Peer-Teams zusammengesetzt sein müssen und wer die Peer-Teams auswählt. Weiters können bestimmte einzuhaltende Verfahrensschritte definiert werden oder Umfang und Themen des Peer Reviews vorgegeben werden (z.B. anhand bereits bestehender Qualitätsrahmen und Indikatorensysteme). Durch Formulare, Checklisten und Leitfäden kann die Abwicklung des Verfahrens weiter reguliert werden. Es kann sich bei dieser Ausdifferenzierung und Definition des Verfahrens um direkte staatliche Intervention in Sinne von verpflichtend vorgeschriebenen Verfahren und Standards handeln, oder auch um Anreizsysteme, wenn z.B. für die Ausschüttung von Förderungen der öffentlichen Hand bestimmte Anforderungen erfüllt werden müssen. Dazu bedarf es dann allerdings entsprechender Strukturen, die die Einhaltung dieser Vorgaben überprüfen. Allerdings kann auch auf indirektem Wege über Unterstützungsleistungen (wie z.B. Qualifizierungsangebote, die Entwicklung von Handbüchern, Leitfäden und Checklisten, die Rekrutierung und Vermittlung von Peers etc.) erheblicher Einfluss ausgeübt werden – auch bereits auf freiwillige, selbstinitiierte, individuell gestaltete Peer Reviews. Durch diese Hilfestellungen, die aller Voraussicht nach von Bildungseinrichtungen bereitwillig angenommen werden, da sie den

326 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung eigenen Entwicklungsaufwand reduzieren, können sowohl die Organisation des Verfahrens (Wie kommt eine Bildungseinrichtung zu Peers? Wer ist ein/e geeignete/r Peer? Wie bereiten sich Bildungseinrichtung und Peers auf das Peer Review vor? etc.), aber auch Inhalte (Worum kann oder soll es gehen? Wie und von wem werden die Evaluationsthemen definiert?) und Prozesse (Wie soll ein Peer Review ablaufen? Was ist zu beachten?) vordefiniert werden. Eine zentrale Rolle spielen also von der öffentlichen Hand finanzierte Unterstützungsangebote. Diese können von Qualifizierungsleitungen, über Prozessbegleitung, Netzwerkunterstützung und Koordinationsaktivitäten bis zur Zertifizierung reichen. Für eine Strategie der längerfristigen Implementierung kann es nützlich sein, Kompetenzen zu bündeln und eine Stelle einzurichten, die Peer Reviews koordiniert und begleitet (z.B. in einem Peer-ReviewKompetenzzentrum oder  den Entwicklungen im Hochschulbereich folgend  in einer Agentur). Ebenso wird, wenn eine weitere Verbreitung des Verfahrens intendiert ist, eine gewisse Standardisierung des Peer-Review-Verfahrens sinnvoll erscheinen, um die Evaluationsqualität zu sichern, aber auch um Vergleichbarkeit und Transparenz zu gewährleisten. Dabei ist allerdings zu beachten, dass der individuelle Nutzen für die einzelnen Bildungseinrichtungen sowie der notwendige Spielraum für eine von der Basis mitgetragene Professionalisierung gewahrt bleiben. Eine Übersteuerung ist zu vermeiden. Empfehlenswert scheint eine Vorgangsweise zu sein, in der Verfahrensstandards in der Zusammenarbeit der verschiedenen Ebenen und AkteurInnen  also top-down und bottom-up  gemeinsam entwickelt wird. Diese Standards sollten Orientierung und Hilfestellung bieten, aber die Bildungseinrichtungen nicht zu sehr einengen, sodass ein formatives, auf die Interessen und Bedürfnisse der einzelnen Institutionen zugeschnittenes Peer Review möglich bleibt. Sollte Peer Review weitere Verbreitung finden, ist es aus Gründen der Effizienz und der Akzeptanz notwendig, es auch mit anderen praktizierten Qualitätssicherungsverfahren abzustimmen, um eine Dopplung von Aktivitäten zu vermeiden. Verschiedene Formen der Evaluation müssen in einem Gesamtsystem so zusammenspielen, dass sowohl Qualitätsentwicklung auf Einrichtungsebene gefördert als auch eine effiziente Kontrolle und Steuerung durch die Systemebene ermöglicht wird. 9.3.2 Abstimmung mit anderen Verfahren der Qualitätssicherung und Qualitätsentwicklung in einem umfassenden Qualitätssystem Ein Nebeneinander der verschiedenen Evaluationsverfahren auf Organisationsebene – insbesondere Selbstevaluierung, Peer Review und Inspektion (im Sinne der „full inspection“) sowie eventuell auch der Qualitätssysteme aus der Wirt-

9.3 Varianten der Implementierung und Positionierung von Peer Review

327

schaft  ist aufgrund des zeitlichen, personellen und letztlich finanziellen Aufwands nicht verantwortbar. Selbst wenn keine expliziten Vorgaben von oben gemacht werden, versuchen auch Bildungseinrichtungen selbst, die verschiedenen Verfahren aufeinander abzustimmen (vgl. Fallbeispiele 3, 4, z.T. 5, 8, 9 und 10). Es besteht die Tendenz, die im Rahmen der Selbstevaluierung oder in externen Inspektionen oder Zertifizierungen geforderten Qualitätsbereiche und indikatoren auch für Peer Review zu übernehmen, damit kein zusätzlicher Erhebungsaufwand entsteht. Die Frage ist nun, wie die verschiedenen Verfahren in einem Art „3Säulenmodell“, dass Selbstevaluierung, Peer Review und Evaluierung durch die vorgesetzte Behörde umfasst, sinnvoll verknüpft werden können, sodass ihren unterschiedlichen Funktionen, insbesondere der Ausrichtung auf Qualitätskontrolle oder Qualitätsentwicklung Rechnung getragen wird. Ein formatives Verfahren zielt ja v.a. auf die tatsächlichen Informations- und Entwicklungsbedürfnisse der einzelnen Einrichtung ab, Umfang und Inhalte sollten demnach flexibel sein. Summative Verfahren hingegen sollen umfassend Qualität sicherstellen und die Informationsbedürfnisse der Systemebene als Auftrag- und Geldgeberin sowie verschiedener anderer relevanter Anspruchsgruppen befriedigen. Daraus ergibt sich ein Abstimmungsbedarf zwischen den verschiedenen Verfahren, der bislang noch nicht für alle Seiten zufrieden stellend gelöst wurde. Sowohl Selbstevaluierung als auch Peer Review sind als formative Evaluierungen an die jeweiligen Bedingungen vor Ort anzupassen. Gerade Peer Review könnte sich besonders gut für eine Evaluation „kurz und gut“ eignen, d.h. eine fokussierte Evaluation bzw. eine Evaluation, die nicht allzu sehr in die Tiefe geht, oder auch eine Meta-Evaluation von Qualitätssicherungsmaßnahmen, wie sie für die institutionelle Evaluierung im Hochschulbereich vorgeschlagen wird (vgl. z.B. Müller-Böling 1997, 102f., Kromrey 2005, Schmidt 2004). In der Praxis zeigt sich jedoch, dass in den Ländern, wo Selbstevaluierung verpflichtend vorgeschrieben ist, meist auch ein Evaluierungsrahmen mit Qualitätsbereichen und mehr oder minder detaillierten Indikatoren vorgegeben wird. Auch selbstgesteuerte Peer Reviews, die im Gesamtkonzept der staatlichen Qualitätssicherung eine Rolle spielen, werden an staatliche Vorgaben für Selbstevaluierung und Inspektion angepasst (vgl. Fallbeispiel 8, Kapitel 6.4.8). Es kann also in vielen Systemen, die mehrere Verfahren zu integrieren suchen, so etwas wie ein „Primat der Inspektion“ beobachtet werden, da alle Verfahren sich letztendlich auf die Qualitätskontrolle ausrichten. Die Frage ist, ob dies so sein muss und ob auch andere Formen der Systemsteuerung denkbar sind. Im Folgenden werden zwei Konzepte dargestellt, die sich hauptsächlich darin unterscheiden, welcher Aspekt – Qualitätskontrolle oder Qualitätsentwicklung  die dominante Rolle spielt.

328 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Modell 1: Primat der Qualitätskontrolle (das traditionelle Modell aus dem angelsächsischen/niederländischen Raum) In Systemen mit umfassender Selbstevaluierung sowie Vollinspektion kann sich Peer Review auf seinen Auftrag als entwicklungsorientiertes Instrument konzentrieren, da die Qualitätskontrolle ohnehin gesichert ist. Es bietet sich à la longue ein Gesamtkonzept an, in dem die staatliche Kontrolle die vorangegangenen Evaluationsergebnisse nutzt und als „proportional inspection“ sich nur die Bereiche vornimmt, die in früheren Inspektionen nicht gut abgeschnitten haben und/oder wo Lücken oder Probleme aus den Selbstevaluations- oder PeerReview-Berichten abzulesen sind. Sollte Selbstevaluierung und/oder Peer Review weniger umfassend ausfallen, bleibt in diesem System für die Inspektion eben mehr zu tun. Da die meisten Bildungseinrichtungen aber eher darauf abzielen, in geringerem Umfang und in geringerer Intensität geprüft zu werden, besteht die Tendenz, in der Selbstevaluierung und im Peer Review sozusagen „vorzuarbeiten“. Desgleichen kann in diesem Modell Selbstevaluierung und Peer Review auch mit aus der Wirtschaft stammenden Qualitätszertifizierungen verschränkt werden, die dann von staatlicher Seite anerkannt werden (vgl. Fallbeispiel 4, Kapitel 6.4.4). Problematisch bleibt, dass die Inspektion auf die anderen Verfahren rückwirkt  so sinnvoll dies in Hinblick auf eine ressourcenschonende Vorgangsweise auch erscheint. Dies betrifft, wie bereits erwähnt, die Verwendung von staatlichen Indikatorensystemen sowie die generelle Anpassung der formativen Evaluierungen an die Anforderungen der Inspektion. Weiters kann davon ausgegangen werden, dass durch die Nutzung der Ergebnisse der Selbstevaluierung und des Peer Reviews im Rahmen der proportionalen Inspektion der formative und offene Charakter der beiden Verfahren beeinträchtigt werden kann. Auch kann sich das Effizienzargument in sein Gegenteil verkehren, wenn im Endeffekt zweioder dreimal das gleiche Verfahren durchgeführt wird, wobei sich hauptsächlich nur die handelnden Personen unterscheiden. Sowohl Selbstevaluierung als auch Peer Review sollte daher auf jeden Fall einen „added value“, einen zusätzlichen Wert, darstellen und nicht zur „Generalprobe“ für Inspektionen oder andere externe Evaluierungen werden, wie der Qualitätsmanager einer niederländischen Bildungseinrichtung, der umfassende Erfahrung mit Peer Review hat, feststellt: Now we have a situation that we do a peer review and in fact it is a general rehearsal for the visit of the inspectorate. That should not be the case. Because all costs – how efficient[ly] you organise it – a lot of time and the time you spent on peer reviews, on the inspectorate, you cannot spend on the primary process. (…) We should have a look at the costs of everything we do. Because you can only spend your money once. (Interview de Ridder, 8f.)

9.3 Varianten der Implementierung und Positionierung von Peer Review

329

Modell 2: Primat der Qualitätsentwicklung Denkbar ist aber auch, dass Selbstevaluierung durch Peer Review sowie andere qualitätssichernde Maßnahmen ergänzt wird, ohne dass Vollinspektionen als routinemäßige externe Kontrollen eingesetzt werden. In diesem System wäre die Kombination von interner und externer Evaluation auf der Organisationsebene durch Selbstevaluierung und Peer Review abgedeckt. Diese beiden Verfahren könnten weiterhin formativ ausgerichtet bleiben. Qualitätssicherung und Steuerung auf Systemebene hingegen könnten durch ein Spektrum verschiedener Maßnahmen erzielt werden. Die Schulaufsicht oder von ihr beauftragte Stellen führen Meta-Evaluationen der Selbstevaluierungen und Peer Reviews durch. Diese Meta-Evaluationen können sich auf die einzelnen Qualitätsbereiche direkt beziehen oder auch auf die Maßnahmen zur Qualitätssicherung und -entwicklung, die auf Organisationsebene gesetzt werden. Bei Bedarf können auch bestimmte Qualitätsbereiche für Selbstevaluierung und/oder Peer Review vorgeschrieben werden, diese werden jedoch nicht zwangsläufig mehrfach evaluiert. Flankiert werden diese Aktivitäten auf Systemebene durch ein Systemmonitoring, in dem eine Reihe von Einzelmaßnahmen, wie z.B. (Online-)Befragungen von Betroffenen und Beteiligten, externe Tests und Bildungsstandards, fokussierte Evaluationen durch beauftragte wissenschaftliche Institute etc., verknüpft werden und ein umfassendes Bild von der Qualität der Bildungseinrichtungen geben. Die Schulaufsicht wird nur dann aktiv, wenn sich schwere Missstände abzeichnen, die auf Organisationsebene nicht gelöst werden können. Dann kann es zu Inspektionen vor Ort und Kriseninterventionen kommen. Eine weitere Schiene zur Sicherung der Qualität könnte, wie im Rahmen von kundInnenorientiertem Qualitätsmanagement in anderen Bereichen bereits gang und gäbe, die Einrichtung eines professionellen und für den Bildungsbereich tauglichen Beschwerdemanagements sein. Komplementär dazu wird Vertrauen in die Qualitätsbemühungen vor Ort aufgebaut. Dieses kann durch die Etablierung von Peer Review als Evaluierung durch die Profession unterstützt werden und basiert auf der Weiterentwicklung des Berufsstandes der LehrerInnen zur Profession sowie auf dem Einlösen professioneller Selbstverpflichtung durch die handelnden Personen und Institutionen. Dabei wird berücksichtigt, dass Evaluierung nicht auf Kosten des Unterrichts gehen darf: Qualitätssicherung und Qualitätsentwicklung haben nur dann eine Berechtigung, wenn sie Bildungseinrichtungen und die in ihnen Tätigen in ihrem „Kerngeschäft“, dem Lehren und Lernen, unterstützen. Voraussetzung ist eine Kultur des konstruktiven Umgangs mit Fehlern und der Verantwortung aller Beteiligten zur Qualitätsverbesserung.

330 9 Chancen und Grenzen von Peer Review in der beruflichen Erstausbildung Zusätzlich werden Anreizsysteme, wie z.B. Auszeichnungen und Exzellenzmodelle, geschaffen, um Qualitätsaktivitäten und Erfolge von einzelnen LehrerInnen, von Bildungseinrichtungen oder von lokalen/regionalen/nationalen Bildungssystemen sichtbar zu machen.

10 Zusammenfassung und weiterführende Fragestellungen

10.1 Zusammenfassung Peer Review wird zwar seit Jahren selbst in der deutschsprachigen Literatur zu Qualitätsentwicklung und Qualitätssicherung in der beruflichen Erstausbildung / im Schulwesen immer wieder erwähnt, seine praktische Erprobung steht jedoch erst in den Anfängen. In verschiedenen Modellprojekten werden auf lokaler, regionaler oder auch transnationaler Ebene verschiedene Verfahrensvarianten getestet. Eine Implementierung ist hingegen bislang nur stark kontrollorientierten Modellen vorbehalten gewesen, während für formative Peer Reviews ein Konzept für eine weitere Verbreitung und Einbindung in nationale Qualitätssicherungssysteme fehlt. Gerade in Hinblick auf eine Weiterentwicklung von Peer Review erscheint es daher sinnvoll, sich mit dem Verfahren und seinen Chancen und Grenzen als externes Evaluierungsverfahren in diesem Bildungssektor auseinander zu setzen. Allerdings kann unter Peer Review ein weites Spektrum an Verfahren und Instrumenten verstanden werden, so dass eine Abklärung und Präzisierung der Begrifflichkeiten und eine Revision gängiger Definitionen notwendig erscheint. In einem ersten Schritt wurden im Rahmen dieser Arbeit daher Definitionen von Peer Review genannt und die verschiedensten Einsatzbereiche  von der Forschung über das Hochschulwesen bis zu anderen Sektoren des Dienstleistungsbereichs  und Ausprägungen von Peer Review dargestellt und analysiert. Es zeigte sich, dass Peer Review im Bildungsbereich auf verschiedenen Ebenen als Evaluierungsverfahren verwendet werden kann: Das Spektrum reicht von der Bewertung von Individuen (z.B. im Rahmen von Personalevaluation und -entwicklung), über die Evaluation von Organisationen (und deren Leistungsangebot) bis zu Reviews auf nationaler oder auch supranationaler Ebene. In weiterer Folge interessierte, in welchen Formen Peer Review als Evaluierung auf der Organisationsebene in der beruflichen Erstausbildung / im Schulwesen in verschiedenen europäischen Ländern bereits verwendet wird. Zu diesem Zweck wurden Verfahrensvarianten aus verschiedenen europäischen Ländern in zehn Fallstudien beschrieben und dann in einer vergleichenden Analyse ausgewertet. Faktoren, die dabei untersucht wurden, waren die Einbettung und Steue-

332

10 Zusammenfassung und weiterführende Fragestellungen

rung des Verfahrens innerhalb der bestehenden Qualitätssysteme sowie die konkrete Ausgestaltung. Es zeigte sich, dass Peer Review, v.a. in den auf Freiwilligkeit basierenden, z.T. von den Bildungseinrichtungen selbst initiierten Verfahren sehr flexibel an die jeweiligen Rahmenbedingungen angepasst werden konnte. Insgesamt konnten aus diesen Fallstudien drei mögliche Typen von Peer Review identifiziert werden: Typ 1, das freiwillige, entwicklungsorientierte, formative Peer Review, das vornehmlich der internen Qualitätsverbesserung dient, Typ 2, das verpflichtende, kontrollorientierte, summative Peer Review, das für staatliche Inspektionszwecke eingesetzt wird, sowie Typ 3, das verpflichtende, aber entwicklungsorientierte, formative Peer Review (das auch als Grundlage für summative Evaluierungen im Rahmen staatlicher Qualitätskontrolle dienen kann). Auf der Basis dieser Befunde aus der Praxis wurde dann die Definition von Peer Review als externes Evaluierungsverfahren einer Analyse anhand von Bestimmungskriterien für Evaluationen unterzogen und für den Bereich der beruflichen Erstausbildung / des Schulwesens adaptiert bzw. präzisiert. In diese Untersuchung wurden z.T. auch die in Teil 1 beschriebenen Verfahren aus dem Hochschulbereich bzw. aus der Forschung herangezogen. Es zeigt sich, dass eine Definition von Peer Review auf Organisationsebene als externes Evaluierungsverfahren zulässig ist. Um dem besonderen Charakter von Peer Review gerecht zu werden ist allerdings die Dimension der „Profession“ als zusätzliches Kriterium heranzuziehen, da es sich bei Peer Review um ein externes Evaluationsverfahren innerhalb der Profession handelt. Das stufige Modell, d.h. die Verbindung von Peer Review mit einer vorangegangenen Selbstevaluierung und der Abschluss des Verfahrens mit einer Berichtlegung, wurde als sinnvoll erachtet und sollte beibehalten werden. Es wurde weiters argumentiert, dass Peer Review in der beruflichen Erstausbildung / im Schulwesen als formatives, entwicklungsstimulierendes Verfahren zu bestimmen ist, da zu starker Kontrolldruck verhindert, dass Peer Review sein Potential als Katalysator für Qualitätsentwicklung und Professionalisierung entfaltet. Um den Charakter von Peer Review als Evaluation unter KollegInnen zu wahren, wurde weiters angeregt, Peer-Teams mehrheitlich mit Personen aus der Profession zu beschicken. Schließlich wurden Abgrenzungen von Peer Review zu verwandten Aktivitäten und Verfahren  wie Inspektionen, Audits, kollegialer Beratung, Benchmarking sowie dem Einsatz von „critical friends“ in Evaluierungen  vorgenommen. Wie Peer Review als qualitätsvolles, verlässliches und valides externes Evaluierungsverfahren konzipiert werden kann und welche Chancen und Grenzen Peer Review als Instrument der Qualitätssicherung und v.a. der Qualitätsentwicklung aus der Systemperspektive aufweist, wurde in einem abschließenden Kapitel dargestellt. Dabei ging es auch um einen möglichen Beitrag von Peer Review zur Weiterentwicklung der Qualitätssicherungskonzepte auf Systemebene.

10.1 Zusammenfassung

333

Eine Analyse des für die berufliche Erstausbildung / das Schulwesen beschriebenen Peer-Review-Verfahrens anhand von Evaluationsstandards ergab, dass Peer Review einschlägigen Qualitätskriterien genügen kann, wenn bestimmte Vorkehrungen getroffen werden. Angelpunkte, die sich aus den besonderen Merkmalen von Peer Review als Evaluierungsmodell ergeben, sind insbesondere die Gewährleistung ausreichender Evaluationskompetenz der Peers sowie deren Unabhängigkeit/Unparteilichkeit. Weiters sollte darauf geachtet werden, dass die Gütekriterien der qualitativen Sozialforschung in sämtlichen Erhebungs- und Auswertungsphasen des Verfahrens (also sowohl in der Selbstevaluierung als auch im Peer Review) berücksichtigt werden. Zusätzlich wird mittels Empfehlungen aufgezeigt, wie in der Durchführung von Peer Review den Evaluationsstandards umfassend entsprochen werden kann. Welchen Zusatznutzen Peer Review im Vergleich zu anderen Evaluierungsverfahren bieten kann, wird im letzten Abschnitt der Arbeit dargelegt. Folgende potentielle positive Effekte können Peer Review zugeschrieben werden: Als Instrument der Evaluation innerhalb der Profession kann Peer Review v.a. zur Entwicklung eines Qualitätsbewusstseins bei den verantwortlichen Fachleuten, d.h. v.a. den LehrerInnen vor Ort, beitragen. Peer Review kann dabei die individuelle Kompetenzentwicklung im Bereich Evaluierung fördern sowie zur Selbstreflexion beitragen. Es unterstützt durch die diskursive Auseinandersetzung zwischen Lehrenden aus verschiedenen Institutionen im Rahmen der externen Evaluierung die Entwicklung eines einrichtungsübergreifenden, professionellen Selbstverständnisses der LehrerInnenschaft und macht die Rolle der Profession als zentrale Akteurin der Qualitätssicherung sichtbar. Peer Review verringert Vereinzelung und Isolation und trägt zur Vernetzung und zum Austausch zwischen Bildungseinrichtungen (ev. auch international) bei. Als formatives Verfahren stimuliert Peer Review  bei vergleichsweise geringen Kosten  Bemühungen zu Qualitätsverbesserung und zur Exzellenz. Im Falle einer Implementierung von Peer Review innerhalb eines Gesamtsystems zur Qualitätssicherung auf lokaler, regionaler oder nationaler Ebene ist daher darauf zu achten, dass Peer Review als formatives, externes Verfahren seine Eigenständigkeit wahrt und nicht zur „Generalprobe“ für Inspektionen oder andere, kontrollorientierte Evaluierungen degradiert wird. Dies erfordert allerdings eine Zugangsweise zur Qualitätssicherung, die v.a. auf der professionellen Selbstverpflichtung der Lehrenden aufbaut und Peer Review als „Evaluierung innerhalb der Profession“ als zentrales Instrument zur Selbstvergewisserung, Rechenschaftslegung und Qualitätsentwicklung einsetzt.

334

10 Zusammenfassung und weiterführende Fragestellungen

10.2 Weiterführende Fragestellungen Nicht alle Fragestellungen, die sich im Laufe der Arbeit ergeben haben, konnten auch behandelt werden. Als weiterführende Themen haben sich folgende herauskristallisiert: ƒ

ƒ

ƒ

ƒ

ƒ

Zu allgemeinen, evaluationstheoretischen Fragestellungen kann die bislang fehlende Analyse und Abgrenzung der Aufgaben und Rolle(n) von Peers im Vergleich zu denen von GutachterInnen sowie von professionellen EvaluatorInnen gerechnet werden (vgl. Kapitel 8.9). Weitere theoretische sowie praktische Befunde lassen auch weitere MetaEvaluationen bestehender Peer-Review-Projekte erwarten. Gerade die zunehmende Bedeutung von Qualitätsevaluation – auch in Hinblick auf Zeitund Ressourceneinsatz  macht eine Klärung der Wirkungsweise und des Nutzens der eingesetzten Verfahren notwendig. Bislang wurden aber gerade z.B. Qualitätssysteme aus der Wirtschaft kaum einer derartigen Prüfung unterzogen (was sicherlich auch auf einen Handlungsbedarf verweisen sollte). Die Einführung eines neuen Verfahrens wie Peer Review sollte jedenfalls durch entsprechende Meta-Evaluationen begleitet werden, um einerseits den tatsächlichen Nutzen bestimmen zu können und andererseits das Verfahren selbst weiter zu entwickeln. Dies betrifft auch die Überprüfung von Prämissen wie z.B. die der höheren Akzeptanz der Peers bei den evaluierten Bildungseinrichtungen. Diese Annahme erscheint zwar plausibel, wie es sich tatsächlich verhält bzw. unter welchen Bedingungen, Peers tatsächlich geeigneter sind als andere externe EvaluatorInnen. Ebenso könnte auch empirisch erforscht werden, welchen Nutzen Peers unter welchen Bedingungen aus dem Peer-Review-Verfahren ziehen. Meta-Evaluationen könnten auch auf bestimmte Verfahrensschritte fokussieren, um Fragen der spezifischen Ausgestaltung und Durchführung von Peer Reviews zu klären: Welche Vorgangsweisen sich unter welchen Bedingungen bewähren, welche nicht, wie die einzelnen Schritte aufeinander abzustimmen sind etc. Interessant wäre auch eine genauere kommunikationswissenschaftliche, soziologische oder evaluationstheoretische Untersuchung der Interaktion und Zusammenarbeit im Peer-Team, wobei hier nach verschiedenen Teamzusammensetzungen und Teamgrößen zusätzlich unterschieden werden muss. In gleicher Weise könnten auch die Interaktionsmöglichkeiten zwischen Peers und evaluierter Einrichtung in den Blick genommen werden.

10.2 Weiterführende Fragestellungen

ƒ

335

Auch hier könnte – soweit möglich –auf die Konsequenzen von Befunden für die Adaptierung von Peer Review geachtet werden. Schließlich stellt sich eine Reihe von weiterführenden Fragen zur Implementierung von Peer Review auf Systemebene. Einerseits könnte eine mögliche Implementierung von Peer Review auf theoretischer Ebene weiter gedacht werden, andererseits könnte – so ein konkretes Interesse auf Seiten der handelnde AkteurInnen besteht – in Akzeptanz- und Machbarkeitsstudien abgeklärt werden, auf welche Weise Peer Review in bestehende Systeme ressourcenschonend und nutzbringend eingepasst werden kann. Dabei können vorerst die schulischen Systeme betrachtet werden, wie es auch in dieser Arbeit geschehen ist, da in diesem Segment in vielen Ländern bereits Formen der externen Evaluation auf Organisationsebene eingeführt wurden. Zusätzlich wäre es reizvoll, zu untersuchen, ob und in welcher Weise Peer Review auch in anderen Bereichen der beruflichen Erstausbildung  insbesondere in dualen Ausbildungsformen  eine Rolle spielen könnte.

11 Quellen

11.1 Literatur Allulli, Giorgio; Tramontano; Ismene (2005): LdV Project “Peer Review in initial VET”: National Report Italy, with the contribution of Lucio Reghellin (CNOS-FAP), Vittoria Gallina (INVALSI), Alessia Mattei (INVALSI), Luisa Palomba (Ministero del Lavoro), Maria Vittoria Marini Bettolo (Ministero dell’Istruzione dell’Università e della Ricerca), Antonio Pileggi (Ministero dell’Istruzione dell’Università e della Ricerca), Ms. Altrichter, Herbert (1998): Reflexion und Evaluation in Schulentwicklungsprozessen. In: Altrichter et al. (1998): 263-335. Altrichter, Herbert (1999): Veränderungen der Systemsteuerung im Bildungswesen  Länderbericht Österreich  Vorläufige Fassung. www.qis.at/qn/userfile/ ha_laender bericht.pdf, 10.2.06. Altrichter, Herbert (2000): Comparative analysis of decentralisation policies and their results in central European countries. Case studies and synthesis report. Zentrum für Schulentwicklung Report Nummer 47. Klagenfurt. Altrichter, Herbert; Pechar, Hans; Schratz, Michael (Hg.) (1997): Hohe Schulen auf dem Prüfstand: Was bringt Evaluation für die Entwicklung von Universitäten und Fachhochschulen? Studien zur Bildungsforschung und Bildungspolitik 16. Innsbruck/ Wien: Studienverlag. Altrichter, Herbert; Schley, Wilfried; Schratz, Michael (1998): Handbuch zur Schulentwicklung. Innsbruck: Studienverlag. Altrichter, Herbert; Posch, Peter (1999): Wege zur Schulqualität. Studien über den Aufbau von qualitätssichernden und qualitätsentwickelnden Systemen in berufsbildenden Schulen. Innovationen in der Berufsbildung 2, hg. vom Bundesministerium für Unterricht und kulturelle Angelegenheiten. Innsbruck: Studienverlag. Altricher, Herbert; Posch, Peter (1999): Der Aufbau von Qualitätsentwicklung im Schulwesen. Zur Einführung in den vorliegenden Band. In: Altricher/Posch (1999): 15-21. Altrichter, Herbert; Posch, Peter (1999): Aufbauprozesse der Qualitätsentwicklung im Schulwesen. Vergleichende Analyse ihrer Merkmale und Bedingungen. In: Altricher/Posch (1999): 193-245. Altrichter, Herbert; Schratz, Michael (1992): Qualität von Universitäten. Evaluation: Impulse für Innovation. Studien zur Bildungsforschung & Bildungspolitik 6. Innsbruck: Studienverlag. American Federation of Teachers/ National Education Association (AFT/NEA) (1998): Peer Assistance and Peer Review. An AFT/NEA Handbook, prepared for "Shaping the Profession that shapes the future. An AFT/NEA Conference on Teacher Quality,

338

11 Quellen

Washington D.C. www.aft.org/pubs-reports/downloads/teachers/parhndbk.pdf, 24.2.2005. Basel, Sven (2004): Peer-Evaluation in beruflichen Schulen als Beitrag zur schulischen Qualitätsentwicklung. In: berufsbildung Heft 90 (2004), 43-45. Benz, Winfried; Kohler, Jürgen; Landfried, Klaus (Hg.) (2005): Handbuch Qualität in Studium und Lehre. Stuttgart: Raabe. Beywl, Wolfgang (1999): Programmevaluation in pädagogischen Praxisfeldern – begriffliche und konzeptionelle Grundlagen. In: Künzel, Klaus (Hg.) (1999): Internationales Jahrbuch für Erwachsenenbildung 27 „Evaluation der Weiterbildung”, 29-48. Beywl, Wolfgang (2004): Zwischen Selbstbeobachtung & fremdem Blick  Risiken der Evaluationsarten erkennen – Qualität von Evaluationen erhöhen. Vortrag auf der Jahrestagung der DeGEval, Wien, 12. November 2004. Präsentationsunterlage, unveröffentlicht. Beywl, Wolfgang; Speer, Sandra (2004): Das A-B-C der wirkungsorientierten Evaluation, Univation GmbH (Hg.), Köln. Boettcher, Wolfgang; Bremerich-Vos, Albert (Hg.) (1987): Kollegiale Beratung in Schule, Schulaufsicht und Referendarausbildung. Europäische Hochschulschriften: Reihe 11, Pädagogik; 330. Frankfurt/Main: Lang. Bornmann, Lutz; Mittag, Sandra; Daniel, Hans-Dieter (2003): Qualitätssicherung an Hochschulen. Empfehlungen zur Durchführung mehrstufiger Evaluationsverfahren in Studium und Lehre. Stifterverband für die Deutsche Wissenschaft (Hg.). Essen. Brooks, Roger A. (1996): Blending two cultures: State legislative auditing and evaluation. In: New Directions for Program Evaluation 1996/71, 15-28. Brunner, Joe (2003): Pilotprojekt der Erziehungsdirektion Bern „Qualitätsentwicklung in Schulen“ (QES). Ergebnisse der kantonalen Schlussevaluation 2003, Bern. Büeler, Xaver (2004): Qualitätsevaluation und Schulentwicklung. In: Stockmann (2004): 257-286. Burkard, Christoph; Eikenbusch, Gerhard (2000): Praxishandbuch Evaluation in der Schule, Berlin: Cornelsen Scriptor. Chelimsky, Eleanor (1996): Auditing and evaluation: Whither the relationship? In: New Directions for Program Evaluation 1996/71, 61-67. Chism, Nancy Van Note (1999): Peer Review of Teaching: A Sourcebook, Bolton: Anker. Clementi, Heidi; Hoyer, Andrea; Ziegler; Judith (2004): Institutionelle Evaluierung an Fachhochschulen – Ergebnisse einer Begleitstudie. Schriftenreihe des Fachhochschulrats, Band 9. Wien: WUV Universitätsverlag. Daniel, Hans-Dieter (2004): Auswahl von Gutachtern, In: Hopbach (2004): 73-76. De Ridder, Willem (2005a): LdV Project “Peer Review in initial VET”: National Report Netherlands, Ms. Deutsche Gesellschaft für Evaluation (Hgin) (2004a): Empfehlungen für die Aus- und Weiterbildung in der Evaluation. Anforderungsprofile an Evaluatorinnen und Evaluatoren, April 2004, Alfter. (DeGEval 2004a) Deutsche Gesellschaft für Evaluation (Hgin) (2004b): Standards für Evaluation, 3. Auflage Juni 2004, Alfter. (DeGEval 2004b)

11.1 Literatur

339

Deutsche Gesellschaft für Evaluation (Hgin) (2004c): Empfehlungen zur Anwendung der Standards Evaluation im Handlungsfeld der Selbstevaluation, Dezember 2004, Alfter. (DeGEval 2004c) Divorski, Stan (1996): Differences in the approaches of auditors and evaluators to the examination of government policies and programs, In: New Directions for Program Evaluation 1996/71, 7-14. Donzallaz, Désirée (2005): Evaluation im Bildungsbereich. Begriffs- und Konzeptinventar für die Jahrestagung der SEVAL [Schweizerischen Evaluationsgesellschaft] am 3. Juni 2005. Unveröffentlichtes Manuskript, o.O. Duden, Band 5 (2005): Das Fremdwörterbuch, 8. Auflage, Mannheim: Bibliographisches Institut & F.A.Brockhaus AG. Earley, Peter; Fidler, Brian; Ouston, Janet (HgInnen) (1996): Improvement Through Inspection? Complementary Approaches to School Development, London: Fulton. Eder, Ferdinand (Hg.) (2002): Qualitätsentwicklung und Qualitätssicherung im österreichischen Schulwesen, herausgegeben in Zusammenarbeit mit Peter Posch, Michael Schratz, Werner Specht, Josef Thonhauser. Bildungsforschung des Bundesministeriums für Bildung, Wissenschaft und Kultur 17. Innsbruck: Studienverlag. Engel, Uwe (Hg.) (2001): Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Frankfurt/Main: Campus. Enns, Esther E.; Rüegg, Roland; Schindler, Brigit; Strahm, Peter (2002): Lehren und Lernen im Tandem. Porträt eines partnerschaftlichen Fortbildungssystems, im Auftrag der Zentralstelle für Lehrerinnen- und Lehrerfortbildung des Kantons Bern, Bern. Ernst, Sylke; Warwas, Jasmin (2003): Qualitätssicherung bei der Evaluation wissenschaftlicher Leistungen, Göttingen. http://lnhf.gwdg.de/ciwm/dokumente/ peerreview.htm, 24.2.2004 Europäische Kommission (Hg.) (1993): Qualitätsmanagement und Qualitätssicherung im Europäischen Hochschulwesen: Methoden und Mechanismen, Luxemburg: Amt für Amtliche Veröffentlichungen der Europäischen Gemeinschaften. Europäische Kommission (Hg.) (1995): Sokrates – Europäisches Pilotprojekt zur Evaluierung der Qualität der Hochschulbildung, Luxemburg: Amt für Amtliche Veröffentlichungen der Europäischen Gemeinschaften. Europäische Kommission (2002): Increased cooperation in vocational education and training. Mandate of the technical working group on quality in VET, unveröffentlicht, o.O. Europäische Kommission (2004): Vorschlag für eine Empfehlung des Rates und des Europäischen Parlaments betreffend die verstärkte europäische Zusammenarbeit zur Qualitätssicherung in der Hochschulbildung (von der Kommission vorgelegt), KOM(2004) 642 endgültig. Europäische Kommission (2005): From Berlin to Bergen. The EU Contribution, Progress Report 7 April 2005, Brüssel. European Association for Quality Assurance in Higher Education (2005): Standards and Guidelines for Quality Assurance in the European Higher Education Area, Helsinki. European Council (1998): Council recommendation of 24 September 1998 on European cooperation in quality assurance in higher education, 98/561/EC.

340

11 Quellen

European Network for Quality Assurance in Higher Education (2003): Quality procedures in European Higher Education. An ENQA survey. ENQA Occasional Papers 5. Helsinki. Ewringmann, Gisela (2005): Externe Evaluation von Schulen in Bayern, In: berufsbildung 91/92, 49-51. Fachhochschulrat (2004): Verordnung des Fachhochschulrates über die Evaluierung im österreichischen Fachhochschulsektor (Evaluierungsverordnung, EvalVO 5/2004; zuletzt geändert) durch Beschluss des FHR vom 11.3.2005, aufgrund von § 13 Abs 2a des Fachhochschul-Studiengesetzes (FHStG) in der Fassung BGBl I 2003/110 http://www.fhr.ac.at/fhr_inhalt/02_qualitaetssicherung/dokumente.htm, 2.11.2005. Faßhauer, Uwe; Basel, Sven (2005): Qualitätsoptimierung oder Bewertungsritual, In: berufsbildung 91/92, 30-35. Faurschou, Kim (2002): Quality management approaches for vocational education and training (pre-final version), CEDEFOP, European Forum on Quality in VET, November 2002, o.O. Fellegi, Ivan P.; Ryten, Jacob (2000): Peer Review des Schweizerischen Statistiksystems (Kurzfassung), Neuchâtel, http://www.bfs.admin.ch/bfs/portal/de/index/institutionen/ oeffentliche_statistik/bundesstatistik/entwicklungen__trends/peer_review.html, 10.6.2005. Fend, Helmut (1998): Qualität im Bildungswesen, Weinheim: Juventa. Flanders, Anne K.; Wick, John (1998): Peer Evaluation of the School's Potential to Improve Learning, Paper presented at the Annual Meeting of the American Educational Research Association 1998. FQS Prospekt (2002), herausgegeben vom Lehrerinnen- und Lehrervereins Baselland LVB und PA-LCH, Basel. Freiheit mit Erfolgskontrolle. Testen wie die Niederländer, In: Die Zeit Nr. 27, 30.6.2005, 35. Fröhlich, Gerhard (2002a): Peer Review: Contra. In: Forschung und Lehre, 9 (2), 313. Fröhlich, Gerhard (2002b): Anonyme Kritik. Peer Review auf dem Prüfstand der empirisch-theoretischen Wissenschaftsforschung. In: Pipp (2002): 129-146. Gerriets, Elke; Möller, Karl-Heinz (2005): Projektkoordination im Spannungsfeld von Selbst- und Fremdevaluation. In: berufsbildung 91/92, 52-53. Gerriets, Elke; Giebenhain, Dagmar; Basel, Sven; Möller, Karl-Heinz (2004): Modellversuch eiver, 1. Zwischenbericht "Evaluation im Verbund als Beitrag zur Qualitätsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken", Modellversuch des Hessischen Landesinstituts für Pädagogik. Ms., Wiesbaden. Giebenhain, Dagmar (2005): Evaluation in Entwicklungsvorhaben. In: berufsbildung 91/92, 55-56. Glossar wirkungsorientierte Evaluation, Univation-Institut für Evaluation Dr. Beywl & Associates GmbH, Köln, http://www.univation.org/glossar/index.php, 30.3.2006. Gonon, Philipp; Hügli, Ernst; Landwehr, Norbert; Ricka, Regula; Steiner, Peter (1999): Qualitätssysteme auf dem Prüfstand: die neue Qualitätsdiskussion in Schule und Bildung. Pädagogik bei Sauerländer, Schwerpunkt: Schulentwicklung, Dokumentation und Materialien Bd.5. Aarau: Sauerländer.

11.1 Literatur

341

Groupe de Réflexion Meta-Evaluation (2001): Mindeststandards für die Selbstevaluation von Schulen, 3. Entwurf vom 27.1.2000. Gruber, Elke (2001): Beruf und Bildung – (k)ein Widerspruch? Bildung und Weiterbildung in Modernisierungsprozessen. Bildung und gesellschaftliche Entwicklung, Bd. 4. Innsbruck.: Studienverlag. Gutknecht-Gmeiner, Maria (2004): Leonardo da Vinci Projektantrag “Peer Review as an Instrument for Quality Assurance and Quality Development in initial VET in Europe. Exchange of Experiences and Development of a European Manual”, Ms. Wien/Brüssel. Gutknecht-Gmeiner, Maria; Lassnigg, Lorenz; Stöger, Eduard; de Ridder, Willem; Strahm, Peter; Strahm, Elisabeth; Koski, Leena; Stalker, Bill; Hollstein, Rick; Allulli, Giorgio; Kristensen, Ole Bech (2005): European Peer Review Manual for initial VET, Ms., Erstversion, Wien. Gutloff, Karen (1997): You be the Judge. In: NEA Today, November 1997, 4f. Haenisch, Hans; Kindervater, Christina (1999): Evaluation der Qualität von Schule und Unterricht. EU-Pilotprojekt zur Selbstevaluation: Ergebnisse der deutschen Projektschulen. Landesinstitut für Schule und Weiterbildung Nordrhein Westfalen, Thüringer Kultusministerium. Bönen: Verlag für Schule und Weiterbildung. Hartz, Stefanie; Meisel, Klaus (2004): Qualitätsmanagement. Studientexte für Erwachsenenbildung. Deutsches Institut für Erwachsenenbildung (Hg.), Bielefeld: Bertelsmann. Hennen, Manfred (Hg.) (2002): Evaluation  Erfahrungen und Perspektiven. Mainzer Beiträge zur Hochschulentwicklung Bd. 4. Herausgegeben vom Zentrum für Qualitätssicherung und -entwicklung, ZQ. Mainz. Hennen, Manfred (2002): Die Zukunft der Evaluation. In: Hennen (2002): 82-145. Her Majesty's Inspectorate of Education in Scottland (HMIe) (2001): Executive Agency Framework Document. Her Majesty’s Inspectorate of Education (HMIe) (Hg.) (2002): How good is our school? Self-evaluation using quality indicators, 2002 Edition, Scotland, http://www.hmie.gov.uk/about_us/inspections/hgios/HGIOS.pdf, 7.12.2005. Her Majesty's Inspectorate of Education (HMIe) (2004a): College Review of Aberdeen College. A Report by HM Inspectors on behalf of the Scottish further education funding council, 1 October 2004, o.O. http://www.hmie.gov.uk/documents/inspection/ AberdeenCollegeReview.pdf, 7.12.2005 Her Majesty's Inspectorate of Education (HMIe) (2004b): BRIeFING the newsletter of HMIE 2, 2004, 10. http://www.hmie.gov.uk/documents/publication/BRIEFING2.pdf, 7.12.2005. Her Majesty's Inspectorate of Education (2005a): The follow-through phase and its relationship to review phase one, August 2005, http://www.hmie.gov.uk/about_us/inspec tions/documents/reviews_relationship.doc, 7.12.2005.

342

11 Quellen

Her Majesty's Inspectorate of Education (HMIe) (2005b): Subject Reviewer Handbook, Phase 1: Subject Review, Created: August 2005, http://www.hmie.gov.uk/about_us/ inspections/documents/october%202005%20subject%20reviewer%20handbook.doc, 7.12.2005. Her Majesty's Inspectorate of Education (HMIe) (2005c): College Reviewer Handbook, Phase 1: College Review, Created: August 2005, http://www.hmie.gov.uk/about_us/ inspections/documents/october%202005%20college%20reviewer%20handbook.doc, 7.12.2005. Hertling, Elizabeth (1999): Peer Review of Teachers. In: ERIC Digest, May 1999, Number 126. Hollstein, Rick (2005a): LdV Project “Peer Review in initial VET”: National Report United Kingdom, Ms. Hopbach, Armin (Red.) (2004a): Evaluation und Akkreditierung: bluffen – vereinheitlichen – profilieren? Arbeitstagung zur Evaluation an Hochschulen, 13./14. Februar 2003, Universität Potsdam. Hochschulrektorenkonferenz (Hg.), Beiträge zur Hochschulpolitik 2004/1. Bonn. Hopbach, Achim (Hg.) (2004b): Qualitätssicherung an Hochschulen. Neue Herausforderungen nach der Berlin-Konferenz, Bielefeld: Bertelsmann. Hörmann, Georg (2002): Wo bleibt die Evaluation der Evaluateure (Amateure)? Stellungnahme zum Evaluierungsbericht Erziehungswissenschaft an den Bayerischen Landesuniversitäten vom Dezember 2001. In: PÄD Forum 5, Oktober 2002, 382-391. Horsman, Kees (2001): Het ABC van de kwaliteitszorg, Zelfevaluatie op alle niveaus. In de Qvijver jaargang 2 no. 2, april 2001. Hutchings, Pat (1994): Peer Review of Teaching. "From Idea to Prototype". In: AAHE Bulletin, November 1994. Joint Committee on Standards for Educational Evaluation (1994): The program evaluation standards. How to assess evaluations of educational programs. 2. Auflage. Thousand Oaks: Sage. (Joint Committee 1994) Kansanen, Pertti (2004): Erfahrungen und Perspektiven der Peer Review in der Lehrerbildung in Finnland. In: journal für lehrerInnenbildung 4/2004 „Peer Review“, 23-33. Kargl, Maria; Wetschanow, Karin; Wodak, Ruth, Perle, Néla (1997): Kreatives Formulieren. Anleitung zu geschlechtergerechtem Sprachgebrauch, hg. v. der Bundesministerin für Frauenangelegenheiten und Verbraucherschutz. Schriftenreihe der Frauenministerin 13. Wien: Bundeskanzleramt, Abt. VII/1. Keller, Hans (1999): Chancen, Möglichkeiten und Grenzen eines Peer Review, Ms., Bülach. Kogan, Maurice (1986): Educational Accountability, London: Ebury Press. Konferenz der europäischen MinisterInnen (2005): The European Higher Education Area  Achieving the Goals. Communiqué of the Conference of European Ministers Responsible for Higher Education, Bergen, 19-20 May 2005. (Bergen Communiqué) Koski, Leena; Koski; Emilia (2005): LdV Project “Peer Review in initial VET”: National Report Finland, Ms. Kozar, Gerhard (1999): Hochschul-Evaluierung  Aspekte der Qualitätssicherung im tertiären Bildungsbereich. Schriftenreihe des Fachhochschulrats Band 3. Wien: WUV Universitätsverlag.

11.1 Literatur

343

Kromrey, Helmut (2001): Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis 24. Jahrgang, Heft 2, 105-131. Kromrey, Helmut (2001): Studierendenbefragungen als Evaluation der Lehre? Anforderungen an Methodik und Design, In: Engel (2001): 11-47. Kromrey, Helmut (2003): Evaluation oder Selbstevaluation? Dilemmata im peer-reviewKonzept. In: Merkens (2004): 47-57. Kromrey, Helmut (2004): Qualität und Evaluation im System Hochschule. In: Stockmann (2004): 233-258. Kromrey, Helmut (2005): Zur Verbindung von Akkreditierung und Evaluation. Von der Klärung unterschiedlicher Verfahrenslogiken zu den Möglichkeiten einer überschneidungsfreien Vernetzung. In: Benz et al. (2005): Beitrag F2.2, 1-18. Kühme, Christian (2005): Externe Evaluation im Team (EVIT). In: berufsbildung 91/92, 41-48. Laske, Stephan; Hammer, Richard (1997): Zur Autonomiefähigkeit der Universität  Eine eher skeptische Nabelschau: In: Altrichter et al. (1997): 27-47. Lassnigg Lorenz; Unger, Martin; Pechar, Hans; Pellert, Ada; Schmutzer-Hollensteiner, Eva; Westerheijden, Don F. (2003): Review des Auf- und Ausbaus des Fachhochschulsektors. Zusammenfassung und Schlussfolgerungen, i.A. des Bundesministeriums für Bildung, Wissenschaft und Kultur. http://www.bmbwk.gv.at/medien/9813_fh-review.pdf, 2.11.2005. Lassnigg, Lorenz; Unger, Martin (Hg.) (2005): Fachhochschulen – Made in Austria. Review des neuen Hochschulsektors. Arbeit – Bildung – Weiterbildung, Bd. 4. Münster: Lit-Verlag. Leeuw, Frans L. (1996): Auditing and evaluation: Bridging a gap, worlds to meet? In: New Directions for Program Evaluation 1996/71, 51-60. LCH Dachverband Schweizer Lehrerinnen und Lehrer (1999): LCH-Berufsleitbild, LCHStandesregeln, verabschiedet von der LCH-Delegiertenversammlung am 19. Juni 1999. Zürich. http://www.lch.ch/docs/portrait/LCH_Berufsleitbild.pdf, 30.3.2006. Linssen, Leo (2003): De ontwikkeling van een kwaliteitszorgmodel in het voortgezet onderwijs, Kritische vrienden in het ABC-project. In: MESOmagazine no. 129, april 2003. Linssen, Leo (2003): Internal and external evaluation. Getting the balance right. Ms. Lortie, Dan C. (1975): Schoolteacher. A Sociological Study, Chicago: University of Chicago Press. Ludewig, Rainer.; Greiffenhagen, Ulrich; Poll, Jens; Zürn, Brigitte (2003): Handbuch für Qualitätssicherung und Peer Review für den prüfenden und beratenden Mittelstand. 1. Ergänzungslieferung, IDW Verlag. www.idw.de, 2.11.2005. Markert, Bernd (2004): Vom Peer- zum Trans-Review: Vertrauen fördert Qualität! In: UWSF – Z Umweltchem Ökotox 16, 1, 4-6. Mac Beath, John; Meuret, Denis, Schratz, Michael; Jakobsen, Lars Bo (1999): Evaluating quality in school education. A European pilot project. Final Report, European Commission (Hg.). o.O. Mac Beath, John; Schratz, Michael; Meuret, Denis, Jakobsen, Lars Bo (2000): SelfEvaluation in European Schools. A story of change. London: RoutledgeFalmer.

344

11 Quellen

Maritzen, Norbert (1998): Autonomie der Schule: Schulentwicklung zwischen Selbst- und Systemsteuerung, In: Altrichter et al. (1998): 609-637. Mayring, Philipp (2002): Einführung in die Qualitative Sozialforschung. Eine Anleitung zu qualitativem Denken. 5. Auflage, Weinheim/Basel: Beltz. McCabe, Robert K (1993): The Accountant's Guide to Peer and Quality Review, Westport, Conn.: Quorum Books. Merkens, Hans (Hg.) (2004): Evaluation in der Erziehungswissenschaft. Schriftenreihe der DGfE. Wiesbaden: Verlag für Sozialwissenschaften. Ministerium für Bildung, Wissenschaft, Forschung und Kultur des Landes SchleswigHolstein (Hg.) (2004): Externe Evaluation im Team  EVIT. Qualitätshandbuch für die Arbeit an Schulen in Schleswig-Holstein. Erstellt in Kooperation mit dem Landesinstitut für Qualitätsentwicklung an Schulen Schleswig-Holstein (IQSH). Kiel. (MBWFK Schleswig-Holstein 2004) Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (Hg.) (2005): Externe Evaluation im Team  EVIT. Qualitätshandbuch für die Arbeit an allgemein bildenden Schulen und Sonderschulen in Schleswig-Holstein, erstellt in Kooperation mit dem Landesinstitut für Qualitätsentwicklung an Schulen Schleswig-Holstein (IQSH). Kiel. (MBF Schleswig-Holstein 2005) Mintzberg, Henry (1989): Mintzberg on Management. Inside Our Strange World of Organizations, New York: The Free Press. Mittag, Sandra; Bornmann, Lutz; Daniel, Hans-Dieter: (2003): Evaluation von Studium und Lehre an Hochschulen. Handbuch zur Durchführung mehrstufiger Evaluationsverfahren, Münster: Waxmann. Modellversuch eiver – Evaluation im Verbund, Evaluation im Verbund als Beitrag zur Qualitätsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken (2004): Gemeinsam evaluieren Qualität sichern, Berufliche Schulen im Verbund weiterentwickeln, hg. vom Hessischen Landesinstitut für Pädagogik, Wiesbaden (Projektbroschüre des Modellversuchs eiver – Evaluation im Verbund 2004. http://s1.teamlearn.de/b-1-eiver, 28.12.2005) Modellversuch eiver – Evaluation im Verbund (2005): Kritische Freunde: PeerEvaluation an hessischen Schulen, hg. vom Institut für Qualitätsentwicklung (IQ), Wiesbaden (Projektbroschüre des Modellversuchs eiver – Evaluation im Verbund 2005. http://s1.teamlearn.de/b-1-eiver, 28.12.2005) Modellversuch Evaluation im Verbund, Technische Universität Darmstadt (2004): Leittext zur Überprüfung und Überarbeitung der derzeitigen Evaluationsplanung im Verbund, Ms. o.O. (Leittext_Evaluationsplanung1) Müller-Böling, Detlef (1997): Evaluation zur Rechenschaftslegung oder Qualitätsverbesserung, In: Altrichter et al. (1997): 88-107. Müller-Kohlenberg, Hildegard/Beywl, Wolfgang (2003): Standards der Selbstevaluation – Begründung und aktueller Diskussionsstand. In: Zeitschrift für Evaluation 1/2003, 65-75. National Board of Education (2000): Quality Management in Vocational Education – Recommendation for Providers of Educational Services and Educational Institutions. Evaluation 4/2000. Helsinki.

11.1 Literatur

345

Nisbet, John (1990): Rapporteur’s Report, In: The evaluation of educational programmes: methods, uses and benefits: report of the educational research workshop held in North Berwick (Scotland), 22-25 November 1988, Scottish Council for Research in Education (Hg.). European Meetings on Educational Research, Part 1, vol. 24. Amsterdam: Swets & Zeitlinger. Nörber, Martin (Hg.) (2003): Peer Education. Bildung und Erziehung von Gleichaltrigen durch Gleichaltrige, Weinheim: Beltz. Österreichisches Fachhochschulrat (2002): Evaluierung im österreichischen FH-Sektor, beschlossen vom FHR am 28.06.2002. o.O. Österreichisches Institut für Berufsbildungsforschung (öibf) (2005): Peer Review as an Instrument for Quality Assurance and Development in Initial VET in Europe, Projektfolder. Wien. Österreichisches Wörterbuch, Schulausgabe (2001), 39. Auflage, hg. im Auftrag des Bundesministeriums für Bildung, Wissenschaft und Kultur. Auf der Grundlage des amtlichen Regelwerks. Wien: Österreichischer Bundesverlag. Pechar, Hans (1993): Evaluation im Hochschulwesen. Materialien zur Bildungspolitik 4. Bundesministerium für Wissenschaft und Forschung, Wien. Pechar, Hans (2002): Expansion und Reform. Studien zur Hochschulpolitik der 1990er Jahre. Wien, Univ., Habil.-Schr., 2003. Pellert, Ada (1999): Die Universität als Organisation. Die Kunst, Experten zu managen. Studien zu Politik und Verwaltung, Bd. 67. Wien/Köln/Graz: Böhlau. Pellert, Ada (2005): Qualitätssicherung. In: Lassnigg/Unger (2005): 191-218. Peniche, Gwen; Bergold, Jarg (2000, Januar): Überlegungen zum Peer-Reviewing in FQS. In: FQS – Forum Qualitative Sozialforschung, 1, 1 [On-line Journal] http://www.qualitative–research.net/fqs-texte/1-00/1-00penichebergold-d.htm, 24.2.2005. Pill-Rademacher, Irene (1993): „…zu nutz und gutem der loblichen universitet“: Visitationen an der Universität Tübingen; Studien zur Interaktion zwischen Landesherrn und Landesuniversität im 16. Jahrhundert. Werkschriften des Universitätsarchivs Tübingen, Reihe 1: Quellen und Studien Band 18. Tübingen: Veröffentlichungen des Universitätsarchivs Tübingen. Pipp, Eveline (Hg.) (2002): Drehscheibe E-Mitteleuropa. Information: Produzenten, Vermittler, Nutzer. Die gemeinsame Zukunft. Biblos-Schriften 173. Wien: Phoibos. Pollitt, Christopher; Summa, Hilkka (1996): Performance audit and evaluation: Similar tools, different relationships? In: New Directions for Program Evaluation 1996/71, 29-50. Posch, Peter; Altrichter, Herbert (1997): Möglichkeiten und Grenzen der Qualitätsevaluation und Qualitätsentwicklung im Schulwesen. Bildungsforschung des Bundesministeriums für Unterricht und kulturelle Angelegenheiten 12. Innsbruck: Studienverlag. Posch, Peter; Altrichter, Herbert (1997): Evaluation und Entwicklung von Schulqualität  Dimensionen, Modelle und strategische Vorschläge, In: Posch/Altrichter (1997): 1-155. Projecte Qualitat I Millora Contínua (2005a): Manual d’Indicadors Bàsics, Xarxa Q1. http://www.xtec.net/fp/qualitat/mib%20(resultats%200405).pdf, 27.12.2005. Projecte Qualitat I Millora Contínua (2005b): Pla de treball anual de les xarxes objectius i organització des projecte, Curs 2005-06. http://www.xtec.net/fp/, 27.12.2005.

346

11 Quellen

Quality Assurance Agency for Higher Education (Hg.) (2000): Handbook for academic review, Gloucester. www.qaa.ac.uk, 2.11.2005. Quality Assurance Agency for Higher Education (2004): Handbook for academic review: England, 2004, for review of directly funded higher education in further education colleges, Mansfield. www.qaa.ac.uk, 2.11.2005. Rigby, John (2004): Making Decisions about Science and Technology  between the Devil and the Deep Blue Sea? In: Plattform Forschungs- und Technologieevaluierung: Newsletter 21, June 2004, 2-11. http://www.fteval.at/files/newsletter /Newsletter_21.pdf, 10.6.2005. Robert, Paul (1986): Le Grand Robert de la lange française. Dictionnaire alphabétique et analogique de la langue française, Band 2, 12. Ausgabe, Paris: LeRobert. ROC Aventus (2005): External Audits. Audit Manual ROC Aventus, o.O. Sanders, James R. (Hg.), Beywl, Wolfgang (Bearb.) (2000): Handbuch der Evaluationsstandards: die Standards des "Joint Committee on Standards for Educational Evaluation", Opladen: Leske + Budrich. Schindler, Brigit (2003): Selbstevaluation eines Peer-Review-Verfahrens im Intensivprojekt Schule (IPS), Fachbereich Langzeitfortbildungen, Zentralstelle für Lehrerinnenund Lehrerfortbildung. Ms., Bern. Schmidt, Uwe (2002): Ausgewählte Ergebnisse der Evaluation unter systemischer Perspektive. In: Hennen (2002): 47-81. Schmidt, Uwe (2004): Programmevaluation oder institutionelle Evaluation  konkurrierende Paradigmen? In: Hopbach (2004b): 226-236. Schmidt, Uwe (2005): Zwischen Messen und Verstehen. Anmerkungen zum Theoriedefizit in der deutschen Hochschulevaluation. evaNet-Positionen 06/2005. http://evanet.his./de/evanet/positionen/positionen2005/Schmidt.pdf, 6.2.2006. Schratz, Michael (1996): Die Rolle der Schulaufsicht in der autonomen Schulentwicklung: eine Untersuchung über Selbstbild, Rollenklärung und Fortbildungsbedarf im Hinblick auf die Autonomisierung des österreichischen Schulwesens. Forschungsbericht i.A. des BMUK. Bildungsforschung des Bundesministeriums für Unterricht und kulturelle Angelegenheiten 10. Innsbruck: Studienverlag. Schratz, Michael; Jakobsen, Lars Bo; MacBeath, John, Meuret, Denis (2002): Serena, oder: Wie Menschen ihre Schule verändern. Schulentwicklung und Selbstevaluation in Europa. Bibliothek Schulentwicklung, Bd. 6. Innsbruck:. Studienverlag. Schratz, Michael (2004): Peer Review, In: journal für lehrerinnen- und lehrerbildung 4/2004, 58-60. Scottish Further Education Funding Council (SFEFC); HM Inspectorate of Education (HMIe) (2004a): Standards and Quality in Scottish Further Education. Quality Framework for Scottish Further Education Colleges, May 2004. http://www.hmie.gov.uk/about_us/inspections/documents/sfefc_framework.doc, 7.12.2005 Scottish Further Education Funding Council (SFEFC); HM Inspectorate of Education (HMIe) (2005a): Standards and Quality in Scottish Further Education Colleges in Academic Years 2004-5 to 2007-8, National Briefing Document, August 2005. http://www.hmie.gov.uk/about_us/documents/national%20briefing%20document%2 02005.doc, 7.12.2005

11.1 Literatur

347

Scottish Further Education Funding Council (SFEFC); HM Inspectorate of Education (HMIe) (2005b): Specification for the Review of Standards and Quality in Scottish Further Education Colleges in Academic Years 2004-5 to 2007-8, Supporting information: August 2005. http://www.hmie.gov.uk/about_us/documents/supporting%20information%20for%2 0fe.doc, 7.12.2005 Scottish Further Education Funding Council and Her Majesty's Inspectorate of Education: Service Level Agreement for the period 1 August 2005 to 31 July 2006. http://www.hmie.gov.uk/about_us/documents/SLA2005-6.pdf, 7.12.2005 Scottish Further Education Funding Council and Her Majesty's Inspectorate of Education: Memorandum of Understanding for the Period 1 August 2004 To 31 July 2008. http://www.hmie.gov.uk/about_us/inspections/documents/MemorandumofUnderstan ding.pdf, 7.12.2005 Scottish Further Education Funding Council and Her Majesty's Inspectorate of Education (2004): Standards and Quality in Scottish Further Education. Additional material to assist in the application of the quality elements A5 and A7 From the Quality Framework for Scottish FE Colleges, November 2004. http://www.hmie.gov.uk/about_us/ inspections/documents/A5%20and%20A7%20 additional%20material%20final.doc, 7.12.2005. Scriven, Michael (1991): Evaluation Thesaurus, Fourth Edition, Newbury Park: Sage Publications. Specht, Werner (1999b): Qualitätsentwicklung zwischen Staat, Profession und Markt. Internationale Trends  Entwicklungen in Österreich. Referat vor dem Verein der österreichischen Landesschulinspektoren, Schloß St. Martin bei Graz, 19.5.1999. http://www.qis.at/qn/userfile/spe_qsta.pdf, 30.3.2006. Specht, Werner (2003): Regionale Bildungsplanung zwischen Schulentwicklung und Systemsteuerung. In: Erziehung und Unterricht 7-8/2003 (153. Jahrgang), 774-798. Speer, Sandra; Kotischke, Henry (2005): Evaluationsstandards in der Berufsbildung. In: berufsbildung 91/92, 36-37. Spiel, Christiane (2001): Evaluation universitärer Lehre  zwischen Qualitätsmanagement und Selbstzweck, Münster: Waxmann. Spiewak, Martin (2004): Alarm im Lehrerzimmer. Deutschlands Kultusbehörden entdecken die Schulinspektion. In: Die Zeit Nr. 13, 18.3.2004. Spiewak, Martin (2005): Wenn der Inspektor zweimal klingelt. Auch Schulen bekommen Zeugnisse. Tagelang streifen Prüfer durch die Klassenräume. Das Protokoll einer Begutachtung. In: Die Zeit Nr. 27, 30.6.2005, 35-36. Stamm, Margrit (1998): Qualitätsevaluation und Bildungsmanagement an sekundären und tertiären Bildungsorganisationen. Aarau/Köln: Fortis. Stamm, Margrit (2003): Evaluation und ihre Folgen für die Bildung. Eine unterschätzte pädagogische Herausforderung. Internationale Hochschulschriften 149. Münster: Waxmann. Stamm, Margrit; Büeler, Xaver (1999): Peer Review an sechs bernischen Schulen. Ergebnisse der Begehungen von Mai bis Juni 1999. Aarau/Zürich.

348

11 Quellen

Standaert, Roger (2000): Inspectorates of Education in Europe. A Critical Analysis. Standing International Conference of Central and General Inspectorates of Education, SICI (Hg.). Utrecht. http://www.sici.org.uk/reports/INSPECTORATES%20OF%20 EDUCATION%20IN%20EUROPE_JAN00.pdf, 23.3.2006. Stockmann, Reinhard (Hg.) (2004): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen: Leske + Budrich. Stockmann, Reinhard (2004): Evaluation in Deutschland, In: Stockmann (2004): 13-43. Stöger, Eduard; Lassnigg, Lorenz (2005): LdV Project “Peer Review in initial VET”: National Report Austria, Ms. Strahm, Peter (2003): Konzept zur Aus- und Fortbildung von schuleigenen Fachpersonen für Qualitätsentwicklung im Intensivprojekt Schule IPS, Semesterarbeit Universität Bern, NDS Weiterbildungsmanagement. Ms., Melchnau. Strahm, Peter (2004a): Von der internen zur externen Evaluation am Beispiel des Intensivprojektes Schule IPS. Ein Projekt der Zentralstelle für Lehrerinnen- und Lehrerfortbildung des Kantons Bern. Ms., Bern. Strahm, Peter (2004b): Manual Peer Review IPS 2004. Ms., Bern. Strahm, Peter (2004c): IPS-Bericht 2004. Ms., Bern. Strahm, Elisabeth; Strahm, Peter (2005): LdV Project “Peer Review in initial VET”: National Report Switzerland. Ms., o.O. Strittmatter, Anton (2002): Qualitätsentwicklung und Wissensmanagement  ein Zusammenhang? CIEA 2002, 23. Internationaler Lehrgang über die berufliche Ausbildung und das Unterrichtswesen in der Landwirtschaft, Mittwoch 21. August 2002. http://www.ciea.ch/documents/s02_strittmatter_d.pdf, 2.2.2005. Swaffield, Sue (2004): Exploring Critical Friendship through Leadership for Learning. 17th International Congress for School Effectiveness and Improvement (ICSEI), Rotterdam, 6 – 9 January 2004, University of Cambridge Faculty of Education. A paper within the symposium: 'Leadership for Learning: The Cambridge Network', http://www.educ.cam.ac.uk/lfl/ICSEI04/swaffield04.doc, 13.1.2005. Tenberg, Ralf (2005): Change-Management. Erfolgreiche Implementierung eines schulischen Qualitätsmanagements. In: berufsbildung, Heft 91/92 (2005), 3-6. Toonen, Paula (2005): The engaged passenger: professional development of schools and leadership in South Africa. In: footprints vol. 3, issue 4, 2005, 116-119. Van Vught, Frans A. (1997): The Humboldtian University Under Pressure. New Reforms of Quality Review in Western European Higher Education. In: Altrichter et al. (1997): 48-87. Vlsceanu, Lazr; Grünberg, Laura; Pârlea, Dan (2004): Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions Papers on Higher Education, UNESCO/CEPES (Hg.). Papers on Higher Education. Bucharest. Webster’s Third International Dictionary of the English Language (1981), Chicago: Merriam-Webster. Webster’s New Encyclopedic Dictionary (1996), Revised Edition. Köln: Könemann. Weingart, Peter (2001): Die Stunde der Wahrheit? Zum Verhältnis der Wissenschaft zu Politik, Wirtschaft und Medien in der Wissensgesellschaft, Weilerswist: Velbrück. Widmer, Thomas (1996): Meta-Evaluation. Kriterien zur Bewertung von Evaluationen, Bern: Paul Haupt.

11.2 Websites

349

Widmer, Thomas (2004): Qualität der Evaluation  Wenn Wissenschaft zur praktischen Kunst wird, In: Stockmann (2004): 83-109. Widmer, Thomas; Landert, Charles; Bachmann; Nicole (2000): Evaluations-Standards der Schweizerischen Evaluationsgesellschaft (SEVAL-Standards), o.O., 5. Dezember 2000. Wisler, Carl (Hg.) (1996): Evaluation and Auditing: Prospects for Convergence. New Directions for Program Evaluation, volume 1996, issue 71. Wisler, Carl (1996): Editor’s Notes, In: New Directions for Program Evaluation 1996/71, 1-5.

11.2 Websites http://communities.trainingvillage.gr/quality, 30.3.2006. http://de.wikipedia.org/wiki/Peer-Review, 24.2.2005. http://europa.eu.int/comm/education/archive/poledu/question/quest2-de.pdf, 2.1.2006. http://generator.bveraad.intermax.nl/web/show?id=145871, 30.12.2005. http://lnhf.gwdg.de/ciwm/dokumente/peerreview.htm, 24.2.2004. http://s1.teamlearn.de/b-1-eiver, 28.12.2005. http://schulentwicklung.lernnetz.de/evit.php, 9.12.2005. http://schulentwicklung.lernnetz.de/grundsatz.php?group=6, 9.12.2005. http://taten.municipia.at/alle/f0002033.html, 2.11.2005. http://www.aafp.org/fpm/20000400/28usin.html, 10.6.2005. http://www.aahe.org/teaching/Peer_Review.htm, 4.10.2004. http://www.aicpa.org/members/div/practmon/, 4.10.2004. http://www.bfs.admin.ch/bfs/portal/de/index/institutionen/oeffentliche_statistik/bundessta tistik/entwicklungen__trends/peer_review.html, 10.6.2005. http://www.chea.org/international/inter_glossary01.html, 5.11.2004 http://www.enqa.net/about.lasso, 10.6.2005. http://www.europeanevaluation.org/doc_search.rm, 27.10.2004. http://www.evit-sh.de/, 9.12.2005 (EVIT 2004). http://www.evit-sh.de/informationen.php, 9.12.2005. http://www.evit.lernnetz.de/, 9.12.2005 (EVIT 2005). http://www.evit.lernnetz.de/allgemein/info.php, 9.12.2005. http://www.ey.com/global/content.nsf/Austria/Qualitaetsueberwachung_durch_Peer_Revi ew, 24.2.2005 und 2.11.2005. http://www.fhr.ac.at/fhr_inhalt/02_qualitaetssicherung/qualitaetssicherung.htm, 2.11.2005. http://www.fteval.at/files/newsletter/Newsletter_21.pdf, 2.11.2005. http://www.heideschule.de/peer_review.htm (28.11.2003) http://www.hmie.gov.uk/, 7.12.2005. http://www.hmie.gov.uk/ABOUT_US/staff/management_board.asp, 7.12.2005. http://www.hmie.gov.uk/about_us/lay_member.asp, 2.1.2006. http://www.hmie.gov.uk/about_us/DayInLife.asp, 2.1.2006. http://www.hmie.gov.uk/about_us/documents/HMIECharter2005.doc, 7.12.2005. http://www.hmie.gov.uk/ABOUT_US/quality/maintain_quality.asp, 7.12.2005. http://www.idw.de/, 2.11.2005.

350

11 Quellen

http://www.INK.nl, 7.12.2005. http://www.lvb.ch/fqs.htm, 28.12.2005. http://www.mk.niedersachsen.de/master/C10063461_L20, 22.2.2006. http://www.ncsu.edu/provost/peer_review/definereview.htm, 10.6.2005 http://www.oph.fi/english/pageLast.asp?path=447;490;35909;38122, 10.6.2005. http://www.peerreview.almp.org/de, 10.6.2005. http://www.peer-review-education.net, 2.11.2005. http://www.peer-review-social-inclusion.net/peer/de/general_information, 2.11.2005. http://www.provost.wisc.edu/archives/ccae/MOO/index.html, 2.11.2005. http://www.qaa.ac.uk, 2.11.2005. http://www.qualitative –research.net/fqs-texte/1-00/1-00penichebergold-d.htm, 24.2.2005. http://www.qibb.at/, 30.3.2006. http://www.royalsoc.ac.uk/page.asp?id=2176. 2.11.2005. http://www.turnitin.com/static/products_services/peer_review.html, 10.6.2005. http://www.univation.org/index.php?class=seite&id=9025, 30.3.2006. http://www.vdr.de/internet/vdr/home.nsf/index.htm?OpenPage&content=http://www.vdr. de/internet/vdr/reha.nsf/0/BD3F3DAB62CA7580C1256B7D003AB1DB?OpenDocu ment, 24.2.2005. http://web.archive.org/web/20031130002849/www.heideschule.de/quek_grundsatz.htm, 7.12.2005 (unter Veröffentlichungen, identisch mit Dokument quek_grundsatz s.u.). http://web.archive.org/web/20031130002849/http://www.heideschule.de/quek_grundsatz. htm, 7.12.2005. http://web.archive.org/web/20031130002049/www.heideschule.de/q-gruppe.htm, 7.12.2005. http://web.archive.org/web/20031128225852/www.heideschule.de/peer_review.htm, 7.12.2005. http://web.archive.org/web/20050320040327/http://www.ipsbe.ch/, 22.2.2006. http://web.archive.org/web/20041104063416/www.hmie.gov.uk/about_us/who/report_au dience.asp, 2.1.2006. http://web.archive.org/web/20041109193545/http://www.mk.niedersachsen.de/master/C2 989004_L20, 22.2.2006. http://en.wikipedia.org/wiki/Peer_review, 4.10.2004. http://www.xtec.net/fp/, 27.12.2005. http://www.lch.ch/3/zweck_ziele.html, 30.3.2006.

11.3 Handreichungen, ausgefüllte Leitfäden, Projektbeschreibungen Camps, Josef (2005): Ergänzungen zur Projektbeschreibung "Projecte Qualitat I Millora Contínua" anhand eines Fragebogens. Canyadell, Pere; Camps, Josep, Koordinatoren des Projekts “Quality and Continuous Improvement in VET". General Directorate of Vocational Education, Ministry of Education (2005): Projektbeschreibung "Projecte Qualitat I Millora Contínua", anhand eines Fragebogens. E-mail-Korrespondenz mit Josep Camps Februar-Dezember 2005.

11.4 Interviews

351

De Ridder, Willem (2005b): Experiences with Peer Review – ROC Aventus, Handreichung, Ms. De Ridder, Willem (2005c): Ergänzungen zum Peer-Review-Verfahren an ROC Aventus, 7.11.2005. E-mail-Korrespondenz mit Willem de Ridder März–November 2005. Hollstein, Rick (2005b): Experiences with Peer Review – Aberdeen College, Handreichung, Ms. Nieminen, Gun Marit; Selenius, Pekka (2005): Ergänzungen zum Peer-Review-Verfahren an finnischen Gastgewerbeschulen anhand eines Fragebogens. Strahm; Peter (2005): Ergänzungen zur Projektbeschreibung des Intensivprojekts Schule (IPS), 5.11.2005. Reghellin, Lucio (2005a): Handout Peer Review CNOS-FAP, Handreichung, Ms. Reghellin, Lucio (2005b): Ergänzungen zur Projektbeschreibung "Peer Review CNOSFAP" anhand eines Fragebogens.

11.4 Interviews Interview mit Elke Gerriets, Institut für Qualitätsentwicklung (IQ), Projektkoordinatorin eiver – Evaluation im Verbund, 7.12.2005. Interview mit Dagmar Giebenhain, TU Darmstadt, wissenschaftliche Begleitung des Projekts eiver – Evaluation im Verbund anhand des Erhebungsleitfadens, 9.3.2005. Interview mit Dagmar Giebenhain, TU Darmstadt, wissenschaftliche Begleitung des Projekts eiver – Evaluation im Verbund, 27.11.2005. Interview mit Willem de Ridder, Qualitätsbeauftrager ROC Aventus, 8.11.2005. Interview mit Christian Kühme, Verantwortlicher für Evaluation im Verbund (EVIT), 16.12.2005. Peer Review Panelinterview (2005), das anlässlich des 2. transnationalen Partnertreffens des Projekts „Peer Review in initial VET“ von MGG durchgeführt wurde; GesprächspartnerInnen: Willem de Ridder (ROC Aventus, Niederlande), Gun Marit Nieminen (Perho Culinary School, Finnland), Lucio Reghellin (CNOS-FAP, Italien), Rick Hollstein (Aberdeen College, Schottland), Peter Strahm (Intensivprojekt Schule, Schweiz), 28.4.2005.