Michael Häder Delphi-Befragungen
Michael Häder
DelphiBefragungen Ein Arbeitsbuch 2. Auflage
Bibliografische Inform...
75 downloads
2075 Views
1MB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
Michael Häder Delphi-Befragungen
Michael Häder
DelphiBefragungen Ein Arbeitsbuch 2. Auflage
Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.
. 2. Auflage 2009 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH, Wiesbaden 2009 Lektorat: Frank Engelhardt VS Verlag für Sozialwissenschaften ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Druck und buchbinderische Verarbeitung: Ten Brink, Meppel Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in the Netherlands ISBN 978-3-531-16655-1
Inhalt
Vorwort ................................................................................................................... 9 1
2800 Jahre Delphi: Ein historischer Überblick ................................... 13
2 2.1 2.1.1
Begriffsbestimmungen ........................................................................... Was sind Delphi-Befragungen? ............................................................... Delphi-Befragungen als Verfahren zur Steuerung von Gruppenkommunikation ........................................................................... Delphi-Befragungen als Verfahren zur Erforschung bestimmter Sachverhalte ............................................................................................. Diskussion der Definitionen ..................................................................... Typen von Delphi-Befragungen: Ein Einteilungsversuch ........................ Die klassische Delphi-Befragung ............................................................. Varianten .................................................................................................. Die Grenzen von Delphi-Befragungen, oder: Wie Experten irren (können) ................................................................................................... Delphi-Befragungen zur Ideenaggregation, Vorhersage von Sachverhalten, Ermittlung von Expertenansichten und zur Konsensfindung ........................................................................................
2.1.2 2.1.3 2.2 2.2.1 2.2.2 2.3 2.4
19 19 19 21 22 24 24 25 27
30
3 3.1 3.2 3.3 3.3.1 3.3.2 3.4 3.5
Wissenschaftstheoretische Grundlagen ................................................ 39 Erkenntnistheoretische Grundlagen .......................................................... 39 Das „1 + n“ Argument .............................................................................. 40 Kognitionspsychologische Grundlagen .................................................... 43 Die Urteilsbildung in der ersten Welle ..................................................... 44 Die Urteilsbildung in den Folgewellen ..................................................... 48 Das SIDE-Modell ..................................................................................... 50 Die Schätzung von Eintrittswahrscheinlichkeiten ……………………...… 53
4 4.1 4.2 4.3
Delphi-Befragungen in Vergleich zu ähnlichen Ansätzen ................... Gruppendiskussionen ............................................................................... Expertenbefragungen ............................................................................... Deliberative Polls .....................................................................................
55 55 60 63
6
Inhalt
5 5.1 5.2
Anwendungsgebiete von Delphi-Befragungen ..................................... 65 Vorhersagen von Entwicklungen auf unterschiedlichen Gebieten ........... 65 Delphi-Befragungen mit weiteren Zielstellungen ..................................... 72
6 6.1 6.2 6.3
Planung von Delphi-Befragungen ......................................................... Vor Beginn der Studie .............................................................................. Kostenverursachende Faktoren bei einer Delphi-Befragung .................... Besonderheiten der Planung rein quantitativer DelphiBefragungen .............................................................................................. Vergabe der Feldarbeit an ein kommerzielles Institut .............................. Selbstorganisierte Delphi-Befragungen ....................................................
6.4 6.5 7 7.1 7.2 7.2.1 7.2.2 7.2.3 7.2.4 7.2.4.1 7.2.4.2 7.2.4.3
7.2.4.4 7.2.4.5 7.2.5 7.2.6 7.3 7.4 7.5 7.6 7.6.1 7.6.2 7.6.3
77 77 80 83 84 85
Designs von Delphi-Befragungen .......................................................... 87 Operationalisierung der Fragestellung und Aufbereitung des Problems mithilfe der Facettentheorie ..................................................................... 88 Theorie und Praxis der Rekrutierung der Experten .................................. 92 Überlegungen zur Zusammensetzung der Expertengruppe ...................... 92 Hinweise zum Umfang der Expertengruppe ............................................. 95 Die bisherige Praxis bei der Zusammenstellung der Expertengruppe, eine Auswahl ............................................................................... 96 Wie findet man Experten für eine Delphi-Befragung? ............................. 99 Das Vorgehen bei der Rekrutierung von Experten für eine (rein) qualitative Delphi-Befragung ................................................................. 100 Das Vorgehen bei der Rekrutierung von Experten für eine DelphiBefragung zur exakten Bestimmung eines Sachverhalts ........................ 102 Das Vorgehen bei der Rekrutierung von Teilnehmern für eine DelphiBefragung zur Ermittlung der Ansichten einer bestimmten Experten gruppe .................................................................................................... 104 Die Rekrutierung von Teilnehmern für eine Delphi-Befragung zur Konsenserzeugung ........................................................................... 107 Zusammenfassung .................................................................................. 109 Innerbetriebliche Delphi-Befragungen ................................................... 109 Praktische Tipps ..................................................................................... 112 Die qualitative Befragungsrunde ............................................................ 116 Zahl der Befragungsrunden .................................................................... 119 Fragebogen und Anschreiben an die Teilnehmer für die quantitative Bewertung .......................................................................... 121 Fragetypen in Delphi-Studien ................................................................ 125 Die subjektive Kompetenzfrage ............................................................. 126 Die Schätzung von Zeitintervallen ......................................................... 128 Die Schätzung weiterer numerischer Angaben ....................................... 130
Inhalt
7.6.4 7.6.5
7
7.8 7.9 7.9.1 7.9.2 7.9.3 7.10 7.11
Die Bewertung von Entwicklungen, Folgeproblemen, Szenarien u.ä. .... Die Bewertung des gleichen Sachverhalts aufgrund unterschiedlicher Fragestellungen ............................................................................ Fragen zur Person des Experten ............................................................. Die Erhebung von Megatrends ............................................................... Die Aufnahme offener Fragen in die quantitativen Wellen und die Bitte um Kommentare ............................................................................ Zu komplexe Indikatoren und Fragen, die für Delphi-Studien weniger geeignet erscheinen .................................................................. Pretest .................................................................................................... Das klassische Vorgehen ........................................................................ Kognitive Methoden .............................................................................. Expertenratings ...................................................................................... Ein Beispiel: Der Pretest zur Delphi-Befragung „Zukunft des Handwerks“ ............................................................................................ Anonymität ............................................................................................. Das Feed-back ........................................................................................ Feed-back bei numerischen Schätzungen ............................................... Feed-back bei Bewertungen von Sachverhalten ..................................... Feed-back bei offenen Fragen ................................................................ Rücklaufkontrolle und Panelmortalität ................................................... Abschlussberichte ..................................................................................
8 8.1 8.2 8.3
Computerunterstützte Delphi-Befragungen ...................................... Stand der Dinge ...................................................................................... Beispiele ................................................................................................. Zusammenfassung der Vor- und Nachteile ............................................
9
Der Datenschutz bei Delphi-Befragungen .......................................... 171
10 10.1 10.2 10.3
Datenerfassung und –analyse................................................................ 175 Aufbereitung der Daten .......................................................................... 175 Facettentheoretisch gestützte Datenanalyse ........................................... 177 Weitere Vorgehensweisen bei der Datenauswertung ............................. 186
11 11.1 11.2 11.3 11.4
Evaluation von Delphi-Befragungen .................................................. Generelle Ziele der Evaluation ............................................................... Evaluation aufgrund vorhergesagter Ereignisse ..................................... Evaluation mithilfe von Almanachfragen ............................................... Begründung der Funktionsweise von Delphi-Befragungen mithilfe kognitionspsychologischer Tests ..............................................
7.6.6 7.6.7 7.6.8 7.6.9 7.7 7.7.1 7.7.2 7.7.3 7.7.4
132 134 134 135 136 137 139 140 141 142 142 148 150 151 154 155 157 160 163 163 164 168
191 191 193 194 199
8
Inhalt
11.5 11.6
Vergleich von Delphi-Befragungen mit anderen Ansätzen .................... 206 Tests mithilfe eines manipulierten Feed-backs ....................................... 208
12
Methodenforschung zu Delphi-Befragungen ..................................... 211
Literatur .............................................................................................................. 215 Anhang: Auswahl von Delphi-Studien ............................................................. 235 Personenregister ………………………………………………..………………. 243
Vorwort
Seit Mitte der 1990-er Jahre ist eine erhöhte Aufmerksamkeit gegenüber DelphiBefragungen zu bemerken. So wurde damals zum Beispiel ein gestiegener Beratungsbedarf für dieses Verfahren am Zentrum für Umfragen, Methoden und Analysen1 in Mannheim (ZUMA) registriert. Auch gegenwärtig erhält der Autor zahlreiche Anfragen, die den Delphi-Ansatz betreffen. Vermehrt sind Delphi-Befragungen beziehungsweise deren Ergebnisse auch Gegenstand der Ausbildung an Universitäten und Fachhochschulen geworden. Großes Interesse ist an den inzwischen vorgelegten Publikationen zu Delphi-Befragungen zu konstatieren. Hier zeichnet sich jedoch insbesondere ein Bedarf an Veröffentlichungen ab, die überblicksartig erklären, wie diese Befragungen anzulegen sind. Diese Monographie versucht nun – zum Teil im Sinne eines How-to-do – dieser Erwartung gerecht zu werden. Gegenstand sind außerdem die Erfahrungen im Umgang mit Delphi-Befragungen, die aus einer Vielzahl von Studien gewonnen wurden und die auf diesem Weg einem breiteren Interessentenkreis vorgestellt werden sollen. Um das Gewicht des Themas Delphi-Befragungen einleitend noch weiter herauszuarbeiten, sollen zwei Autoritäten aufgerufen werden: der Wissenschaftsrat, der die Bundesregierung und die Regierungen der Länder in Fragen der inhaltlichen und strukturellen Entwicklung der Hochschulen, der Wissenschaft, der Forschung und des Hochschulbaus berät sowie der ehemalige Präsident des Wissenschaftszentrums für Sozialforschung in Berlin und Vorsitzender der Deutschen Gesellschaft für Soziologie, Wolfgang Zapf. Der Wissenschaftsrat hat in seinen Thesen zur zukünftigen Entwicklung des Wissenschaftssystems in Deutschland empfohlen, im Rahmen eines vom Staat initiierten Programmfindungsprozesses, in dessen Verlauf die Kooperation von Wissenschaft, Wirtschaft und Staat gefördert wird, auch Delphi-Befragungen zu nutzen: „Der Programmfindungsprozess sollte möglichst transparent unter Einbeziehung aller relevanten Akteure gestaltet werden. Moderne diagnostische Instrumente wie z.B. Prospektions- und Delphi-Verfahren sollen bei der Programmfindung soweit wie möglich und sinnvoll einbezogen werden“ (Drs. 4594/00 vom 7. Juli 2000:17). Für den Wissenschaftsrat ist die Delphi-Technik offenbar vor allem deshalb interessant, weil mit
1
Das ZUMA ist inzwischen im GESIS – Leibniz Institut für Sozialwissenschaften aufgegangen. Mehr Informationen über die GESIS finden sich im Internet unter der folgenden URL: http://www.gesis.org/ (aufgerufen am 1.07.2009)
10
Vorwort
ihrer Hilfe Konsens unter den beteiligten Experten2 beziehungsweise Institutionen erzielt werden kann. Auch aus der Sicht der Sozialwissenschaften wurde implizit ein dringender Bedarf an Ansätzen wie der Delphi-Technik konstatiert. So bemerkte Zapf auf einer Feier aus Anlass des 25-jährigen Bestehens von ZUMA zu den Entwicklungstendenzen in der sozialwissenschaftlichen Methodik: „Noch immer ungeküsst ist die Idee einer prospektiven Sozialberichterstattung. Dies meint Versuche, die verstreuten prognostischen Verfahren ... systematisch auszubauen, um neben die Retrospektivund Status quo-Beschreibung auch kontrollierte Prognosen oder Vergleiche alternativer Zukunftsentwürfe stellen zu können“ (Zapf 1999:29 [Hervorhebung im Original; M.H.]). Die Attraktivität von Delphi-Befragungen resultiert damit auch aus deren Vermögen, prognostische Aussagen zu treffen. Die vorliegende Monographie beginnt mit einem historischen Exkurs zum Orakel von Delphi, einem Ort im heutigen Griechenland (Abschnitt 1). Diesem verdankt die Befragungstechnik ihren Namen. Es wird weiter gezeigt, welche Entwicklung die Anwendung des Delphi-Gedankens seit seiner „Wiederentdeckung“ Ende der 1940er Jahre genommen hat. Danach (Abschnitt 2) wendet sich die Darstellung den verschiedenen Begriffsbestimmungen für Delphi-Befragungen zu. Eine Reihe vorliegender Ansichten wird referiert und auf deren Grundlage ein Vorschlag für die Systematisierung von Delphi-Befragungen abgeleitet. Es schließt sich (Abschnitt 3) die Beschreibung der wissenschaftstheoretischen Grundlagen von Delphi-Befragungen an. Mit dieser Beschreibung wird der Versuch unternommen, einer bisher nicht eingelösten Forderung nach theoretischer Fundierung des Ansatzes nachzukommen. Es folgen ein Vergleich des Delphi-Ansatzes mit anderen methodischen Zugängen (Abschnitt 4) wie Gruppendiskussionen und Expertenbefragung sowie eine Beschreibung der bisherigen Anwendungsgebiete (Abschnitt 5) von Delphi-Befragungen. Einen relativ großen Raum nimmt nachfolgend die Darstellung der praktischen Aspekte, die bei der Veranstaltung von Delphi-Befragungen beachtet werden sollten, ein. Beginnend mit der Erstellung eines Projektplanes (Abschnitt 6) wird ausführlich behandelt, wie ein geeignetes Befragungsdesign (Abschnitt 7) gefunden werden kann. Innerhalb dieses Abschnittes wird beispielsweise auf die Operationalisierung der Fragestellung, die Rekrutierung der Teilnehmer, die Erstellung des Fragebogens, den Pretest sowie auf die Gestaltung des Feed-backs eingegangen. Der Abschnitt schließt mit Hinweisen für die Dokumentation des methodischen Vorgehens bei einer Delphi-Befragung.
2
Wenn nicht ausdrücklich auf das weibliche oder männliche Geschlecht hingewiesen wird, sind personenbezogene Begriffe wie Expertinnen und Experten generisch gemeint.
Vorwort
11
Eine besondere Spezifik besitzen computerunterstützte Delphi-Befragungen, bei denen der Kontakt zwischen den Teilnehmern über das Internet vermittelt wird. Diese Vorgehensweise, die in Zukunft noch stark an Bedeutung gewinnen dürfte, wird in einem eigenen Abschnitt (Abschnitt 8) vorgestellt. Der Designentwicklung schließt sich dann die eigentliche Erhebungsphase an, während der von den Experten die Fragebögen bearbeitet werden. In diesem Rahmen sind die Bestimmungen des Datenschutzes zu beachten. Der Datenschutz bei DelphiBefragungen wird ebenfalls in einem separaten Abschnitt besprochen (Abschnitt 9). Der Feldphase folgt schließlich die Erfassung und Aufbereitung der Daten sowie die Darstellung der Befragungsresultate. Hier sind Aufgaben zu lösen, für die in der Umfrageforschung bereits Standards vorliegen. Vor allem bei der Datenanalyse gibt es aber durchaus einige delphispezifische Arbeitsschritte. Letzteren wird eine besondere Aufmerksamkeit geschenkt (Abschnitt 10). In einem gesonderten Abschnitt werden Ansätze zur empirischen Evaluation von Delphi-Befragungen (Abschnitt 11) behandelt. Der Anwender, den die Frage bewegt, inwieweit er den Ergebnissen seiner Delphi-Befragung Vertrauen schenken kann und/oder der nach Argumenten sucht, um Kritiker vom Funktionieren des benutzten Ansatzes zu überzeugen, wird in diesem Abschnitt Argumente finden. Abschließend wird der Stand der methodischen Bemühungen um DelphiBefragungen (Abschnitt 12) vorgestellt. Trotz einer bereits längeren Tradition, die es bei der Anwendung dieser Befragungstechnik durchaus gibt, ist die Entwicklung des Verfahrens noch nicht abgeschlossen. Ein Bedarf an Grundlagenforschung lässt sich vor allem in Bezug auf die weitere Evaluation des Gesamtansatzes sowie in Hinsicht auf die Entwicklung von Standards für das Forschungsdesign lokalisieren. Das Buch endet (Anhang) mit einer umfangreichen Literaturzusammenstellung sowie mit der kurzen Benennung von 68 Delphi-Befragungen unterschiedlichsten Charakters aus den letzten Jahren. Sie werden ergänzt werden durch zahlreiche Verweise auf weitere Quellen, die es dem Leser ermöglichen, zusätzliche Informationen zu diesen Arbeiten einzuholen. Auch aus diesen beiden Abschnitten kann ein potenzieller Anwender von Delphi-Befragungen Anregungen für sein Vorhaben gewinnen. Dies ist letztlich zugleich auch das Grundanliegen der gesamten hier vorliegenden Monographie. Für hilfreiche Kritik, nützliche Hinweise, große Geduld, interessante Anregungen, aufmerksames Zuhören und liebevolle Ermutigungen möchte ich mich vor allem bei meiner Frau, Dr. Sabine Häder, bedanken. Große Unterstützung bei der Fertigstellung des Manuskripts habe ich von Frau Laura Menze erhalten. Auch hierfür möchte ich mich an dieser Stelle bedanken.
1 2800 Jahre Delphi: Ein historischer Überblick
Eine Sage erzählt, dass es anfänglich in Delphi eine Kultstätte der Mutter- und Erdgöttin Gaia gab, die von ihrem Sohn, dem Drachen Python, bewacht wurde. Als Apollon auf der Suche nach einer Heimstätte nach Delphi gelangte, beschloss er, sich hier niederzulassen. Er tötete den Drachen und übernahm das Heiligtum der Gaia. Die ersten Priester seines neuen Heiligtums wurden kretische Seefahrer, die er in Gestalt eines Delfins auf dem Seeweg zur Bucht von Delphi führte. Später versöhnte sich Gaia mit Apollon und dieser hielt ihrem getöteten Sohn zu Ehren alle vier Jahre die pythischen Spiele ab.1 Etwa seit dem 8. Jahrhundert vor Christi Geburt stand in Delphi ein Tempel, der ein Orakel beherbergte. Die Blütezeit dieses Orakels lag im 6. und 5. Jahrhundert vor Christus. Apollon, der Gott der Weisheit, sprach durch seine Priesterin, Pythia genannt, und erfüllte sie mit seiner Weisheit, so dass sie Ratsuchenden helfen konnte. Wenn man einen Rat brauchte, ging man zur Priesterin Pythia und unterrichtete sie. Dann formulierte man seine Frage und legte sie dem Orakel schriftlich vor. Danach hatte man sein Opfer zu bringen und auf den Tag der Orakelgebung zu warten. Die Antwort wurde von der Pythia schließlich in Versen gesprochen oder gereimt verkündet. Die Ratschläge wurden allerdings zumeist zweideutig formuliert: Zum Beispiel wurde Kroisus gesagt, wenn er in den Krieg ziehe, werde er ein großes Reich zerstören. Er dachte, dass das Reich seines Gegners gemeint sei. Allerdings zerstörte er durch den Krieg dann sein eigenes Reich. Vermutlich wurden die meist aus dem Dorf von Delphi stammenden jungen Frauen, die jeweils zur Priesterin bestimmt wurden, durch Kauen von Lorbeerblättern in Rauschzustände versetzt und gaben unartikulierte Laute von sich. Daraus wurde von Priestern der eigentliche Spruch in Versform oder auch in Prosa formuliert. Die Pythia nahm an den Beratungen der Priester teil und verkündete nur deren Ergebnis. Sie saß in der Mitte eines Raumes im hinteren Teil des Apollontempels auf einem goldenen Dreifuß. Man nimmt weiterhin an, dass es neben dem Spruchorakel auch ein „Bohnen“Orakel gab, bei dem durch Losverfahren Fragen mit „ja“ oder „nein“ beantwortet wurden. Beispielsweise konnte aus einem Gefäß, das mit schwarzen und weißen Bohnen gefüllt war, eine entnommen werden. Bei Ziehung einer weißen Bohne lautete die Antwort „ja“, bei Ziehung einer schwarzen „nein“.
1
Zur Mythologie vgl. zum Beispiel: http://www.geschi.de/artikel/orkdelph.shtml (letzter Zugriff 27.05.2009) und: http://www.gottwein.de/Hell2000/delph02a.php (letzter Zugriff 27.05.2009)
14
2800 Jahre Delphi
Durch das Orakel konnte Delphi seit dem 8. und 7. Jahrhundert vor Christus auf nahezu alle griechischen Städte politischen und sozialen Einfluss ausüben, da das Orakel besonders bei staatsrechtlichen Fragen wie Kolonisation oder Entscheidungen über Krieg und Frieden zu Rate gezogen wurde. Die größte Blütezeit des Orakels endete mit dem Sieg der Griechen über die Perser 480 vor Christus, da von nun an die politische Beratungsfunktion des Orakels in den Hintergrund trat und es nur noch persönliche Angelegenheiten zu behandeln hatte. Eine kurze Renaissance erlebte Delphi bis 170 nach Christus unter den römischen Kaisern Domitian und Hadrian, die dem Ort zu neuem Glanz verhalfen. Das endgültige Aus kam für das Heiligtum dann im Jahre 381 nach Christus, als Kaiser Theodosius die Einführung des Christentums als Staatsreligion beschloss und den Kult verbot. Nach dem heutigen Stand der Forschung liegt die Hypothese nahe, dass die Priester des Orakels die Antworten auf wichtige Fragen diplomatischer Abgesandter schon vorab festgelegt hatten. Insofern betrieb das Orakel Politik, um die antike Welt zu lenken. Sicher ist, dass in Delphi umfangreiche Kundendateien geführt wurden und die Priester aufgrund ihres hohen Bildungsniveaus und mithilfe weitreichender Kontakte – man könnte mit modernen Begriffen auch von ihrem Expertenstatus sprechen – eine profunde Kenntnis über weltpolitische Angelegenheiten besaßen. Zum Teil wird sogar davon ausgegangen, dass eine Art Agentennetz unterhalten wurde, das dem Orakel eine frühzeitige Informationsbeschaffung sicherte. (vgl. Grupp 1995:26ff.) Diese antike Orakelstätte stand schließlich bei der Namensgebung der DelphiMethode, die auf den Altphilologen A. Kaplan (1950) zurückgeht, Pate. (vgl. Falke/Krüger 2000:19f). Vergleicht man das in der Sage beschriebene Orakel und den Befragungsansatz, der heute den Namen Delphi trägt, so fallen immerhin einige originelle Parallelen auf: ĺ Die Nutzer des Orakels hatten Opfergaben zu bringen, die Vorhersagen waren damit nicht kostenlos erhältlich. ĺ Bei Befragung des Orakels musste eine gewisse Wartezeit eingeplant werden, die Ergebnisse lagen also auch nicht sofort vor. ĺ Um vom Orakel Auskunft zu erhalten, musste die Anfrage schriftlich formuliert werden. Die Form der schriftlichen Befragung mithilfe eines Fragebogens wurde ebenfalls bis heute beibehalten. ĺ Dem Orakelspruch lagen, ähnlich wie auch in der modernen Version, Beratungen in Expertengruppen zugrunde. ĺ Die Antworten des Orakels waren nicht eindeutig, es blieb bereits damals Interpretationsspielraum bei der Auslegung der Ergebnisse.
2800 Jahre Delphi
15
ĺ Schließlich lieferte das Delphi-Orakel Informationen, mit deren Hilfe Einfluss auf das politische Leben in dieser Zeit ausgeübt werden konnte. Auch dies dürfte auch heute noch ein angestrebtes Ziel sein. Der erste Verweis in neuerer Zeit auf die Benutzung eines Ansatzes, das nach dem Orakel von Delphi benannt wurde, stammt aus dem Jahr 1948. Damals soll diese Technik dazu benutzt worden sein, um die Ergebnisse eines Hunde- oder Pferderen2 nens vorauszusagen. In den folgenden Jahren wurde die Delphi-Methode von der RAND Corporation in 14 Experimenten für militärische Zwecke eingesetzt, beispielsweise um mögliche Ziele sowjetischer Angriffe auf die USA zu schätzen. Wissenschaftliche Ergebnisse dieser Studien sind jedoch nicht publiziert worden (vgl. Linstone/Turoff 1975:10). „It may be a surprise to some that the subject of this first study was the application of ‚expert opinion to the selection, from the point of view of a Soviet strategic planner, of an optimal U.S. industrial target system and to the estimation of the number of A-bombs required to reduce the munitions output by a prescribed amount‘“ (Linston/Turoff 1975:10). In der Öffentlichkeit bekannt wurde die Delphi-Methode schließlich durch einen 1964 ebenfalls von der RAND Corporation erarbeiteten „Report on a Long Range Forecasting Study“ (Gordon/Helmer 1964). Das Ziel dieser Studie bestand in der langfristigen Vorhersage wissenschaftlicher und technischer Entwicklungen, wobei eine Zeitspanne von zehn bis fünfzig Jahren als Zeithorizont definiert wurde. Diese Untersuchung wird – fälschlicherweise – in der deutschsprachigen Literatur oft als die erste bezeichnet (vgl. Albach 1970; Geschka 1977; Saliger/Kunz 1981). Seit den 1970-er Jahren fand dann eine Ausbreitung der Delphi-Methode auch in Westeuropa − einschließlich in Deutschland − statt (vgl. Schöllhammer 1970, Klages 1971, Kaufmann 1972). Das methodische Vorgehen bei diesen Folgestudien war zunächst stark vom erwähnten RAND Corporation-Projekt beeinflusst (vgl. Helmer/Rescher 1960; Brown/Cochran/Dalkey 1969, Dalkey/Brown/Cochran 1969, Brown/Helmer 1964). Insbesondere in der Betriebswirtschaft kam es zur Rezeption der Delphi-Methode für Prognosezwecke. Die Einsatzgebiete wurden dann aber schnell vielfältiger, so dass Thomas Seeger bereits 1979 schätzte, es habe innerhalb der 15-jährigen Anwendungsdauer cirka 1.500 Delphi-Untersuchungen verschiedenster Art gegeben (Seeger 1979:32). Als eine der ersten Delphi-Prognosen zur Entwicklung von Wissenschaft und Technologie wurde eine 1971 in Japan vom National Institute of Science and Technology Policy (NISTEP) veranstaltete Delphi-Untersuchung (vgl. NISTEP 1993, 1997; Cuhls/Breiner/Grupp 1995:1) besonders bekannt. Diese ist in den Jahren 2003/2004 zum achten Mal durchgeführt worden und repräsentiert damit eine weit 2
Die Angaben darüber, ob es sich um ein Hunde- oder Pferderennen handelte, widersprechen sich (Woudenberg 1991:132 verus Seeger 1979:57).
16
2800 Jahre Delphi
über 30-jährige Forschungserfahrung. Die neunte Welle ist für die Jahre 2006 bis 2010 geplant.3 Seit Beginn der 1990-er Jahre kann – auch in Deutschland – nach einer gewissen „Ruhephase“ wieder ein stark steigendes Interesse an der Delphi-Technik konstatiert werden. Dafür ist eine Reihe neuer Publikationen ein Indiz. Hierbei handelt es sich im Wesentlichen um Berichte über praktische Einsätze von Delphi-Befragungen. Zu nennen sind insbesondere die Technologievorhersagen in der Bundesrepublik, die hier erstmals 1993 nach japanischem Vorbild veranstaltet wurden (Cuhls/Blind/ Grupp 1998:3). Etwa zur gleichen Zeit sind vermehrt methodische Tests, die der weiteren Entwicklung und der Evaluation der Delphi-Methode dienen, bekannt geworden (vgl. Ammon 2006:115ff.). Problematisch ist, dass Berichte über die Ergebnisse von Delphi-Befragungen teilweise relativ schwierig auffindbar sind. Wer vermutet beispielsweise hinter einer Publikation mit dem Titel „Bildstörung“ (Hasse 1999) die Beschreibung eines besonders originellen Delphi-Ansatzes, zumal auch in den Stichworten zu dieser Monographie kein Verweis auf diese Methode enthalten ist? Als Ursachen für das gewachsene Interesse an Delphi-Befragungen werden eine in dieser Zeit verstärkt wahrgenommene allgemeine Unsicherheit, der verschärfte Wettbewerb auf den Weltmärkten, die Globalisierung der Wirtschaftsunternehmen, der immer unüberschaubarer werdende technische Fortschritt und die dadurch erzwungene Suche nach Orientierungswissen genannt. Michael Häder und Sabine Häder heben besonders die folgenden vier Aspekte, die für das gewachsene Interesse an der Delphi-Methode verantwortlich gemacht werden können, hervor (Häder/Häder 2000:12): ĺ Weitreichende Entscheidungen in Wirtschaft und Wissenschaft müssen von immer mehr Experten vorbereitet und getragen werden. ĺ Experten mit Universalwissen und Universalverantwortungsbereitschaft, die eventuell als Einzelpersonen dazu in der Lage wären, die entsprechenden Entscheidungen zu treffen, werden seltener. An deren Stelle tritt eine Anzahl hoch spezialisierter Fachleute für einzelne Gebiete (Expertengremien). ĺ Entscheidungen dieser Art werden immer komplizierter und komplexer, ihr Zeithorizont wesentlich weiter. Erinnert sei beispielsweise an die Diskussion um den Bau des Transrapid oder um den Klimawandel. ĺ Weitreichende Entscheidungen sind schließlich häufig mit besonders hohen Kosten verbunden. An dieser Stelle soll nicht unerwähnt bleiben, dass selbst die historischen Forschungen zum Orakel von Delphi, das als das wohl berühmteste der antiken Welt gilt, gegenwärtig sehr intensiv betrieben werden. So interessieren sich Historiker bei3
Weitere Informationen zu diesem Ansatz finden sich im Internet unter der folgenden URL: http://www.nistep.go.jp/index-e.html (letzter Zugriff 27.05.2009)
2800 Jahre Delphi
17
spielsweise für die Herkunft der göttlichen Dämpfe, die aus einer Erdspalte unterhalb ihres Tempels strömten und die bei der Priesterin für die nötigen Inspirationen sorgten. „Als der Apollo-Tempel Ende des 19. Jahrhunderts ausgegraben wurde, entdeckten Archäologen weder einen Riss in der heiligen Erde noch irgendwelche berauschenden Ausdünstungen. Möglicherweise, so die Deutung vieler Altertumsforscher, stand Pythia gar nicht unter Drogeneinfluss, sondern hatte einen tranceähnlichen Bewusstheitszustand eingenommen.“4 Die Suche nach diesem Riss ließ einigen Geologen, Anthropologen und Meereskundlern keine Ruhe. Das britische Wissenschaftsmagazin „Nature“ berichtet nun im Juli 20015 in seiner Online-Ausgabe, von der Entdeckung einer zuvor unbekannte Spalte, die direkt unterhalb des Tempels und des Allerheiligsten verläuft. Die Bruchzone wird sowohl von aktiven als auch von ausgetrockneten Quellen unterbrochen. Auch in der Fachzeitschrift „Geology“ wird über die seit langem bekannte Delphi-Verwerfung direkt unterhalb des Tempels diskutiert. Danach werden an derartigen Kreuzungen die darüber liegenden Kalksteinschichten besonders durchlässig für Gase und Grundwasser. Durch seismische Aktivitäten könnten schließlich kohlenwasserstoffhaltige Dämpfe an die Oberfläche gekommen sein. Tatsächlich soll sich im Nordwesten des Tempels eine Quelle befinden, die Spuren von Methan und Äthylen enthält. Dem Gas, früher als Betäubungsmittel eingesetzt, wird ein süßlicher Geruch nachgesagt. Es stimuliert das zentrale Nervensystem, ist in großen Mengen tödlich, in kleinen dagegen ungemein euphorisierend. Offensichtlich genau die richtigen Zutaten für ein funktionierendes Orakel.
4 5
Vgl. Spiegel online unter der folgenden URL: http://www.spiegel.de/wissenschaft/mensch/0,1518,145502,00.html (letzter Zugriff 27.05.2009) Vgl. im Internet unter der URL: http://www.nature.com/news/2001/010717/full/news010719-10.html (letzter Zugriff 27.05.2009)
2 Begriffsbestimmungen
Die Darstellung von Begriffsdefinitionen wird als Einstieg gewählt, um einen ersten Eindruck vom Wesen der Delphi-Befragungen zu vermitteln. In den folgenden Abschnitten (2.1 bis 2.3) werden zunächst eine Reihe von Definitionsversuchen aufgelistet und dabei deren Spezifika diskutiert. Auf der Grundlage dieser Analyse wird dann (Abschnitt 2.4) ein eigenes Konzept vorgestellt, das vier Typen von DelphiBefragungen unterscheidet. 2.1
Was sind Delphi-Befragungen?
Sucht man in den vorliegenden Veröffentlichungen nach Definitionen und in deren Kontext nach Beschreibungen des Wesens von Delphi-Befragungen, so eröffnet sich ein buntes Bild. Die Bestimmungen der Delphi-Methode haben seit ihren Anfängen in den 1950-er Jahren bis heute eine deutliche Diversifikation erfahren. Diese Vielfalt dokumentiert zugleich die sich seitdem ändernden, das heißt sowohl die sich ausdifferenzierenden als auch die diffuser werdenden Erwartungen an diese Methode. Geht man davon aus, dass sich in den unterschiedlichen Definitionsvorschlägen die Intentionen der Autoren beziehungsweise der Anwender ausdrücken, dann lassen sich aufgrund der jeweiligen Beschreibung von Delphi-Befragungen bereits auch bestimmte Erwartungen an diese Methode aufzeigen. Ein solches Potpourri an Darstellungen wurde für die folgenden beiden Abschnitte zusammengetragen. Sie sollen einen Eindruck von der Vielfalt an Vorstellungen über die Delphi-Methode geben. Dabei zeichnen sich zunächst zwei Richtungen ab: Delphi-Befragungen werden erstens vorrangig als eine spezifische Form der Gruppenkommunikation angesehen und zweitens werden Delphi-Studien mit der Bearbeitung spezieller inhaltlicher Fragestellungen in Verbindung gebracht. 2.1.1
Delphi-Befragungen als Verfahren zur Steuerung von Gruppenkommunikation
Eine ganze Reihe von Autoren sehen Delphi-Befragungen primär als ein Instrument zur verbesserten Erfassung von Gruppenmeinungen beziehungsweise für eine gezielte Steuerung der Gruppenkommunikation (vgl. Linstone/Turoff 1975:3; Bardecki 1984:281; Dalkey/Helmer 1963; Richey et al. 1985:136; Murry/Hammons 1995; Delbecq/van de Ven/Gustafson 1975; Duffield 1993:227; Erffmeyer et al. 1986:121 und Köhler 1992).
20
Begriffsbestimmungen
Folgende Definitionen sollen hier beispielhaft für diese Facette widergegeben werden: ĺ „The Delphi technique is a questionnaire method for organizing and sharing opinion through feedback.“ (Bardecki 1984:281, vgl. auch Dalkey/Helmer 1963.) ĺ „An alternative means of accessing expert opinion and evaluating incomplete information is the Delphi technique, a systematic procedure for soliciting the advice of a number of experts, and forging a consensus from that advice.“ (Richey et al. 1985:136) ĺ John W. Murry und James O. Hammons (1995) definieren unter Rückgriff auf die Bestimmung von Andre L. Delbecq, Andrew van de Ven und David Gustafson (1975) Delphi-Befragungen als „eine Methode für die systematische Sammlung von Urteilen zu einem bestimmten Gegenstand mit Hilfe einer sorgfältig designten, wiederholten Fragebogenaktion, in die zusammengefasste Informationen und Feed-back über die Meinungen der anderen Teilnehmer eingestreut sind. ĺ Unter Verwendung von Begriffen aus der Systemtheorie werden DelphiBefragungen auch als selbstlernende Systeme beschrieben, bei denen „die Kommunikationsprozesse zwischen den vielfältigen, dezentralen Akteuren eines nationalen Innovationssystems, die konsultative Komponente und das Feed-back zu zentralen technologiepolitischen Instanzen“ in den Vordergrund treten (Aichholzer 2000:68). ĺ Die Delphi-Technik ist „an accepted method of achieving consensus among experts,“ wobei zugleich das Hauptproblem von Delphi in der Feststellung des erforderlichen Grades an Konsens bestehen soll (Duffield 1993:227). ĺ Delphi ist ein „excellent forum for reaching a consensus about complex conceptual problems in the field of environmental assessment (and, presumably, in other multidisciplinary fields)“ (Richey et al. 1985:145). ĺ Anderen Auffassungen zufolge wurden Delphi-Befragungen entwickelt, um den Einfluss von „high-status members“ einer Gruppe zu reduzieren (vgl. Riggs 1983:89). ĺ Delphi „can be used for any purpose for which a committee or decision-making group is appropriate“ (Erffmeyer et al. 1986:121). ĺ Schließlich sollen noch zwei Ansichten zitiert werden, die den Delphi-Ansatz als besondere qualitative Technik darstellen. Danach ist Delphi vor allem geeignet, um Meinungen zu sammeln und um Diskussionen anzuregen und weniger dazu, um im Rahmen von Tiefenanalysen genutzt zu werden (vgl. Goodman 1987:732). Ähnlich argumentieren auch Erdener Kaynak, Jonathan Bloom und Marius Leibold (1994:19): „The Delphi technique is used to generate rather than to test hypotheses, to map out a field rather than to test relationships within it“ (vgl. auch Kaynak/Macaulay 1984).
Begriffsbestimmungen
21
Die meisten Definitionen betonen die durch das Delphi-Design beziehungsweise konkret durch das Feed-back ausgelöste Gruppenkommunikation als typisches Merkmal dieses Ansatzes. Konsens und die Verhinderung einer Meinungsführerschaft in einer Gruppensituation sind danach weitere Kennzeichen von DelphiBefragungen. 2.1.2
Delphi-Befragungen als Verfahren zur Erforschung bestimmter Sachverhalte
In anderen Bestimmungen werden stärker inhaltliche Aspekte, vor allem das potenzielle Leistungsvermögen von Delphi-Befragungen als ein Ansatz für Problemlösungen – hauptsächlich für Prognosen – in den Vordergrund bei der Beschreibung von Delphi gerückt (vgl. zum Beispiel Richey et al. 1985:145; Ono/Wedemeyer 1994: 290). Einige solcher Bestimmungen sollen im Weiteren wiederum beispielhaft vorgestellt werden: Die Delphi-Technik als „cornerstone of future research“ ist nach Ryota Ono und Dan J. Wedemeyer (1994:290) inzwischen das am meisten genutzte Verfahren für Zukunftsvorhersagen, sie ist ein effizienter und effektiver Gruppenkommunikationsprozess, der viele psychologische Ablenkungen von Gruppenkommunikationen vermeidet und den Experten auf ihren jeweiligen Gebieten systematisch Urteile entlockt (vgl. auch Rowlands 1969). Auch deutschsprachige Ansätze betonen das besonders Potenzial von DelphiBefragungen als Instrument für die Zukunftsforschung: „Das heute verfügbare bestmögliche Instrumentarium zur übergreifenden, langfristigen Technikvorausschau sind Delphi-Untersuchungen“ (Cuhls/Breiner/Grupp 1995:1). Die Funktion von „Delphi as a judgment aiding/enhancing tool“ betonen schließlich Gene Rowe, George Wright und Fergus Bolger (1991:236). Ein neuer Aspekt wird mit dem Verweis auf die psychologischen Aspekte von Delphi und durch einen Rückgriff auf die Entscheidungstheorie in folgender Bestimmung angesprochen. Häder und Häder definieren: „Die Delphi-Methode ist ein vergleichsweise stark strukturierter Gruppenkommunikationsprozess, in dessen Verlauf Sachverhalte, über die naturgemäß unsicheres und unvollständiges Wissen existiert, von Experten beurteilt werden. (1995:12)“ Diese Definition beinhaltet bereits eine Synthese, indem sie sowohl die bei Delphi-Befragungen stattfindende Gruppenkommunikation betont als auch – mit der Strukturierung unsicheren Wissens als Ziel von Delphi-Befragungen – eine Beschreibung des Einsatzgebietes dieser Methode hervorhebt. Folgende Bestimmungen gehen in eine ähnliche Richtung: „It has been indicated in such studies that the Delphi technique is suitable to use when dealing with uncertainties in an area of imperfect knowledge“ (Kaynak et al. 1994). Die Autoren gehen noch etwas weiter und behaupten: „If basic data are sparse or lacking, there may be no alternative to the Delphi technique“ (1994:19).
22
Begriffsbestimmungen
„Today, ... , a review of the literature indicates that it (gemeint ist das DelphiVerfahren; M.H.) is considered a reliable qualitative research method with potential for use in problem solving, decision making, and group consensus reaching in a wide variety of areas“ schreiben Murry und Hammons (1995:425) unter Bezugnahme auf Arbeiten von Samuel W. Cochran (1983), Robert C. Judd (1972), Harold A. Linstone und Murry Turoff (1975) sowie Norman P. Uhl (1983). Auf die Fruchtbarkeit eines psychologischen Ansatzes in der Diskussion um die Spezifik von Delphi verweist – seine Testergebnisse zusammenfassend – auch Michal J. Bardecki (vgl. 1984:291). Dessen Untersuchungen betreffen zum Beispiel die kognitiven Dissonanzen bei den teilnehmenden Experten, das Ego-involvement für die Teilnahmebereitschaft und den Grad der Neigung zu Meinungsänderungen bei Delphi-Befragungen. Darauf wird jedoch später noch weiter eingegangen werden (vgl. Abschnitt 11.4). Diese Zusammenstellung soll mit der folgenden, etwas ausgefallenen Beschreibung abgeschlossen werden: „Thus, according to Coates, Delphi is a technique of 'last resort,' to be used when no adequate models exist upon which some statistical prediction or judgment might be based“ (vgl. Coates 1975 zitiert nach Rowe et al. 1991: 236). 2.1.3
Diskussion der Definitionen
Harold Sackman wertete 1975 die Beschreibungen von über 150 Delphi-Studien aus und stellte daraufhin fest, dass es (bis zu diesem Zeitpunkt noch) keine anerkannte Arbeitsdefinition von Delphi gebe (zitiert nach Goodman 1987:731). Dies bestätigt sich offensichtlich auch in der obigen Zusammenstellung. Die zitierten Beschreibungen von Delphi-Befragungen zeigen jedoch eine gewisse Entwicklung: Während zunächst gruppendynamische Prozesse für die Bestimmung des Wesens von Delphi-Befragungen (eher) zentral waren, betonen neuere Beschreibungen stärker den Problemlösungscharakter beziehungsweise das Umgehen mit Ungewissheit und heben den Zusammenhang zwischen gezielt gesteuerten Gruppenprozessen und der Aufklärung bestimmter Sachverhalte hervor. Aus einigen Darstellungen von Delphi-Befragungen geht weiterhin hervor, dass es sich inzwischen um eine etablierte Methode handelt. Grundsätzliche Zweifel am Funktionieren des Delphi-Ansatzes werden faktisch nicht mehr geäußert. Vor allem die wahrgenommene Zuverlässigkeit von Delphi-Prognosen (vgl. auch Abschnitt 11) ist hierzu wahrscheinlich ein wesentlicher Anlass. Auf gegenüber dem Delphi-Ansatz geäußerte Kritik wird später vertiefend eingegangen werden (vgl. Abschnitt 2.3). Einigkeit herrscht in den zitierten Quellen auch über die Grundidee von Delphi. Diese besteht darin, in mehreren Wellen Expertenmeinungen zur Problemlösung zu nutzen und sich dabei eines anonymen Feed-backs zu bedienen. In den zusammengestellten Äußerungen ist kaum Polemik bei der Beschreibung des Wesens von Delphi zu finden. Ein Disput über die „richtige“ Definition von
Begriffsbestimmungen
23
Delphi-Befragungen ist bisher nicht geführt worden. Es entsteht vielmehr der Eindruck, als würde jeder Autor sein Vorgehen als mehr oder weniger typisch für eine Delphi-Befragung ansehen. So beziehen sich viele Autoren zunächst auf die Arbeit von Linstone und Turoff (1975), in der der Delphi-Ansatz erstmals umfassend beschrieben wurde. Danach kündigen sie – oftmals ganz selbstverständlich – Modifikationen dieses Designs an. Auf zwei Aspekte des Verständnisses des Delphi-Ansatzes soll in diesem Zusammenhang kritisch eingegangen werden: Erstens: Nicht einleuchtend ist die Darstellung von Delphi als einer „AllroundMethode“, die sich immer dann als alternatives Notfallinstrument anwenden lässt, wenn andere Verfahren nicht mehr weiter helfen. Solche Auffassungen sind in den Bestimmungen etwa von Robert C. Erffmeyer, Elizabeth S. Erffmeyer und Irving M. Lane (1986), Kaynak und Kollegen (1994) und Joseph F. Coates (1975) enthalten. Evaluationsbemühungen haben jedoch inzwischen ergeben, dass die Validität von Delphi-Befragungen unter anderem mit der Spezifik des zu bearbeitenden Sachverhalts und der dabei benutzten Vorgehensweise in Zusammenhang steht. So zeichnet sich ab, was eigentlich zu erwarten war: Auch der Einsatz von Delphi-Befragungen muss an bestimmte Voraussetzungen geknüpft werden, die es nicht erlauben, von einer beliebig nutzbaren und zugleich in ihrem Design bedenkenlos veränderbaren Universalmethode zu sprechen, wie dies bestimmte Autoren jedoch tun. Einige der zitierten Beschreibungen fallen deshalb zu beliebig beziehungsweise zu unspezifisch aus. Als Folge sind die dadurch erzeugten Erwartungen an den Einsatz der Methode dann diffus und damit teilweise berechtigter Gegenstand der Kritik. Wie noch zu zeigen sein wird (vgl. Abschnitt 2.4), handelt es sich bei diesen Beschreibungen um die Ursache für weitere Missverständnisse gegenüber Delphi-Befragungen. Zweitens wird im Zusammenhang mit der Wesensbestimmung von Delphi diskutiert, ob das Konsenskriterium das allgemeine Ziel von Delphi-Befragungen sein kann und damit zugleich als das Abbruchkriterium der Expertenbefragung anzusehen ist. Dies würde bedeuten, dass die Delphi-Befragung möglichst so lange fortgesetzt werden muss, bis Übereinstimmung unter den Teilnehmern erzielt ist. Solche Auffassungen finden sich etwa bei Joanna S. Richey, Briam W. Mar und Richard R. Horner (1985) und bei Christine Duffield (1993). Dem steht die Ansicht gegenüber, dass Konsens nicht mit einem „wahren“ Ergebnis gleichzusetzen ist und der Erfolg einer Delphi-Erhebung entsprechend nicht aufgrund einer geringen finalen Streuung der Expertenurteile beurteilt werden kann. So ist einigen Auffassungen zufolge nicht einzusehen, warum nicht auch die Ermittlung bestehender Divergenzen – also von Dissens – in den Expertenmeinungen ein sinnvolles Ziel von Delphi-Befragungen sein sollte. Folgt man einem solchen Modell, müsste man eher dafür plädieren, Konstanz in den Meinungen der Teilnehmer als Abbruchkriterium für die Befragung zu benutzen oder zumindest aber die Übereinstimmung über eine Nichtübereinstimmung als Ziel zu definieren.
24
Begriffsbestimmungen
Diese Diskussion zusammenfassend erscheint es notwendig, die unterschiedlichen Möglichkeiten von Delphi, die bisher bei der Nutzung des Delphi-Ansatzes gewonnenen Erfahrungen und die verschiedenen dabei anvisierten Ziele solcher Befragungen differenzierter herauszuarbeiten und so dem Anwender praktische Hinweise für die Nutzung der unterschiedlichen Typen von Delphi-Studien zu geben. Dieses Problem ist der Abschnitt 2.4 gewidmet worden. 2.2
Typen von Delphi-Befragungen: Ein Einteilungsversuch
Für eine Übersicht über die bisherige Praxis beim Einsatz von Delphi-Befragungen werden zunächst (Abschnitt 2.2.1) das klassische Design und danach (Abschnitt 2.2.2) Varianten dieses Ansatzes vorgestellt. 2.2.1
Die klassische Delphi-Befragung
Wenn in der Literatur vom klassischen Delphi-Design gesprochen wird, so ist in der Regel folgendes Vorgehen gemeint: 1. Operationalisierung der allgemeinen Frage- beziehungsweise Problemstellung mit dem Ziel, konkrete Kriterien abzuleiten, die den Experten im Rahmen einer quantifizierenden Befragung für eine Beurteilung vorgelegt werden können. Dieser erste Schritt kann sowohl von dem die Delphi-Befragung veranstaltenden Forscherteam (dieses wird oft auch als Monitoring-Team bezeichnet) selbst, als auch mithilfe einer offenen, qualitativen Befragung von (externen) Experten bewältigt werden. Für Prognosezwecke könnte beispielsweise ohne all zu konkrete weitere Vorgaben danach gefragt werden, welche Ereignisse oder Entdeckungen in einem bestimmten Zeitraum auf einem bestimmten Gebiet zu erwarten sind (zur Gestaltung der qualitativen Befragungsrunde vgl. Abschnitt 7.3). 2. Ausarbeitung eines standardisierten Frageprogramms. Dieses dient dazu, Experten anonym nach ihren Meinungen zu den interessierenden Sachverhalten zu befragen. Dabei kann es sich – um bei dem gewählten Beispiel zu bleiben – um die Schätzung des konkreten Jahres handeln, bis zu dem sich eine bestimmte Entdeckung oder Erfindung durchgesetzt haben wird (vgl. die Abschnitte 7.5 und 7.6). 3. Aufbereitung der Befragungsergebnisse durch das die Befragung veranstaltende Forscherteam und anonymisierte Rückmeldung der Ergebnisse an die beteiligten Befragten (für konkrete Hinweise für die Gestaltung der Rückinformation vgl. Abschnitt 7.9). 4. Wiederholung der Befragung auf der Grundlage der von den Experten über diese Rückinformation gewonnenen (neuen) Erkenntnisse bis zum Erreichen eines vorher festgelegten Abbruchkriteriums (vgl. Abschnitt 7.4). Folgende Merkmale erwiesen sich damit als charakteristisch für das klassische Design einer Delphi-Befragung (vgl. Linstone/Turoff 1975, Albach 1970, Kreutz 1972,
Begriffsbestimmungen
25
Gewald 1972, Becker 1974, Geschka 1977, Salinger/Kunz 1981; Spöhring 1989, König 1992, Häder/Häder 2000, Häder 2008): ĺ ĺ ĺ ĺ ĺ ĺ
Verwendung eines formalisierten Fragebogens. Befragung von Experten. Anonymität der Einzelantworten. Ermittlung einer statistischen Gruppenantwort. Information der Teilnehmer über diese statistische Gruppenantwort (Feed-back). (Mehrfache) Wiederholung der Befragung nach dem beschriebenen Vorgehen.
2.2.2
Varianten
Es wurde bereits angedeutet, dass bei den Anwendungen von Delphi-Befragungen zum Teil nur auf ausgewählte Elemente dieses klassischen Designs (vgl. Abschnitt 2.2.1) zurückgegriffen wird, während andere modifiziert oder ausgelassen werden. Zum Variantenreichtum von Delphi tragen vor allem bei: ĺ unterschiedliche Ansichten über die erforderliche Zahl, die optimale Struktur und die Art und Weise der Auswahl der Experten(-gruppe) ĺ eine unterschiedliche Auslegung der erforderlichen Anzahl der Wellen ĺ die unterschiedliche Gestaltung des Feed-backs ĺ die Ermittlung von Selbsteinschätzungen der Experten über deren Kompetenz im Zusammenhang mit den gestellten Aufgaben ĺ der relativ beliebige Einsatz unterschiedlicher Aufgabentypen im Rahmen der Befragung ĺ unterschiedliche Ansichten über Abbruch- beziehungsweise Konsenskriterien ĺ die Nutzung von persönlich-mündlichen Workshops zur Erhebung und zur Diskussion der Daten (Schulz/Renn 2009:13). Um die Varianten und Modifikationen des ursprünglichen – klassischen – DelphiAnsatzes von Linstone und Turoff (1975) wird eine rege Diskussion geführt. Die Grundlage dafür bilden die zumeist positiven Erfahrungen bei der Anwendung eines vielfältig modifizierten Delphi-Designs. Die Debatte ist nun offenbar von dem Wunsch geprägt, diese Erfahrungen zu ordnen und eine Typologie von DelphiBefragungen zu entwickeln. Dass dies bisher leider nicht überzeugend gelungen ist, wird der folgende Überblick zeigen. Anknüpfend an diese Debatte wird dann (vgl. Abschnitt 2.4) ein eigener Ansatz für eine Typisierung von Delphi-Befragungen vorgestellt. Folgende Vorschläge zur Typisierung von Delphi-Befragungen sollen erwähnt werden: ĺ Laut Dirk Kenis (1995:1) sind zwei Arten von Delphi zu unterscheiden: 1. das klassische Vorhersage-Delphi und
26
Begriffsbestimmungen
2.
ĺ
ĺ
ĺ ĺ
-
das Strategie-Delphi. Für dieses existieren zahlreiche weitere Untervarianten, weshalb es besonders schwierig zu beschreiben sei. Nach Harlan Strauss und Harmon L. Zeigler (1975) gibt es drei Typen von Delphi-Befragungen: 1. Numerische Delphi – sie dienen der genauen Festlegung eines minimalen Range für die Schätzung oder Vorhersage eines Problems (der vermutlich am meisten verbreitete Typ) 2. Strategie Delphi – sie suchen Antworten auf gegenwärtige oder zukünftige soziale und politische Probleme (vgl. auch Turoff 1970) und 3. Historische Delphi – sie werden für die Erklärung vergangener Entscheidungen genutzt. Ihnen gilt die besondere Aufmerksamkeit der genannten Autoren. Seeger (1979:20ff.) sieht folgende mögliche Ziele, die zur Klassifikation der Delphi-Technik benutzt werden können: Zielfindungs-, Problemfindungs-, Maßnahmen- und Strategieplanungs-, Ideenbewertungs- und schließlich Ideenfindungs-Delphi. Wolf Rauch unterscheidet zwischen klassischen, politischen und entscheidungsorientierten Delphi-Befragungen (1979:161). Erwin Dichtl und Stefan Müller (1991:9) sehen die Funktionen von DelphiBefragungen in der: 1. Erstellung von Prognosen 2. Problemlösung (Schlüsselprobleme sollen definiert und Lösungsvorschläge entwickelt werden) 3. Beurteilung von Problemsituationen anhand bestimmter Kriterien 4. Zielbildung 5. Ideenfindung und in der 6. Konsensbildung. Von drei Typen gehen auch Nick Novakowski und Barry Wellar (2008:1486) in Anlehnung an Martino (1999) aus, wobei sie zwischen Delphi-Studien unterscheiden, die: 1. normativen Charakter tragen, 2. der Vorhersage dienen und 3. für Policy-Zwecke genutzt werden.
Immer wieder wird als ein besonderer Vorteil des Delphi-Ansatzes dessen scheinbar beliebige Adaptierbarkeit bezeichnet. So verknüpfen beispielsweise Hans-Christian Pfohl und Stephan L.K. Freichel die folgenden Eigenschaften mit Delphi-Befragungen: 1. ein intuitives Vorgehen, 2. ein hohes heuristisches Potenzial, 3. Konsensbildung, 4. universelle Anwendbarkeit sowie 5. Modifizierbarkeit und Erweiterbarkeit (vgl. 1990:14f.). Gerade gegenüber der universellen Verwendbarkeit und der Modifizierbarkeit des Ansatzes müssen jedoch Bedenken angemeldet werden. Für eine Beurteilung der genannten Einteilungsversuche muss nach den damit gewonnenen Informationen gefragt werden. Dieser Gewinn erscheint mitunter nicht besonders groß zu sein. Solange die Delphi-Technik nicht für bestimmte Anwen-
Begriffsbestimmungen
27
dungsbereiche gezielt detaillierter methodisch ausgearbeitet ist, dürfte es lediglich von heuristischer Bedeutung sein, etwa aufgrund der mit diesem Ansatz erfolgreich bearbeiteten Probleme, Delphi-Befragungen in Kategorien zu verpacken. Erst wenn eine Einteilung aufgrund methodisch relevanter Kriterien vorgenommen werden kann, ermöglicht dies Rückschlüsse auf die Gestaltung und eine gezieltere Anwendung dieses nur scheinbar universellen Verfahrens. 2.3
Die Grenzen von Delphi-Befragungen, oder: Wie Experten irren (können)
Diffuse Vorstellungen über die Ziele von Delphi-Befragungen (vgl. Abschnitt 2.2) und folglich undifferenzierte methodische Standards waren bereits Anlass für berechtigte Kritik am Delphi-Ansatz. In diesem Abschnitt soll nun auf eine zweite Quelle der Kritik an Delphi eingegangen werden, auf die Tatsache, dass selbst ausgewiesene Experten nicht immer dazu in der Lage sind, korrekte Aussagen über zukünftige Ereignisse auf ihrem Arbeitsgebiet zu treffen. Unbestritten übt die Zukunft einen besonderen Reiz auf die Menschen aus. Vorhersagen zukünftiger Ereignisse können sich dementsprechend eines großen Interesses sicher sein. Fast ungeteilte Aufmerksamkeit erlangen insbesondere auch jene Prognosen, die falsche Vorhersagen über die Zukunft getroffen haben. Solche „Misserfolge“ werden dann nicht selten der Methode angelastet, mit deren Hilfe die Prognose erstellt wurde. Eine solche Haltung wird beispielsweise deutlich, wenn das Nachrichtenmagazin „Der Spiegel“ behauptet, auf Delphi-Befragungen basierende Vorhersagen seien ein Debakel und die Methode eigentlich tot (SPIEGEL Spezial Nr. 10 vom 29.9.1998). Auch in anderen Medien wird Kritik an den wie es scheint unbefriedigenden Ergebnissen von Delphi-Befragungen geübt, so etwa in der ZEIT (Böhme 1999) und in der Neuen Züricher Zeitung (Meier 1999). Dieser Kritik liegt jeweils die Enttäuschung darüber zugrunde, dass die vorhergesagten Entwicklungen nicht so eingetreten sind, wie dies erwartet wurde. Der Eindruck vom Scheitern des Delphi-Ansatzes könnte noch weiter bestärkt werden, wenn man in der folgenden Aufstellung (vgl. das Kästchen auf der folgenden Seite) die Irrtümer betrachtet, denen Experten bereits erlegen sind. Vor diesem Hintergrund stellt sich nun die Frage, weshalb es überhaupt sinnvoll sein kann, in Delphi-Studien Experten nach ihren Meinungen zu befragen und ob nicht das Fehlschlagen von Prognosen angesichts dieser Urteile kompetenter Personen beziehungsweise Institutionen bereits als vorprogrammiert gelten muss. „The problem is not to forecast what might happen, but rather to decide what should happen“ (Overbury 1969:76).
28
Begriffsbestimmungen
Einige Irrtümer von Experten Marktforschungsstudie der Daimler Motoren Gesellschaft (1901): „Die weltweite Nachfrage nach Kraftfahrzeugen wird eine Million nicht überschreiten – allein schon aus Mangel an verfügbaren Chauffeuren.“ Albert Einstein (1932): „Es gibt nicht das geringste Anzeichen, dass wir jemals Atomenergie entwickeln können.“ Wilbur Wright (1901): „Der Mensch wird es in den nächsten 50 Jahren nicht schaffen, sich mit einem Metallflugzeug in die Luft zu erheben.“ (Nur zwei Jahre später unternahm er selbst den ersten Motorflug in der Geschichte.) Thomas J. Watson, Vorstandsvorsitzender von IBM (1943): „Ich glaube, auf dem Weltmarkt besteht Bedarf für fünf Computer, nicht mehr.“ Plattenfirma Decca zu der Gruppe The Beatles, (1961): „Uns gefällt ihr Sound nicht, und Gitarrenmusik ist ohnehin nicht gefragt.“ Dr. Ian McDonald, Chirurg (1963): „Rauchen ist für die allermeisten Menschen eine durchaus gesunde Angelegenheit." BATTELLE Institut (1965): „Die letzten Autobusse werden 1990 aus dem Stadtverkehr verschwinden.“ Business Week (1968): „Es wird der japanischen Automobil-Industrie nicht gelingen, einen nennenswerten Marktanteil in den USA zu erreichen.“ Ken Olsen, Vorstandsvorsitzender des Computerherstellers Digital (1977): „Ich sehe keinen Grund, warum einzelne Individuen ihren eigenen Computer haben sollten.“ Steve Jobs, Gründer der Apple Computer Inc.: „Wir gingen also zu Atari und sagten: ‚Hey, wir haben hier ein ganz erstaunliches Gerät, das sogar mit einigen von euren Teilen gebaut wurde. Wollt ihr uns nicht finanzieren? Oder wir überlassen es euch einfach – Hauptsache, wir können es herstellen. Ihr zahlt uns ein Gehalt, und wir kommen und arbeiten für euch.” Und sie antworteten: ‚Nein’. Also gingen wir zu Hewlett-Packard, und sie sagten: ‚Hey, wir brauchen euch nicht. Ihr habt ja noch nicht einmal das College abgeschlossen.’” Sharp Associates (1979) „E-Mail ist ein absolut unverkäufliches Produkt.“ Bill Gates (1981): „640K sollten für jedermann genug sein.“ Jan Timmer, Mitglied des Phillips-Vorstands (1982): „Wer braucht eigentlich diese Silberscheibe?" (gemeint waren Compact Discs) Quellen: - Fink/Schlake/Siebe (2001) - http://www.emotionexperts.com/Deutsch/Wissenswertes/Weitere_Themen/Diverses/Kuriose_Irrtumer/kuriose_irrtumer.html, - http://home.arcor.de/raja69/kurios/irrtum.html, http://de.blog.360.yahoo.com/blogPMBjLhgkbKM4DRgMY9Jbrqj56Q--?cq=1&tag=irrt%C3%BCmer
Begriffsbestimmungen
29
Der Ausweg aus diesem Dilemma besteht darin, die Möglichkeiten und Grenzen von Delphi-Befragungen so genau wie möglich zu bestimmen. Der Anwender dieser Methode muss sich, wie bei jedem anderen Instrument auch, über die Grenzen dieses Design im Klaren sein. Ursache des Unmuts über Delphi ist eine gewisse Konfusion bei der Definition des Ziels solcher Befragungen. Die bunte Palette von Bestimmungen des Wesens von Delphi und die zahlreichen, wie beliebig angestellten Einteilungsversuche, die in den vorigen Abschnitten gezeigt wurden, können für diese Verwirrungen verantwortlich gemacht werden. Bei der Bestimmung der Möglichkeiten und Grenzen von Delphi-Befragungen lassen sich zunächst zwei Ansichten unterscheiden: 1. Die Zukunft (oder ein anderer, zunächst diffuser Sachverhalt) soll mithilfe der Delphi-Befragung möglichst genau ergründet beziehungsweise exakt vorhergesagt werden. Hier handelt es sich um eine Erwartungshaltung, wie sie beispielsweise auch an einen Wetterbericht gestellt wird. 2. Es kommt „lediglich“ darauf an, die aktuelle(n) Zukunfts- oder Problemsicht(en) von kompetenten Experten zu erfassen, diese weiter zu qualifizieren, um daraus entsprechende Schlussfolgerungen für Handelungsstrategien zu ziehen. Die Enttäuschungen beim Umgang mit den Ergebnissen von Delphi-Befragungen sind vor allem in einer Erwartungshaltung begründet, die davon ausgeht, die Zukunft vorherzusagen. Trotzdem ist es aber alles andere als uninteressant, wenn man erfährt, wie sich Albert Einstein getäuscht hat oder wie fehlerbehaftet Marktforschungsstudien einmal gewesen sind (vgl. das obige Kästchen). Auch daraus können Schlussfolgerungen, beispielsweise auf das Tempo des wissenschaftlichen und technologischen Fortschritts gezogen werden. Geht man mit der Zielsetzung an eine Delphi-Befragung heran, Expertenmeinungen zu ergründen, dann liefern „Delphi-Studien ... also nicht einfach ein Bild von der Zukunft, sondern eine Informationsgrundlage für die Entscheidung, was heute zu tun oder zu lassen ist“ (Cuhls/Blind/Grupp 1998:3). Noch ein weiterer Aspekt ist in diesem Zusammenhang wichtig. In der Wissenschaftstheorie wird eine Diskussion zur Eigendynamik von Prognosen geführt. Es hat sich inzwischen allgemein durchgesetzt, zwischen sich selbst bestätigenden Prognosen (Self-fulfilling Prophecies) auf der einen Seite und sich selbst zerstörenden Vorhersagen (Self-destroying Prophecies) auf der anderen Seite zu unterscheiden. Wenn es aufgrund einer (zunächst falschen) Vorhersage – etwa über eine bevorstehende Verknappung einer Ware auf dem Markt – zu verstärken Einkäufen kommt und sich deshalb die ursprünglich falsche Prophezeiung doch noch bestätigt, so wird von sich selbst bestätigenden Prognosen gesprochen. Werden dagegen aufgrund einer (zunächst richtigen) Vorhersage – etwa über eine bevorstehende Umweltkatastrophe – entsprechende Gegenmaßnahmen getroffen, die diese Katastrophe erfolgreich ab-
30
Begriffsbestimmungen
wenden und damit die Prognose widerlegen, so ist von einer sich selbst zerstörenden Vorhersage die Rede (vgl. zum Beispiel Merton 1936, Rosenthal 1966, Opp 1999). Damit besteht das Ziel der Erstellung von Prognosen oftmals gar nicht in der (vollständigen) Realisierung der vorausgesagten Situation, sondern – wie bereits beschrieben – im Ableiten von Handlungs- oder Entscheidungshilfen. Generell sollte damit bei der Entscheidung für die Anwendung des DelphiVerfahrens so genau wie möglich klar sein, worin das Ziel der jeweiligen Studie besteht. Gegenwärtig zeichnet sich ab, dass vor allem vier Typen von DelphiBefragungen ein eigenes methodisches Profil gewinnen: 1. Delphi-Befragungen zur Ideenaggregation, 2. Delphi-Befragungen zur Vorhersage bestimmter diffuser Sachverhalte, 3. Delphi-Befragungen zur Ermittlung und Qualifikation von Expertenmeinungen über einen speziellen Gegenstand sowie 4. Delphi-Befragungen zur Konsensfindung. Alle vier Typen weisen in Bezug auf das Design und hinsichtlich der damit zu realisierenden Ziele ein eigenes Profil auf. Sie sollen im folgenden Abschnitt expliziert werden. 2.4
Delphi-Befragungen zur Ideenaggregation, Vorhersage von Sachverhalten, Ermittlung von Expertenansichten und zur Konsensfindung
Die freigiebig praktizierte methodische Beliebigkeit beim Umgang mit DelphiBefragungen wurde bereits geschildert. Sie gilt einigen Anwendern als ein besonderer Vorzug dieser Methode. Offenbar geht von dieser Unbestimmtheit und vom Fehlen stringenter methodischer Regeln für den Umgang mit Delphi-Befragungen eine gewisse Attraktivität aus. Leider hat dieser vermeintliche Vorzug – dies war ebenfalls bereits Gegenstand dieser Abhandlung – auch einen Preis: Eine hohe Unsicherheit über die Leistungsfähigkeit des Delphi-Ansatzes und damit zugleich Unsicherheit und auch Frust über die Qualität der Resultate von Delphi-Befragungen. Damit liegt die Idee nahe, das Instrument Delphi-Befragungen nicht länger als einen kompakten Universalansatz zu betrachten, sondern es gezielter für bestimmte Ziele auszuarbeiten beziehungsweise zu modifizieren und dann entsprechend auf das jeweilige Ziel ausgerichtet einzusetzen. Dies wird im Folgenden versucht. Zunächst werden basierend auf einer Durchsicht von Berichten über die Anwendung von Delphi vier mögliche Ziele herausgearbeitet. Dabei handelt es sich um die Aggregation von Ideen, um die Vorhersage oder genauere Bestimmung eines unsicheren Sachverhalts, um die Ermittlung und Qualifikation der Ansichten einer Expertengruppe oder um die Schaffung von Konsens unter den Teilnehmern der Befragung. Darauf aufbauend wird dann dargestellt, wie das Design solcher Delphi-Befragungen auszusehen hat, um das jeweilige Ziel einzulösen. Eine solche Einteilung stellt eine Weiterentwicklung des Delphi-Ansatzes dar. Sie bietet mindestens folgende wesentliche Vorteile:
Begriffsbestimmungen
31
ĺ Sie zwingt den Anwender dazu, sich mehr Klarheit über das Ziel seiner Studie zu verschaffen und ĺ sie ermöglicht eine gezielte methodische Modifikation des jeweiligen DelphiDesigns für die beabsichtigte Zielrealisierung. Wie noch zu zeigen sein wird, impliziert beispielsweise jeder Typ ein eigenes Vorgehen bei der Rekrutierung der Teilnehmer (vgl. dazu Abschnitt 7.2), der Gestaltung der Fragen (vgl. Abschnitt 7.6) und so weiter. ĺ Schließlich und nicht zuletzt zeigt eine solche Typologisierung, welche unterschiedlichen Möglichkeiten Delphi-Befragungen überhaupt bieten. Den folgenden vier Typen gilt nun die Aufmerksamkeit: Typ 1: Delphi-Befragungen zur Ideenaggregation Ein erstes Ziel, mit dem Delphi-Befragungen veranstaltet werden können, ist die Aggregation von Ideen. Es liegen Erfahrungen vor, wie im Rahmen von DelphiBefragungen Expertise genutzt werden kann, um (erste) Problemlösungsvorschläge zu erarbeiten. Die Besonderheit von Delphi-Befragungen, die diesem Ziel dienen, besteht darin, dass sie – anders als beim klassischen Design – einen ausschließlich qualitativen Ansatz darstellen. Beim klassischen Delphi-Design (vgl. Abschnitt 2.2.1) kann eine qualitative Befragungsrunde den quantitativen Wellen vorgeschaltet werden. Sie dient dann dazu, jene Sachverhalte zu identifizieren, zu denen im weitern Verlauf der DelphiBefragung ein quantifizierendes Urteil eingeholt werden soll. Anders ist das Vorgehen bei einer Delphi-Befragung, die sich (lediglich) die Ideenaggregation zum Ziel gesetzt hat. Hier wird auf die quantifizierenden Runden verzichtet. Stattdessen werden bereits die Ergebnisse der qualitativen Einschätzungen den Experten auf geeignete Weise rückgemeldet und danach die Fragestellungen erneut – qualitativ, das heißt weitgehend unstrukturiert – erhoben. Bei einer solchen qualitativen Erhebung werden den Teilnehmern in der Folgewelle zunächst die Argumente der anderen Experten mitgeteilt. Danach werden erneut verbale Stellungnahmen eingeholt beziehungsweise die Statements aus der Vorrunde qualifiziert. Eine Delphi-Befragung, die dieses Ziel verfolgt, ist daran zu messen, wie viele Ideen sie hervorbringt. Es kommt vor allem darauf an, möglichst viele unterschiedliche Vorschläge für die Problemlösung zu gewinnen. Auch vermeintlich abartige, möglicherweise nicht mehrheitsfähige Ideen sind bei diesem Ansatz von Interesse. Entsprechend ist das Design zu wählen. Das zu befragende Expertengremium sollte wie bei den anderen Delphi-Befragungen auch – über eine möglichst breite Expertise verfügen. Jedoch ist es ausreichend, wenn die verschiedenen Paradigmen durch lediglich einen Teilnehmer vertreten sind. Anderes als beim klassischen Design haben offene Fragen eine größere Bedeutung usw.
32
Begriffsbestimmungen
Ein typisches Ideenaggregations-Delphi beschreibt Jürgen Hasse (1999:213ff.). Mithilfe einer Befragung sollten Argumente im Rahmen der Diskussion um die landschaftsästhetische Beurteilung von Windkraftanlagen gesammelt werden. Ziel war die Herausarbeitung einer vielschichtigen Problemstruktur in diesem Kontext. Spezifische Merkmale dieses Delphi-Ansatzes waren: ĺ ĺ ĺ ĺ ĺ ĺ
Nutzung und Betonung des subjektiv-intuitiver Charakters, eine interdisziplinär zusammengesetzte Expertenrunde, Verzicht auf eine statistische Auswertung der Ergebnisse, kein Repräsentanzanspruch, eine relativ geringe Anzahl an Teilnehmern, in diesem Falle sechs, und der Verzicht auf die Anonymität der Beteiligten (die Experten waren aufgrund der inhaltlichen Akzentsetzungen in ihren Argumentationen ohnehin untereinander identifizierbar).
Typ 2: Delphi-Befragungen für eine möglichst exakte Vorhersage eines unsicheren Sachverhalts bzw. für dessen genaue(re) Bestimmung Bei diesem Typ besteht das Ziel darin, sich eine erhöhte Klarheit über eine bestimmte, diffuse Angelegenheit zu verschaffen. Wie bereits erwähnt sollen einigen Veröffentlichungen zufolge die ersten Delphi-Befragungen dazu gedient haben, die Ergebnisse eines Hunde- oder Pferderennens vorherzusagen. Mit dem Ziel, einen unbekannten Sachverhalt möglichst exakt vorherzusagen, sind gegen Ende der 1940-er Jahre auch die ersten wissenschaftlichen Delphi-Befragungen angetreten. Damals ging es im Rahmen von Arbeiten der RAND-Corporation zur Landesverteidigung um die Ermittlung möglicher strategischer Angriffsziele sowjetischer Raketen in den USA. Dieser Typ 2 entspricht damit dem klassischen Anliegen, das Delphi-Befragungen zunächst verfolgt haben. Forschungskonzepte dieser Art versuchten oftmals, die Zukunft zu determinieren und teilweise sogar zu planen. Sie wurden vor allem in der Nachkriegszeit mit dem Begriff Forecasting bezeichnet. Bei einer Bewertung der Ergebnisse einer solchen Art von Delphi-Befragungen wird das Resultat der Studie – beispielsweise ein vorhergesagter Sachverhalt – mit dem tatsächlich eingetretenen Tatbestand verglichen. Es liegt also stets ein „wahrer Wert“ vor, der mit dem Verfahren ermittelt werden soll und an dem der Erfolg des Einsatzes schließlich gemessen werden kann. Ein solches typisches Vorhersage-Delphi beschreibt H. Janssen (1978). Das Ziel dieser Befragung waren Preisprognosen in den Obstanbaugebieten am Bodensee und an der Niederelbe. Wöchentlich trafen sich die Obstpreisnotierungskommissionen nach dem Muster des Delphi-Designs und gaben Prognosen zur Preisentwicklung in der folgenden Woche ab. „Die Kommission hatte die Aufgabe, für den Tag der jeweiligen Notierungssitzung die vermutlichen Gleichgewichtspreise der gehandelten
Begriffsbestimmungen
33
Obstarten, -sorten, -qualitäten und -kalibirierungen zu schätzen und den interessierten Marktkreisen und offiziellen Stellen bekanntzugeben“ (Janssen 1972, 1976, 1977:6). Die Grundlage der ersten Schätzung bildete die Information durch einen neutralen Marktstatistiker über die entsprechenden Werte aus der Vorwoche. Die Ergebnisse der Schätzungen aus der ersten Runde, die von den Teilnehmern auf verdeckten Zetteln notiert worden waren, wurden dann an die Experten rückgemeldet. Die Wiederholung der Befragungen erfolgte, bis ein bestimmtes Abbruchkriterium erreicht wurde. Janssen berichtet weiter, dass weit mehr als 300 solcher Sitzungen stattfanden, bei denen der Notierungsfehler zum Ende der Obstsaison dann bei lediglich – 0,9 Prozent lag. Typ 3: Delphi-Befragungen zur Ermittlung und Qualifikation der Ansichten einer Expertengruppe über einen diffusen Sachverhalt Im Unterschied zum zuvor beschriebenen Typ kommt es hier darauf an, die Meinungen einer konkret bestimmbaren Expertengruppe zu erheben und dabei zu qualifizieren. Die Resultate solcher Studien dienen dann beispielsweise dazu, um gezielte Schlussfolgerungen für erforderliche Interventionen abzuleiten, um auf ein auf diese Weise ermitteltes Problem zu reagieren, oder um eine Sensibilisierung gegenüber befürchteten Fehlentwicklungen zu erreichen. Das Ergebnis dieses Typs von DelphiBefragungen wird danach zu bewerten sein, inwieweit die Ansichten aller Teilnehmer mithilfe des Instruments methodisch einwandfrei abgebildet wurden und ob erwartet werden kann, dass es im Verlauf der Delphi-Befragung tatsächlich zu einer Verbesserung der Urteile gekommen ist. „Diese neuen Konzepte unterscheiden sich vom ‚Forecasting‘ der Nachkriegszeit dadurch, dass sie nicht versuchen, zu determinieren, wie die Zukunft werden wird, oder sie gar bis ins Detail zu planen, sondern die Kommunikation über die Zukunft sowie ihre aktive Gestaltung in den Vordergrund zu stellen“ (Cuhls 2000:7). Das mit dem Typ 3 verfolgte Ziel ist zugleich das gegenwärtig wohl häufigste bei der Anwendung von Delphi-Befragungen. Im Unterschied zu rein qualitativen Delphi-Studien (Typ 1) werden hier die verschiedenen Expertenmeinungen auch einer quantifizierenden Bewertung unterzogen, das bedeutet, dass ihre Mehrheitsfähigkeit dargestellt und geprüft wird. Auch der Typ des normativen Delphi, bei dem basierend auf dem vorhandenen Wissen ermittelt werden soll, wie eine bestimmte Entwicklung verlaufen sollte (Martino 1999) sowie der Typ des Policy-Delphi, der eine breite Palette politisch relevanter Größen identifizieren möchte (Wellar 1997) wären hier zu subsumieren. Ein typisches Beispiel zur Ermittlung und Qualifikation von Expertenmeinungen ist eine Delphi-Befragung zur Aufdeckung von Forschungsbedarf in der Berufsbildungsforschung und zur Ermittlung eines entsprechenden Dringlichkeitsgrades. Diese hat das Bundesinstitut für Berufsbildung – BIBB – konzipiert und erhoben (vgl. Brosi/Krekel/Ulrich 1999). Unter Hinzuziehung eines wissenschaftlichen Berater-
34
Begriffsbestimmungen
gremiums wurden über 2000 Experten aus zehn institutionellen Bereichen um ihre Meinung gebeten. Bei der Zusammenstellung der Expertengruppe wurden gezielt all jene Institutionen berücksichtigt, die mit der direkten Umsetzung von Ergebnissen der Berufsbildungsforschung befasst sind. Dies betraf beispielsweise Gewerkschaften, Arbeitgeberverbände, wissenschaftliche Institute, Bildungsträger, Unternehmen und die Politik. Die Ergebnisse sollen nicht zuletzt dazu genutzt werden, um gezielt entsprechende Forschungsarbeiten anzuregen und um Mittel für diesen Bereich bereit zu stellen. Auch die seit 1992 in Deutschland vom Bundesministerium für Forschung und Technologie geförderten Delphi-Befragungen zur Zukunft von Wissenschaft und Technik können diesem Typ zugeordnet werden. Typ 4: Delphi-Befragungen zur Konsensbildung unter den Teilnehmern Im Verlauf von Delphi-Befragungen werden durch das Feed-back gezielt Gruppenprozesse ausgelöst. Diese dienen zum einen dazu, das Ergebnis der Befragung zu qualifizieren. Es wird aber auch über Ansätze berichtet, bei denen Delphi-Studien explizit das Ziel verfolgen, ein möglichst hohes Maß an Konsens unter den Teilnehmern zu schaffen. Beispielsweise im Rahmen der Vorbereitung einer demokratischen Entscheidungsfindung kann es sich als sinnvoll erweisen, solche Befragungen zu veranstalten. Dabei kommt es zunächst darauf an, einen ganz bestimmten, nach entsprechenden Kriterien ausgesuchten Teilnehmerkreis zu rekrutieren, nämlich jene Personen, deren Ansichten harmonisiert werden sollen. Weiterhin muss der Sachverhalt, über den zu kommunizieren ist, möglichst genau vorstrukturiert werden. Dies vor allem deshalb, weil die Schaffung von Übereinstimmung in Bezug auf einen zu abstrakten Sachverhalt nur wenig hilfreich sein dürfte. So ist es unsinnig, zu der Feststellung „Die methodischen Bemühungen um die Delphi-Methode müssen weiter fortgesetzt werden“ ein Konsens-Delphi durchzuführen, um die Finanzierung eines Forschungsprojekts zu legitimieren. Sinnvoller wäre es hingegen, einzelne Aspekte der Methodik zu benennen (zum Beispiel die Expertenauswahl, die Evaluation der Ergebnisse und so weiter) und speziell dazu einzelne Studien anzulegen. Schließlich muss die Delphi-Befragung zur Konsensbildung so lange fortgesetzt werden, bis die Streuung der Antworten einen zu definierenden Wert erreicht hat. (zu einzelnen Designfragen vgl. Abschnitt 7). „Die Teilnehmer an Foresight-Prozessen sind ... nicht mehr nur wissenschaftliche Experten, sondern auch Interessengruppen oder die interessierte Öffentlichkeit“ (Cuhls 2000:10; [Hervorhebung wie im Original; M.H.]). Damit werden gerade bei der Zukunftsforschung die partizipatorischen Möglichkeiten von Delphi-Befragungen benutzt. So eröffnen sich im Rahmen der Vorausschau neue Ziele für den Einsatz von Delphi-Befragungen. Kerstin Cuhls nennt beispielsweise die Gewinnung von Informationen, über welche Wege in die Zukunft Konsens besteht und wo Dis-
Begriffsbestimmungen
35
sens herrscht, sowie den Anstoß und die Stimulation eines kontinuierlichen Diskussionsprozesses (2000:15f.). Ein typisches Konsens-Delphi beschreiben Peter H. Mettler und Thomas Baumgartner (1997:VIIff.). Den Autoren geht es in ihrem Projekt um konkrete Empfehlungen für eine konsensorientierte Politik im Bereich Mikroelektronik und Arbeitsmarkt im Bundesland Nordrhein-Westfalen. Dazu werden von ihnen: ĺ „möglichst viele BürgerInnen der verschiedenen Sozialschichten und unterschiedlichsten Interessen“ darum gebeten, „unterschiedlichste Gesellschaftsvisionen in Form normativen Szenarien zu entwickeln“. ĺ Gesucht wird im Rahmen der Studie nach einem „Konsens über die wünschenswerten Grundzüge der zukünftigen Gesellschaft.“ ĺ Angestrebt werden deshalb relativ große, dem „gesellschaftsrepräsentativen (mikrozensus-vergleichbare) TeilnehmerInnen-Zahlen.“ ĺ Bei diesem Design lässt sich die Struktur der Teilnehmer an der DelphiBefragung mit der in der Grundgesamtheit – der Bevölkerung in Nordrhein Westfalen – vergleichen. Die Altersstruktur, die Geschlechtsverteilung und der Familienstand der Teilnehmer können den entsprechenden Verteilungen in der Grundgesamtheit gegenüber gestellt werden (vgl. 1997:65ff.). In diesem Zusammenhang werden dann Ausfälle von Teilnehmern zu einem besonderen methodischen Problem. ĺ Die Projektgruppe entwickelte eine aufwendige „Szenarienausrichtung und den Entwurf von Szenarienskizzen“, die den Teilnehmern standardisiert vorgelegt wurden. Auch Werner H. Gries stellt einen Ansatz vor, bei dem Delphi-Befragungen dazu genutzt wurden, um unter 17 europäischen Institutionen zu bestimmten Fragen auf dem Gebiet der Information und Telekommunikation eine Harmonisierung der Ansichten zu erzeugen (vgl. 2000:33). Insgesamt entsteht aber der Eindruck, dass dieser Typ – vor allem im Vergleich zum Typ 3 – selten benutzt wird. „Earlier applications of Delphi were aimed at building a consensus but more recently it has been recognized that the reasons for dissent given by those who do not subscribe to the consensus are also worthy of note“ (Loveridge et al. 1995:4). In der folgenden Übersicht (vgl. Tabelle 1) werden alle vier Typen nochmals kurz dargestellt. Das Dilemma der Diskussion um die Leistungsfähigkeit des Delphi-Ansatzes soll abschließend nochmals verdeutlicht werden. In der bisherigen Debatte wurde mehr oder weniger von folgendem Modell ausgegangen: Delphi-Befragungen sind dazu in der Lage, gleichzeitig auch alle beziehungsweise mehrerer Ziele zu verfolgen, also beispielsweise sowohl Konsens unter den Teilnehmern zu schaffen als auch einen unklaren Sachverhalt aufzuklären. Dieser Ansatz hätte dann mindestens zwei sich gegenseitig ausschließende Implikationen für die Design-Entwicklung:
36
Begriffsbestimmungen
Tabelle 1: Ideenaggregations-, Vorhersage-, und Konsens-Delphi sowie Delphi zur Ermittlung von Expertenmeinungen im Vergleich Ideenaggregation Typ1
Bestimmung eines Sachverhalts
Ermittlung von Expertenmeinungen
Typ 2
Typ 3
qualitativ angelegt
qualitatives und quantitatives Vorgehen
kaum Operationalisierung, teilweise nur Vorgabe des zu bearbeitenden Themenbereichs
der zu bearbeitende Sachverhalt ist möglichst exakt zu definieren
Nutzung offener Fragen
offene und vor allem geschlossener Fragen kommen zum Einsatz
Auswahl der Experten Hypothesen zur Auferfolgt aufgrund der findung der Experten Expertise nötig, keine formalisierbaren Regeln ausschließlich qualitative Runden
Ziel: Sammlung von Ideen zur Lösung eines Problems Herausgehobene Rolle der Teilnehmer Beispiel: Hasse (1999)
qualitativ und (vor allem) quantitatives Vorgehen
Ziel: Ermittlung und Qualifikation der Ansichten von Experten
Teilnehmer und Monitoring-Team haben in etwa gleich große Bedeutung Beispiel: Janssen (1976)
Typ 4 quantitativ angelegt
stark differenziertere Operationalisierung des zu bearbeitenden Themas ausschließlich standardisierte Bewertungen
Totalerhebung oder Auswahl der Teilbewusste Auswahl der nehmer kann aufExperten grund eines bestimmbaren Rahmens erfolgen
qualitative Runde kann zur Operationalisierung genutzt werden
Ziel: Verbesserung der Bestimmung eines Sachverhalts (Vorhersagen)
Konsens
Beispiel: Brosi/Krekel/Ulrich (1999)
qualitative Runde kann entfallen, wird vom MonitoringTeam übernommen Ziel: Hohes Maß an Übereinstimmung bei den Teilnehmern Herausgehobene Rolle des Monitoring-Teams Beispiel: Mettler/ Baumgartner (1997)
Erstens werden für die Schaffung von Konsens möglichst viele Teilnehmer benötigt, die dazu bereit sind, sich der Mehrheitsmeinung anzuschließen. Es ist bekannt, dass es sich dabei um Personen handeln müsste, die in Bezug auf den erfragten Sachver-
Begriffsbestimmungen
37
halt nur über eine geringe Expertise verfügen. Es ist weiter bekannt, dass gerade solche Teilnehmer dazu bereits sind, ihre ursprünglichen Urteile zu revidieren. Zweitens wird aber für die Aufklärung eines unklaren Sachverhalts eine ausgeprägte Expertise unter den Teilnehmern benötigt. Aus entsprechenden Tests ist nun jedoch ebenfalls bekannt, dass Personen mit besonderer Sachkenntnis wiederum dazu neigen, ihre Ansichten (relativ) unabhängig von der Gruppenmeinung zu äußern. Damit muss hier von einer gewissen Unvereinbarkeit zwischen diesen beiden, innerhalb einer einzigen Delphi-Befragung nicht zu verfolgenden Zielen, ausgegangen werden. Weiter zeigt dieses Gedankenmodell, dass eine Lösung des Dilemmas nur durch eine differenzierte Unterscheidung der Ziele möglich ist, die mit einer DelphiBefragung verfolgt werden können. Die vorgestellte Typologie liefert dazu einen Ansatz.
3 Wissenschaftstheoretische Grundlagen
Der folgende Abschnitt ist den erkenntnistheoretischen beziehungsweise den methodologischen Grundlagen von Delphi-Befragungen gewidmet. Es wird das Problem behandelt, warum und wie Delphi-Befragungen überhaupt funktionieren (können). Die grundlegende, in diesem Abschnitt zu diskutierende Frage lautet: Aufgrund welcher Argumente kann man davon ausgehen, dass die wiederholte anonyme Befragung von Experten, bei der den Teilnehmern in der Folgewelle eine anonymisierte Information über die Gruppenmeinung gegeben wird, tatsächlich dazu beiträgt, valide(re) Ergebnisse zu gewinnen? Die Behandlung dieser Thematik besitzt große Bedeutung. So zeigte eine Studie zur Häufigkeit der Nutzung des Delphi-Designs in den 200 umsatzstärksten deutschen Unternehmen zunächst, dass die Delphi-Technik bei den am häufigsten benutzten Prognoseverfahren auf Platz drei rangiert. Zugleich ergab diese Befragung aber auch, dass ein Hauptargument gegen den Einsatz von Delphi-Befragungen als Prognoseinstrument deren mangelnde wissenschaftliche Absicherung ist (vgl. Falke/Krüger 2000:105ff.). Dieser Vorbehalt dürfte wahrscheinlich auch von einer Reihe potenzieller Nutzer außerhalb des Bereichs Wirtschaft geteilt werden. Kritik an konventionellen Delphi-Befragungen sowie die Forderung nach einer „Theorie der Delphi-Befragungen“ wurde vor allem in den 1980-er Jahren von holländischen Wissenschaftlern geübt (vgl. Beckers/de Boer 1977:27; Binsbergen/de Boer 1988:17; Daniél/Duijzer 1988:89; Binsbergen/de Boer/Maassen 1988:36; Maassen/van Vught 1984:10f.). Zunächst werden in den Abschnitten 3.1 und 3.2 Gedanken zusammengestellt, die im Zusammenhang mit der Entwicklung beziehungsweise der Adaption von Delphi-Befragungen von verschiedenen Autoren geäußert worden sind. Danach (Abschnitt 3.3) wird versucht, unter Rückgriff auf kognitionspsychologische Ansätze und unter Verwendung der Typologisierung von Delphi-Befragungen aus dem vorigen Abschnitt, diese Überlegungen weiter zu entwickeln. Schließlich (Abschnitt 3.4) soll auch eine sozialpsychologische Argumentation aufgegriffen werden, um den Delphi-Ansatz zu legitimieren. 3.1
Erkenntnistheoretische Grundlagen
Eine gewisse Rolle spielte zunächst die von Ian I. Mitroff und Turoff (1975) aus erkenntnistheoretischer Sicht geführte Diskussion um die Frage nach den Kriterien, aufgrund derer die Wahrheit von Abbildern beurteilt werden kann. Mithilfe dieser Kriterien könnten dann wiederum, so die Autoren, die mit der Delphi-Methode ge-
40
Wissenschaftstheoretische Grundlagen
wonnenen Informationen evaluiert werden. Diese Argumentation wird zunächst nachgezeichnet. Eine vereinfachte Darstellung der Grundgedanken der verschiedenen erkenntnistheoretischen Systeme kann mit folgendem Denkmodell gegeben werden: Man stelle sich vor, dass eine Gruppe von Personen oder Experten eine Reihe von Behauptungen aufstellt, die jeweils vorgeben, die Wahrheit zu beschreiben. Dann können die einzelnen philosophischen Systeme dadurch voneinander unterschieden werden, dass sie jeweils unterschiedliche Fragen an diese Behauptungen beziehungsweise an die Personen richten, die diese formuliert haben. Jede dieser Fragen beinhaltet damit wesentliche Kriterien, die beantwortet werden müssten, bevor das entsprechende System die aufgestellten Behauptungen als wahr oder als falsch klassifizieren würde. „The moral of this discussion will be that there is no ‚single best way‘ for ensuring our understanding of the content of a set of communication“ (Mitroff/ Turoff 1975:18). Nachdem solche Fragen aus der Sicht von Locke, Leibniz, Kant, Hegel und Singer formuliert wurden, gelangen die Autoren bereits 1975 zu folgender interessanten Erkenntnis: „Indeed if our conception of inquiry is ‚fruitful‘ (notice, not ‚true‘ or ‚false‘ but ‚productive‘) than to be ‚scientific‘ would demand that we study something (model it, collect data on it, argue about it, etc.) from as many diverse points of view as possible“ (1975:36). Damit stellt sich als Fazit dieser Debatte die Beurteilung der Wahrheit von Ergebnissen einer Delphi-Befragung so dar, dass es keine einzelne Fragestellung gibt die ausreichen würde, um die Wahrheit von Aussagen zu bestimmen, sondern vielmehr ganz unterschiedliche Kriterien für die Beurteilung dieser Frage anzulegen sind. Diesen Gedanken fortgeführt macht es auch keinen Sinn, überhaupt die Frage nach der Wahrheit zu stellen, sondern es ist lediglich wichtig zu wissen, ob die bei einer Delphi-Befragung gewonnenen Informationen ‚fruitful‘ beziehungsweise produktiv sind. Hilfreicher erscheint es, anstelle der Beurteilung von bestimmten Informationen in Bezug auf deren Wahrheitsgehalt, die vier mit einer Delphi-Befragung konkret verfolgten Ziele (vgl. Abschnitt 2.4) als Kriterium für die Evaluation des Ansatzes heran zu ziehen. 3.2
Das „1 + n“ Argument
Norman Dalkey ging bei seiner ursprünglichen Begründung der Delphi-Methode davon aus, dass in 1 + n Köpfen mindestens so viel Information enthalten ist, wie in einem, wahrscheinlich jedoch mehr (vgl. Dalkey 1969:411; Scheele 1975). Dieses Argument war dann längere Zeit Gegenstand von Diskussionen. Bestimmte Defizite einer solchen Bestimmung für die Legitimation des Delphi-Ansatzes sind inzwischen kritisiert worden. Vor allem der Schluss, dass die Informationsqualität proportional zur Anzahl der Köpfe wächst, sei falsch, behaupten Kritiker. So ist denkbar, dass mit steigender Personenzahl auch die qualitativ minderwertigen Informationen zunehmen
Wissenschaftstheoretische Grundlagen
41
können. Zugleich wurde im Rahmen dieser Debatte bereits auch eine detailliertere Beschreibung der bei Delphi ablaufenden Denkprozesse gefordert (vgl. Seeger 1979: 151). Horst Albach beteiligt sich mit der folgenden Bemerkung an der Diskussion: „Aus dieser Voraussetzung folgt: In n Köpfen stecken wenigstens so viele richtige und falsche Informationen wie in einem Kopf, im Allgemeinen jedoch mehr. Wenn eine Gruppe von n für die Beantwortung der Frage gleich kompetenten Köpfen existiert, dann stellt die Befragung eines einzelnen eine zufällige Information aus der auf alle Köpfe verteilten Gesamtinformation dar. Ich nenne das Ergebnis dieser Einzelbefragung ein Einzelurteil. Dieses Einzelurteil ist mit dem Gruppenurteil zu vergleichen, das die Delphi-Methode ermittelt. Das Gruppenurteil wird ermittelt, indem aus n Einzelurteilen der Mittelwert (oder der Median) berechnet wird. Wir nennen dieses Gruppenurteil das abhängige Gruppenurteil, da es aus voneinander unabhängigen Einzelurteilen gebildet wird“ (1970:17f.). Danach stellt Albach die beiden für die Einsatzberechtigung der DelphiMethoden seiner Ansicht nach zentralen Fragen: Erstens, welche Chance hat statistisch gesehen das unabhängige Gruppenurteil, dem tatsächlich richtigen Urteil näher zu kommen als das Einzelurteil? Es existieren zwei Konstellationen: a) das tatsächlich richtige Urteil liegt außerhalb des Bereichs der Einzelurteile. Oder b) das tatsächlich richtige Urteil liegt innerhalb des Bereichs der Einzelurteile. Daraus leitet Albach zwei Folgerungen ab: Im ersten Fall sei das Gruppenurteil besser als die Hälfte der Einzelurteile, im zweiten das Gruppenurteil besser als mehr als die Hälfte der Einzelurteile. An diese nach Ansicht von Kritikern nicht sonderlich professionell vorgetragene Argumentation schloss sich in der Zeitschrift für Betriebswirtschaft eine mehrjährige Debatte an. Darin beweist Horst Köhler (vgl. 1978), dass die Folgerungen in der dargestellten vorbehaltlosen Weise nicht gültig sind. Er zeigt anhand eines Beispiels, dass als notwendige Voraussetzung die Einzelurteile normalverteilt sein müssen. Zweitens, welche Chance hat nun dieses abhängige Gruppenurteil, besser zu sein als das unabhängige Gruppenurteil und damit auch besser zu sein als das Einzelurteil? (Nach der Rückinformation über das unabhängige Gruppenurteil kommt es in der zweiten Befragungswelle zur Bildung des abhängigen Gruppenurteils.) Albach widmet sich dieser Fragestellung über eine Plausibilitätsbetrachtung. Demnach könne das Problem nicht allgemein entschieden werden, es sei aber wenigstens plausibel, dass das abhängige Gruppenurteil dem Einzelfall überlegen sei. Diese Vermutung führt er darauf zurück, dass durch die Anonymität der Befragten untereinander, das kontrollierte Feed-back und die statistische Ermittlung des Gruppenurteils eine Änderung der Einzelantworten in Richtung auf dominante Einzelantworten ausgeschlossen seien (im Unterschied zu Gruppendiskussionen und auch zum Brainstorming). Die Änderung des Einzelurteils bei Delphi-Befragungen hänge ab von der Distanz zum Gruppenurteil und von der Stärke der eigenen Unsicherheit über das
42
Wissenschaftstheoretische Grundlagen
eigene Urteil. Je größer die Distanz beziehungsweise je stärker die Unsicherheit, desto größer fällt die Änderung des eigenen Urteils aus. Köhler (1978) setzt sich mit dieser Prämisse ebenfalls auseinander und zeigt am Beispiel der bereits 1964 im Rahmen des Untersuchungsprogramms der RAND Corporation veranstalteten Delphi-Befragung, dass infolge der stärkeren Konzentrierung der Einzelurteile um den Median und der damit verbundenen Erhöhung des Maximalwertes der Verteilungskurve eine Glättung dieser Kurve in Richtung einer Normalverteilung erfolgt. Damit sei der Forderung weitestgehend entsprochen, ein Gruppenurteil abzuleiten, das in jedem Fall mit 50 Prozent Wahrscheinlichkeit besser ist als die Hälfte der Einzelurteile beziehungsweise, je nach Lage des tatsächlich richtigen Urteils, besser ist als mehr als die Hälfte der Einzelurteile. Edgar Saliger und Christian Kunz (1981) zeigen jedoch in einem weiteren Aufsatz, dass die Ansätze von Albach, Köhler und Wolfgang Wechsler jeweils durch Gegenbeispiele widerlegt werden können: „Als Ergebnis der bisherigen Untersuchung ist festzustellen, dass sich keine allgemeingültige Vorteilhaftigkeit der DelphiMethode gegenüber dem ‚zufälligen Einzelurteil‘ ableiten lässt“ (Saliger/Kunz 1981:474). Die Autoren wählen demgegenüber einen wahrscheinlichkeitstheoretischen Zugang zur Klärung des Problems der Effizienz der Delphi-Methode. Sie formulieren die folgenden beiden Sätze und führen anschließend deren formalen Beweis: „Satz 1: Unabhängig von der Verteilung der Einzelurteile ist der Abstand des Gruppenurteils (Erwartungswert der Einzelurteile) zum wahren Wert genauso groß wie der Erwartungswert des Abstandes der Einzelurteile zum wahren Wert, wenn der wahre Wert außerhalb des Bereichs der Einzelurteile oder auf dessen Rand liegt. Satz 2: Unabhängig von der Verteilung der Einzelurteile ist der Abstand des Gruppenurteils (Erwartungswert der Einzelurteile) zum wahren Wert kleiner als der Erwartungswert des Abstandes der Einzelurteile zum wahren Wert, wenn der wahre Wert (echt) innerhalb des Bereichs der Einzelurteile liegt“ (Saliger/Kunz 1981: 476f.). Diese Sätze gelten nun unabhängig von der Verteilung der Einzelurteile. Saliger und Kunz beschließen die über zehn Jahre währende Diskussion um die formale Effizienz der Delphi-Methode mit folgender Bemerkung: „Da das Ergebnis der Delphi-Methode bei allen Ausprägungen des tatsächlichen wahren Wertes also mindestens genauso gut und bei mindestens einer Ausprägung als echt besser im Vergleich zum Ergebnis des ‚zufälligen Einzelurteils‘ als bester Alternative zu beurteilen ist, kann man die Delphi-Methode auch als effizientes Prognoseverfahren bezüglich des Abstandes zum wahren Wert bezeichnen“ (1981: 479).1 1
Dass der Vergleich zwischen Gruppen- und Individualleistung prinzipiell zugunsten der Gruppenleistung ausfällt, zeigt bereits vor längerer Zeit eine Abhandlung von Klaus Türk (1973, vgl. auch Hofstätter 1956). Jedoch wird in dieser Arbeit nur über die Möglichkei-
Wissenschaftstheoretische Grundlagen
43
Bei der gesamten soeben referierten Argumentation wird unterstellt, dass es einen wahren Wert gibt und dass es das Ziel der Delphi-Befragung ist, diesen wahren Wert möglichst exakt zu ermitteln. Wie jedoch gezeigt wurde (vgl. Abschnitt 2.4), verfolgen nur bestimmte Typen von Delphi-Studien eine solche Zielsetzung. Für Ansätze, die beispielsweise der Aggregation von Ideen dienen, ist die geschilderte Debatte ohnehin weitgehend irrelevant, da sie gar nicht zum Ziel hat, „wahre“ Aussagen zu gewinnen. 3.3
Kognitionspsychologische Grundlagen
Bei der Darstellung der kognitionspsychologischen Grundlagen von DelphiBefragungen soll einleitend nochmals auf die Überlegungen zur Typisierung von Delphi-Befragungen verwiesen werden. Es wurde unterschieden zwischen Studien, die der Sammlung von Ideen dienen (Typ 1), die sich einer möglichst exakten Vorhersage eines unsicheren Sachverhalts beziehungsweise dessen genaueren Bestimmung widmen (Typ 2), die genutzt werden, um die Ansichten einer Expertengruppe über einen diffusen Sachverhalt zu qualifizieren und empirisch abzubilden (Typ 3) und die schließlich zur Konsensbildung unter den Teilnehmern herangezogen werden (Typ 4). Dieses Modell soll nun auch bei der Erörterung der wissenschaftstheoretischen Grundlagen von Delphi-Befragungen benutzt werden. Zur Beantwortung der Fragen nach den wissenschaftlichen Grundlagen von Delphi-Befragungen kann ein kognitionspsychologischer Ansatz herangezogen werden (vgl. Häder/Häder 1995:13ff., Häder 2000c:179ff.; Häder/Häder 2000:23ff.). Die Bearbeitung kognitiver Aspekte im Rahmen der methodischen Forschungen zur Delphi-Methode erscheint − auch angesichts beachtlicher Fortschritte in der Kognitionspsychologie − besonders lohnenswert, da der bislang noch nahezu unerforschte Prozess der Meinungsbildung bei den Experten inzwischen prinzipiell kognitionspsychologisch erklärbar sein dürfte. Wenn es möglich würde, theoretisch zu begründen, wie es den Experten gelingt, richtige beziehungsweise bessere Urteile über Sachverhalte zu fällen, über die ihnen zunächst nur unvollständiges Wissen vorliegt, so hätte dies sowohl für die Legitimation von Delphi-Befragungen generell als auch für die Entwicklung und Beurteilung konkreter Delphi-Designs wesentliche Implikationen. Auf den Mangel an kognitionspsychologischem Wissen über Delphi kann schließlich ein wesentlicher Teil der gegenüber der Delphi-Methode vorgetragenen Kritik zurückgeführt werden. Deshalb handelt es sich bei der weiteren Darstellung der kognitionspsychologischen Grundlagen von Delphi-Befragungen um einen Hauptaspekt zur Legitimation des gesamten Ansatzes und stellt nicht zuletzt einen Beitrag zu dessen theoretischen Aufwertung dar.
ten und Grenzen der Gruppendiskussion reflektiert, es erfolgt aber kein expliziter Verweis auf die Delphi-Methode.
44
Wissenschaftstheoretische Grundlagen
Man kann zunächst davon ausgehen, dass es sich bei Expertenschätzungen in Delphi-Studien um Urteile unter suboptimalen Bedingungen handelt. Dies trifft für alle vier Typen zu. „Problemlösen stellt erhebliche Anforderungen an die menschliche Informationsverarbeitung. Dies gilt besonders dann, wenn komplexe Ziele vorliegen, viele Handlungsalternativen denkbar und Konsequenzen in zahlreichen Dimensionen abzuwägen sind. Entsprechend hängt der Erfolg entscheidend davon ab, wie gut Informationssuche, Informationsbewertung und Informationsverküpfung gelingen“ (Zimolong/Rohrmann 1988:625). Fast allen Delphi-Befragungen – teilweise stellen Konsens-Delphis hier eine gewisse Ausnahme dar – ist weiterhin gemeinsam, dass in deren Verlauf eine Bewertung unsicherer Sachverhalte erfolgt und dass zugleich eine Verbesserung der ursprünglichen Urteile angestrebt wird. Bisherige Darstellungen betrachten DelphiBefragungen vor allem unter dem Aspekt der finalen Qualität der Urteile (vgl. zum Beispiel Abschnitt 3.1). Diese sollen möglichst einem Wahrheitskriterium genügen. Im Unterschied dazu werden hier Überlegungen dazu angestellt, ob und wie diffuse Sachverhalte prinzipiell von Experten bewertbar sind sowie ob und weshalb von einer Verbesserung der Bewertungen im Verlauf der Delphi-Befragung ausgegangen werden kann. An dieser Stelle soll auf eine Arbeit von Jerry R. Salancik (1973) verwiesen werden, in der die Hypothese empirisch untersucht wurde, dass Teilnehmer an einem Prognose-Delphi die Vorstellungen über die Durchführbarkeit, den Nutzen und die potenziellen Kosten eines Ereignisses „aufsummieren“ und daraus die Schätzung über das wahrscheinliche Eintrittsdatum ableiten. Mithilfe einer speziellen Versuchsanordnung konnte er nachweisen: „The more feasible, benefical, or economically a concept is judged, the earlier it is forecast to occur“ (Salancik 1973:248, vgl. auch Salancik et al. 1971). Aus kognitionspsychologischer Sicht gibt es Unterschiede zwischen den Schätzungen in der ersten Welle (vgl. Abschnitt 3.3.1) und den Urteilen, die danach in den Folgewellen (vgl. Abschnitt 3.3.2) abgegeben werden. 3.3.1
Die Urteilsbildung in der ersten Welle
Zur Erklärung der Bildung der Expertenurteile in der ersten Befragungsrunde wird zunächst das Informationsverarbeitungsparadigma herangezogen. In der Kognitionspsychologie wird darin der Mensch als ein System aufgefasst, das aktiv Informationen aus der Umwelt aufnimmt, speichert, manipuliert und zum Teil zielgerichtet weiter verwendet (vgl. Duttke 1994:10). Dieses Informationsverarbeitungsparadigma ist zwar sehr facettenreich (vgl. Scane 1987:79ff.), beruht aber letztlich auf einigen wenigen Kernannahmen (vgl. Weidenmann 1988:20ff.), von denen die folgenden drei im Zusammenhang mit der Bildung des Expertenurteils in Delphi-Studien generell interessieren:
Wissenschaftstheoretische Grundlagen
45
ĺ Informationen, die aktuell in der Umwelt nicht vollständig gegeben sind, können aus dem Wissensbestand des Individuums ergänzt werden. ĺ Die innere Repräsentation von Umweltgegebenheiten ist kein Abbild im passivphotographischen Sinne, sondern eine aktive Rekonstruktion. Diese Aufbauprozesse sind in der informationsverarbeitenden Aktivität und damit zum Teil auch in der Intentionalität des Individuums begründet. ĺ Es erfolgt eine ständige zyklische Rückkopplung zwischen Wahrnehmung, Gedächtnis und Informationssuche: Der Gedächtnisbestand leitet durch Erwartungsbildung die Informationssuche und die Wahrnehmung. Diese verändert ihrerseits den Gedächtnisbestand. Innerhalb der Kognitionspsychologie bietet vor allem die Theorienklasse mentaler Modelle, deren Forschungsgegenstand die menschliche Fähigkeit ist, „Strukturen und Prozesse realer Systeme in analoger Weise intern zu repräsentieren und sie damit verstehen, vorhersagen und erklären zu können“ (Conrad 1993:129) einen Zugang zum näheren Verständnis solcher Urteilsprozesse. Zunächst soll dieser Ansatz kurz umrissen werden: Mentale Modelle werden dazu benutzt, um „unabhängig von äußeren Vorgaben, Alltagswissen in Form gedanklicher Modelle (zu) organisieren, um sich das Verstehen oder Behalten bestimmter Sachverhalte zu erleichtern“ (Duttke 1994:2). In der Kognitionspsychologie dienen sie „der Erklärung menschlicher Informationsverarbeitungsleistungen. Mentale Modelle werden als kognitive Konstruktionen aufgefasst, die auf einer Interaktion von Wahrnehmung und Gedächtnis beruhen. Sie sind von den Intentionen des Informationsverarbeiters abhängig und damit auch indirekt abhängig von der zu bewältigenden Aufgabe (ebenda:12) ... Mentale Modelle beziehen schließlich „Alltagswissen in die Lösung von Problemen des logischen Schließens und des Urteils mit ein“ (ebenda:29). Wichtig für die Beschreibung des Zustandekommens der Expertenurteile der ersten Welle in einer Delphi-Befragung sind insbesondere die Aussagen, die die Theorie mentaler Modelle zum Urteilen unter Unsicherheit trifft. Dabei handelt es sich zunächst um eine alltägliche Anforderung an die menschliche Informationsverarbeitung, die deutliche Parallelen zu den bei Delphi-Befragungen – wiederum unabhängig vom jeweiligen Typ – auftretenden Anforderungen besitzt: „Es geht um die Frage, wie Individuen vorgehen, wenn sie unter suboptimalen Bedingungen (zum Beispiel zu wenig Information, hohe Komplexität der Aufgabe, Zeitdruck) Einschätzungen, Ursachenerklärungen, Schlussfolgerungen, Vorhersagen usw. abzugeben haben“ (Strack 1985:241). Solche kognitiven Vorgänge lassen sich – um ein Beispiel aus dem täglichen Leben anzuführen – in den zahlreichen Quizsendungen des Fernsehens gut beobachten. Hier werden an Kandidaten Wissensfragen gestellt, wobei für die richtige Antwort eine mitunter beträchtliche Belohnung in Aussicht gestellt wird. Es wird dabei in der Regel so vorgegangen, dass den Teilnehmern die richtige sowie einige falsche Ant-
46
Wissenschaftstheoretische Grundlagen
wortmöglichkeiten präsentiert werden. Aus kognitionspsychologischer Sicht gibt es zunächst prinzipiell zwei Möglichkeiten: Erstens, der Kandidat verfügt spontan über ausreichendes Wissen und ist dazu in der Lage, die richtige Antwort zu geben, oder zweitens, er wird versuchen, die richtige Antwort mithilfe von Gedankenstützen zu konstruieren. Interessant ist an dieser Stelle vor allem die letzte Variante. Der von Gerd Gigerenzer, Ulrich Hoffrage und Heinz Kleinbölting entwickelten Theorie mentaler Modelle weiter folgend ist für den Erfolg einer Schätzung, das heißt eines Urteils bei unsicherem Wissen entscheidend, ob für das Urteilen ein lokales mentales Modell (lokales MM) oder ein probabilistisches mentales Modell (PMM) genutzt wird. Während bei lokalen mentalen Modellen nur direkt auf die Aufgabe bezogenes Wissen aktiviert wird, wird bei der Konstruktion von probabilistischen mentalen Modellen in größerem Umfang Erfahrungswissen aus dem Alltag (oder Expertenwissen) herangezogen (vgl. Gigerenzer et al. 1991). Da bei Delphi-Befragungen kein sicheres Wissen für die Urteilsbildung zur Verfügung stehen kann, sind zunächst auch lokale mentale Modelle nicht anwendbar. Vielmehr müssen die Experten für ihre Schätzungen umfangreiches Wissen (etwa auch aus dem Langzeitgedächtnis) heranziehen, Referenzklassen bilden, komplexe Schlussfolgerungen ziehen usw., um letztlich aufgrund von Wahrscheinlichkeitshinweisen ein Urteil zu finden. Es soll hier nochmals an die Kandidaten beim Fernsehquiz erinnert werden. In solchen Sendungen lässt sich teilweise sehr gut beobachten, aufgrund welcher Gedankengänge von den einzelnen Kandidaten in einem iterativen Prozess beispielsweise falsche Antworten ausgesondert und andere für (mehr oder weniger) unwahrscheinlich gehalten werden. So gelingt es mitunter, die richtige Antwortmöglichkeit zu finden, obwohl zunächst kein ausreichendes Wissen vorhanden war. (Auf das Beispiel von den Kandidaten bei einem Fernsehquiz wird auch im Zusammenhang mit der empirischen Darstellung des Antwortprozesses mithilfe der Think-Aloud Methode an anderer Stelle zurückzukommen sein.) Die Experten bei einer Delphi-Befragung bilden ebenfalls, so kann zunächst angenommen werden, aufgrund von – mitunter sicherlich unbewussten – Wahrnehmungen, aufgrund ihres Fachwissens2 und schließlich aufgrund ihrer jeweils fachspezifischen Intentionen hypothetische Modelle zur Lösung des erfragten Sachverhalts. Auf diese drei zentralen Elemente soll kurz konkreter eingegangen werden: 1. Die Experten beziehen ihre Wahrnehmungen hinsichtlich der von ihnen zu lösenden Aufgaben zunächst aus relativ zahlreichen, unterschiedlichen Quellen. Bei diesen Quellen handelt es sich vor allem um die eigene (berufliche) Umgebung sowie um Eindrücke aus den unterschiedlichen Kommunikationsmedien. 2
In diesem Punkt besteht nun ein Unterschied zwischen den Denkprozessen, die bei den Experten innerhalb einer Delphi-Befragung stattfinden und denen, die bei Kadidaten aus einer Fernsehquizsendung ablaufen.
Wissenschaftstheoretische Grundlagen
47
Dazu zählt aber auch die jeweilige soziale Situation des Experten. Diese sorgt wiederum für Selektivität in seiner Wahrnehmung und damit für differenzierte Ergebnisse des Problemlösungsprozesses. Außerdem wird ein im Rahmen einer Delphi-Befragung von den Experten abgegebenen Urteil nicht zuletzt auch von den in der eigenen Umgebung wahrgenommenen Mehrheitsmeinungen (vgl. Noelle-Neumann 1989) geprägt sein. 2. Das Fachwissen eines Experten enthält sowohl empirische Erkenntnisse als auch spezifische Theorien, mit deren Hilfe Aspekte der Wirklichkeit erklärt werden. So dürfte beispielsweise die Sicht auf Jugendliche dadurch geprägt sein, ob es sich bei den Experten um einen Psychologen, Soziologen, Architekten, Theologen, Juristen, Pädagogen oder um einen Politologen handelt, der aufgrund seines Fachwissens jeweils mit bestimmten Eigenschaften dieses Personenkreises besonders gut vertraut ist. Damit werden auch die von ihnen bei der Bildung probabilistischer mentaler Modelle benutzten Erkenntnishilfen, die sogenannten Cues, jeweils fachspezifischen Charakter tragen. 3. In die Bildung von kognitiven Konstrukten zur Lösung einer Delphi-Aufgabe fließen weiterhin die Intentionen der Experten ein. Hier spielt offenbar der eigene Standpunkt, von dem aus ein Urteil gebildet wird, eine gewisse Rolle. Selbst ein ähnlich strukturiertes Fachwissen wird vor dem Hintergrund unterschiedlicher politischer Standpunkte und unterschiedlicher eigener wirtschaftlicher Interessen unter Umständen zu divergierenden Urteilen führen. (Im Abschnitt 11.4 wird anhand der Ergebnisse kognitiver Test zu zeigen versucht, ob sich solche Denkstrukturen bei den Teilnehmern von Delphi-Befragungen tatsächlich empirisch nachweisen lassen.) Andere kognitionspsychologische Ansätze sprechen den sogenannten impliziten Theorien besondere Bedeutung zu, wenn es um die mentale Konstruktion von Schätzungen über einen diffusen Sachverhalt geht. Implizite Theorien sind schematische Wissensstrukturen, die bestimmte Annahmen über die Stabilität eines Merkmals beinhalten beziehungsweise über die Bedingungen, unter denen sich Merkmale verändern, sowie über die Richtung, in der sich solche Veränderungen vollziehen. Hier haben empirische Tests gezeigt, dass beispielsweise Erinnerungslücken mit solchen impliziten Theorien beziehungsweise mit schematischen Wissensstrukturen aufgefüllt werden können (vgl. Schwarz 1993). Dies kann für die Umfrageforschung zunächst gewisse Probleme bei der Verwendung retrospektiver Indikatoren signalisieren: Auf die Frage beispielsweise, wie ehrlich jemand vor einem Jahr war wird – dieser Theorie zufolge – die Überlegung folgen, ob sich die Ehrlichkeit im letzten Jahr verändert hat. Wenn es keinen Grund gibt, um von einer Veränderung auszugehen, werden die aktuelle Ehrlichkeit und die vor einem Jahr gleich bewertet. Ist eine solche Annahme (= implizite Theorie) jedoch falsch, so würde beispielsweise eine retrospektive Frage verzerrt beantwortet werden. In diesem Zusammenhang wurde so auch die empirische Erkenntnis gewon-
48
Wissenschaftstheoretische Grundlagen
nen, dass Stabilität in retrospektiven Einschätzungen häufig überschätzt wird (vgl. Grau/Mueller/Ziegler 2000). Für die kognitionspsychologischen Grundlagen von Delphi-Befragungen noch interessanter ist jedoch die Tatsache, dass nachgewiesen werden konnte, dass Menschen über implizite Theorien zum zeitlichen Verlauf einer Erscheinung verfügen (vgl. Ross 1989). Ebenso wie retrospektiv bereits vergessene Ereignisse mithilfe dieser impliziten Theorien „aufgefüllt“ werden, dürften sich beispielsweise auch zukünftige Ereignisse mithilfe solcher impliziten Theorien vorweg nehmen lassen. Demzufolge müssten dann entferntere Ereignisse auch mit geringerer subjektiver Sicherheit bewertet werden. Genau diese Tendenz konnte in Tests empirisch nachgewiesen werden (vgl. Martino 1970a, 1970b). Zusammenfassend kann festgestellt werden: Allen Expertenurteilen bei DelphiBefragungen ist zunächst gemeinsam, dass von ihnen lediglich unter Unsicherheit ein Urteil über den erfragten Sachverhalt abgegeben werden kann. Die Vielfalt an Wahrnehmungen, an Fachwissen und an Intentionen, über die die Experten verfügen, erlaubt es diesem Personenkreis allerdings, mentale Modelle zu erstellen, auf deren Grundlage sie zu qualitativ hochwertigen Urteilen bereits in der ersten Welle einer Delphi-Befragung gelangen. 3.3.2
Die Urteilsbildung in den Folgewellen
In den Urteilen der folgenden Wellen spielen nun zunächst Lernprozesse, wie sie etwa Bernhard Zimolong und Bernd Rohrmann beschreiben, eine wichtige Rolle: „Jedes gelernte Verhalten verändert sich mit der Anzahl seiner Ausführungen und der Qualität der erhaltenen Rückmeldungen. Der Zeitbedarf verringert sich exponentiell zur Anzahl der Wiederholungen, die Ausführungsqualität verbessert und stabilisiert sich gegenüber Störungen aus der Umwelt und die Kontrolle des Ablaufs wird durch eine unbewusste, automatische Regelung ersetzt. Als Ergebnis vermindert sich die erlebte Beanspruchung. Die als `Potenzgesetz des Lernens´ bekannte Beziehung gilt nicht nur für das sensumotorische Lernen, sondern darüber hinaus für jede Art von kognitiver Aktivität“ (1988:628). Eine ganze Reihe der hier beschriebenen Effekte, die sich als Lernerfolg interpretieren lassen, sind bei Delphi-Befragungen bereits beobachtet worden (vgl. Häder/Häder 1994b; Häder/Häder/Ziegler 1995). So sank in einem Experiment beispielsweise der für das Ausfüllen des vom Umfang her identischen Delphi-Fragebogens erforderliche Zeitaufwand von Welle zu Welle. In einem Aufsatz (vgl. Bardecki 1984) wird ein Experiment zum Zusammenhang zwischen dem Grad an Dogmatismus eines Individuums und dessen Neigung zur Meinungsänderung beschrieben. Die These ist zunächst, dass dogmatische Menschen weniger zur Meinungsänderung neigen. Diese Annahme konnte jedoch nicht voll bestätigt werden (vgl. Mulgrave/Ducanis 1975). Immerhin wird in der Folgezeit von Delphi-Studien berichtet (vgl. Nelson 1978:46), die vor Beginn den Dogmatismus-
Wissenschaftstheoretische Grundlagen
49
Grad der beteiligten Experten – mit Hilfe der Dogmatismus-Skala von Vincent F. Berger (1967) – überprüfen. Besondere Bedeutung für die Qualitätsverbesserung der Urteile kommt bei Delphi-Befragungen – neben dem Lerneffekt – auch den Rückmeldungen zu, die die Experten nach jeder Befragungsrunde erhalten. Sie können direkt und indirekt einen Informationsgewinn bewirken, der bei der erneuten Urteilsbildung den Experten zur Verfügung steht. So stellt Norbert Schwarz (vgl. 1991) auf der Grundlage von Arbeiten zur flexiblen Konstruktion mentaler Repräsentationen innerhalb einer Befragung (vgl. Barsalou 1987, 1989) fest, dass die Untersuchungspersonen bei der Antwortfindung auf verschiedene Arten von Wissen zurückgreifen. Bestimmtes Wissen ist den Befragten permanent verfügbar, andere Informationen dagegen nur temporär. In diesem Zusammenhang ist es wichtig, dass zunächst nicht alle potenziell relevanten Informationen aus dem Gedächtnis abgerufen werden, sondern dass der Suchprozess abgebrochen wird, sobald die Befragten genügend Informationen erinnert haben, um sich mit hinreichender Sicherheit ein Urteil bilden zu können (vgl. Bodenhausen/Wyer 1987). „Das Urteil beruht daher nur auf der Teilmenge potentiell relevanter Information, die zum Urteilszeitpunkt verfügbar ist – sei dies chronisch oder temporär (Schwarz 1991:71; vgl. auch Hippler/Schwarz/Noelle-Neumann 1989, Schwarz/Sudman 1992, Schwarz/Strack/Hippler 1990). Die folgenden zwei Tests veranschaulichen diesen Vorgang weiter: 1. In einer Studie (vgl. Aderman/Brehm 1976) wurde untersucht, welche Konsequenzen für die Antworten entstehen, wenn der jeweils befragten Person eine Belohnung, beispielsweise ein Geldgeschenk, in Aussicht gestellt wird. Im Ergebnis ließ sich zeigen, dass in solchen Fällen das Gedächtnis länger nach Informationen abgesucht wird als wenn den Befragten keine Anreize geboten werden. Entsprechend ist zu erwarten, dass die Qualität eines Urteils mit der Intensität, mit der die Urteilsbildung betrieben wird, wächst. 2. Ein anderes Experiment widmete sich (scheinbar) der Dauer des Fernsehens. Zunächst wurde die Frage nach der Fernsehdauer in der letzten Woche gestellt. Nach der darauf folgenden Antwort wurden die Zielpersonen mit konkreten Nachfragen konfrontiert. Zwei Beispiele für die hier gefundenen Ergebnisse sind im Kästchen auf der folgenden Seite enthalten. Auch aufgrund dieser Nachfragen, es handelt sich um die häufig im Rahmen von Pretests eingesetzte Probing-Technik, konnten die Befragten dazu bewegt werden, nochmals den Suchprozess in ihrem Gedächtnis aufzunehmen und ihr zunächst abgegebenes Urteil zu revidieren und, so kann angenommen werden, dieses zu verbessern (vgl. Prüfer/Rexroth 1996).
50
Wissenschaftstheoretische Grundlagen
Zwei Beispiele für Nachfragestudien zu einer Fragebogenfrage 1. Beispiel: Frage des Interviewers:
„Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?“
Antwort der Zielperson:
„Oh je, vielleicht sechs Stunden.“
Frage des Interviewers:
„Wie kommen Sie jetzt darauf?“
Antwort der Zielperson:
„Geraten, geschätzt – jeden Tag eine Stunde. Mehr jeden Tag. Jeden Tag zwei Stunden. Sind 14 Stunden. Ja 14 Stunden.“
2. Beispiel: Frage des Interviewers:
„Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?“
Antwort der Zielperson:
„Zehn Stunden.“
Frage des Interviewers:
„Und wie sind Sie auf zehn Stunden gekommen?“
Antwort der Zielperson:
„Na das Programm ...“
Frage des Interviewers:
„Wie kommt es zu den zehn Stunden?“
Antwort der Zielperson:
„Ja also ich habe ungefähr täglich zwei Stunden – nein also es muss 14 Stunden sein. Zwei Stunden, vielleicht auch etwas mehr. Täglich gucke ich ungefähr zwei und eine halbe Stunde insgesamt.“
Quelle: Prüfer/Rexroth (1996)
Beide Beispiele zeigen, dass Befragte tatsächlich bei ihren Antworten (zunächst) nicht die gesamten ihnen zur Verfügung stehenden Informationen nutzen. Stimuliert durch eine in Aussicht gestellte Belohnung beziehungsweise durch eine erneute Nachfrage wird weiteres Wissen mobilisiert und – wie beispielsweise im zweiten Fall – die ursprüngliche Antwort überdacht. Die den Teilnehmern einer Delphi-Befragung nach jeder Welle rückgemeldeten Informationen sowie die erneute Bitte um Beantwortung der Fragen sollen nun ebenfalls bewirken, dass die Experten den Suchprozess in ihrem Gedächtnis nochmals aufnehmen und nach weiteren, für dem jeweiligen Sachverhalt relevanten Informationen fahnden. Die rückgemeldete Gruppenantwort kann einen Kontexteffekt bewirken und damit zur Verbesserung des abgegebenen Urteils beitragen. Zugleich ist die Rückmeldung aber auch als eine neue Information zu interpretieren. Sie muss in das bei den Experten bereits bestehende Modell (vgl. Abschnitt 3.3.1) eingepasst oder abgewiesen werden. Dazu müssen die Experten prüfen, ob die
Wissenschaftstheoretische Grundlagen
51
neue Information in Bezug auf das bestehende Modell als widerspruchsfrei integrierbar angesehen wird, ob das bestehende Modell verändert werden muss, oder ob die Information aus den Feed-back als abzuweisen eingeschätzt wird. 3.4
Das SIDE-Modell
Bei der Diskussion um die wissenschaftstheoretischen Grundlagen des DelphiAnsatzes soll an dieser Stelle abschließend auf das aus der Sozialpsychologie stammende Social Identity DEindividuation (SIDE-) Modell (vgl. Spears/Lea 1994, Reicher/Spears/Postmes 1995)3 Bezug genommen werden. Im Rahmen der Forschungen zur computervermittelten Kommunikation (CMC) ist ein bereits seit langem diskutiertes und bisher ungelöstes Problem erneut aufgetaucht: Es stellt sich die Frage, ob nicht aufgrund der bei computervermittelter Kommunikation vorliegenden Anonymität der Situation negative Auswirkungen auf das Verhalten der Teilnehmer zu erwarten sind (vgl. auch Abschnitt 7.8). Das SIDEModell beschreibt nun – aufbauend auf der Theorie der sozialen Identität (vgl. Tajfel 1978) und auf der Self Categorization Theory (vgl. Turner 1982, Turner et al. 1987) – welcher Effekt auf die Orientierung an sozialen Normen von unterschiedlichen Aspekten gegenseitiger Anonymität ausgeht. Im Unterschied und im Gegensatz zu den Deindividuationstheorien von Leon Festinger (1954), denen zufolge die Anonymität zu normenlosen, unregulierten Verhalten beiträgt, wird im SIDE-Modell angenommen, dass Menschen sich unter Anonymität normkonformer verhalten als in einer Situation, in der sie sich gegenseitig als Individuen identifizieren können. Anonymität beziehungsweise „Deindividuation ist ein psychologischer Zustand verringerter Selbstbewertung und Bewertungsangst, der zu ungehemmtem antinormativem Verhalten führt. Dieser Zustand wurde zunächst als Phänomen, das exklusiv bei gemeinsamen Handlungen von Mitgliedern einer großen Gruppe auftritt, beschrieben“ (Sassenberg 1999:10). Bei Delphi-Befragungen liegt nun eine ähnliche Situation wie bei der computervermittelten Kommunikation vor. Diese Ähnlichkeit besteht darin, dass den Beteiligten – aufgrund der anonymen Erhebungssituation – weniger soziale Kontextinformationen zur Verfügung stehen als bei einer persönlich-mündlichen Kommunikation und dass die Kommunikationssituation weniger als eine soziale Interaktion wahrgenommen wird. Zum SIDE-Modell liegen inzwischen eine Reihe von empirischen Befunden vor, die das Modell insgesamt bestätigen (vgl. Sassenberg/Kreutz 1999:63, Sassenberg 1999, Postmes 1997, Reicher/Levine 1994a 1994b, Spears/Lea/Lee 1990). Das SIDE-Modell besitzt zwei Aspekte: erstens einen kognitiven sowie zweitens einen strategischen. Beide werden kurz vorgestellt: 3
Mein herzlicher Dank gilt Herrn Dirk Bergmann vom Institut für Arbeitswissenschaften der RAG Aktiengesellschaft in Dortmund für seine Anregung zu diesen Überlegungen.
52
Wissenschaftstheoretische Grundlagen
ĺ Der kognitive Aspekt geht dem Einfluss der Anonymität auf das Verhalten der einzelnen Personen nach. Bei der Kommunikation verfügen der Selbstkategorisierungstheorie zufolge (vgl. Turner et al. 1987) die beteiligten Partner entweder über eine stärkere soziale oder über eine stärkere personale Identität. Bei der sozialen Identität ist das Selbstverständnis als Mitglied der Gruppe stärker ausgeprägt. Bei einer personalen Identität liegt dagegen ein stärkeres Selbstverständnis als Individuum vor. Je nach dem, welcher Aspekt nun salient ist, erfolgt die Argumentation im SIDE-Modell unterschiedlich: Bei salienter sozialer Identität wird zunächst die Homogenität der Expertengruppe wahrgenommen. Diese Wahrnehmung wird bei Delphi-Befragungen vermittelt durch das Monitoring-Team, das die Gruppenmitglieder beispielsweise über die gemeinsame Aufgabenstellung und die Struktur der Gruppe aufklärt. Den Teilnehmern wird so bewusst, dass besonders kompetente Personen aus unterschiedlichen Bereichen für die Mitarbeit rekrutiert worden sind. Die Teilnehmer wissen weiterhin, dass sie gemeinsam an der Bearbeitung einer diffizilen Fragestellung arbeiten. Sie nehmen das Feed-back zur Kenntnis usw. Die in der Gruppe unter Umständen vorhandenen unterschiedlichen Persönlichkeitseigenschaften werden jedoch aufgrund der anonymen Situation nicht wahrgenommen. Damit wird dem SIDE-Modell folgend die Identifikation mit der Gruppe weiter erhöht und eine Orientierung an den stereotypen Gruppennormen verstärkt. Wie Untersuchungsergebnisse zur Selbstkategorisierungstheorie zeigen, begünstigt die subjektive Homogenität einer Gruppe die Identifikation mit dieser (vgl. Wilder 1990). Gruppennormen, die bei Delphi-Befragungen verstärkt werden, können zum Beispiel sein, die vom Monitoring-Team ver- beziehungsweise übermittelte Problemstellung zu bearbeiten und dabei gemeinsam besondere kognitive Anstrengungen zur Problemlösung zu unternehmen. Bei salienter personaler Identität – wenn also das Selbstverständnis als Individuum dominiert – ist die Gruppensituation zunächst die gleiche. Die Teilnehmer haben keine Hinweise auf einzelne Persönlichkeitsmerkmale der anderen Gruppenmitglieder. Sie orientieren ihr Verhalten jedoch vielmehr an den eigenen Bedürfnissen. „Das Erkennen von ähnlichen, gemeinsamen Eigenschaften trägt bei nicht anonymer Kommunikation zur Schwächung der personalen Identität bei. Bei anonymer Kommunikation bleibt diese Schwächung aus. Folglich kommt es bei Anonymität zu Verhaltensweisen, die im Vergleich mit nicht anonymer Kommunikation besonders extrem die positive Distinktheit der eigenen Person fördern.4“
4
Diese Quelle findet sich unter folgender URL: http://www.psych.uni-goettingen.de/abt/6/forschung/projekt_04.html 27.05.2009).
(letzter
Zugriff
Wissenschaftstheoretische Grundlagen
53
ĺ Der strategische Aspekt des SIDE-Modells geht dem Einfluss der Identifizierbarkeit der einzelnen Personen und den damit zu erwartenden Sanktionen auf die Konformität des Verhaltens nach. „Die Identifizierbarkeit einer Person für andere bewirkt eine Bewertung des eigenen Verhaltens vor dem Hintergrund der Erwartungen dieser, d.h. es entsteht sogenannte öffentliche Selbstaufmerksamkeit (Carver/Scheier 1981). Dieser Effekt verstärkt sich, wenn die identifizierbare Person Sanktionen von ihren Beobachtern zu befürchten hat“ (Sassenberg/Kreutz 1999: 65). Eine solche Identifizierbarkeit liegt bei Delphi-Befragungen (mit Ausnahme eines von Hasse (1999) beschriebenen Vorgehens beim Typ 1) teilweise gegenüber den Mitgliedern der Monitoring-Gruppe vor. Sie besitzen unter Umständen die Möglichkeit, die eingehenden Fragebögen konkreten Experten namentlich zuzuordnen. Eine Orientierung an den Normen des Monitoring-Teams, so ist zu erwarten, sollte sich ebenfalls positiv auf den Ablauf der Delphi-Befragung auswirken, etwa dadurch, dass die Teilnehmer sich gegenüber den Veranstaltern zu besonderen Anstrengungen verpflichtet fühlen. Zusammenfassend kann festgestellt werden, dass derzeit (noch) keine geschlossene Theorie des Delphi-Ansatzes vorliegt. Es stehen jedoch eine Reihe von Versatzstücken verschiedenster Provenienz zur Verfügung, um die bei Delphi-Befragungen ablaufende Prozesse zu erklären. Einige besonders interessante Ansätze wurden in diesem Abschnitt vorgestellt. 3.5 Die Schätzung von Eintrittswahrscheinlichkeiten Kognitiv besonders anspruchsvoll ist die Schätzung von Eintrittswahrscheinlichkeiten. Eine solche Aufgabe könnte zum Beispiel lauten: „Für wie wahrscheinlich halten Sie es, dass das Ereignis x in den nächsten zehn Jahren eintritt? Bitte geben Sie einen Wert zwischen 0 Prozent (völlig ausgeschlossen) und 100 Prozent (völlig sicher) an!“ Verschiedene Bedenken werden gegen diese Art der Fragestellung vorgebracht. So treten erstens häufig Widersprüche gegenüber mathematischen Wahrscheinlichkeitsgesetzen auf (vgl. Hoffrage et al. 2000), wie die Verletzung der Konjunktionsregel. Danach kann die Wahrscheinlichkeit zweier Ereignisse, die durch eine logische UND-Verknüpfung verbunden sind, nie größer sein, als eine ihrer Komponenten. Bekannt wurde in diesem Zusammenhang das Linda-Problem (vgl. Tversky/ Kahneman 1983:297f.). Linda wird als selbstbewusste Studentin beschrieben, die Single ist, Philosophie studiert hat und im Studium großes Interesse an Themen wie Diskriminierung und Gleichberechtigung zeigte. Bei der Aufgabe zu schätzen, ob es wahrscheinlicher ist, dass Linda entweder als Bankangestellte arbeitet oder ob sie innerhalb der Frauenbewegung aktiv ist und als Bankangestellte arbeitet, fällt häufig
54
Wissenschaftstheoretische Grundlagen
die Entscheidung auf die zweite Variante. Diese Verknüpfung widerspricht jedoch den Wahrscheinlichkeitsüberlegungen. Geht man zweitens vom kognitionspsychologischen Modell der Antwortfindung auf eine (Fragebogen-)Frage aus, so spielt neben dem Verständnis der Frage die Abrufung von Informationen aus dem Gedächtnis eine besondere Rolle. Hierbei ist wiederum entscheidend, welche Informationen die befragte Person zur Verfügung hat. So mag man Versuchspersonen die Aufgabe stellen zu schätzen, welchen Studienabschluss wohl ein Mensch erwirbt, der zum Beispiel als intelligent, ordnungsliebend, systematisch und dafür mit wenig Sympathie für andere Menschen ausgestattet ist. Vielfach wird die Ansicht vertreten, es sei wahrscheinlicher ist, dass es sich um einen Informatiker handelt als dass diese Person Geistes- oder Erziehungswissenschaftler ist. Bei einer solchen Entscheidung bleibt dann aber offenbar außer Acht, dass es deutlich weniger Informatiker als Geistes- und Erziehungswissenschaftler gibt (vgl. Kahneman/Tversky 1973:238f.). Damit widerspräche auch eine solche Einschätzung den Gesetzen der Logik. Drittens ist beim Einsatz solcher Skalen eine übermäßige Nutzung der 50 Prozentantwort zu beobachten. Diese Kategorie wird dann genutzt, um Unwissen oder Enthaltung zu signalisieren (vgl. Lippman-Hand/Fraser 1979). Bei der Bewertung von besonders geringen Ereigniswahrscheinlichkeiten kann aufgrund der Tendenz, runde Werte wie 10, 20, 30 und so weiter zu bevorzugen, zu einer Überschätzung der Wahrscheinlichkeit kommen (vgl. Beuer-Krüssel/Krumpal 2009:38). Schließlich können viertens auch evolutionäre Prozesse für die Fehleranfälligkeit von prozentualen Wahrscheinlichkeitsschätzungen verantwortlich gemacht werden. „Menschen besitzen demnach keinen angeborenen Mechanismus, der ihnen die Verarbeitung von Einzelereigniswahrscheinlichkeiten in Einklang mit den normativen Standards der Wahrscheinlichkeitstheorie ermöglicht“ (Beuer-Krüssel/Krumpal 2009:38, vgl. auch Brase et al. 1998, Cosmides/Tooby 1996, Gigerenzer 1996, 1998, 2000). Die soeben vorgestellten Überlegungen beziehen sich auf die Gestaltung allgemeiner Bevölkerungsbefragungen. Es ist jedoch naheliegend, dass auch Experten bei Delphi-Studien solchen Fehlschlüssen erliegen können. Alternativ sollte deshalb in solchen Fällen auf eine Häufigkeitsskala zurückgegriffen werden. „Natürliche Häufigkeiten sind (verglichen mit Prozenten) weniger abstrakt, einfacher zu verstehen sowie zu visualisieren und benötigen weniger kognitiven Aufwand bei der Einschätzung von Risiken“ (Beuer-Krüssel/Krumpal 2009:40, vgl. auch Brase et al. 1998, Evans et al. 2000, Gigerenzer et al. 1991, Hoffrage et al. 2000).
4 Delphi-Befragungen im Vergleich zu ähnlichen Ansätzen
Es ist prinzipiell denkbar, gleiche inhaltliche Ziele auch mit verschiedenen sozialwissenschaftlichen Instrumenten zu erreichen beziehungsweise die gleiche Problematik mit unterschiedlichen Methoden zu bearbeiten. Im folgenden Abschnitt soll die jeweilige Spezifik der beiden mit den Delphi-Befragungen besonders „verwandten“ Verfahren – Gruppendiskussion in einer persönlich-mündlichen Situation und einmalige Expertenbefragung – im Vergleich herausgearbeitet werden. Die Darstellung geht davon aus, dass prinzipiell alle Ansätze ihre Existenzberechtigung im Arsenal der empirisch-sozialwissenschaftlichen Instrumente besitzen. Weiter wird vorausgesetzt, dass es keinen Sinn hat, nach einer generellen Hierarchie dieser Ansätze zu suchen. Es wird vielmehr darum gehen, für die jeweils zu bearbeitende Problemstellung den dafür geeignetsten Ansatz zu finden. Zunächst werden Gruppendiskussionen (Abschnitt 4.1) und die Expertenbefragungen (Abschnitt 4.2) jeweils kurz vorgestellt, danach wird die Relation dieser Ansätze zu den verschiedenen Typen von Delphi-Befragungen besprochen. Der Abschnitt schließt mit einer Gegenüberstellung von Deliberative Polls, einer in letzter Zeit häufiger diskutierten Strategie, versus Delphi-Befragungen mit dem Ziel der Konsensfindung (Typ 4). 4.1
Gruppendiskussionen
Die historische Entwicklung von Gruppendiskussionen beschreiben zum Beispiel Peter Loos und Burkhard Schäffer (2001). Die Autoren machen verschiedene Etappen der Entwicklung aus: Beginnend im angelsächsischen Raum sind gegen Ende der 1940-er Jahre erstmals Focusgruppendiskussionen zur Einschätzung der Zuschauerreaktionen auf Propagandafilme benutzt worden (vgl. Merton/Kendell 1946, 1979). Der Ansatz bot sich damals vor allem aufgrund von zeitlichen und forschungsökonomischen Überlegungen an. So interessierten zunächst nicht Gruppenprozesse, sondern die Reaktionen von (vielen) Einzelpersonen. In den 1970-er Jahren wurden dann Gruppendiskussionen als Instrument zur Erkundung von Gruppenprozessen entdeckt (vgl. Lamnek 1998). Der Idee folgend, dass die öffentliche Meinung mehr sei als ein Summenphänomen (vgl. Pollock 1955), wandten sich Gruppendiskussionen nun der Erforschung solcher Gruppenprozesse wie etwa den kollektiv verankerten Orientierungen zu (vgl. Mangold 1960, 1973). Schließlich wurde in letzter Zeit ein neues Konzept für Gruppendiskussionen entwickelt, nach dem es sich hier um einen Ansatz
56
Delphi, Gruppendiskussion und einmalige Expertenbefragung
mit einer „wechselseitigen Beeinflussung von Forschungsgegenstand und Methode“ handelt (Loos/Schäffer 2001:42, vgl. Bohnsack 1999). Wahrscheinlich kann man gegenwärtig davon ausgehen, dass die methodische Absicherung von Gruppendiskussionen – beispielsweise im Vergleich zu derjenigen von Delphi-Befragungen – bereits relativ weit fortgeschritten ist. Dabei hat sich das folgende Vorgehen als typisch herausgestellt: Bei Gruppendiskussionen werden – nach einem externen „Anstoß“ – von den Teilnehmern Erzählungen abgegeben, es werden Ereignisse erinnert und diese werden wechselseitig ergänzt (vgl. Loos/Schäffer 2001:13). Neben künstlich, nach bestimmten Kriterien zusammengesetzten Gruppen werden mithilfe dieses Verfahrens vor allem auch real existierende Gruppen befragt. Wichtig ist die Prämisse, dass die Gruppe unter diesem Focus als „konstituierender Faktor von sozial kontextualisierten Orientierungen“ (ebenda 2001:17) interessiert. Es wird nun untersucht, inwieweit auch Gruppendiskussionen die verschiedenen Funktionen von Delphi-Befragungen erfüllen können. Das Einsatzspektrum von Delphi-Befragungen wurde bereits konkret umrissen. Sie können – wie im Abschnitt 2.4 dargestellt – der Ideenaggregation dienen (Typ 1), sie können benutzt werden, um einen unklaren Sachverhalt konkreter zu strukturieren beziehungsweise um Ereignisse vorherzusagen (Typ 2), sie haben sich bei der Erhebung und Qualifikation von Expertenmeinungen zu diffusen Problemen bewährt (Typ 3) und sie ermöglichen schließlich die Beförderung von Konsens unter den Teilnehmern der Befragung (Typ 4). Entsprechend wird nun vorgegangen. ĺ Die Aggregation von Ideen und die Aufklärung unsicherer Sachverhalte Sowohl Gruppendiskussionen als auch Delphi-Befragungen können für die Aggregation von Ideen und für die Strukturierung diffuser Sachverhalte wie etwa von Zukunftsszenarien benutzt werden. Beide Ansätze vermögen, die Lösung einer bestimmten, zunächst nur wenig strukturierten Problemstellung voran zu bringen. Bei beiden Instrumenten werden dazu die einzelnen Mitglieder der Gruppe mit der Sammlung und Systematisierung von Informationen und Wissen beauftragt. Dabei sind in Bezug auf die Rolle der Gruppe jedoch Unterschiede zu machen: Bei Gruppendiskussionen kommt es infolge des sozialen Kontaktes unter den Teilnehmern zur Auslösung verschiedener Gruppenprozesse. So ist es denkbar, dass die Experten – unter günstigen Bedingungen – zu einem intensiven Austausch von Gedanken angeregt werden und so zu qualitativ hochwertigen Ideen gelangen. Ebenso ist es aber denkbar, dass aufgrund bestimmter ungünstiger Konstellationen in der Gruppe die Gruppenleistung nur relativ gering ausfällt. Wenn das Ziel der Erhebung in der Aggregation von Ideen besteht, kommt es nicht auf die Mehrheitsfähigkeit dieser Ideen an. Beabsichtigt wird lediglich eine qualitative Zusammenstellung möglichst vieler unterschiedlicher Gedanken zur Problemlösung. Deshalb muss bei einer solchen Zielstellung nur wenig befürchtet werden, dass in einer Gruppendiskussion, bei der die Teilnehmer einen persönlich-
Delphi, Gruppendiskussion und einmalige Expertenbefragung
57
mündlichen Kontakt haben, infolge einer Meinungsführerschaft das Ergebnis zu stark verfälscht wird. Bei Delphi-Befragungen erfolgt dagegen eine Reduktion dieser spontanen Gruppenprozesse. Lediglich durch ein anonymes Feed-back wird den Teilnehmern die Gruppenmeinung vermittelt. Charismatische Meinungsführer kommen so nicht zur Geltung. Die Kommunikation verläuft bei Delphi-Befragungen außerdem strukturierter ab als in der Gruppendiskussion. Damit werden die Gruppenprozesse gezielt modifiziert und vor allem kontrolliert. Zusammenfassend lässt sich daraus eine prinzipielle Überlegenheit von DelphiBefragungen nicht begründen. Beide Instrumente sind grundsätzlich dazu geeignet, zur Aggregation von Ideen und zur Strukturierung diffuser Sachverhalte beizutragen. Die für diesen Zweck in Gang gesetzten Gruppenprozesse unterscheiden sich indes voneinander. Es erschien jedoch zunächst nicht möglich, generelle Vor- oder Nachteile der einen oder anderen Vorgehensweise theoretisch zu begründen. Die Folgen der unterschiedlichen Vorgehensweisen waren jedoch Gegenstand einiger empirischer Tests. Lediglich drei sollen hier kurz erwähnt werden: Frederick Parenté und Janet K. Anderson-Parenté kommen aufgrund eines diesem Problem gewidmeten Experiments zu dem Ergebnis: „Nevertheless, the general trend is toward more valid judments over iteration“ (1987). Ihr Experiment zeigte, dass Delphi-Befragungen bessere kurzfristige Vorhersagen erbringen als dies im Ergebnis von Gruppenbefragungen der Fall ist. Bei Almanachfragen ergibt sich jedoch ein entgegengesetztes Resultat. Hier erwiesen sich in einem anderen Experiment die Gruppendiskussionen als leistungsfähiger (vgl. Brockhoff 1975). Walter Riggs berichtet schließlich über die folgende Versuchsanordnung: Die Spielergebnisse von Footballmannschaften mit ähnlichem Punktespektrum sollten vier Wochen im Voraus vorhergesagt werden. Insgesamt waren dabei zwei Spielergebnisse zu schätzen. Das erste Spiel war intensiv von den Medien kommentiert worden, woraus die Vermutung resultiert, dass über dieses Spiel relativ viele Informationen vorhanden waren. Für das andere Spiel galt dies nicht. Die Testteilnehmer waren Studenten. Eine Hälfte der gesplitteten Gruppe diskutierte die wahrscheinlichen Resultate in einer persönlich-mündlichen Situation, die andere Hälfte nahm an einer Delphi-Befragung in zwei Runden (dies ergibt zwei mal acht Gruppen) teil. „The result therefore appears to support the contention that Delphi is superior to the conference method for long-range forecasting in both high and low information environments“ (Riggs 1983:93). Die Ergebnisse der drei Experimente zeigen, dass Delphi-Befragungen, die das Ziel verfolgen, einen diffusen Sachverhalt zu strukturieren, sich gegenüber Gruppendiskussion nicht in jedem Fall als die überlegene Technik erwiesen haben. Dieser empirische Befund war aufgrund der oben dargestellten theoretischen Prämissen durchaus zu erwarten gewesen. In der Argumentation, ob nun besser Delphi-
58
Delphi, Gruppendiskussion und einmalige Expertenbefragung
Befragungen oder Gruppendiskussionen der Vorzug zu geben ist, wird deshalb teilweise der Schwerpunkt (vor allem von den Delphi-Befürwortern) auf die ökonomischen Aspekte bei der Anwendung des Verfahrens gelenkt, wobei für DelphiBefragungen dessen kostengünstigeres Design (vgl. Fischer 1981 zitiert nach Rowe et al. 1991:239) spricht. Auf die bei der Anwendung beider Verfahren entstehenden Kosten wird später (vgl. Abschnitt 6.2) noch näher eingegangen. ĺ Die Ermittlung und Qualifikation von Gruppenmeinungen über einen diffusen Sachverhalt Anders stellt sich die Situation dar, wenn das Ziel eines Forschungsprojekts darin besteht, Gruppenmeinungen zu qualifizieren und diese empirisch abzubilden (Delphi-Befragungen vom Typ 3). Hier lassen sich wesentliche methodische Unterschiede gegenüber Gruppendiskussionen in einer persönlich-mündlichen Situation ausmachen. Dies vor allem deshalb, weil bei Gruppendiskussionen die Gruppe eher als „Störfall“ konzeptualisiert werden muss. Wenn es um die Erhebung von (vielen) Einzelmeinungen geht, führen Mechanismen wie die Orientierung der eigenen Antworten an der sozialen Erwünschtheit in persönlich-mündlichen Situationen zu Verzerrungen. Solche Prozesse werden bei anonymen Delphi-Befragungen jedoch gezielt vermieden. Damit dürften Delphi-Befragungen gegenüber Gruppendiskussionen deutlich überlegen sein, wenn es darum geht, die Meinungen einer Reihe von Experten zu ermitteln und zu qualifizieren. Dies gilt umso mehr, je stärker als heikel empfundene Sachverhalte von den Experten bewertet werden sollen. ĺ Die Konsensbildung Eine wiederum andere Situation liegt vor, wenn die Aufgabe darin besteht, eine Konsensbildung unter den Teilnehmern zu befördern (Delphi-Befragungen vom Typ 4). Hier muss das Fehlen entsprechender Tests, die Delphi-Befragungen und Gruppendiskussionen unter diesem Aspekt miteinander vergleichen, konstatiert werden. Denkbar ist sowohl eine Hypothese, der zufolge bei Gruppendiskussionen in einer persönlich-mündlichen Situation aufgrund des engeren sozialen Kontakts unter den Mitgliedern der Gruppe ein höherer Konsensdruck vorliegt als dies bei einer anonymen Delphi-Befragung der Fall ist. Die Folge wäre eine stärkere Tendenz zur Konsensbildung bei Gruppendiskussionen. Folgte man jedoch dem SIDE-Modell (vgl. Abschnitt 3.4), ist auch eine gegenteilige Vermutung nicht unplausibel: Infolge der Anonymität werden bei DelphiBefragungen die unterschiedlichen Persönlichkeitseigenschaften der Teilnehmer von diesen nicht wahrgenommen und die Identifikation mit der Gruppe dadurch verstärkt. Unter einer solchen Konstellation würden sogar Delphi-Befragungen eher zu Konformität unter den Teilnehmern führen als Gruppendiskussionen. Ohne weitere Untersuchungen kann hier damit kein Urteil über die Überlegenheit einer der beiden Ansätze gefällt werden.
Delphi, Gruppendiskussion und einmalige Expertenbefragung
59
Wenn es um die Entscheidung geht, ob eher eine Delphi-Befragung oder eher eine Gruppendiskussion für ein bestimmtes Projekt die angemessene Methode ist, sind neben den bisher aus theoretisch-methodischer Sicht vorgetragenen Argumenten auch forschungsökonomische Erwägungen in Rechnung zu stellen. Da es nicht immer möglich ist, generell eine Vorgehensweise gegenüber der anderen zu favorisieren, geben Argumente, die auf die erforderlichen Kosten und den notwendigen Zeitbedarf abzielen, zumeist den Ausschlag. Delphi-Befragungen werden häufig genau dann eingesetzt, wenn es mit vertretbarem finanziellen und zeitlichen Aufwand nicht möglich ist, Experten in einer persönlich-mündlichen Gruppe zu rekrutieren. So wurden beispielsweise in einer DelphiStudie von 7.000 ursprünglich kontaktieren Experten lediglich 46 (dies sind weniger als 0.7 Prozent) gefunden, die über ausreichende Sachkenntnis verfügen, um in dem Fragekomplex „Information und Kommunikation“ eine bestimmte Frage zu beantworten (vgl. Cuhls/Blind/Grupp 1998:50). Es erscheint zweifelhaft, ob es gelänge, eine solche exklusive Expertengruppe anders als über eine zunächst breit gestreute postalische Delphi-Befragung zu rekrutieren. Albach nimmt dagegen an, dass Delphi-Befragungen relativ hohe Kosten verursachen und argumentiert: „Die Rechtfertigung für diese Kosten kann also nur in einer Verbesserung der Information gegenüber denjenigen Informationen bestehen, die durch Einzelbefragung und Brainstorming gewonnen werden können. Dies ist in der Tat die Hypothese, auf der die Delphi-Methode aufbaut“ (1970:17). Eine solche Ansicht wurde bisher kaum von anderen Autoren vorgetragen. So dürften die Kosten, die beispielsweise für eine postalische Delphi-Befragung von 100 in Deutschland lebenden Experten entstehen, eher niedriger sein als jene, die für die Rekrutierung der gleichen Anzahl von Teilnehmern für eine Reihen von Gruppendiskussionen verursacht würden. Für Delphi-Befragungen lässt sich ein weiteres praktisches Argument anführen. Dieses resultiert aus der Möglichkeit für die Experten, bei der Beantwortung der Fragen einer individuellen Zeiteinteilung zu folgen. Während bei Gruppendiskussionen die Teilnehmer an ein bestimmtes Zeitregime gebunden sind, kann die Beantwortung eines postalisch zugestellten Delphi-Fragebogens zeitlich relativ beliebig erfolgen. Ein anderes forschungsökonomisches Argument spricht wiederum für die Gruppendiskussion. Während die Resultate von Gruppendiskussionen unmittelbar nach deren Abschluss vorliegen, entsteht bei Delphi-Befragungen für die Erstellung des Feed-backs und die erneute Befragung ein immens höherer Zeitaufwand. Damit fällt es auch an dieser Stelle schwer, ein pauschalisierendes Urteil über Verwendungsempfehlungen der beiden Ansätze zu ziehen.
60
4.2
Delphi, Gruppendiskussion und einmalige Expertenbefragung
Expertenbefragungen
Nachdem Unterschiede und Gemeinsamkeiten von Gruppendiskussionen in einer persönlich-mündlichen Situation und Delphi-Befragungen erörtert wurden, soll nun den einmalig erhobenen Expertenbefragungen – die in der Literatur teilweise auch als Brainstorming bezeichnet werden – das Interesse gelten. Expertenbefragungen – die in verschiedenen sozialwissenschaftlichen Methodenlehrbüchern gar nicht explizit erwähnt werden – sind Peter Atteslander zufolge eine „mündliche oder schriftliche teilstandardisierte Methode mit deren Hilfe sowohl qualitative als auch quantitative Aspekte bearbeitet werden können“ (Atteslander 1984: 105ff). Nach Rainer Schnell, Paul B. Hill und Elke Esser dienen Expertenbefragungen, ebenso wie auch die Gruppendiskussionen, dazu, um in einer wenig strukturierten Interviewsituation Untersuchungen mit stärker standardisierten Methoden vorzubereiten (vgl. 2000:300). Im Unterschied zu den zuvor behandelten Gruppendiskussionen (vgl. Abschnitt 4.1) können einmalig veranstaltete Expertenbefragungen nicht als eine methodisch sonderlich differenziert ausgearbeitete sozialwissenschaftliche Methodik angesehen werden. Es fehlt beispielsweise weitgehend an methodischen Standards, die das Vorgehen bei Expertenbefragungen regeln. Aus diesem Verfahren resultierende Befunde werden dementsprechend auch selten berichtet. Insgesamt fehlen den Expertenbefragungen (mindestens) die folgenden typischen Elemente einer Delphi-Studie: ĺ Es handelt sich bei den Expertenbefragungen in der Regel um einmalige Untersuchungen. ĺ Die Teilnehmer erhalten damit kein Feed-back über die Ergebnisse der vorangegangenen Befragungsrunde(n). ĺ Es kann infolge des fehlenden Feed-backs nicht davon ausgegangen werden, dass zusätzliche kognitive Prozesse bei den Teilnehmern ausgelöst werden. ĺ Die für Delphi-Befragungen (außer beim Typ 1) typische, mitunter hoch standardisierte Erhebungssituation liegt bei Expertenbefragungen nicht vor. In Bezug auf die vier verschiedenen mit Delphi-Befragungen bearbeitbaren Zielstellungen bedeutet dies: Für die Aggregation von Ideen (Delphi-Befragungen vom Typ 1) können einmalig durchgeführte Expertenbefragungen ebenfalls gut benutzt werden. Bei einmaligen Befragungen fehlt der durch die gezielte Auslösung kognitiver Prozesse zu erwartende Informationsgewinn. Dafür liegt ein gewisser Vorteil solcher Befragungen in der kürzeren Zeit, die für die Erhebung benötigt wird. Gravierende Nachteile einmalig erhobener Expertenbefragungen gegenüber Delphi-Studien werden allerdings deutlich, wenn es um die Strukturierung eines diffusen Sachverhalts (Typ 2) oder um die Qualifizierung und Ermittlung von Expertenmeinungen (Typ 3) geht. Hier liefert das Feed-back bei Delphi-Befragungen einen we-
Delphi, Gruppendiskussion und einmalige Expertenbefragung
61
sentlichen Beitrag zu einer qualifizierteren Problemlösung. Ohne eine anonyme Rückkopplung und ohne eine erneute Schätzung sind keine Verbesserungen in den Urteilen zu erwarten. Bei einmaligen Expertenbefragungen wird jedoch auf diese beiden Elemente verzichtet. Gänzlich ungeeignet dürften einmalig veranstaltete Expertenbefragungen jedoch sein, wenn es um die Beförderung von Konsens unter den Teilnehmern (Typ 4) geht. Dieser Konsens wird bei den Delphi-Befragungen durch das Feed-back vermittelt und infolge der wiederholten Befragung festgestellt. Beide Elemente fehlen den Expertenbefragungen, sodass nicht davon ausgegangen werden kann, dass dieses Instrument dazu geeignet ist, Konsens unter den Teilnehmern zu erzeugen. Zusammenfassend ist festzustellen: ĺ Der Hauptvorzug des Delphi-Designs gegenüber den einmaligen Expertenbefragungen besteht in der gezielten Auslösung kognitiver Prozesse und in der dadurch verbundenen Verbesserung der Expertenurteile. Ein gewisser Nachteil ergibt sich dagegen aus dem höheren Zeitbedarf, der für die Veranstaltung mehrerer Delphi-Befragungsrunden erforderlich ist. ĺ Der Hauptvorzug beziehungsweise das eigentliche Anliegen von Gruppendiskussionen in persönlich-mündlichen Situationen besteht in der Aufdeckung von Gruppenprozessen. Anonyme Delphi-Befragungen sind dagegen gänzlich ungeeignet, wenn es um Zielstellungen dieser Art geht. ĺ Für bestimmte Forschungsziele lassen sich sowohl Delphi-Befragungen als auch Gruppendiskussionen und Expertenbefragungen nutzen. In der folgenden Übersicht (vgl. Tabelle 2) wird ein Vergleich der Leistungsfähigkeit von Delphi-Befragungen gegenüber Gruppendiskussionen in persönlich-mündlichen Situationen und gegenüber der einmaligen Befragung von Experten vorgenommen.
62
Delphi, Gruppendiskussion und einmalige Expertenbefragung
Tabelle 2: Einmalig veranstaltete Expertenbefragung, Gruppendiskussionen in persönlichmündlichen Situationen und Delphi-Befragungen im Vergleich Gruppendiskussion
Expertenbefragung
Delphi-Befragung
Design Experten müssen gleichzeitig Unterschiedliche Möglichversammelt werden keiten je nach Befragungsmodus
Befragung kann an verschiedenen Orten erfolgen
Feed-back erfolgt spontan im Kein Feed-back Verlauf der Diskussion
Anonymes Feed-back informiert über die Gruppenmeinung
Ergebnisse liegen relativ schnell vor Sehr gute methodische Absicherung
Größerer Zeitfonds erforderlich
Nur relativ geringe methodische Absicherung
Gute methodische Absicherung
Gruppendynamik Meinungsführerschaft möglich
Keine Beeinflussung durch Meinungsführer
Gruppenzwang zur Konformität möglich
Kein Konformitätszwang
Infolge der Anonymität relativ geringer Konformitätszwang
Kognitive Prozesse können im Verlauf der Gruppensitzung ausgelöst werden
Keine gezielte Auslösung weiterer kognitiver Prozesse
Durch Feed-back und erneute Befragungen werden kognitive Prozesse gezielt ausgelöst
Gruppenleistung ist gegenüber der Einzelleistung überlegen
Summe von Einzelleistungen
Gruppenleistung ist gegenüber der Einzelleistung überlegen
Freie Assoziationen der Experten
Synthese aus qualitativer und quantitativer Befragung Ziele Ideenaggregation prinzipiell möglich
Strukturierung diffuser Sachverhalte mit unterschiedlichen Erfolgsaussichten möglich Gruppe wirkt als Störfaktor
Nur Ermittlung von Expertenmeinungen möglich
Ermittlung und Qualifikation von Expertenmeinungen
Konsens erreichbar
Konsens nicht erreichbar
Konsens erreichbar
Delphi, Gruppendiskussion und einmalige Expertenbefragung
4.3
63
Deliberative Polls
Deliberative Polls stellen einen relativ neuen Ansatz dar. Die den Deliberative opinion Polls zugrunde liegende Idee stammt von dem Politikwissenschaftler Robert Luskin. Luskin übte zunächst Kritik (vgl. 1991) an der methodischen Qualität der akademischen Umfrageforschung. Er geht von einer allgemeinen politischen Uninformiertheit der Befragten aus und schließt daraus, dass in Umfragen eigentlich nur Non-attitudes, Vorurteile oder bestenfalls vage Werturteile ermittelt werden können. Nimmt man jedoch eine höhere politische Informiertheit der Teilnehmer an, so würden sich die Meinungen in den Umfragen verschieben. In politischen Großversuchen, den Deliberative Polls, werden deshalb nun zufällig Bürger ausgewählt und zur gemeinsamen Auseinandersetzung mit politischen Informationen und Argumenten unter Nutzung der neuen Medien und von Expertenwissen angeregt. Erst daran schließt sich dann die Befragung an. Luskins Argumente zielen darauf, Standards zu entwickeln, an denen sowohl Formen Deliberativer Demokratie als auch gewöhnlicher Umfragen gemessen werden können.1 James Fiskin schlug auf dem Kongress „Internet und Politik“ 1997 in München sowie in seinem Buch „Deliberation an Democracy“ (vgl. 1991) vor, solche Deliberative Polls zur Stärkung der repräsentativen Demokratie zu veranstalten. Das Ergebnis der Polls ist ein Meinungsbild darüber, was die Bürger denken würden, wenn sie denn politisch engagiert und informiert seien. So spricht eine Reihe an Vorteilen für diese neue Strategie. Zu nennen sind vor allem die hohen Entscheidungskosten die bei einer demokratischen Lösung von Problemen in großen Staaten mit heterogener Bevölkerungszusammensetzung entstehen würden. Auch würde auf diese Weise vermieden werden können, dass immer stärker Experten und nicht die durch den Wahlakt legitimierte Akteure Einfluss auf die Politik gewönnen (vgl. Dahl 1989). Strittig sind momentan noch Fragen wie der Minderheitenschutz sowie der Einfluss der Bearbeitergruppe auf die Ergebnisse der Deliberative Polls und auch die Folgen für die bestehende politische Demokratie und das politische System insgesamt sind noch nicht befriedigend aufgeklärt (vgl. Scheuch 1999). Die Idee der Delibarative Polls wurde inzwischen verschiedentlich aufgegriffen, beispielweise in Form von Bürgerkonferenzen und Bürgerdialogen zur Stärkung der direkten Demokratie (vgl. Bull 2001). An dieser Stelle ist interessant, dass bei den Deliberative Polls sowohl gezielt Denk- und Gruppenprozesse ausgelöst werden als auch die Expertise von Experten
1
Vgl. den Bericht über die Tagung „Meinungsforschung in der Geschichte moderner Demokratien – Methoden, Anwendungen, Wirkungen“ an der Freien Universität Berlin im Mai 1997 unter der URL: http://hsozkult.geschichte.hu-berlin.de/beitrag/tagber/meinung.htm (letzter Zugriff 27.05.2009)
64
Delphi, Gruppendiskussion und einmalige Expertenbefragung
für diesen Zweck genutzt wird. Damit lässt sich eine gewisse Verwandtschaft mit den Delphi-Befragungen vom Typ 4 mehr als erahnen. Deliberative Polls und Delphi-Befragungen des Typs 4 haben eine Reihe an Gemeinsamkeiten. Bei beiden handelt es sich zunächst um partizipative Ansätze. Vor allem die Beteiligung einer repräsentativen Auswahl von Teilnehmern, die Suche nach Konsens und die Legitimation von Entscheidungen sind Aspekte, denen sich beide Ansätze ebenfalls verpflichtet fühlen. Aber auch ein gewisser Bedarf an methodischer Absicherung ist gegenwärtig noch Kennzeichen dieser Strategien. Zu empfehlen ist eine gegenseitige Befruchtung von Delphi-Befragungen und Deliberative Polls. Gedacht werden könnte dabei an eine Synthese bestimmter Elemente aus beiden Ansätzen. Die anonyme Erhebungssituation und die Wiederholung der Erhebung sind Elemente, die sich bei Delphi-Befragung bewährt haben. Die gezielte Erzeugung von Sachverstand wäre ein aus den Deliberative Polls für die Delphi-Technik zu adaptierender Aspekt. Angesichts der noch relativ kurzen Anwendungsdauer der Delibarative Polls kann auch hier nicht von einer Konkurrenz zwischen beiden Ansätzen gesprochen werden.
5 Anwendungsgebiete von Delphi-Befragungen
Längst sind Delphi-Befragungen weit über ihr ursprüngliches Anwendungsgebiet, die Landesverteidigung (vgl. Linstone/Turoff 1975:11), hinaus eingesetzt worden. So erstreckt sich die Nutzung dieses Ansatzes inzwischen auf zahlreiche Gebiete der Gesellschaft. Immer noch am häufigsten geht es bei Delphi-Befragungen schwerpunktmäßig darum, Prognosen für Entwicklungen zu erarbeiten. Die Zukunft wird teilweise sogar zum Metathema: So berichten beispielsweise Linstone und Turoff von einer Delphi-Befragung, die dazu diente, von Zukunftsforschern eine Liste der wichtigsten Bücher mit dem Gegenstand Zukunft erstellen zu lassen (vgl. 1975:83). Eine Sichtung von Publikationen über Delphi-Befragungen legt aber nahe, neben den Prognosen auch weitere Anwendungsgebiete hervorzuheben. So werden DelphiBefragungen beispielsweise auch dazu benutzt, um Aspekte aus der Vergangenheit aufzuklären, sie finden Anwendung im Rahmen von Evaluationsforschungen und sie werden weiterhin für die Lösung ganz spezieller Probleme wie etwa zur Entwicklung von Fragebögen herangezogen. In diesem Abschnitt soll ein Überblick zu den häufigsten Anwendungsgebieten von Delphi-Befragungen gegeben werden. Dazu werden eine Reihe von Studien kurz vorgestellt. Für Leser, die an umfassenderen Informationen zu diesen Untersuchungen interessiert sind, werden die entsprechenden Quellen – zumeist aus dem Internet – angegeben. 5.1
Vorhersagen von Entwicklungen auf unterschiedlichen Gebieten
Die Zukunft gilt als ein besonders faszinierender Forschungsgegenstand. In fast allen Bereichen des menschlichen Lebens ist die Voraussicht in die Zukunft eine attraktive Aufgabenstellung. Mit den unterschiedlichsten Schwerpunktsetzungen wurden dafür bereits Delphi-Befragungen eingesetzt. Legt man wieder die Typologisierung von Delphi-Befragungen zugrunde, so handelt es sich dabei vor allem um Studien zur Aufklärung unsicherer Sachverhalte (Delphi-Befragungen vom Typ 2). Aber auch bei Delphi-Befragungen zur Ermittlung und Qualifikation von Expertenmeinungen (Typ 3) sowie bei der Konsensbildung (Typ 4) wird die Zukunft thematisiert. Weniger typisch ist bisher für diesen Zweck der Einsatz von Delphi-Befragungen zur Ideenaggregation (Typ 1). Im Weiteren werden einige besonders interessante Ansätze kurz beschrieben (vgl. auch Häder/Häder 1994a:38ff.). ĺ Nationale und bilaterale Delphi-Befragungen zur Entwicklung von Wissenschaft und Technologie
66
Anwendungsgebiete
Einer breiteren Öffentlichkeit bekannt wurden insbesondere Delphi-Studien zur Vorhersage von Entwicklungen in Wissenschaft und Technologie. Die Grundlage für viele Studien dieser Art lieferten die Arbeiten aus Japan. Dort fand 1971 die erste Delphi-Erhebung mit dieser Schwerpunktsetzung statt. Dieser Baseline-Erhebung sind inzwischen im Fünfjahresrhythmus acht weitere Studien gefolgt und die neunte Welle befindet sich in der Planungsphase (vgl. NISTEP 2009). Japan dürfte damit über den wohl größten Erfahrungsschatz beim Umgang mit dieser Delphi-Technik verfügen. Auch in Deutschland wurden seit 1993 verschiedene Delphi-Befragungen nach dem japanischem Vorbild umgesetzt. Veranstalter der Befragungen war jeweils das Fraunhofer Institut für Systemtechnik und Innovationsforschung (ISI) in Karlsruhe. Alle Befragungen wurden von der Bundesregierung initiiert (vgl. BMFT 1993, Grupp/Breiner/Cuhls 1994, Cuhls/Breiner/Grupp 1995; Cuhls/Blind/Grupp 1998). Bestandteile dieser Studien zur Entwicklung von Wissenschaft und Technik waren sowohl interkulturelle Vergleiche (vor allem mit den in Japan gewonnenen Ergebnissen) sowie Vergleiche mit Resultaten früherer nationaler Delphi-Befragungen. Teilweise wurden die Untersuchungen auch als bilaterale Studien, das heißt gemeinsam mit der japanischen Erhebung, durchgeführt. Inzwischen wurde in Deutschland ein umfangreiches Foresight-Programm etabliert, bei dem Delphi-Befragungen ein fester Bestandteil sind (vgl. Cuhls 2000:17ff.). Auch die Delphi-Studien anderer Staaten orientierten sich zum Teil stark an den Arbeiten aus Japan, dies trifft beispielsweise auf die Befragungen in Großbritannien (vgl. Loveridge/Georghiou/Nedeva 1995:4), Ungarn (vgl. Havas 2000:95ff.), Österreich (vgl. Aichholzer 2000:67ff.) und in Südafrika (vgl. Jeenah 2000:109ff.) zu. Auch aus Frankreich, Südkorea, Thailand, Schweden und Malaysia sind Initiativen für solche Untersuchungen bekannt (vgl. Cuhls/Blind/Grupp 1998:4). Einige Staaten wie beispielsweise Brasilien, Ägypten, Russland und Slowenien, stehen derzeit vor der Entscheidung, ob sie ebenfalls solche Delphi-Befragungen anwenden oder ob sie sich auf andere Methoden der Vorhersage stützen wollen (vgl. Cuhls 2000:25). Das Vorgehen bei den Delphi-Befragungen sieht jeweils ähnlich aus: Ein Lenkungsausschuss definiert zunächst Themenfelder und danach übernehmen Fachausschüsse die detaillierte Vorbereitung der Befragungen. In der deutschen Studie von 1998 wurden zwölf Themenfelder bearbeitet. Dabei handelt es sich um: (1.) Information & Kommunikation, (2.) Dienstleistungen & Konsum, (3.) Management & Produktion, (4.) Chemie & Werkstoffe, (5.) Gesundheit & Lebensprozesse, (6.) Landwirtschaft & Ernährung, (7.) Umwelt & Natur, (8.) Energie & Rohstoffe, (9.) Bauen & Wohnen, (10.) Mobilität & Transport, (11.) Raumfahrt sowie um (12.) Großexperimente. Diese Themenfelder wurden durch Thesen untersetzt. Diese insgesamt 1.070 Thesen werden dann in der zweiwelligen Delphi-Befragung aufgrund verschiedener Kriterien beurteilt (vgl. auch Abschnitt 7.6).
Anwendungsgebiete
67
Mit einer nahezu identischen Zielsetzung wurden rheinland-pfälzische Wissenschaftler der naturwissenschaftlichen, technischen und medizinischen Fächer befragt. Diese sollten ebenfalls ausgewählte Aspekte des „Deutschen Delphi-Berichts zur Entwicklung von Wissenschaft und Technik“ bewerten. Veranstalter war das Institut für sozialwissenschaftliche Informatik der Universität Koblenz-Landau. Die Befragung ging davon aus, dass es für eine zukunftsorientierte Wissenschafts- und Technologiepolitik in Rheinland-Pfalz dienlich sei, eine auf dieses Land konzentrierte Erhebung und Einschätzung relevanter Forschungsthemen zu haben. Auf Anregung des Ministers für Bildung, Wissenschaft und Weiterbildung in Mainz hatte eine Arbeitsgruppe von rheinland-pfälzischen Wissenschaftlern die Durchführung einer Umfrage empfohlen. Nähere Informationen über dieses Projekt finden sich im Internet1. Bedeutung hat in diesem Kontext auch eine Delphi-Befragung erlangt, die den Titel „Potenziale und Dimensionen der Wissensgesellschaft – Auswirkungen auf Bildungsprozesse und Bildungsstrukturen“ trägt. Diese Befragung fand 1997 und 1998 ebenfalls im Auftrag des Bundesministeriums für Bildung, Wissenschaft, Forschung und Technologie statt. Veranstaltet wurde das Projekt von der Prognos AG, Basel, und von Infratest Burke Sozialforschung GmbH & Co, München. Die Untersuchung über die künftige Wissensgesellschaft und die Auswirkungen auf Bildungsstrukturen wurde in zwei Teilschritten durchgeführt: Erstens handelte es sich um ein Wissens-Delphi zur Entwicklung der Wissensinhalte. Dazu befragte Prognos cirka 500 Experten. Zweitens wurde ein Bildungs-Delphi zu den Auswirkungen der Wissensgesellschaft auf die Bildungsprozesse und Bildungsstrukturen mit 457 Experten veranstaltet. Auch über diese Studien finden sich im Internet weitere Informationen2. Verwiesen sei auch auf: Prognos/Infratest (1998) beziehungsweise auf Veröffentlichungen von Johannes Stock, Heimfrid Wolff, Helmut Kuwan und Eva Waschbüsch (1998a, 1998b). ĺ Detailliertere Betriebs- und volkswirtschaftliche Prognosen Auch Prognosen im wirtschaftlichen Sektor zu teilweise sehr speziellen Fragestellungen haben bereits eine längere Tradition (vgl. zum Beispiel Blohm/Steinbuch 1972, Gewald 1972, Hennings/Hüber/Stahnke 1972, Bruckmann 1977, Witte/Senn 1983, König et al. 1997). So wurde auch – wahrscheinlich nicht zufällig – in Deutschland die Diskussion über Effizienz und Einsatzmöglichkeiten der DelphiMethode zunächst vorrangig in der Zeitschrift für Betriebswirtschaft geführt (vgl. Albach 1970, Köhler 1978, Wechsler 1978, Saliger/Kunz 1981). 1 2
Die Quelle ist: http://www.uni-koblenz.de/~sozinf/projekte/befragung.html (letzter Zugriff 27.05.2009) Informationen gibt es zum Beispiel unter http://www.bmbf.de/pub/delphibefragung_1996_1998.pdf Oder http://www.bmbf.de/de/9918.php (letzter Zugriff am 27.05.2009
68
Anwendungsgebiete
Die Delphi-Methode wurde beispielsweise für Vorhersagen des Wachstums im Bereich Büroautomatisierung (vgl. Spiegel 1987:134) sowie im DirektmarketingBereich (vgl. Annen 1997:66) genutzt oder sie diente der Analyse von „organizational change” (vgl. Brown/Heller 1981:141ff.). Über das Beispiel einer langjährigen kontinuierlichen Anwendung des Delphi-Ansatzes im Bereich der kurzfristigen Preisprognosen in Obstbaugebieten, diese wurden von Janssen (vgl. 1976, 1978) vorgestellt, ist bereits berichtet worden. Bernhard Stratmann (vgl. 1999, 2000:115ff.) beschreibt die Nutzung von DelphiBefragungen für die Stadtentwicklung und -forschung vor dem Hintergrund der Olympischen Spiele in Sydney im Jahr 2000. Im Rahmen eines Dissertationsprojekts wurde ein umfangreicher Themenkatalog bearbeitet. Die entsprechende Befragung wurde in den 1990-er Jahren durchgeführt. Zu den Themen zählen beispielsweise die generellen Erwartungen bezüglich der Folgen der Olympischen Spiele für Sydney, die daraus resultierenden Vor- beziehungsweise Nachteile für bestimmte soziale Gruppen, die zu erwartende Infrastrukturbelastung (Aus- oder Überlastung), entstehende Kommunaleinnahmen sowie die Folgen für die Stadtentwicklung. Erfragt wurde außerdem eine allgemeine Einschätzung der Wirkung von Großereignissen. Es sollten Arbeitsmarkteffekte, die Auswirkungen auf die Verkehrsentwicklung, insbesondere den Neubau von Straßen beziehungsweise den Ausbau der öffentlicher Verkehrswege, die Wohnungsmarkteffekte (Gentrifizierung, Verdrängung und Nutzungsveränderungen in bestimmten Stadtgebieten) sowie Wirkungen auf das Image Sydneys bei seinen Bewohnern, bei der übrigen Bevölkerung Australiens und bei Menschen in anderen Ländern ermittelt werden. Gegenstand waren schließlich die Folgen für die Stadtidentität (politische Polarisierung), die Bedeutung für die Städtekonkurrenz und -kooperation, mögliche Veränderungen im australischen Städtesystem als Folge der Olympischen Spiele, die Auswirkung auf den Umfang des internationalen Tourismus und ausländischer Direktinvestitionen sowie auf Sydneys Status als Global City. „Der Transportmarkt im Wandel“ lautete der Titel einer online durchgeführten Delphi-Befragung. Für diese Studie waren drei Runden geplant. Verantwortlich für die im Auftrag des Deutschen Verkehrs-Forums veranstaltete Erhebung war der Lehrstuhl für Betriebswirtschaftslehre-Logistik der Wirtschaftswissenschaftlichen Fakultät der Technischen Universität Dresden. Schwerpunkte des Fragebogens bildeten die externen Rahmenbedingungen des Transportmarktes, die Nachfrage nach Transportdienstleistungen und die Unternehmensentwicklung. Das Ziel der Studie wurde von den Veranstaltern wie folgt definiert: „Unser Ziel ist es, am Ende der Delphi-Befragung ein konvergentes, möglichst einheitliches Meinungsbild zu erhalten“ (Für weitere Hinweise vgl. die folgende URL: http://rcswww.urz.tudresden.de/~afeier/Lofrabo/1.html). Auch bei der Befragung „Lübeck 2005“ handelt es sich um eine online durchgeführte Delphi-Studie. Der Veranstalter, Studenten im vierten Semester des Fachbe-
Anwendungsgebiete
69
reichs Medieninformatik an der Fachhochschule Wedel, wollte im Auftrag der Wirtschaftsförderung Lübeck GmbH und in Zusammenarbeit mit den Lübecker Nachrichten die Auswirkungen digitaler Stadtnetze auf die wirtschaftliche Entwicklung von verschiedenen europäischen Städten analysieren. Die Themen Telearbeit, Telebanking, Teleshopping und Teletrading standen dabei im Mittelpunkt des Interesses.3 Weitere mit einer ähnlichen Zielsetzung konzipierte und umgesetzte Studien waren beispielsweise eine von der International Media & Book Agency Schmidt-Braul und Partner, Berlin, veranstaltete Delphi-Befragung zur Zukunft der Buchbranche (vgl. Lang 2000), eine von der Unternehmensberatung Booz, Allen und Hamilton (BAH), München, veranstaltete Delphi-Befragung zum Zugang zum Internet und zum Einsetzen globaler Netto-Arbeitsplatzeffekte (vgl. Beck/Glotz/Vogelsang 2000) sowie ein im Auftrag der Österreichischen Creditanstalt und in Zusammenarbeit mit dem Institut für Systemische Marktforschung veranstaltetes sogenanntes CA-Delphi zu den Auswirkungen der New Economy auf Österreich sowie eine DelphiBefragung zur Bildungsplanung (vgl. Berghofer 1971). ĺ Vorhersagen auf dem Gebiet der Telekommunikation und zur Zukunft des Internets Die Telekommunikation und die damit verbundenen technischen Lösungen gehören am Anfang des neuen Jahrhunderts zu den Industrie- und Wissenschaftszweigen, die am raschesten wachsen und die über das innovativste Potenzial verfügen. Da es sich hier um ein höchst komplexes Gebiet handelt, fühlen sich einzelne Experten offenbar nicht (mehr) in der Lage, globale Trends ausreichend zuverlässig abzuschätzen. Damit erweisen sich Projektionen über die weiteren Entwicklungen, insbesondere die Ermittlung von Wahrscheinlichkeiten, mit denen verschiedene Ereignisse eintreten, als äußerst schwierig. Aus diesen Gründen boten sich zur Bearbeitung hier ebenfalls Delphi-Studien an. Über eine erfolgreiche Anwendung von Delphi-Befragungen im Bereich regionaler Entwicklung der Telekommunikation berichten zum Beispiel Ono und Wedemeyer (vgl. 1994). Die künftigen Einsatzgebiete und Zielgruppen von Mobilfunkgeräten untersucht Häder (vgl. 2000a, b, c, d). Zunächst wurden bei dieser Studie die Experten gebeten, jeweils numerische Urteile zur weiteren Ausbreitung des Mobilfunks und zur Zukunft der Festnetzanschlüsse abzugeben. Ein weiterer Abschnitt erkundete dann wiederum sehr spezifische Fragestellungen. Es ging beispielsweise um die Bedeutung des Mobilfunks für Faxdienste, für die Übermittlung von Kurznachrichten und für den Zugang zum Internet (vgl. auch die Abschnitte 7.1 und 10.2 sowie 10.3). Die Zukunft des Internet war der Schwerpunkt einer internationalen DelphiStudie (vgl. Beck/Glotz/Vogelsang 2000) gewesen. Eine Besonderheit dieser Befra3
Die Quelle ist: http://www.kohls.de/onlineumfrage/fragebogen.html (letzter Zugriff am 27.05.2009)
70
Anwendungsgebiete
gung bestand darin, dass sie sowohl in einer paper & pencil Version als auch in Form einer online Internet-Erhebung durchgeführt wurde. Auf drei weitere Studien soll an dieser Stelle noch verwiesen werden: Erstens auf eine vom Fraunhofer Institut für Arbeitswirtschaft und Organisation (IAO), Stuttgart, umgesetzte Trendanalyse mit dem Titel „Elektronische Marktplätze“, deren Ziel es war, aktuelle Erfahrungen von Anwendern elektronischer Marktplätze und von EProcurement-Lösungen im Business-to-Business-Bereich zusammenzutragen und daraus sinnvolle Entwicklungsperspektiven für zukünftige E-Business-Plattformen darzustellen4. Zweitens auf eine Untersuchung zur Zukunft der Informations- und Kommunikationstechnologie (IKT) in privaten Haushalten, deren Ziel es war, Unterstützung bei der Auswahl von Forschungsfragen zur Anwendung von IKT im privaten Haushalt zu erhalten. Drittens schließlich auf eine vom österreichischen Bundesministerium für Arbeit und Soziales und von der Österreichischen Nationalbank geförderte Untersuchung zu Kommunikationsberufen im 21. Jahrhundert, an der Experten aus dem Multimedia-, dem Verlags- und aus dem Bildungsbereich teilnahmen (vgl. Hummel/Götzenbrucker 1997). Als Zwischenresultat lässt sich feststellen, dass gegenwärtig in allen genannten Bereichen schnelle und kostenintensive Entwicklungen stattfinden. Delphi-Befragungen erweisen sich als hilfreich, um Informationen über diese Prozesse zu gewinnen. Dies gilt auch für die folgenden Beispiele. ĺ Prognosen für die Bereiche Tourismus, Politik sowie Dokumentation – Information und für weitere Gebiete Als ein weiteres Anwendungsgebiet von Delphi-Vorhersagen nennen Kaynak et al. (vgl. 1994:19) das Gebiet des Tourismus. Demnach ist Delphi „one qualitative technique which had been used with substantial success in the past for predicting tourism demand and potential.” Arbeiten zum gleichen Problemkreis stellen Kathryn E.H. Race und Thomas W. Planek (1992), D.X. Chai (1977) sowie Katheln D. Mullen und R.S. Gold (1988) vor. Als weiteres Beispiel kann hier die Studie „Fernreisen 2005“ angeführt werden. Diese vom Fachbereich für Betriebswirtschaft der Wirtschaftsuniversität Wien veranstaltete Delphi-Befragung enthielt rund 50 Fragen zur quantitativen Entwicklung des Fernreisens, zum Reise- und Buchungsverhalten, zur Entwicklung von Angeboten, zu den Auswirkungen des Ferntourismus auf die Zielländer und auf den Tourismus im eigenen Land (vgl. Vielhaber/Müller et al. 1997)5. Das Delphi-Design hat sich auch für die sogenannten „Political Risk Analysis” bewährt. Diese sollten das zukünftige, politisch bestimmte Geschäftsklima eines 4 5
Die Quelle ist: http://www.mediavision.iao.fraunhofer.de/downloads/MS_ElektronischeMarktplaetze_klima.pdf Eine weitere Quelle ist: http://www.wu-wien.ac.at/inst/i3v/00217110/02925018.htm (letzter Zugriff 28.05.2009)
Anwendungsgebiete
71
Landes im Zusammenhang mit der zu erwartenden internationalen Situation vorhersagen. Dazu sind Expertengruppen in einem Delphi-Design um entsprechende Urteile gebeten worden. (vgl. Drobnick 1984:315). In den Vereinigten Staaten wurden Delphi-Befragungen außerdem im Bereich des Governmental Planning eingesetzt (vgl. Turoff 1975, Ludlow 1975, Jillson 1975, Jones 1975). Ein Beispiel für einen relativ frühen Einsatz von Delphi-Befragungen in Deutschland ist die vom Bundesministerium für Forschung und Technologie geförderte Studie zur bedarfsgerechten und benutzernahen Informationsversorgung in der Biomedizin (DIMDI). Die 1979 und 1980 durchgeführten Befragungen wurden über drei Wellen erhoben (vgl. Reichertz/Schwarz 1980:4). Im Mittelpunkt des Interesses stand dabei die Tätigkeit der Informationsvermittler, die zwischen dem „Endverbraucher“ einer Information und den Datenbanken stehen bzw. vermitteln. Untersucht wurden hier im einzelnen Ausbildungsfragen, Fragen der beruflichen Qualifikation, die strukturelle Einordnung der Informationsvermittlungsstellen sowie kommerzielle Aspekte der Tätigkeitsfelder der Informationsvermittler. Dieser Delphi-Studie sind inzwischen andere mit einer ähnlichen Zielstellung gefolgt. Zu nennen ist beispielsweise die Hamburger Untersuchung zur dokumentarischen Kompetenz in der Multimedia-Branche (vgl. Krauß-Leichert/Schmidt 1997). Auch die Delphi-Studie zur Image- und Transferförderung dokumentarischer Berufsbilder für die Multimedia-Branche (MoDElDOk) kann in diese Kategorie eingeordnet werden. Hier sollten der Bedarf an Informations- und Dokumentations-Knowhow eruiert, potenzielle Arbeitsfelder und Verantwortungsbereiche beschrieben, Anregungen zur Aktualisierung von Ausbildungsinhalten gegeben sowie Konzepte und Modelle für die Qualifizierung entwickelt werden.6 Um einen Eindruck von den vielfältigen Einsatzzielen von Delphi-Befragungen zu vermitteln, sollen hier noch einige weiter Studien vorgestellt werden: Das Institut für Bankinformatik und Bankstrategie an der Universität Regensburg hat eine Studie zu Endgeräten, Selbstbedienungsautomaten und Online-Diensten umgesetzt. Darin wurden Entwicklungslinien künftiger Automatengenerationen aufgezeigt und Prognosen zu verschiedenen Automatentypen (Geldausgabeautomaten, Kontoauszugsdrucker, Multifunktionsterminals) erarbeitet.7 Eine vom Institut emnid durchgeführte dreistufige Delphi-Befragung im Rahmen der Call Center Initiative Nordrhein Westfalen diente der Qualifizierung von CallCenter Mitarbeitern.8 6 7 8
Die Quelle ist: http://www.bui.haw-hamburg.de/pers/ute.krauss-leichert/Aktivfh/Forschung/ModelDok.htm Eine Liste zu den Studien findet sich unter: https://www.ibishop.de/index.php?cPath=23_57&sort=2a&page=2) Die komplette Dokumentation der Studie findet sich im Internet unter der folgenden URL: http://www.cca.nrw.de/content/service/studie2b.php?num=1 (letzter Zugriff 28.05.2009)
72
Anwendungsgebiete
Als Bestandteil einer Befragung zu „Kompetenz und Technik“ wurden Kompetenzanforderungen betrachtet, die durch die Wandlungsprozesse im Medien- und Journalismussystem entstehen. Besonders die Rolle von Datenbankrecherchen und die Verbesserung der Journalistenausbildung im Bereich Recherchefähigkeiten sind darin bearbeitet worden (vgl. Weischenberg et al. 1994)9. Schließlich wird auf eine von der Arbeitsgemeinschaft Salzburger Erwachsenenbildung zu den Zukunftserwartungen für die Weiterbildung in den Salzburger Regionen veranstaltete Delphi-Befragung verwiesen. Die Teilnehmer, zumeist Bildungsfachleute, sollten Erwartungen und Bewertungen über die Zukunft der Weiterbildung ermitteln.10 5.2
Delphi-Befragungen mit weiteren Zielstellungen
Neben prospektiv angelegten Delphi-Befragungen wird in der Literatur auch über zahlreiche andere Ziele bei der Anwendung des Delphi-Ansatzes berichtet. Um einen Einblick zu vermitteln, sollen wieder einige dieser vielfältigen Einsatzvarianten kurz vorgestellt werden. Dabei können sowohl verschiedene Anliegen als auch unterschiedliche gesellschaftliche Gebiete des Einsatzes von Delphi-Befragungen unterschieden werden. (Im Anhang dieses Buches wird die Zusammenstellung interessanter Delphi-Befragungen fortgesetzt.) Erstens berichtet James Bright (1972) über retrospektive Studien im Technikbereich. Er veranstaltete eine solche retrospektiv angelegte Delphi-Befragung über „Events leading to the Limitation of Elimination of the Internal Combustion Engine. The example, based upon a Delphi conducted in 1969 by a chemical company, was, to the best of our knowledge, the first which dealt exclusively with evaluating the past“ (Linstone/Turoff 1975:83). Wilkinson (1973) stellt mit der Retrospective Futurology ebenfalls eine tiefgehende, systematische Studie zur Vergangenheit vor, in der historische Gesellschaften wie zum Beispiel der Stadtstaat Athen mithilfe von Delphi-Befragungen untersucht worden sind. Das von Wilkinson im Zusammenhang mit dieser Studie erwähnte hyper-sophisticated polling of experts legte die Anwendung des Delphi-Ansatzes für diesen Sachverhalt nahe. Neben retrospektiven Untersuchungen ist zweitens die Ermittlung des aktuellen Forschungsstandes ein weiteres Anliegen von Delphi-Befragungen. „To rewiev the state of the art of industrial operations research“ war zum Beispiel das Anliegen von
9
Eine Liste zu den Studien findet sich unter: http://www.wiso.unihamburg.de/index.php?id=7379 (letzter Zugriff 23.09.2009) 10 Die komplette Dokumentation der Studie findet sich im Internet unter der folgenden URL: http://www.eb.salzburg.at//download/Eb_Zukunft_01-06.pdf (letzter Zugriff 23.09.2009)
Anwendungsgebiete
73
Fenske, für das er Delphi-Befragungen einsetzte (vgl. Linstone/Turoff 1975:82, außerdem D’Hondt/Kenis 1992). Eine dritte Zielsetzung von Delphi-Befragungen, die hier aufgeführt werden soll, sind Evaluationsstudien. Auf die erfolgreiche Nutzung der Delphi-Technik bei der Evaluation von Bildungsinhalten verweisen Richey et al. (1985:137). Eine online vom Institut für Gesundheitsökonomie und Klinische Epidemiologie der Universität Köln und vom Institut für Raumfahrtmedizin des Deutschen Luftund Raumfahrtzentrums (DLR) veranstaltete Delphi-Studie galt der Evaluation des Nutzens der Telemedizin. Internationale Experten aus dem Bereich Telemedizin waren eingeladen, an der Studie teilzunehmen. Das erklärte Ziel war die Konsensfindung: „Our purpose in this project is to gain more information about the international rating on the potential benefit of telematic applications in medicine.“11 Das vierte Anliegen stellt die Ermittlung von Forschungsbedarf mithilfe des Delphi-Ansatzes dar. Keith Zoski (1989) hebt die Eignung von Delphi zur Erkundung von „educational research needs” hervor. Fünftens werden Delphi-Befragungen zur Lösung spezifischer Fachprobleme eingesetzt. Eine solche Delphi-Befragung mit besonderem Problemlösungscharakter bezog sich beispielsweise auf implizite und explizite Theorien, welche klinisch tätige Therapeuten anwenden, wenn sie Unterscheidungen zwischen veridikalen Erinnerungen und retrospektiven Phantasien vornehmen. Die Fragestellung ging aus von einer kontroversen Diskussion im klinisch-therapeutischen Umfeld über das Wiederauftauchen von Erinnerungen an eine sexuelle Traumatisierung in der Kindheit nach einer beträchtlichen Zeit des Nichterinnerns im Kontext einer Psychotherapie (vgl. Krause 1999; Kirsch 2000). Ziel dieser Delphi-Studie war es, bestimmte implizite und explizite Theorien von klinisch und/oder wissenschaftlich tätigen Therapeuten zu erfassen und zu qualifizieren. Es ging um solche Theorien, aufgrund derer die Therapeuten versuchen zu entscheiden, ob es sich bei den Patienten, die von wieder auftauchenden Erinnerungen an eine sexuelle Traumatisierung in der Kindheit berichten, um eine veridikale Erinnerung oder um eine retrospektive Phantasie handelt. Es lassen sich eine ganze Reihe weiterer Delphi-Befragungen auflisten, die spezielle Problemlösungen unterstützen sollten. Der Lehrstuhl für Betriebswirtschaftlehre an der Universität Münster erkundete zum Beispiel die Erfolgsfaktoren von Dienstleistungsnetzwerken in einer online Delphi-Befragung. Schizoide Persönlichkeitsstörungen waren Gegenstand einer anderen DelphiBefragung. Die Ergebnisse stellten einen wichtigen Beitrag zur Ausarbeitung der „Leitlinien Psychotherapeutische Medizin und Psychosomatik“ der Deutschen Gesellschaft für Psychotherapeutische Medizin, der Deutschen Gesellschaft für Psychoanalyse, Psychotherapie, Psychosomatik und Tiefenpsychologie (DGPT), des Deut-
11 Die Quellen sind: http://www.medinfoweb.de/neu_01.htm (letzter Zugriff 28.05.2009)
74
Anwendungsgebiete
schen Kollegium für Psychosomatische Medizin (DKPM) und der Allgemeinen Ärztlichen Gesellschaft für Psychotherapie (AÄGP) dar.12 Aus dem medizinischen Bereich stammt auch das letzte an dieser Stelle aufgeführte Beispiel. Hier wurde die Opioid-Langzeitanwendung bei Nicht-Tumorschmerzen mithilfe einer Delphi-Befragung untersucht. Der Veranstalter, die Deutsche Gesellschaft zum Studium des Schmerzes e.V. (DGSS), hatte ihre Mitglieder per E-Mail gebeten, eine vorgelegte Themenliste zu bewerten und zu ergänzen. Aufgrund von über 50 anonymen Rückmeldungen wurde ein Konsensvorschlag erarbeitet. Auf einer Konferenz wurde dann der Konsensvorschlag diskutiert, bis Einstimmigkeit hergestellt war.13 Die genannten fünf Zielstellungen von Delphi-Befragungen stellen keine vollständige Auflistung dar, sie sollten jedoch einen Eindruck von deren Vielfalt vermitteln. Weiterhin lassen sich verschiedene Gebiete benennen, für die DelphiBefragungen bisher von Nutzen waren. Bereits genannt wurden die Felder Technik, Gesellschaft und Wissenschaft. Daneben soll noch auf das Bildungs-, das Hochschul- und auf das Gesundheitswesen aufmerksam gemacht werden: Ono und Wedemeyer (1994:290) zählen das Bildungswesen sogar zu den typischen Einsatzgebieten von Delphi-Studien. Auf zahlreiche Literaturquellen, die die Anwendung der Delphi-Technik in der Hochschulforschung beschreiben, verweisen Murry und Hammons (1995:425) sowie Rolf Bronner, Wenzel Matiaske und Friedrich A. Stein (1991). Auffallend viele Artikel zu Anwendungen der Delphi-Methode sind im „Journal of Advanced Nursing” erschienen. Die besondere Eignung von Delphi im Krankenhausbereich erörtern verschiedene Autoren (vgl. zum Beispiel Hitch/Murgatroyd 1983, Williams/Webb 1994:181; Goodman 1987, Duffield 1993 und Reid 1988). Die hier vorgetragene Argumentation leuchtet ein: Mithilfe des Delphi-Designs wird berücksichtigt, dass der Einfluss von Meinungsführern neutralisiert werden kann, was aufgrund der strengen Hierarchien im Gesundheitswesen als besonders sinnvoll erscheint. Als Fazit kann festgestellt werden14: Delphi-Befragungen werden genutzt, um sehr unterschiedliche inhaltlichen Fragestellungen aus fast allen Bereichen der Gesellschaft und der Technik zu bearbeiten. Prognosen, ebenfalls für sehr verschiedene 12 Die Quelle ist: http://www.uni-duesseldorf.de/awmf/ll/051-010.htm 13 Informationen beispielsweise unter: http://www.dgss.org/fileadmin/pdf/KONTS_Aerzteblatt.pdf oder unter http://www.aerzteblatt.de/V4/archiv/artikel.asp?id=32629 14 Im Rahmen der von uns am ZUMA ehemals angebotenen Beratungen zu Delphi-Befragungen wurden wir auf zahlreiche weitere Studien aufmerksam, die eine Reihe, teilweise recht unterschiedlicher Ziele verfolgen. So im Rahmen der Sportberichterstattung beziehungsweise der Sportentwicklung, des Städtebaus, im Rahmen der kirchlichen Gemeindearbeit oder in Bezug auf die Zukunft des Handwerks in Deutschland. (Vgl. auch die 65 im Anhang gesammelten Berichte über Delphi-Befragungen.)
Anwendungsgebiete
75
Gebiete, stellen die häufigste Anwendung von Delphi-Befragungen dar. Es konnte aber auch gezeigt werden, dass sie nicht das einzige Ziel der Nutzung des DelphiAnsatzes sind. Die Aufklärung retrospektiver Sachverhalte, die Ermittlung des stateof-the-art, Evaluationsansätze, die Feststellung von Forschungsbedarf sowie spezifische Problemlösungen waren bisher weitere Anliegen bei der Durchführung von Delphi-Befragungen.
6 Planung von Delphi-Befragungen
Bevor es darum geht, konkrete Tipps für die Durchführung und Auswertung von Delphi-Befragungen zu vermitteln, werden im folgenden Abschnitt zunächst Hinweise für die Vorbereitung einer solchen Untersuchung gegeben. Vor Beginn der Delphi-Befragung sind eine Reihe von Entscheidungen über das zu wählende Vorgehen zu treffen (Abschnitt 6.1). Bei allen diesen Entscheidungen sind neben dem Ziel der Studie die für die Untersuchung zur Verfügung stehenden Ressourcen in Rechnung zu stellen (Abschnitt 6.2). Bei bestimmten Typen von Delphi-Befragungen, etwa bei Erhebungen, die ein rein quantitatives Vorgehen vorsehen, sind in der Vorbereitung einige Besonderheiten zu beachten (Abschnitt 6.3). Wichtig für die Planung von Delphi-Befragungen ist auch, ob die Durchführung eines Delphi-Projekts an ein kommerzielles Markt- oder Meinungsforschungsinstitut übertragen werden soll (Abschnitt 6.4) oder ob vorgesehen ist, die gesamten Arbeiten in eigener Regie zu übernehmen (Abschnitt 6.5). 6.1
Vor Beginn der Studie
Zumeist stehen für die Durchführung einer Delphi-Befragung verschiedene Varianten zur Verfügung (vgl. auch Novakowski/Wellar 2008:1489ff.). Vor Beginn der Studie muss die Wahl für ein bestimmtes Vorgehen getroffen werden. Um eine Entscheidung treffen zu können, sind in der Phase der Planung einer Delphi-Befragung folgende Schritte zu bedenken: 1.
Den Ausgangspunkt bilden das zu bearbeitende Problem und die dafür zur Verfügung stehenden Ressourcen. Zunächst ist zu überprüfen, inwieweit sich die Fragestellung operationalisieren lässt, beziehungsweise bereits operationalisiert ist. Liegt dem Monitoring-Team ausreichend Wissen vor, um zu einer Problemlösung zu gelangen, oder müssen solche Informationen zunächst selbst zum Gegenstand der Delphi-Studie gemacht werden? Prinzipiell stehen zwei Varianten zur Verfügung. - Erstens: Die Experten befassen sich in einer qualitativen Befragungsrunde mit der Konkretisierung der Problemstellung. Oder: - Zweitens, das Monitoring-Team übernimmt diese Aufgabe gegebenenfalls unter Hinzuziehung von Fachausschüssen, externen Gutachten. Im letzteren Fall kann eine rein quantitative Delphi-Befragung geplant werden (vgl. Abschnitt 6.3). Einmal angenommen, es sollen zukünftige Arbeitsthemen eines Forschungsinstituts mithilfe der Delphi-Technik näher bestimmt werden. Zunächst ist dann zu
78
2.
3.
Planung von Delphi-Befragungen
entscheiden, ob sich die einzelnen Arbeitsthemen bereits ausreichend konkret benennen lassen oder ob es nur vage Vorstellungen zu diesen Themen gibt. Im ersten Fall wäre es möglich, mithilfe eines standardisierten Erhebungsinstruments von den Experten Bewertungen zu den infrage kommenden Themen einzuholen. Im zweiten Fall müssten die Teilnehmer jedoch zunächst darum gebeten werden, aus ihrer Sicht beispielsweise alle prinzipiell möglichen Forschungsthemen aufzulisten. Muss an dieser Stelle jedoch ein (noch) unzureichender Wissensstand festgestellt werden, so bietet sich die folgende Variante an: Eine externe Expertengruppe wird mit der Aggregation von Informationen beauftragt. Diese qualitative Stellungnahme bietet dann die Grundlage für die quantitative Untersuchung. Auf diese Weise könnte auf die qualitative Befragungsrunde im Rahmen der Delphi-Studie verzichtet werden. Voraussetzung ist jedoch, dass es diesem externen Expertengremium gelingt, tatsächlich alle infrage kommenden Themengebiete zu benennen. Für den Fall, dass ausreichend Ressourcen zur Verfügung stehen, ist weiterhin die Berufung eines wissenschaftlichen Beirates, der die gesamte DelphiBefragung begleitet, zu empfehlen. Dieser Beirat verhindert, dass (unbeabsichtigt) eine möglicherweise zu einseitige Betrachtungsweise des Problems erfolgt und kann so zur Steigerung der Akzeptanz gegenüber den Resultaten der Untersuchung beitragen. Es muss geklärt werden, um welchen Typ einer Delphi-Befragung es sich handeln soll. Falls mithilfe der Studie lediglich das Problemfeld erschlossen werden soll, würde ein qualitatives Delphi (Typ 1) ausreichen. Wichtig ist zu entscheiden, ob es darum gehen soll, einen diffusen Sachverhalt möglichst exakt zu bestimmen, oder ob vor allem die Meinungen von Experten qualifiziert und ermittelt werden sollen. Zu klären ist, inwieweit die Delphi-Befragung (auch) zu einer Konsensbildung bei den Entscheidungsträgern einen Beitrag zu leisten hat. Sollte es nicht gelingen, den gewünschten Typ der Delphi-Befragung zu fixieren, so ist in diesem Zusammenhang zu fragen, ob der Delphi-Ansatz überhaupt das geeignete Verfahren ist, um die anstehende Problematik zu bearbeiten. Gegebenenfalls müssen andere Zugänge, wie etwa Gruppendiskussionen oder ein Brainstorming (vgl. Abschnitt 4.2) zum Einsatz kommen. Nachdem das mit der Delphi-Befragung verbundene Erkenntnisinteresse bestimmt wurde, kann in einem weiteren Schritt die Lokalisierung der dafür erforderlichen Expertise erfolgen. Aufgrund der Operationalisierung der Problemstellung lässt sich die zu befragende Expertengruppe von ihrer Struktur her bestimmen. Diese kann – wie später noch konkret gezeigt wird – bei einer rein qualitativen Delphi-Befragung relativ klein sein. Während es mehr oder weniger einfach ist, eine Expertengruppe zusammenzustellen, wenn es bei der Befragung darum geht, die Meinungen eines bestimmten Personenkreises zu ermitteln, er-
Planung von Delphi-Befragungen
4.
5.
6.
7.
8.
9.
79
scheint die Auffindung von Experten für die Aufklärung eines diffusen Sachverhalts eine schwierigere Aufgabe zu sein. Von Vorteil ist es, wenn auf einen bestehenden Adressenpool von Experten zurückgegriffen werden kann. Liegt eine solche Zusammenstellung nicht vor, so müssen entsprechende Anstrengungen eingeplant werden, um eine solche Datei zu erstellen. Der Modus des Zugangs zu den Teilnehmern der Delphi-Befragung ist zu bestimmen. Möglich ist eine herkömmliche Strategie, bei der die Fragebögen postalisch an die Teilnehmer versandt werden. Denkbar ist es aber auch, eine über das Internet vermittelte Befragung zu konzipieren. Erfahrungen liegen inzwischen auch mit Delphi-Befragungen vor, die als persönliche Interviews in einer persönlich-mündlichen Situation stattfanden. Es ist zu klären, ob das gesamte Projekt mit eigenen Mitteln veranstaltet werden soll, oder ob eine andere Einrichtung mit der Bearbeitung beauftragt werden soll. Falls die Delphi-Befragung nicht in eigener Regie erfolgen soll (oder kann), muss eine Ausschreibung der Feldarbeit an ein kommerzielles Markt- oder Meinungsforschungsinstitut vorgenommen werden. Die eingehenden Angebote sind einer Bewertung zu unterziehen und schließlich hat die Vergabe des Auftrags zu erfolgen. Nachdem bis hierher Klarheit über verschiedene Modalitäten der Delphi-Befragung hergestellt wurde, kann das eigentliche Erhebungsinstrument entwickelt werden. Das bedeutet, dass ein Fragebogen für eine standardisierte Erhebung erstellt werden muss. Die in den Bogen aufzunehmenden Fragen sind aus der Problemstellung abzuleiten und im Einzelnen zu formulieren. Wert sollte gelegt werden auf die ansprechende Gestaltung des Deckblattes und ein überzeugendes Anschreiben. Es ist festzulegen, wie viele Nachfassaktionen zu planen sind, um den Rücklauf der Fragebögen zu befördern. Für diesen Zweck sind auf einer separaten Liste die Namen der Experten zu vermerken. Auf dem Fragebogen ist dann eine Identifikationsnummer aufzudrucken und der Rücklauf der Fragebögen während der Feldphase muss kontrolliert werden. Eine geeignete Preteststrategie ist zu entwickeln, um abzusichern, dass der Fragebogen die von ihm erwarteten Informationen liefert. In der Umfrageforschung gilt, dass bei fehlenden Kapazitäten für eine Voruntersuchung, besser auf die gesamte Erhebung verzichtet werden sollte. Dies trifft auch für Delphi-Befragungen zu. Es muss eine (Vor-)Entscheidung über die Anzahl der beabsichtigten Befragungswellen getroffen werden. Die Teilnehmer an einer Delphi-Befragung sollten bereits zu Beginn der Studie über den beabsichtigten weiteren Verlauf der Untersuchung unterrichtet werden.
80
Planung von Delphi-Befragungen
10. Nach Abschluss der Instrumentenentwicklung kann mit der qualitativen und/ oder quantitativen Befragung des Expertenpanels begonnen werden. 11. Während der nun folgenden Feldphase muss eine Überwachung des Rücklaufs erfolgen. Die beim Monitoring-Team eingehenden Fragebögen sind zu registrieren und eventuell auftretende Ausfälle zu beobachten. Wert sollte auch auf eine gute Dokumentation des gesamten Feldgeschehens gelegt werden. 12. Gleichzeitig mit Beginn der Feldarbeit kann die Erstellung der Unterlagen für die folgende Welle in Angriff genommen werden. Dabei können die Fragebögen soweit vorbereitet werden, dass lediglich noch das Feed-back – in Form bestimmter statistischer Angaben – einzutragen bleibt. Soweit vom Design her vorgesehen, muss die Aufbereitung verbaler Kommentare eingeplant werden. In Ausnahmefällen kann auch eine Überarbeitung des Fragebogens erforderlich werden. 13. An die erste Erhebungswelle schließen sich die Wiederholung(en) der quantitativen Befragungsrunde(n) an. Zumeist sind dabei jedoch kaum noch Veränderungen im Design vorzunehmen. 14. Die Delphi-Befragung schließt ab mit der Ergebnisdarstellung. Abschlußberichte sind sowohl an die beteiligten Experten als auch an den Auftraggeber zu richten. Als eine kostengünstige Variante hat sich hier die Nutzung des Internets bewährt. 15. Folgt man dem Vorschlag von Novakowski und Weller, so sollte sich an die eigentliche Delphi-Befragung eine anonyme Post-Delphi Erhebung anschließen. Das Ziel dieser Erhebung ist zu ermitteln, auf welche Weise die Studie verbessert werden kann, wie sich möglicherweise deren Effektivität erhöhen lässt (2008:1495). 6.2
Kostenverursachende Faktoren bei einer Delphi-Befragung
Die für die Delphi-Befragung zur Verfügung stehenden Ressourcen stellen – neben den inhaltlichen Vorgaben – bei nahezu allen zu treffenden Entscheidungen eine wesentliche Einflussgröße für die Gestaltung des Designs dar. Als entscheidende Aspekte sind zu nennen: a) der für die Delphi-Befragung insgesamt zur Verfügung stehende Zeitfonds, b) der Umfang der finanziellen Mittel, über die das Projekt verfügt und c) die personellen Ressourcen. Im Einzelnen verursachen die folgenden Positionen Kosten: 1. Größe, Struktur und Herkunft der Mitglieder der die Delphi-Befragung beaufsichtigenden beziehungsweise beratenden Gruppe sind kostenrelevant. Soweit ein solches Aufsichts- und Beratungsgremium vorgesehen ist, müssen Gelder für Reisen, Honorare, Raummieten und so weiter eingeplant werden. Zusätzlich ist der Zeitbedarf für entsprechende Treffen zu planen.
Planung von Delphi-Befragungen
81
2. Das Gleiche gilt für das Monitoring-Team als den eigentlichen Veranstalter beziehungsweise Moderator der Befragung. Es sollte auch eine ausreichende Anzahl von Hilfskräften bei der Planung berücksichtigt werden. Bezüglich der Qualifikation ist es sinnvoll, wenn neben Fachwissenschaftlern auch Methodiker (Spezialisten für Fragebogengestaltung und Umfrageforschung) am Projekt beteiligt werden. 3. Ein ausreichend großer Zeitraum für die Ausschreibung und die Bewertung der eingegangenen Angebote von kommerziellen Markt- und Meinungsforschungsinstituten ist bei der zeitlichen Planung der Befragung zu berücksichtigen. 4. Die Umsetzung der Pretest-Strategie erfordert eigene zeitliche, personelle und finanzielle Mittel. Jede Befragung sollte vor Beginn das Instrument einem Test unterziehen. Für solche Voruntersuchungen existieren verschiedene Strategien, die aufgrund der jeweiligen Spezifik des Fragebogens zu wählen sind. Sie erfordern einen unterschiedlichen Aufwand an Ressourcen. Unter Umständen – bei sehr komplizierten Fragebögen – sind finanzielle und zeitliche Mittel auch für mehrere Tests zu veranschlagen. 5. Für den Fall, dass nicht auf einen Adressenpool der Experten zurückgegriffen werden kann, muss ein Zeitfonds für die Erstellung dieser Adressdatei berücksichtigt werden. Der Aufwand für die Erstellung einer aktuellen Adressdatei kann immens sein. 6. Finanzielle Kosten fallen für die Rekrutierung der Experten, konkret für den Zugang zu relevanten Datenbanken, an, in denen für diesen Zweck recherchiert werden muss. 7. Ein wesentlicher Aspekt, der die Kosten der Delphi-Befragung bestimmt, ist die Anzahl der zu befragenden Experten. Aus dieser Zahl leiten sich die entstehenden Druckkosten, die Portokosten und die Kosten für das Rückporto ab. Zu beachten ist, dass an dieser Stelle ein gewisser Non-Response einzuplanen ist. Das bedeutet, dass zum erwarteten (Netto-)Umfang der Befragtengruppe ein gewisser Prozentsatz (Brutto) zuzuschlagen ist. 8. Immer häufiger werden für die Experten zur Motivation an der Teilnahme bei der Befragung Incentives angeboten. Solche Anreize können unterschiedlichster Art sein. Es ist im Einzelfall zu entscheiden, ob und mit welchen Mitteln die Experten zur Teilnahme stimuliert werden sollen. 9. Die Fragebogengestaltung ist ebenfalls in vielfacher Hinsicht kostenrelevant. An dieser Stelle sollen nur der Umfang des Bogens, die Papierqualität und das Layout genannt werden. 10. Ferienzeiten sind für die Befragung ungeeignet. Bei der zeitlichen Planung der verschiedenen Wellen einer Delphi-Befragung ist dieser Umstand zu berücksichtigen. 11. Werden offene Fragen in das Frageprogramm aufgenommen bzw. handelt es sich sogar um eine Delphi-Studie zur Aggregation von Ideen (Typ 1), so müssen
82
12.
13.
14.
15.
Planung von Delphi-Befragungen
Kosten für die Verschriftung und die nachträgliche Vercodung der Antworttexte eingeplant werden. Eine nachträgliche Vercodung offener Antworten kann nicht rein mechanisch erfolgen, sondern erfordert ebenfalls eine gewisse Fachkompetenz. Folgen hat dies auch für den zeitlichen Rahmen, in dem eine solche Befragung realisiert werden kann. Wesentlich für die Absicherung einer guten Beteiligung an der postalischen Befragung sind Nachfassaktionen. Solche Nachfass- oder Erinnerungsschreiben erfordern sowohl zeitliche als auch finanzielle Ressourcen. Mit der Anzahl der Befragungswellen steigt der erforderliche finanzielle und zeitliche Rahmen. Zu berücksichtigen sind dabei wiederum die Kosten für (erneute) Nachfassaktionen, den Druck der Fragebögen und so weiter. Allerdings ist es nicht erforderlich, einen zu großen zeitlichen Abstand zwischen den einzelnen Wellen einzuplanen. Langjährige Erfahrungen mit solchen umfangreichen Delphi-Befragungen liegen aus Japan vor. Hier fand die erste Runde im Rahmen der sechsten Befragung zur Zukunft von Wissenschaft und Technologie im August 1996 statt, die zweite Runde wurde im Dezember 1996 abgeschlossen (NISTEP 1997:3). Damit wurden für eine Welle cirka fünf Monate benötigt. Duffield (1993) geht davon aus, dass für jede Runde bis zu acht Wochen benötigt werden. Hasson und Kollegen (2000) benötigten immerhin vier Monate für sein Projekt, bei Keeney (2000) war ein ganzes Jahr erforderlich, um die Untersuchung abzuschließen und bei McKenna sogar 16 Monate (vgl. Keeney/Hasson/McKenna 2006:209). Die Erstellung des Feed-backs nach jeder Runde erfordert einen gewissen Zeitfonds. Dieser kann jedoch relativ gering gehalten werden, wenn bereits während der Erhebung der ersten Welle – oder davor – das Design des Fragebogens für die Folgewelle(n), einschließlich der einzufügenden Rückinformation, vorbereitet wird. Verschiedene Varianten existieren auch für die Präsentation der Endergebnisse. Wichtig ist, den Teilnehmern und den Auftraggebern die Resultate zur Verfügung zu stellen. Dazu können sowohl Workshops veranstaltet als auch ausführliche Dokumentationen erstellt werden. Einzuplanen sind deshalb Druckkosten für Publikationen und die Kosten für die Organisation von Workshops.
Diese Aufzählung wollte einen möglichst vollständigen Überblick aller bei einer Delphi-Befragung möglicherweise anfallenden Kosten geben. In der Praxis werden unter Umständen einige Positionen entfallen bzw. wird sich der Aufwand aufgrund der Übernahme bestimmter Positionen in die eigene Regie verringern lassen. Auch bringt die Nutzung des Internets (vgl. Abschnitt 8) die Möglichkeit für Modifikationen dieses Planes mit sich.
Planung von Delphi-Befragungen
83
Es dürfte angesichts der Vielfalt der Positionen klar geworden sein, dass es faktisch nicht möglich ist, einen Richtpreis für Delphi-Befragungen zu nennen. Dies gilt letztlich auch für den einzuplanenden Zeitraum und die erforderlichen personellen Ressourcen. Gewarnt werden soll vor der Auffassung, Delphi-Befragungen stellten eine besonders billige Informationsquelle dar. Richtig ist vielmehr, dass durch zu starke Beschränkungen bei den Kostenpositionen (beispielsweise beim Pretest) die Qualität der Ergebnisse nicht mehr gewährleistet werden kann. 6.3
Besonderheiten der Planung rein quantitativer Delphi-Befragungen
Rein quantitative Delphi-Befragungen sind solche, die auf die qualitative Runde zur (Vor-) Strukturierung eines diffusen Sachverhalts verzichten und lediglich in mehreren quantifizierenden Wellen Experteneinschätzungen erheben. Bei der deutschen Delphi-Befragung zur globalen Entwicklung von Wissenschaft und Technik handelt es sich beispielsweise um eine solche rein quantitative Befragung. Die Planung dieser Studie soll kurz als Beispiel für eine mögliche Vorgehensweise vorgestellt werden. Das Hauptproblem besteht hier darin, bereits vor Beginn der Studie eine weitgehende Operationalisierung der Fragestellung zu erarbeiten. Dabei muss gewährleistet werden, dass keine partikulären Interessen einzelner Mitglieder des Monitoring-Teams die Gestaltung des Fragebogens prägen. So betont etwa eine besonders detaillierte Abfrage von Facetten eines Teilgebiets indirekt bereits dessen vermeintliche Wichtigkeit, während eine nur grobe Abfrage zu einem anderen Teilgebiet einen gegenteiligen Effekt haben kann. Der Auftraggeber dieser Untersuchung, das BMBF, setzte zunächst einen Lenkungsausschuss bestehend aus neun Personen ein. Dieser Lenkungsausschuss setzt sich zusammen aus (1.) Vertretern der Wirtschaft (Vorsitzender des Vorstandes der DEKRA, Forschungsvorstand der BASF, Mitglied der Bayerische Vereinsbank, Vizepräsident von Arthur D. Little), (2.) der Wissenschaft (Präsident des Wissenschaftszentrums Berlin, Professor an der TH Darmstadt, Rektor der Universität Leipzig) sowie (3.) aus zwei weiteren Einrichtungen (Mitarbeiter bei der „Zeitschrift Bild der Wissenschaft“ und Generalsekretär der Volkswagen-Stiftung). Damit waren die Inhaber verschiedener Professionen, wie zum Beispiel Ingenieure, Chemiker, naturwissenschaftliche Publizisten, Soziologen und Physiker vertreten. Diese Zusammensetzung garantierte einen interdisziplinären Informationsaustausch. Der Lenkungsausschuss definierte zunächst die zu bearbeitenden Themenfelder. Danach erfolgte, bereits zwei Jahre1 vor Beginn der eigentlichen Befragung, die Bildung von Fachausschüssen, welche ebenfalls interdisziplinär mit mehr als 100 1
Damit muss sich die Veranstaltung einer rein quantitativen Delphi-Befragung gar nicht unbedingt schneller realisieren lassen als ein Delphi, bei dem zunächst eine qualitative Runde vorgeschaltet wurde.
84
Planung von Delphi-Befragungen
Personen aus Industrie, Hochschulen und anderen Bereichen besetzt waren, die dann die inhaltliche Vorbereitung der Studie betrieben. Die Moderation der Arbeit der Fachausschüsse übernahm jeweils ein Mitglied des Lenkungsausschusses. Die Koordination des gesamten Prozesses erfolgte durch das Fraunhoferinstitut für Systemtechnik und Innovationsforschung (ISI). Hier wurde auch der Fragebogen erarbeitet und an die Zielpersonen versandt sowie die Adressdatenbank aufgebaut und gepflegt. Der relativ große Aufwand bei der Entwicklung des Erhebungsinstruments scheint gerechtfertigt und typisch für rein quantifizierende Delphi-Befragungen zu sein. Dabei kommt es vor allem darauf an, a priori umfassend jene Ideen zu sammeln, deren Bewertung Anliegen der Delphi-Befragung sein soll: „Um ein gutes Ergebnis zu erzielen, muss der Löwenanteil der investierten Arbeit auf das Aufstellen des Fragekatalogs verwendet werden“ (BMFT 1993:XV). Generell empfiehlt sich bei rein quantitativen Delphi-Projekten folgendes Vorgehen: Eine Monitoring-Gruppe – eingesetzt vom Auftraggeber – leitet das gesamte Projekt. Diese Gruppe sollte sinnvoller Weise von einem interdisziplinär zusammengesetzten wissenschaftlichen Beirat unterstützt werden. Eine Funktion des Beirates ist es zu verhindern, dass partikuläre Interessen einzelner beteiligten Wissenschaftler in der Befragung zu sehr in den Vordergrund geraten. Um die Dominanz einzelner Personen zu verhindern, wurden beispielsweise im österreichischen TechnologieDelphi drei Teams mit der Durchführung beauftragt (vgl. Aichholzer 2000:69). Eine andere Möglichkeit, um zusätzliche Kompetenz für die Strukturierung der zu bearbeitenden Problemstellung zu aktivieren, wäre die Nutzung externer Gutachten für die inhaltliche Strukturierung der Studie. 6.4
Vergabe der Feldarbeit an ein kommerzielles Institut
Aufträge zur Übernahme der Feldarbeit von Delphi-Befragungen können an ein kommerzielles Markt- bzw. Sozialforschungsinstitut vergeben werden. In Deutschland haben sich eine Reihe2 von Instituten zum Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM-Institute) zusammengeschlossen. Unter der URL http://www.adm-ev.de/wir.html stellen diese ihre Arbeitsweise im Internet vor. Die Beauftragung eines solchen auch mit postalischen Umfragen vertrauten Instituts empfiehlt sich vor allen dann, wenn keine ausreichenden eigenen Erfahrungen mit Erhebungen vorliegen und zugleich genügend Mittel für die Beauftragung einer externen Einrichtung zur Verfügung stehen. Während es durchaus möglich ist, die Feldarbeit an ein solches Institut zu delegieren, sollten die anderen Arbeitsschritte, insbesondere die Operationalisierung der Problemstellung, weitgehend in eigener Regie erfolgen. Es empfiehlt sich, in einer Ausschreibung mehrere Institute um ein unverbindliches Angebot zu bitten. Neben einer kurzen Beschreibung des Anliegens der Delphi2
Im Juni 2009 waren 74 Einrichtungen Mitglied im ADM.
Planung von Delphi-Befragungen
85
Befragung sollte eine solche Ausschreibung Angaben zu den folgenden Aspekten des Projekts enthalten: ĺ den Umfang des Fragebogens (Anzahl an Fragen und Seitenzahl) sowie dessen Ausgestaltung (eventuelle besondere Anforderungen an das Layout) ĺ zumindest grobe Vorstellungen über einen Pretest zur Überprüfung des Fragebogenentwurfs ĺ die Anzahl der zu planenden Nachfassaktionen ĺ die Art und Weise des Zugangs zur Expertengruppe (neue Rekrutierung von Experten versus die Nutzung eines vorliegenden Adressenpools) ĺ der Umfang des Expertenpanels (inklusive einer Substitution von Non-Respondenten) ĺ die Anzahl der geplanten Befragungswellen ĺ die Anzahl offener Fragen und das gewünschte Vorgehen bei deren Vercodung ĺ die Art und Weise der Präsentation der Ergebnisse bzw. der Zwischenergebnisse ĺ einen Zeitplan für die einzelnen Schritte und den Termin der Übergabe der kompletten Unterlagen. Alle genannten Punkte beeinflussen die zu erwartenden Kosten. Aufgrund einer Nachfrage bei INFRATEST Burke geben Falke und Krüger einen Preis von 150.000 DM als „absolute Obergrenze“ (2000:87) für eine Delphi-Befragung an. Diese Summe kann jedoch aufgrund des Variantenreichtums von Delphi-Befragungen bestenfalls als ein sehr grober Richtwert angesehen werden. Im Zweifelsfall sollte eine unabhängige Institution zur Beurteilung der Angebote verschiedener Umfrageinstitute herangezogen werden. Diesen Service bietet beispielsweise das GESIS Leibniz Institut für Sozialwissenschaften in Mannheim seiner Klientel an. 6.5
Selbstorganisierte Delphi-Befragungen
Obwohl hier nicht die Auffassung vertreten wird, dass es sich bei DelphiBefragungen um eine besonders preisgünstige Variante der Datenerhebung handelt, belegen doch Erfahrungen, dass die Delphi-Technik auch sinnvoll von relativ kleinen Forschergruppen organisiert und selbständig durchgeführt werden kann. Die Organisation von Delphi-Befragungen ist beispielsweise bereits Bestandteil von Forschungsseminaren im Rahmen der Methodenausbildung an Universitäten gewesen (vgl. zum Beispiel Häder 2000d), oder erfolgte auch im Rahmen von Diplomarbeiten und Dissertationen. Es hat sich vielfach gezeigt, dass es durchaus realistisch ist, die Fragebogenentwicklung und den Pretest, sowie die Feldsteuerung, die Organisation des Feed-backs und schließlich auch die Auswertung einer solchen Befragung im Rahmen von Graduierungsarbeiten zu erledigen. Die Angaben zum erforderlichen Zeitfonds für eine dreiwellige schriftliche Befragung schwanken zwischen zwei Monaten und zwei Jahren (vgl. Gisholt 1976, Kühn/Jucken 1988, Cho 1991). In der Mehrzahl der Fälle hat sich ein fünf- bis
86
Planung von Delphi-Befragungen
achtmonatiger Zeitraum als notwendig erwiesen (vgl. Reinmann-Rothmeier/Mandl 1998, Seeger/Wersig 1978, Brockhaus/Mickelsen 1977). Aber auch hier ist es wieder schwierig, einen Richtwert anzugeben. Die Angaben sollten deshalb unter Vorbehalt übernommen werden. Eine Besonderheit stellen Delphi-Befragungen innerhalb eines Unternehmens beziehungsweise innerhalb einer Organisation dar. Hier können die Experten zu einer Teilnahme mehr oder weniger verpflichtet werden. Bei einer straffen Organisation reduziert sich der Zeitfonds für solche Studien damit unter Umständen beträchtlich.
7 Designs von Delphi-Befragungen
Der folgende Abschnitt richtet sich vor allem an Personen, die eine DelphiBefragung planen beziehungsweise eine solche Erhebung selbst durchführen wollen. Dazu werden die einzelnen Designaspekte nacheinander besprochen. Zur Illustration wird dabei auch auf zahlreiche Anwendungen Bezug genommen, die vor allem in der neueren Literatur zu finden sind. Der Abschnitt ist wie folgt strukturiert: ĺ Zu den ersten Aufgaben gehört die Operationalisierung der Fragestellung. Es besteht die Möglichkeit, bei Delphi-Befragungen in einer qualitativen Runde zunächst das Problemfeld zu strukturieren, bevor danach in mehreren Wellen eine quantitative Bewertung der Sachverhalte stattfindet. Eine andere Variante stellt die systematische Zerlegung des Problemgegenstandes im Vorfeld der empirischen Erhebung mithilfe der Facettentheorie dar. Diese letztere Variante wird an einem Beispiel beschrieben (Abschnitt 7.1). ĺ Ein wesentliches Kriterium, von dem schließlich die Güte der Ergebnisse einer Delphi-Befragung abhängt, ist die Auswahl der geeigneten Experten (Abschnitt 7.2). Überlegungen sind zur Struktur dieser Gruppe, zu deren Größe und zur Auffindung der Adressen anzustellen. ĺ In einer Reihe von Delphi-Befragungen wurden in einer qualitativen Befragungsrunde zunächst Informationen zur Strukturierung des Problemfeldes gesammelt (Abschnitt 7.3). ĺ Delphi-Befragungen zeichnen sich unter anderem durch die ein- oder auch mehrmalige Wiederholung der Erhebung aus. Die Entscheidung über die erforderliche Anzahl der Wellen wird im folgenden Abschnitt (Abschnitt 7.4) behandelt. ĺ Für die Erhebung ist in der Regel ein Fragebogen zu entwickeln, der den Experten postalisch zugestellt wird (Abschnitt 7.5). Das Design dieses Bogens stellt einen weiteren wesentlicher Faktor für den Erfolg der Delphi-Befragung dar. ĺ Dieser schriftlich zu beantwortende Fragebogen setzt sich aus einer ganzen Reihe unterschiedlicher Einzelfragen zusammen. Einige für Delphi-Befragungen inzwischen typische Indikatoren werden hier vorgestellt (Abschnitt 7.6). ĺ Vor Beginn der eigentlichen Erhebung muss das Instrument einem Pretest unterzogen werden (Abschnitt 7.7). Es steht eine ganze Reihe an Strategien zur Verfügung, die benutzt werden können, um das Funktionieren des Fragebogens zu überprüfen. ĺ Bei der Erhebung selbst spielt dann die Anonymität der Teilnehmer eine wesentliche Rolle. Auch zu diesem Aspekt existieren unterschiedliche Erfahrungen (Abschnitt 7.8), die bei der Designentwicklung zu beachten sind.
88
Designs von Delphi-Befragungen
ĺ Nach der ersten Welle erhalten die Teilnehmer ein Feed-back über die Ergebnisse der vorangegangenen Runde (Abschnitt 7.9). Für unterschiedliche Fragetypen sind jeweils spezielle Formen der Rückinformation zu wählen. ĺ Während der gesamten Erhebungsphase sollte eine Kontrolle des Rücklaufs der Fragebögen erfolgen. Unter Umständen kann es erforderlich werden, gezielt (weitere) Experten um ihre Teilnahme zu bitten (Abschnitt 7.10). ĺ Schließlich bildet die Dokumentation der Ergebnisse (Abschnitt 7.11) für den Auftraggeber beziehungsweise für die potenziellen Nutzer, für mögliche Nachnutzer sowie für die interessierten Teilnehmer den Abschluss der Delphi-Befragung. Auch hier sollte eine Reihe von Regeln beachtet werden, um die Wissenschaftlichkeit der Untersuchungsanlage zu belegen. 7.1
Operationalisierung der Fragestellung und Aufbereitung des Problems mithilfe der Facettentheorie
Delphi-Befragungen setzen, wie andere sozialwissenschaftliche Studien auch, eine systematische Aufbereitung der Fragestellung voraus. Niemand wird beispielsweise auf die Frage, wie sich Wissenschaft und Technik in den nächsten 20 bis 30 Jahren entwickeln werden, eine sinnvoll zu nutzende Antwort geben können. In einem ersten Schritt sind deshalb theoriegeleitet allgemeine Begriffe durch konkrete zu untersetzen. So kann zum Beispiel festgelegt werden, über welche Bereiche von Wissenschaft und Technik Auskunft eingeholt werden soll. Ebenfalls muss definiert werden, welche Dimensionen der Problemstellung in die Analyse eingehen sollen und welche (zunächst) unberücksichtigt bleiben. In diesem Zusammenhang könnte beispielsweise die Frage gestellt werden, wie wichtig es für die Volkswirtschaft eines Landes ist, dass eine bestimmte Technologie in den nächsten 20 bis 30 Jahren entwickelt wird. Jede wissenschaftliche Tätigkeit besteht im Prinzip in der Zerlegung abstrakter Sachverhalte. Bei dieser Zerlegung werden die wesentlichen von den unwesentlichen Dimensionen unterschieden. Die Facettentheorie (FT) nimmt eine Explikation dieses impliziten Vorgehens vor (vgl. Borg 1992). Sie verdeutlicht, welche Schritte und Überlegungen erforderlich sind, um eine allgemeine Fragestellung zu zerlegen und verhilft so zu einer systematischen Ableitung der Indikatoren für eine empirische Studie. Am Beispiel der Delphi-Studie zum Mobilfunk (vgl. Häder 2000a) soll gezeigt werden, wie mithilfe der Facettentheorie dieser wichtige Schritt unterstützt werden kann1. Die im Rahmen einer Delphi-Befragung zu bearbeitende Frage soll lauten: „Welches sind in der Zukunft gruppenspezifische Motive für die Nutzung des Mobilfunks?“ Es würde wenig Sinn machen, diese Frage in dieser Form einem Expertengremium vorzulegen. Eine solche allgemeine Problemstellung ist vielmehr zunächst 1
Die Nutzung der Facettentheorie ist natürlich nicht die einzige Variante, um eine allgemeine Fragestellung zu operationalisieren.
Designs von Delphi-Befragungen
89
so zu bearbeiten, dass sie in relevante Dimensionen zerlegt wird und danach die geeigneten Indikatoren abgeleitet werden können. In einem ersten Schritt sind Überlegungen darüber anzustellen, welche Dimensionen – beziehungsweise in der Sprache der Facettentheorie, welche Facetten – in der Fragestellung enthalten sein sollen. Dazu müssen sozialwissenschaftliche Theorien herangezogen werden. Aus der Einstellungs-Verhaltens-Forschung ist beispielsweise bekannt, dass sich die Menschen anhand der ihnen zur Verfügung stehenden Informationen und in Übereinstimmung mit dem von ihnen wahrgenommenen Nutzen verhalten. Man kann so bei der zur Diskussion stehenden Problematik davon ausgehen, dass die Fragestellung die folgenden Facetten enthält: 1. Facette: 2. Facette: 3. Facette:
Es gibt unterschiedliche Beweggründe beziehungsweise Motive für die Anschaffung und die Nutzung von Mobiltelefonen. Diese Beweggründe dürften für unterschiedliche soziale Gruppen in unterschiedlichem Maße relevant sein. Schließlich besitzen diese gruppenspezifischen Beweggründe für die zukünftige Ausbreitung des Mobilfunks eine unterschiedliche Bedeutung.
Bei der weiteren Vorbereitung der Studie wird nun davon ausgegangen, dass diese drei Facetten das Erkenntnisinteresse (zunächst) ausreichend abdecken. Sollte diese Zerlegung nicht ausreichen, so müssten weitere Facetten eingefügt werden. Es soll hier aber darauf verzichtet werden, auch noch zusätzlich weitere Fragestellungen zu bearbeiten. In einem nächsten Schritt sind nun die drei genannten Facetten zu spezifizieren. Es muss festgelegt werden, welche Elemente für die beabsichtigte empirische Untersuchung wesentlich sind, das heißt, welche Dimensionen die einzelnen Facetten enthalten. Denkbar wäre beispielsweise die folgende Operationalisierung: 1. Facette „Beweggründe“: Für die Nutzung von Mobiltelefonen kommt eine Reihe von Motiven infrage. Denkbar ist, dass die Entscheidung dafür fällt, die folgenden Beweggründe für die Nutzung von Mobiltelefonen zu untersuchen: a) praktische Gründe, b) normative Gründe und c) die Freude, bequem und einfach telefonieren zu können und sich auf diese Weise zu unterhalten. 2. Facette „soziale Gruppen“: Aus der soziologischen Theorie ist bekannt, dass Motive (Facette 1) gruppenspezifisch wirken. So mögen normative Gründe bei besonders mobilen Personen einen anderen Stellenwert haben als bei älteren Menschen. Im Weiteren soll die Facette „soziale Gruppen“ deshalb untersetzt werden durch: a) die befragte Person selbst, b) die Familie, c) in der Bevölkerung allgemein geltende Motive und d) extrem mobile Personen wie etwa Außendienstmitarbeiter, Autofahrer, Manager und so weiter. 3. Facette „Bedeutung für die Ausbreitung“: Nun liegt zwar nahe, dass beispielsweise praktische Gründe für die Anschaffung von Mobiltelefonen bei besonders
90
Designs von Delphi-Befragungen
mobilen Personen eine besonders hohe Bedeutung besitzen. Trotzdem könnte unter Umständen angenommen werden, dass diese Tatsache für die weitere Verbreitung des Mobilfunks keine besondere Rolle spielt, zum Beispiel, weil bereits alle infrage kommenden Personen mit dieser Technik ausgestattet sind. Damit ist angezeigt, jeweils die Bedeutung der gruppenspezifischen Motive für die Ausbreitung des Mobilfunks zu ermitteln. So wie auch noch weitere Facetten im Rahmen der Zerlegung der Problemstellung hätten ausgemacht werden können, wäre es auch möglich gewesen, die drei spezifizierten Facetten noch weiter beziehungsweise anders zu zerlegen. Darauf soll an dieser Stelle jedoch verzichtet werden. In die vorliegenden Facetten ist nun das ursprüngliche Problem quasi eincodiert. Es ist in der Facettentheorie üblich, die vorgenommen Strukturierung der Facetten in Form eines Abbildsatzes (vgl. Borg 1977) darzustellen. Ein solcher kategorialer Abbildsatz hätte dann im hier diskutierten Fall die folgende Form (vgl. Abbildung 1). Abbildung 1:Kategorialer Abbildsatz zur Bearbeitung der Forschungsfrage Ein Experte (pi) beurteilt die Gründe (g) bestimmter sozialer Gruppen (sg) zur Nutzung (g1: praktische )
(sg1: selbst
)
(g2: normative )
(sg2: Familie
)
(g3: Spaß
(sg3: allgemein
)
(sg4: mobile Person
)
)
von Mobiltelefonen nach ihrer Æ Wichtigkeit und nach ihrer Wirkung auf die weitere (1= unwichtig
)
(1= keine
)
(2
)
(
)
(3
)
(
)
(4
)
(
)
(5= sehr große
)
(5= sehr wichtig ) Ausbreitung von Mobiltelefonen.
Mit diesem Abbildsatz ist nun bereits die Struktur der gesamten Befragung grundsätzlich festgelegt. Im Weiteren geht es jetzt darum, für die einzelnen zu analysierenden Facetten gezielt Fragebogenfragen zu entwickeln. Durch die Kombination der einzelnen Elemente der Facetten lassen sich die sogenannten Struktupel bilden. Beispielsweise wäre das Struktupel {g1,sg4} ein praktischer Grund für eine mobile Person. Daraus können dann im nächsten Schritt die
Designs von Delphi-Befragungen
91
eigentlichen Fragetexte entwickelt werden. Die folgende Übersicht (vgl. Tabelle 3) enthält ein Beispiel für die gezielte Ableitung solcher Fragetexte zu den einzelnen Struktupeln. Tabelle 3: Zuordnung von Fragebogenfragen zu den Struktupeln des Abbildsatzes Inhalt der Frage
Fragenummer
Wie wichtig ist die Nutzung von Mobiltelefonen...? Inwieweit wird dadurch die Ausbreitung beeinflusst?
g1, sg4
1
für Autofahrer bei Pannen und Unfällen
g3, sg4
2
für junge Menschen, um sich zu unterhalten und zu entspannen
g1, sg1
3
für die eigene Sicherheit
g1, sg4
4
für Manager und ähnliche Berufsgruppen, um im Berufsleben disponibel und ständig erreichbar zu sein
g2, sg3
5
um den Erwartungen der anderen Menschen zu entsprechen
g1; sg3
6
um Zeit zu sparen
g3, sg3
7
um spontan zu kommunizieren
g3, sg2
8
für Familien, damit jeder jeden ständig erreichen kann
g1, sg2
9
für allein lebende Menschen zur Pflege von Kontakten
g2, sg4
10
für junge Menschen, um Anerkennung durch andere zu erlangen
g1, sg3
11
als Zugang zu zahlreichen Diensten und Informationsquellen
g1, sg4
12
für Manager, um Zeit zu sparen
g1, sg4
13
für junge Menschen, um Zugang zu Datendiensten zu erlangen
g3, sg2
14
für Familien, um miteinander spontan kommunizieren zu können
g1, sg2
15
für die Sicherheit der Kinder (Schulweg, Spielplatz usw.)
g1, sg3
16
für den Ersatz der persönlichen Kommunikation
g1, sg4
17
für Außendienstmitarbeiter, Vertreter usw., um ständig erreichbar zu sein
Die Facettentheorie ist nicht nur ein nützliches Hilfsmittel für die Frageformulierung, sie enthält weiterhin Modelle für die Auswertung der auf diese Weise gewonnenen Daten. Diese werden ebenfalls anhand der Delphi-Befragung zur Zukunft der Mobiltelefone an späterer Stelle (vgl. Abschnitt 10.2) vorgestellt. Zu große Beliebigkeit und zu wenig stringente Regeln waren in der Vergangenheit häufig Kritikpunkte in Bezug auf die Anlage von Delphi-Befragungen (vgl. Woudenberg 1991). Diesem Einwand kann durch die Nutzung der Facettentheorie
92
Designs von Delphi-Befragungen
für die Strukturierung der Fragestellung begegnet werden. Die Facettentheorie liefert eine nachvollziehbare und theoriegeleitete Reduzierung der Komplexität des Problems auf ausgewählte Facetten. Ein weiterer Vorzug der Facettentheorie besteht in deren Flexibilität. Sie ermöglicht es auch Vertretern unterschiedlicher theoretischer Ansätze die Problemstellung nach ihren Kriterien zu operationalisieren. 7.2
Theorie und Praxis der Rekrutierung der Experten
Die Rekrutierung der Experten wird in fünf Unterabschnitten behandelt: Einleitend (Abschnitt 7.2.1) werden folgende drei im Rahmen der Rekrutierung von Experten für Delphi-Befragungen relevante Fragen diskutiert: Kann die Erhebung von Vorabinformationen über die Kompetenz der Experten hilfreich sein, um die Zusammensetzung des Teilnehmerpools zu bestimmen? Welche Rolle kann die Vorgabe von Quotenmerkmalen bei der Zusammenstellung der Expertengruppe spielen? Und: Welche Bedeutung erlangt die Struktur der Expertengruppe unter dem Aspekt der Sicherung einer möglichst hohen Autorität des Feed-backs? Danach werden praktische Hinweise zum erforderlichen Umfang der Expertengruppe (Abschnitte 7.2.2 und 7.2.3) und zu deren Zusammenstellung (Abschnitt 7.2.4) gegeben. Die Erörterung schließt mit Tipps, die zur Auffindung von Adressen von Experten genutzt werden können (Abschnitt 7.2.6). 7.2.1
Überlegungen zur Zusammensetzung der Expertengruppe
Die Auswahl von Teilnehmern bei Delphi-Befragungen muss nach anderen Prinzipien erfolgen als die Rekrutierung von Zielpersonen in der Umfrageforschung. In der Umfrageforschung lässt sich in der Regel die Grundgesamtheit, über die anhand der zu gewinnenden Daten Aussagen getroffen werden sollen, eindeutig bestimmen. Die Grundgesamtheit könnte sich in der Wahlforschung beispielsweise aus allen wahlberechtigten Bürgern der Bundesrepublik Deutschland zusammensetzen, die in Privathaushalten leben. Diese Definition gegeben ist es möglich, eine Stichprobenstrategie, zum Beispiel eine Zufallsauswahl aus dem Einwohnermelderegister, einzusetzen, den notwendigen Stichprobenumfang zu berechnen, den Stichprobenfehler zu ermitteln und die Response Rate zu bestimmen. Für die Stichprobenziehung in der Umfrageforschung liegen verschiedene methodisch gut abgesicherte Routinen vor (vgl. Gabler/Hoffmeyer-Zlotnik 1997). Es geht nicht um eine zufällige Auswahl von Experten mit dem Ziel, die Meinungen aller Experten schätzen zu können, sondern – vermittelt über das Feed-back – um Interaktionsprozesse zur Wissensgenerierung. Deshalb erfolgt, wie noch zu zeigen sein wird, die Rekrutierung der Experten bei Delphi-Befragungen zumeist alles andere als zufällig. Zunächst soll über einige Erfahrungen berichtet werden, bevor dann praktische Hinweise für das Auffinden der Experten gegeben werden. So waren dem Rekrutieren der Experten für Delphi-
Designs von Delphi-Befragungen
93
Befragungen bereits verschiedene Experimente gewidmet. Diese vermitteln das folgende, vielfältige Bild: ĺ Richey und Kollegen (vgl. 1985:139) schlagen zum Beispiel, ähnlich wie Murry und Hammons (vgl. 1995:428) vor, vor Beginn der Delphi-Studie mit den potenziellen Experten Kontakt aufzunehmen, um diese mit einem standardisierten Instrument nach ihrem Expertenwissen zu befragen. ĺ Rowe und Kollegen plädieren für Tests vor Beginn der Delphi-Studie, um die Expertise der designierten Experten genauer zu bestimmen und dann aufgrund dieser Ergebnisse die finale Teilnehmergruppe gezielter zusammensetzen zu können (vgl. 1991:242). ĺ Barbara L. Spiegel berichtet über ein ähnliches Design, bei dem zunächst ermittelt wurde, inwieweit die Teilnehmer dazu in der Lage waren, in Almanachfragen dem Monitoring-Team bekannte Werte zu schätzen (vgl. 1987:135). Aus diesem Ergebnis wurde dann auf das Ausmaß der Expertise der Experten geschlossen. ĺ In der Literatur wird über Delphi-Studien berichtet (vgl. Nelson 1978:46), die vor Beginn der eigentlichen Befragung mithilfe einer Skala von Berger (1967) beziehungsweise von Rockeach (1969) den Grad an Dogmatismus bei den beteiligten Experten überprüft haben. Bardecki (vgl. 1984) stellte dazu die Hypothese auf, dass es einen Zusammenhang zwischen dem Grad an Dogmatismus eines Individuums und dessen Neigung zur Meinungsänderung gibt. ĺ Zur Expertenauswahl gibt Christine Duffield (vgl. 1993:228) eine weitere Anregung: Es sollte Wert darauf gelegt werden, dass die jeweiligen Experten auch über den notwendigen Einfluss verfügen, um die bei der Delphi-Befragung gefundenen Ergebnisse später in die Praxis umsetzen zu können. ĺ Novakowski und Wellar (2008:1490) beziehen sich auf eine persönliche Kommunikation mit Turoff und schlagen folgende Schritte vor: erstens ist festzustellen, wie viele unterschiedliche Typen von Experten erforderlich sind, um das Problem zu lösen, zweitens sollte diese Zahl mit fünf multipliziert werden, um die Bruttoumfang der Expertengruppe zu erhalten, drittens sollte sicher gestellt werden, dass sich aus jeder Kategorie mindestens drei Experten an der Studie beteiligen. Es handelt sich bei den zitierten Beschreibungen von Delphi-Befragungen um pragmatische Versuche, die Expertise der Teilnehmer vorab zu ermitteln. Diese Vorschläge können als Anregungen für das Auffinden von Experten für bestimmte Delphi-Befragungen gelten. Es dürfte jedoch kaum möglich sein, diese Strategien zu verallgemeinern und sie zum Standard zu erklären. Die Gründe liegen vor allem in dem durch dieses Vorgehen entstehenden finanziellen und zeitlichen Mehraufwendungen. Weiter sind Probleme zu vermuten, wenn es darum geht, Experten zur Teilnahme an einer mehrwelligen Befragung zu motivieren, deren Beginn an einen Wissenstest erinnert.
94
Designs von Delphi-Befragungen
In vielen Delphi-Befragungen wurden die Teilnehmer nach bestimmten Quoten rekrutiert, beispielsweise wurde versucht, in etwa gleich viele Experten aus der Wirtschaft und aus der universitären Forschungslandschaft zu finden. Tests haben ergeben, dass die Herkunft der Experten einen wesentlichen Einfluss auf das Ergebnis der Delphi-Befragung beziehungsweise auf das Schätzverhalten der Experten ausübt. So zeigte sich beispielsweise, dass jene Experten, die auf dem zu bewertenden Fachgebiet selbst tätig sind, die Zukunft ihres eigenen Arbeitsbereichs optimistischer einschätzen als die übrigen Teilnehmer (vgl. Grupp et al. 2000, Häder 2000b, Schnabel 2000). Auch Harro Albrecht (2000:43) unterstellt Experten eine generelle Voreingenommenheit wenn er schreibt: „Unabhängige Gutachter und Forscher (sind) so selten wie Pandas in der freien Wildbahn.“ Dieser Befund wird als Argument für eine Benutzung von entsprechenden Quotenvorgaben für die Expertenauswahl genommen. In der Praxis kamen bisher unterschiedliche Quoten für das Aufsuchen der Experten zum Einsatz. Auch dazu einige Beispiele: ĺ Es geht bei der Expertenauswahl für die Studien zur Zukunft der Technologie darum, den „vorgegebenen Strukturmerkmalen gerecht zu werden. Es waren folgende Merkmale zu beachten: die Zuordnung zu einer der Delphi-Fachgebiete musste gesichert sein, die Berücksichtigung von Fachleuten aus Hochschulen, Unternehmen, privaten Einrichtungen und öffentlichem Dienst außerhalb des Hochschulbereiches musste gewährleistet sein und die Beteiligung von Experten aus den alten und den neuen Bundesländern musste vorgesehen werden“ (BMFT 1993:41). ĺ „Befragt man lediglich auf dem Gebiet aktiv forschende bzw. beschäftigte Personen, so besteht tendenziell die Gefahr, dass diese ihr eigenes Fachgebiet überund die technischen Hemmnisse unterschätzen. Um mögliche Einseitigkeiten und Voreingenommenheiten von Spezialisten entgegenzuwirken, sollte daher die volle Bandbreite der Fachkenntnisse von ‚groß‘ über ‚mittel‘ bis ‚gering‘ vertreten sein. Eine gewisse Grundkenntnis der Antwortenden ist jedoch Voraussetzung für die Beurteilung der Themen“ (Cuhls/Breiner/Grupp 1995:13). ĺ „Personen sollten möglichst zu jeweils einem Drittel aus (1.) der Industrie, (2.) aus Hochschulen sowie (3.) aus anderen Forschungseinrichtungen, dem öffentlichen Dienst und Verbänden stammen“ (Cuhls/Blind/Grupp 1998:7). ĺ „Two criteria governed the selection of the target populations to be sent each Panel questionnaire: first that there should be sufficient expertise to answer the range of questions posed, and second that there should be a reasonable balance (for example between industry and academia, and between regions). The number of experts in the UK on each topic was not known so this was less an exercise in sampling and more an effort to identify a critical mass of expertise to be consulted“ (Loveridge/Georghiou/Nedeva 1995:13).
Designs von Delphi-Befragungen
95
Diese Vorgehensweisen zusammenfassend tauchten folgende Quotenmerkmale – neben der Zuordnung zu den zu bewertenden, inhaltlichen Fachgebieten – als Kriterien für die Expertenauswahl besonders häufig auf: Erstens, die Herkunft aus verschiedenen Bereichen wie etwa aus Hochschulen, dem privaten Sektor und dem öffentlichen Dienst. Zweitens, die Herkunft aus bestimmten geographischen Regionen sowie drittens, ein unterschiedlich ausgeprägter Grad an Fachkenntnis. Nicht als Kriterien für die Expertenrekrutierung scheinen offenbar Geschlecht und Alter zu taugen, zumindest fanden sich keine entsprechenden Hinweise in der Literatur auf die Nutzung solcher Quotenvorgaben. Relativ unklar bleibt jedoch, weshalb gerade die genannten Kriterien (Quoten) bei der Expertenauswahl zur Anwendung gekommen sind und nicht andere. Ein gewisser Forschungsbedarf besteht hier hinsichtlich des Zusammenhangs zwischen den Persönlichkeitsmerkmalen der Experten und deren Grundeinstellungen auf der einen Seite und den daraus für das Antwortverhalten bei einer Delphi-Befragung resultierenden Einflüssen. Abschließend soll noch auf ein drittes Problemfeld verwiesen werden, wenn es um die Strukturierung der Teilnehmergruppe geht: Bevor die Schätzungen in den Folgewellen wiederholt werden, erfolgt eine Rückmeldung der Gruppenmeinung an die Teilnehmer. Ziel ist, dass sich die Experten mit dieser Rückmeldung möglichst intensiv auseinander setzen. Dafür ist es erforderlich, dass das Feed-back eine möglichst hohe Autorität besitzt. Eine Autorität des Feed-backs kommt jedoch nur zustande, wenn die Teilnehmer davon überzeugt sind, dass die abgegebenen Schätzungen (ebenfalls) von kompetenten Personen stammen. Nach Aronson und Kollegen (1963) ist die Meinungsänderung vor allem eine Funktion der Glaubwürdigkeit der anderen Experten und der Größe des eigenen Abstandes vom Gruppenergebnis. So empfiehlt es sich, die Befragten über die Struktur der Expertengruppe mehr oder weniger exakt aufzuklären. Teilweise wurden sogar – bei Vorliegen der entsprechenden Einwilligungen – namentliche Teilnehmerlisten benutzt, um die hohe Kompetenz der prominenten Teilnehmer zu belegen (vgl. Hasse 1999). Ein solches Vorgehen wird sich jedoch nur in Ausnahmefällen realisieren lassen. Wichtig ist aber der Fakt, dass nur wenn sich aus der Zusammensetzung der gesamten Gruppe für den einzelner Teilnehmer eine ausreichend große Kompetenz vermuten lässt, das Feed-back entsprechend als fachkundig beachtet wird. Damit gewinnt die Strukturierung der Teilnehmergruppe auch unter diesem Gesichtspunkt an Bedeutung. 7.2.2
Hinweise zum Umfang der Expertengruppe
Bevor ein eigener Ansatz zur Bestimmung des Umfangs der Expertengruppe vorgestellt wird (vgl. Abschnitt 7.2.4), soll gezeigt werden, wie unterschiedlich die Erfahrungen in Bezug auf den (optimalen) Umfang der Expertengruppe bei Delphi-
96
Designs von Delphi-Befragungen
Befragungen bisher sind. Die folgende Übersicht gibt einen Einblick in die Variabilität der Empfehlungen aus der Literatur: ĺ Eine Panel-Größe von drei Personen gilt als zu gering (vgl. Woudenberg 1991). ĺ Ein Minimum stellen zehn teilnehmende Personen dar (vgl. Parenté/AndersonParenté 1987). ĺ Größere Panels reduzieren nach Ansicht von Cochran den Fehler bei DelphiBefragungen (1983). ĺ Ein Maximum stellen 30 gut ausgesuchte Experten dar (vgl. Delbecq et al. 1975). ĺ Ein Maximum stellen 25 Experten dar (vgl. Brooks 1979). ĺ Eine Panelgröße von 1.685 Experten galt längere Zeit als die größte, von der berichtet worden ist (vgl. Williams/Webb 1994:181). ĺ Die japanische Delphi-Befragung unterstellt: „The Delphi method is a method of consolidating respondents‘ view by repeatedly giving the same questionnaire to a large number of people“ (NISTEP 1997:2; [Hervorhebung vom Autor; M.H.]). Inzwischen nahmen 4.196 Experten im Jahr 1996 an der zweiten Welle des sechsten Technologie-Delphi in Japan teil (NISTEP 1997:3). ĺ Es sollte keine Obergrenze für die Zahl der Teilnehmer geben, solange ein für das zu bearbeitende Thema angemessen strukturiertes Panel existiert. ĺ Es sollten so viel wie möglich, jedoch nicht weniger als sieben Experten befragt werden (vgl. Dalkey et al. 1969, Becker 1974) ĺ Im Rahmen einer stark qualitativ orientierten Delphi-Befragung wurden sechs Experten um ihre Meinung gebeten und darauf aufbauend die Ergebnisse hinlänglich beschrieben (vgl. Hasse 1999:214). ĺ „Da niemand genau wissen kann, wie die Zukunft werden wird, sollten möglichst viele Personen beteiligt sein. Denn es ist erwiesen, dass bei einer großen Anzahl von Antworten individuelle Schätzfehler ausgemittelt werden können und damit die Wahrscheinlichkeit einer ‚treffsicheren‘ Prognose größer ist“ (Cuhls/Breiner/ Grupp 1995:13). In der Literatur wird auch über Experimente zur notwendigen Panelgröße für eine Delphi-Befragung berichtet: In zwei unterschiedlich großen Gruppen (n1 = 16 und n2 = 34) wurden die gleichen Fragen bearbeitet. Die Ergebnisse der beiden Panels stimmten zu 92.9 Prozent überein. Diese Ähnlichkeit bestätigt zunächst die Reliabilität von Delphi-Ergebnissen. Da kleinere Panels leichter zu organisieren seien und die Panelgröße in diesem Fall keinen Einfluss auf das Ergebnis hatte, gebe es aufgrund dieses Experiments keinen Grund, große Panels zu benutzen, schlussfolgert Duffield (vgl. 1993:236). Die hier angeführten Berichte lassen jeden Konsens vermissen, wenn es darum geht, Regeln für die Bestimmung des erforderlichen Umfangs der Expertengruppe zu bestimmen. Durchaus plausibel erscheint es immerhin, wenn bei qualitativ ausgerichteten Befragungen auf eine große Anzahl an Teilnehmern verzichtet wird.
Designs von Delphi-Befragungen 7.2.3
97
Die bisherige Praxis bei der Zusammenstellung der Expertengruppe, eine Auswahl
Im Weiteren soll – nimmt man die Anzahl der zu befragenden Teilnehmer einmal als gegeben an – das Vorgehen bei der Expertenauswahl anhand einiger Beispiele beschrieben werden: ĺ In Japan, wo Forscher über die längsten Erfahrungen mit Delphi-Studien zur Technologieentwicklung verfügen, kann inzwischen auf eine spezielle Expertendatei zurückgegriffen werden. Diese wurde speziell für die Delphi-Befragungen angelegt und wird kontinuierlich gepflegt. Ein solches Instrument wird jedoch in den meisten Fällen (zunächst) nicht zur Verfügung stehen. ĺ In Deutschland bedurfte es zunächst entsprechender Bemühungen, um bei den Delphi-Befragungen zur Entwicklung von Wissenschaft und Technik Zugang zu den geeigneten Experten zu finden. Als Quellen werden dabei benutzt: das VADEMECUM deutscher Lehr- und Forschungsstätten, das Hoppenstedt Handbuch der Groß- und mittelständischen Unternehmen, eine Liste der DFGGutachter der jeweiligen Disziplin und das REUSS-Jahrbuch (vgl. BMFT 1993: 41ff.). In den Folgebefragungen wurden dann weitere Quellen hinzugezogen. Dies waren neben der Aufstellung der Teilnehmer aus der letzten Delphi-Befragung die Datenbank ‚Mikrosystemtechnik: Who is Who?‘ des VDI/VDE-Technologiezentrums Berlin-Teltow, Messekataloge der Hannover-Messe, der CeBit und der Achema sowie Dateien, die aufgrund von Anfragen bei verschiedenen Institutionen wie Berufsverbänden, der Deutschen Krebshilfe, der DFG und so weiter zusammengestellt wurden (vgl. Cuhls/Breiner/Grupp 1995:13f.). ĺ In Großbritannien wurde für die Delphi-Befragung zur Zukunft der technologischen Entwicklung zunächst eine Expertendatei erstellt. Danach wurden nach dem Schneeballverfahren (Co-Nomination) weitere kompetente Teilnehmer ermittelt (vgl. Loveridge/Georghiou/Nedeva 1995:13). Beim Co-Nominationsverfahren „werden Experten aus dem bestimmten Schwerpunktfeld mit der Bitte angeschrieben, Kollegen zu benennen, die ebenfalls als ausgewiesene Fachkenner gelten. Dann werden diese wiederum mit der Frage angeschrieben, wen sie benennen würden usw. Die ‚Koryphäen‘ der Szene werden selbstverständlich am häufigsten genannt, so dass eine Struktur der Community aus diesem Verfahren heraus abzulesen ist.“ (Cuhls 2000:31, vgl. auch Nedeva et al. 1996) ĺ In das österreichische Technologie-Delphi wurden nicht nur wissenschaftliche Experten beziehungsweise nur solche mit technischer Sachkenntnis einbezogen, sondern auch Fachleute aus Unternehmen, aus der staatlichen Verwaltung ebenso wie aus den Sozial- und Wirtschaftswissenschaften, aus Interessenverbänden, sozialen Bewegungen beziehungsweise Non-Governmental-Organisations (NGOs)
98
ĺ
ĺ
ĺ
ĺ
Designs von Delphi-Befragungen
und Nutzervertreter im weitesten Sinn. Gerade die Zielsetzung des Delphi Austria, die Fachgebiete eher als Problemfelder denn als reine Technologiefelder zu fassen, legte die Berücksichtigung entsprechend breiter gefächerter Kompetenzen bei der Definition der Expertengruppe nahe (vgl. Aichholzer 2000:80). Die japanischen Wissenschaftler gehen so vor: „Our intention was to obtain as large a list as possible of experts with extensive knowledge in the relevant topics or technological fields. Keeping in mind the need for a good cross-section of representatives from industry, the government and academia. In some cases however, rather than recommendations of individual names, the Secretariat chose respondents at random from a list put foreward by the subcommittees“ (NISTEP 1997:3; [Hervorhebung vom Autor; M.H.]). Quotenmerkmale der japanischen Studie sind gewesen: Berufliches Tätigkeitsfeld (private Unternehmen, Universitäten, andere öffentliche Forschungseinrichtungen und ein Bereich „übrige“) sowie Alter („For this survey we tried to increase the number of relatively younger respondents in their 30s and 40s ... we also tried to increase the proportion of female respondents (only 1% in the previous survey)“ (ebenda). Leider wird auch hier keine inhaltliche Begründung für die gewählte Quotierung gegeben. Es bleibt unklar, aufgrund welchen theoretischen Konzepts diese Quotenauswahl erfolgte. Bei haus- beziehungsweise unternehmensinternen Delphi-Befragungen von Mitarbeitern (vgl. Brosi/Krekel/Ulrich 1999:12) besteht unter Umständen die Möglichkeit, auf Informationen aus den Personalakten, etwa über erworbene Qualifikationen und ähnliches zurückzugreifen und mit diesem Wissen die Expertengruppe gezielt zu strukturieren. Für die Nutzung eines dreistufigen Verfahrens plädiert Wechsler (1978). Danach sollen: Erstens zunächst alle potenziell geeigneten Experten identifiziert werden, zum Beispiel mithilfe einer Auflistung aller geeigneten Institutionen und Organisationen oder über Internetrecherchen, mithilfe der Nutzung von Bibliographien, von Teilnehmerlisten bei Fachtagungen und so weiter. Danach sind zweitens die potenziell geeigneten Experten zu ermitteln. Anhaltspunkte liefern dazu wiederum bestimmte Kriterien, die in ihrer Herkunft nicht theoretisch begründet werden. Zu den genannten zählen: die Reputation in Fachkreisen, die absolvierte Ausbildung, entsprechende Abschlüsse, die Zahl der Veröffentlichungen beispielsweise anhand des Sciene Citation Index, Mitgliedschaften in bestimmten Organisationen und so weiter. Drittens kommt es dann auf die Motivation zur Teilnahme an der Delphi-Befragung an. Hier ist zu prüfen, inwieweit Honorare vereinbart werden sollten (vgl. Falke/Krüger 2000:35ff.). Zur Vorbereitung einer Delphi-Befragung im Krankenhausbereich wurden zunächst die Namen von 250 Experten ermittelt, die für eine solche Erhebung als Teilnehmer infrage kommen. Es handelte sich konkret um Mitglieder der Healthcare Information and Management System Society, nach denen online recher-
Designs von Delphi-Befragungen
99
chiert wurde. Dieser Personenkreis erhielt dann ein Ankündigungsschreiben. „Each recruitment letter contained a self-adressed, stamped return postcard by which potential panel members could indicate their participation interest, update their contact information as necessary, and provide their signed consent to participate in the study“ (Snyder-Halpern et al. 2000). Von diesen 250 Experten erklärten sich dann 35 zur Teilnahme bei der Delphi-Befragung bereit. 7.2.4
Wie findet man Experten für eine Delphi-Befragung?
Die Zusammenstellung des Expertenpools für eine Delphi-Befragung ist eine wichtige und zugleich relativ komplizierte Aufgabe, für die es bisher keine methodischen Standards gibt. Kompliziert gestaltet sich die Expertenauswahl nicht zuletzt deshalb, weil sie sich nur eingeschränkt formalisieren lässt. Das bedeutet, die angebbaren Regeln für die Rekrutierung der Experten werden sich auf einem relativ allgemeinen Niveau bewegen. Es wird sich weiterhin zeigen, dass das die Delphi-Befragung leitende Monitoring-Team in der Regel einen relativ breiten Spielraum zur Ausgestaltung der Expertenauswahl hat. Deshalb werden auch die vom Monitoring-Team bei der Expertenauswahl zu lösenden Aufgaben besonders dargestellt. Die bisherige Situation zusammenfassend muss festgestellt werden, dass für die Art und Weise der Auswahl der Experten und für die Bestimmung des notwendigen Umfangs der Teilnehmergruppe keine expliziten Regeln angegeben wurden. Die im Weiteren vorgestellte Lösung besteht nun darin, das jeweils spezifische Ziel einer Delphi-Befragung konsequent mit dem Vorgehen bei der Auswahl der Experten zu verbinden. Wie gezeigt wurde, können Delphi-Befragungen vier unterschiedliche Anliegen verfolgen. Dementsprechend hängt – und dies ist naheliegend – das Vorgehen bei der Expertenrekrutierung vom jeweils verfolgten Ziel der DelphiStudie ab. Die folgenden drei Aufgaben sind bei der Zusammenstellung des Expertenpools für eine Delphi-Befragung zu bewältigen: ĺ Es muss die notwendige Anzahl der zu befragenden Experten festgelegt werden. ĺ Die Struktur der Expertengruppe ist zu klären. Dazu sind erstens die Kriterien zu benennen und nach Möglichkeit theoretisch zu begründen, nach denen die Teilnehmer ausgesucht werden sollen. Weiterhin ist zweitens zu bestimmen, wie viele Experten jeweils aus diesen einzelnen Gruppen in das Befragtenpanel einzubeziehen sind. ĺ Schließlich müssen die Wege für das Auffinden der Teilnehmer bestimmt werden. Es geht darum, für den Versand der Fragebogen die vollständigen Namen und die entsprechenden Adressen der designierten Teilnehmer mithilfe geeigneter Verzeichnisse zu identifizieren.
100
Designs von Delphi-Befragungen
In einem ersten Schritt werden noch unabhängig vom Typ der Delphi-Befragung allgemeine Überlegungen im Zusammenhang mit der Auswahl der Zielpersonen angestellt. Folgende drei Aspekte sind zu klären: ĺ Zunächst ist die Grundgesamtheit zu bestimmen, aus der die Teilnehmer auszuwählen sind. Mit Grundgesamtheit oder Population werden alle potenziell untersuchbaren Einheiten bezeichnet, die ein gemeinsames Merkmal (oder eine gemeinsame Merkmalskombination) aufweisen. Wie bereits angedeutet, ist es in der Survey-Forschung relativ einfach, die Grundgesamtheit zu definieren. Im Falle einer Wahlstudie würde es sich um alle wahlberechtigten Bürger des jeweiligen Landes handeln. Solche Grundgesamtheiten können theoretisch auch einen unbegrenzten Umfang aufweisen (vgl. Bortz 1985:111f.). Im Allgemeinen wird die Grundgesamtheit definiert auf der Basis des zu bearbeitenden Forschungsproblems, wie beispielsweise einer Wahlprognose. ĺ Danach ist festzulegen, ob eine Totalerhebung erfolgen soll, oder ob eine Stichprobe aus der Grundgesamtheit zu untersuchen ist. Bei einer Totalerhebung werden alle Elemente der Grundgesamtheit untersucht. Zumeist bedient man sich aus verschiedenen Gründen jedoch einer Stichprobe. Stichproben gelten als Teilmengen dieser Grundgesamtheit. ĺ Damit eine Stichprobe die Grundgesamtheit repräsentieren kann, muss diese nach bestimmten Vorschriften gezogen werden. Es ist üblich, die Stichprobenverfahren – je nach ihrem Vorgehen – einerseits in Wahrscheinlichkeitsauswahlen (auch Zufallsauswahlen genannt), und andererseits in bewusste (zum Beispiel eine Quotenauswahl) beziehungsweise willkürliche Auswahlen zu unterteilen. Inferenzstatistische Schlüsse von der Stichprobe auf die Gesamtheit sind nur bei Zufallsauswahlen gerechtfertigt. Auch hier muss die Entscheidung für ein bestimmtes Vorgehen aufgrund des zu bearbeitenden Problems fallen. Es wird nun gezeigt, wie diese drei Schritte jeweils bei den unterschiedlichen Typen von Delphi-Befragungen umgesetzt werden können. 7.2.4.1
Das Vorgehen bei der Rekrutierung von Experten für eine (rein) qualitative Delphi-Befragung
Das Ziel einer qualitativen Delphi-Befragung ist die Aggregation von Ideen – ohne diese einer quantifizierenden Bewertung zu unterziehen. Es spielt hier deshalb keine Rolle, wie die Mehrheit der Experten über eine bestimmte Idee denkt. Wichtig ist es allein, möglichst viele solcher Vorstellungen zu erfassen. Damit besteht die Grundgesamtheit aus allen für die jeweilige Fragestellung relevanten Ideen. Als ein typisches Beispiel für diesen Ansatz wurde bereits eine Delphi-Studie zu Windenergie und Landschaftsästhetik, die Hasse (1999) beschreibt, vorgestellt. Ziel dieser Befragung war es, „die Sinn- und Bedeutungsstrukturen spezifischer Sichtweisen in der diskursiven Reflexion eines hoch komplexen Gegenstandes transparent werden zu
Designs von Delphi-Befragungen
101
lassen.“ Es sollten also „Denkprovinzen,“ welche untereinander nicht widerspruchsfrei sind, untersucht werden. Damit ging es nicht um eine statistische Auswertung des Materials, sondern um die Rechtfertigung von Standpunkten (Hasse 1999:213f). Bei einer solchen rein qualitativ ausgerichteten Delphi-Befragung sollen Argumente gefunden und bearbeitet werden. Eine wesentliche vom Monitoring-Team aufzustellende Annahme betrifft damit die Anzahl der zu erwarteten Argumente oder – mit anderen Worten – den vermuteten Umfang der Grundgesamtheit aller Argumente. Danach kann dann, nach der Faustformel „Ein Argument gleich ein Experte“, die notwendige Teilnehmerzahl ermittelt werden. Da nicht die Frage nach der Mehrheitsfähigkeit der Argumente gestellt wird, ist es ausreichend, wenn jede Idee durch eine Person repräsentiert wird. Im vorliegenden Fall erschienen sechs Personen bereits ausreichend, um alle infrage kommenden Argumente abzudecken. Die Teilnehmer waren: ĺ zwei Universitätsprofessoren mit unterschiedlichem Fachhintergrund. Diese bearbeiten die Windenergie als ein philosophisches beziehungsweise als ein landschaftspflegerisches Forschungsproblem ĺ ein Vorsitzender Richter an einem Oberverwaltungsgericht. Die Gerichte sind teilweise das Gremium, in dem Entscheidungen über die Errichtung (oder Nichterrichtung) von Windkraftanlagen getroffen werden ĺ ein Mitglied des deutschen Bundestages. Analysen haben gezeigt, dass die politischen Parteien teilweise divergierende Standpunkte zur hier bearbeiteten Problematik vertreten ĺ ein Geschäftsführer bei einem Bundesverband für Naturschutz. Die Naturschutzverbände betrachten ökologische Probleme vorrangig als ‚ihre‘ Angelegenheit und ĺ ein leitender, für Windparkanlagen zuständiger Mitarbeiter am Deutschen Windenergie-Institut. Der Veranstalter hat sich hier für eine bewusste Auswahl einer relativ kleinen Anzahl an Experten entschlossen. Das Ergebnis der Studie bestätigte die Vermutung, dass die Teilnehmer aufgrund ihrer professionellen Perspektive den Gegenstand der Befragung jeweils spezifisch konstruieren und entsprechende Argumente liefern. Der Ertrag einer solchen rein qualitativen Delphi-Befragung „wird zudem erhöht, wenn sich die Expertenrunde durch Interdisziplinarität auszeichnet und nicht allein durch Vielfalt in gleicher Weise spezialisierter Experten“ (Hasse 1999:213). Folgende Prinzipien gelten damit für die Expertenauswahl bei einer rein qualitativen Delphi-Befragung: ĺ Ein Experte oder wenige Experten reichen aus, um eine bestimmte Perspektive „abzudecken“. So erwies sich die Wahrnehmung der Probleme vor allem als abhängig von der professionellen Perspektive des Experten.
102
Designs von Delphi-Befragungen
ĺ Die Anzahl der Perspektiven beziehungsweise die Teilnehmerstruktur (Wissenschaftler, Politiker, Juristen, Vertreter aus Verbänden und so weiter) hat von ihrer professionellen Herkunft her das Spektrum der Betroffenheit mit der Thematik zu repräsentieren. Vom Monitoring-Team sind möglichst alle relevanten Interessenlagen zu erkennen und durch mindestens einen geeigneten Experten abzudecken. ĺ Es handelt sich hier um eine bewusste Auswahl von Experten, auch als Auswahl nach Gutdünken bezeichnet, bei der die Teilnehmer nach Ermessen des Monitoring-Teams bestimmt werden. Aufgrund vorliegender Erkenntnisse wird von den Veranstaltern festgelegt, welches dafür die relevanten Merkmale sind. Eine Verallgemeinerung der Ergebnisse auf die Gesamtheit aller relevanten Ideen ist bei einem solchen Vorgehen nur bedingt möglich (vgl. Böltken 1976:22ff.), weil bereits die Bestimmung der Grundgesamtheit (hier: alle für die jeweilige Forschung relevanten Ideen) relativ unscharf bleibt. 7.2.4.2
Das Vorgehen bei der Rekrutierung von Experten für eine DelphiBefragung zur exakten Bestimmung eines Sachverhalts
Es wurde bereits dargestellt, dass bereits gegen Ende der 1940-er Jahre die ersten Delphi-Befragungen mit dem Ziel angetreten sind, einen unbekannten Sachverhalt möglichst exakt vorherzusagen. Trotzdem existieren noch immer keine Routinen, nach denen die Auswahl der Teilnehmer bei einer solchen Delphi-Befragung erfolgen könnte. Gerade bei diesem Typ handelt es sich bei der Expertenauswahl um eine besonders schwierige Aufgabe. Versuchsweise könnte zunächst die Gesamtheit an Expertise (nicht etwa die Gesamtheit der Experten!), die für die Lösung des zu bearbeitenden Problems erforderlich ist, als Grundgesamtheit bezeichnet werden. Die Aufgabe des Monitoring-Teams ist es nun, möglichst konkrete und begründete Vermutungen über diese Expertise anzustellen. Danach kann dann erst über entsprechende Stichprobenstrategien entschieden werden. Verschiedene Schritte sind erforderlich: ĺ Zur Struktur der Expertengruppe Die erste Aufgabe besteht für das Monitoring-Team nun in einer möglichst genauen Verortung der für die Problembearbeitung erforderlichen Expertise. Unklare Sachverhalte wie etwa die Zukunft kann niemand exakt wissen. Es sollte jedoch möglich sein, Vermutungen darüber anzustellen, welche Experten – noch am ehesten – dazu in der Lage sein könnten, qualifizierte Schätzungen beispielsweise zu bestimmten Entwicklungen abzugeben, die in einer gegebenen Zeit zu erwarten sind. Das Monitoring-Team muss also Hypothesen über die vorhandene Expertise anstellen. Es geht zum einen darum zu entscheiden, welche Personen aufgrund welcher Eigenschaften über Expertenwissen zum anstehenden Problem verfügen könnten. Vor allem ein bestimmter Beruf, eine bestimmte berufliche Stellung oder das Ausüben einer bestimmten Tätigkeit könnte Anlass dazu geben, bei einer bestimmten
Designs von Delphi-Befragungen
103
Person Kompetenz zu vermuten. Es wäre auch denkbar, Expertise bei den im Kontext des Problems verantwortlichen Entscheidungsträgern zu vermuten. Ein fiktives Beispiel wird zur Illustration herangezogen: Im Rahmen einer Delphi-Befragung soll der Termin der ersten bemannten Marslandung ermittelt werden. Nun sind begründete Vermutungen darüber zu erstellen, wie eine entsprechende Expertise lokalisiert werden kann. Dabei könnte davon ausgegangen werden, dass die Expertise zu einer entsprechenden Schätzung aufgrund des strukturellen Eingebundenseins einer bestimmten Person erwartet werden kann. In einem weiteren Schritt könnte das Monitoring-Team festlegen, dass Entscheidungsträger aus den Bereichen Medizin, Psychologie (Probleme, die mit einem längeren Aufenthalt in der Schwerelosigkeit zusammenhängen), Politik (Beschaffung und Bewilligung der entsprechenden Mittel), Technologie (Lösung technischer Fragen) sowie Wirtschaft (Finanzierung eines solchen Projekts) als Teilnehmer an der Delphi-Befragung zu rekrutieren sind. Weiterhin könnte das Monitoring-Team vermuten, dass die Expertise zur Beantwortung der genannten Frage unter den jeweiligen Gebieten gleich stark verteilt sein wird. Dies bedeutet, dass jeder genannte Bereich gleich stark zur Lösung des Problems beitragen kann und es sich hier beispielsweise nicht vorrangig um ein politisches Problem handelt. Anders sähe das Herangehen aus, wenn man – etwa vor dem Hintergrund des Einflusses John F. Kennedys auf die Forcierung der ersten bemannten Mondlandung – den Standpunkt vertritt, dass politische Entscheidungen ein besonderes Primat besitzen. ĺ Zum erforderlichen Umfang der Expertengruppe Um die erforderliche Teilnehmerzahl zu ermitteln, sind zunächst weitere Hypothesen aufzustellen. Es geht um eine begründete Vermutung über den Grad der Verbreitung des Expertenwissens. Denkbar wäre beispielsweise, dass zu dem zu bewertenden Problem zurzeit überhaupt nur wenig Expertise vorliegt. In einem solchen Fall ist klar, dass die Güte der gewonnenen Informationen nicht mit der Anzahl der einbezogenen Teilnehmer steigen würde. Im Gegenteil: Bei einer solchen Konstellation führt eine zu große und folglich mit unkompetenten Teilnehmern besetzte Befragtengruppe sogar zu einer Verschlechterung der Ergebnisse. Bei der Delphi-Befragung zur Vorhersage des Termins der ersten bemannten Marslandung wäre beispielsweise zu fragen, wie viele Personen sich bisher auf ihrem jeweiligen Gebiet (siehe oben) mit der anstehenden Thematik befasst haben. Erst dann ist zu entscheiden, wie groß die Expertengruppe sein kann. Wie gleich noch genauer gezeigt wird, stellt dies einen Unterschied gegenüber den Delphi-Befragungen zur Ermittlung von Expertenurteilen (Typ 3) dar. Bei einer solchen Zielstellung kann vermutet werden, dass sich eventuelle Messfehler aufgrund einer größeren Teilnehmerzahl verringern. Die Güte von Delphi-Studien zur Bestimmung von diffusen Sachverhalten (Typ 2) steigt jedoch nicht automatisch mit der Anzahl der befragten Personen. Es kommt vielmehr darauf an, mithilfe geeigneter
104
Designs von Delphi-Befragungen
Hypothesen die richtigen Experten zu lokalisieren – deren Anzahl spielt in diesem Zusammenhang jedoch keine Rolle. Leider lassen sich darüber hinaus kaum formale Regeln für die Bestimmung des erforderlichen Umfangs der Expertengruppe ableiten. ĺ Wege zur Auffindung der Teilnehmer In einem weiteren Schritt müssen die Namen und Adressen der zu befragenden Personen identifiziert werden. Eine bestimmte Person kann beispielsweise deshalb interessant sein, weil sie aufgrund einer Veröffentlichung in einer Fachzeitschrift bereits ihre Expertise bewiesen hat. Eine andere Person mag für die Delphi-Befragung aus dem Grunde infrage kommen, weil sie Inhaber eines bestimmten Lehrstuhls, der Direktor einer bestimmten Bank, ein Mitglied in einem Ausschuss des Deutschen Bundestages, der Sieger in einem Ideenwettbewerb und so weiter gewesen ist. Die Veranstalter der Delphi-Befragung müssen nach entsprechenden Listen und Verzeichnissen fahnden, um die gesuchte Person zu identifizieren. Dazu werden später (Abschnitt 7.2.5) noch Hinweise gegeben. ĺ Zusammenfassend ist zu betonen: Dem Monitoring-Team steht ein großer Spielraum für die Expertensuche und -rekrutierung zur Verfügung. Es sind zahlreiche Annahmen über die Verortung der Expertise zu treffen. Im Interesse der Nachvollziehbarkeit des Vorgehens sollten alle vom Monitoring-Team in diesem Zusammenhang aufgestellten Hypothesen dokumentiert und nach Möglichkeit auch theoretisch begründet werden. 7.2.4.3
Das Vorgehen bei der Rekrutierung von Teilnehmern für eine DelphiBefragung zur Ermittlung der Ansichten einer bestimmten Expertengruppe
Das häufigste Ziel bei der Anwendung von Delphi-Befragungen ist inzwischen die Ermittlung – und gleichzeitige Qualifizierung – von Expertenmeinungen über einen unsicheren Sachverhalt, beispielsweise über die zukünftige Entwicklung auf einem bestimmten Technologiegebiet. Im Unterschied zu rein qualitativen Delphi-Befragungen (Typ 1) werden hier die verschiedenen Expertenmeinungen auch einer quantifizierenden Bewertung unterzogen. Mehrheitsfähige Auffassungen lassen sich von eher exotischen Ansichten unterscheiden. Die Resultate solcher Befragungen werden dann zumeist genutzt, um Schlussfolgerungen über erforderliche Interventionen zu ziehen, um anstehende Entscheidungen abzuleiten, um eine Sensibilisierung gegenüber Fehlentwicklungen zu erreichen beziehungsweise um diese gegebenenfalls zu korrigieren (vgl. Brosi/Krekel/Ulrich 1999). Die Definition der Grundgesamtheit, aus der die Teilnehmer auszuwählen sind, ist wiederum Aufgabe des Monitoring-Teams. In einem ersten Ansatz ließe sich die Grundgesamtheit beispielsweise bestimmen als alle auskunftswilligen Experten, deren Ansichten – nach Meinung des Monitoring-Teams – für die Bewertung der anstehenden Probleme von Interesse sind.
Designs von Delphi-Befragungen
105
Nun können die Teilnehmer sowohl aufgrund einer Totalerhebung als auch mithilfe einer bewussten Auswahl rekrutiert werden. Prinzipiell sind beide Vorgehensweisen möglich. Die Entscheidung sollte in Abhängigkeit von den zur Verfügung stehenden Mitteln und von der gegebenen Problemstellung erfolgen. In beiden Fällen beziehen sich die durch die Befragung gewonnenen Aussagen jedoch nur auf die 2 direkt einbezogenen Teilnehmer . Im Falle einer bewussten Auswahl dürfen die Ergebnisse nicht inferenzstatistisch behandelt werden. Das heißt, es ist nicht zulässig, sie zu verallgemeinern. Bei einer Totalerhebung verbietet sich dies ohnehin. Um Schlussfolgerungen auf eine Grundgesamtheit ziehen zu können, würde der Einsatz von Zufallsstichproben erforderlich werden. Hierfür fehlen jedoch (auch) bei dieser Art von Delphi-Befragung die Voraussetzungen. Die bekanntesten und zugleich vom Umfang der Expertengruppe her größten Delphi-Befragungen, die eine solche Zielstellung verfolgten, sind in Deutschland die vom Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie seit 1993 geförderten Delphi-Studien zur globalen Entwicklung von Wissenschaft und Technik. Die folgenden Tipps für die Rekrutierung der Experten leiten sich vor allem aus den bei den Erhebungen in den Jahren 1993 (vgl. BMFT 1993), 1995 (vgl. Cuhls/Breiner/Grupp 1995) und 1998 (vgl. Cuhls/Blind/Grupp 1998) gemachten Erfahrungen ab. ĺ Zum erforderlichen Umfang der Expertengruppe Bei allen Studien dieses Typs sind bisher vor allem bewussten Auswahlverfahren eingesetzt worden. Es wurde dabei angenommen, dass mit der Größe der Expertengruppe auch die Kompetenz zunimmt, mit der die Einschätzungen getroffen werden. Eine solche Annahme ist – im Gegensatz zu den Delphi-Befragungen vom Typ 2 – durchaus zutreffend, da das Ziel der Delphi-Befragung ja die Darstellung der Expertenmeinungen sein soll. Entsprechend differenziert ist die folgende Aussage zu bewerten: „Da niemand genau wissen kann, wie die Zukunft werden wird, sollten möglichst viele Personen beteiligt sein. Denn es ist erwiesen, dass bei einer großen Anzahl von Antworten individuelle Schätzfehler ausgemittelt werden können und damit die Wahrscheinlichkeit einer ‚treffsicheren Prognose‘ größer ist“ (Cuhls/Blind/Grupp 1998:7; vgl. Dalkey 1969). Es trifft zwar zu, dass sich individuelle Schätzfehler bei einer größeren Zahl von Antworten ausmitteln. Damit ist jedoch nicht gesagt, dass diese Resultate dann auch die Zukunft treffsicherer vorhersagen.
2
Sicherlich werden die Urteile der beteiligten Experten auch noch von anderen kompetenten Personen geteilt, oder – wie es Bortz treffend formuliert – „für jede Stichprobe lässt sich eine fiktive Population konstruieren“ (1985:114). Dies ändert jedoch nichts daran, dass eine Übertragung der Ergebnisse auf eine solche – imaginäre – Grundgesamtheit nicht möglich ist.
106
Designs von Delphi-Befragungen
Totalerhebungen sind vor allem bei innerbetrieblichen Delphi-Befragungen eine denkbare alternative Vorgehensweise zu Stichprobenerhebungen. Innerhalb einer Institution können relativ problemlos alle Mitarbeiter befragt werden, deren Ansichten die Monitoring-Gruppe für die Erklärung eines Problems als wichtig erachtet. ĺ Zur Struktur der Expertengruppe Ähnlich wie bei den beiden bisher besprochenen Typen von Delphi-Befragungen muss auch hier das Monitoring-Team möglichst qualifizierte Vermutungen über die erforderliche Zusammensetzung der Expertengruppe anstellen. Am Beispiel der Delphi-Befragungen zur Zukunft von Wissenschaft und Technologie soll ein solches Konzept vorgestellt werden: Bei den genannten Studien geht es bei der Expertenauswahl darum, vorgegebenen Strukturmerkmalen gerecht zu werden. Folgende Überlegungen wurden angestellt: „die Zuordnung zu einem der Delphi-Fachgebiete musste gesichert sein, die Berücksichtigung von Fachleuten aus Hochschulen, Unternehmen, privaten Einrichtungen und öffentlichem Dienst außerhalb des Hochschulbereiches musste gewährleistet sein und die Beteiligung von Experten aus den alten und den neuen Bundesländern musste vorgesehen werden“ (BMFT 1993:41). Sicherlich wäre die getroffene Entscheidung noch überzeugender, wenn es eine theoretische Begründung dieser Merkmale gegeben hätte. Auf den Merkmalen aufbauend werden folgende Quotenmerkmale für die Strukturierung der Expertengruppe benutzt: Erstens die Zuordnung der Experten zum jeweiligen inhaltlichen Fachgebiet, zweitens die Herkunft der Teilnehmer aus verschiedenen Bereichen wie etwa aus Hochschulen, dem privaten Sektor und dem öffentlichen Dienst (es wurde angestrebt, die Expertengruppe jeweils gleichstark aus diesen drei Bereichen zu rekrutieren), drittens die Herkunft aus geographischen Regionen (dieses Kriterium findet bei anderen Studien jedoch seltener Anwendung.) und schließlich viertens, ein unterschiedlich ausgeprägter Grad an Fachkenntnis. Bei der Dokumentation der Untersuchungsergebnisse (vgl. Abschnitt 7.11) sollten auch bei diesem Typ – im Interesse der Nachvollziehbarkeit der Resultate – die Art und Weise, auf die Teilnehmer rekrutiert wurden, möglichst genau beschrieben werden (vgl. Häder 2000b). Dies leuchtet ein, da schließlich bei Benutzung einer anderen Vorgehensweise zur Zusammenstellung der Teilnehmer die Delphi-Befragung auch zu anderen Resultaten geführt hätte. Eine gewisse Besonderheit stellt die Rekrutierung von Experten für eine DelphiBefragung innerhalb eines Unternehmens beziehungsweise innerhalb einer Institution dar. Bei solchen Studien ist zu erwarten, dass aufgrund der homogeneren Struktur der Teilnehmer die Expertise entsprechend vorgeformt ist und damit die Resultate homogener ausfallen. Akzeptiert man jedoch diese Tatsache und interpretiert die Ergebnisse solcher Studien als ein innerbetriebliches Meinungsbild, so stellen auch Delphi-Befragungen innerhalb eines Unternehmens ein interessantes Instrument dar.
Designs von Delphi-Befragungen
107
ĺ Die Wege zur Auffindung der Teilnehmer Nach der Festlegung der Struktur der Teilnehmer geht es auch hier darum, die Experten namentlich ausfindig zu machen. Es müssen die entsprechenden Adressen ermittelt werden, um den designierten Teilnehmern die Fragebögen zustellen zu können. Ideal wäre für diesen Zweck der Aufbau (noch besser: das Vorhandensein) einer Adressdatenbank mit den erforderlichen Angaben zu den jeweiligen Experten. Solche Datenbanken liegen jedoch nur selten vor, sodass die notwendigen Informationen zumeist aus anderen Quellen zusammengestellt werden müssen. Die Auffindung der Teilnehmer ist oft eine relativ aufwendige Arbeit. In einem späteren Abschnitt (7.2.6) werden einige mögliche Quellen genannt, die bei dieser Tätigkeit hilfreich sein können. Vor allem das Internet bietet sehr gute Recherchemöglichkeiten, um Namen und Adressen von Experten zu identifizieren. ĺ Zusammenfassend sind folgende Prinzipien hervorzuheben: In Abhängigkeit von den zur Verfügung stehenden Ressourcen kann entweder eine Totalerhebung oder eine bewusste Auswahl der Teilnehmer erfolgen. Totalerhebungen lassen sich vor allem bei innerbetrieblichen Studien einsetzen. Da die Ergebnisse von Delphi-Befragungen nicht im Sinne einer Zufallsstichprobe verallgemeinert werden können, ist eine ausreichend große Anzahl von Experten zu rekrutieren. Je mehr Experten bei Studien dieses Typs befragt werden, desto aussagekräftiger kann das Ergebnis der Studie werden. Beruf und Tätigkeitsbereich prägen das Antwortverhalten der Teilnehmer. Es sollte deshalb eine gezielte Strukturierung des Pools nach diesen oder ähnlichen Kriterien erfolgen. Eine theoretische Begründung der gewählten Vorgehensweise ist anzustreben. Schließlich gilt es zu beachten, dass die Ergebnisse einer solchen Befragung die Ansichten der jeweiligen Teilnehmer zu einem bestimmten Zeitpunkt wiederspiegeln. Inwieweit diese Ansichten sich auch als zutreffend erweisen, ist in diesem Zusammenhang jedoch eine sekundäre Frage. 7.2.4.4
Die Rekrutierung von Teilnehmern für eine Delphi-Befragung zur Konsenserzeugung
Beim Typ 4 handelt es sich um Delphi-Befragungen, die das explizite Ziel verfolgen, einen möglichst breiten Konsens unter den Teilnehmern3 zu schaffen. Während die Schaffung von Übereinstimmung bei den rein qualitativen Delphi-Befragungen nicht unbedingt beabsichtigt ist, kommt es hier im Gegenteil darauf an, eine möglichst breite Meinungsvielfalt zu erzeugen. Studien dieser Art zielen also darauf ab, eine
3
Es sei an dieser Stelle darauf verwiesen, dass bei einer solchen Delphi-Befragung besser von „Teilnehmern“ gesprochen werden sollte. Der Expertenbegriff erscheint weniger geeignet, um die Kandidaten für die Konsensgewinnung zu beschreiben.
108
Designs von Delphi-Befragungen
möglichst hohe Übereinstimmung bei der Bewertung der betreffenden Probleme zu erzielen. Ein wachsender Konsens kann, dies belegen Erfahrungen, bei allen Delphi-Befragungen beobachtet werden. Aufgrund des Feed-backs verringert sich die Streuung der Antworten, die Meinungen der Teilnehmer werden homogener. Wenn es um die Vorbereitung von nach Möglichkeit konsensual zu treffenden Entscheidungen geht, kann diese Form der Delphi-Befragung eingesetzt werden. Einen solchen Ansatz stellen Mettler und Baumgartner (1997) vor. Das Ziel der Studie war es, in Nordrhein-Westfalen „möglichst vielen BürgerInnen der verschiedenen Sozialschichten und unterschiedlichsten Interessen (zu) erlauben, unterschiedlichste Gesellschaftsvisionen in Form normativer Szenarien zu entwickeln. ... (Es sollen) begründete Maßnahmevorschläge an das politische System gerichtet werden können, die von gesellschaftsrepräsentativen (mikrozensusvergleichbaren) TeilnehmerInnen-Zahlen mehr oder weniger getragen werden. ... (Ziel der Erhebung war es dann,) „Konsens über die wünschenswerten Grundzüge der zukünftigen Gesellschaft“ zu erzeugen (1997:VIIff.). Damit ist die Grundgesamtheit, aus der die Teilnehmer der Delphi-Befragung zu rekrutieren sind, eindeutig bestimmt worden: Es handelt sich bei diesem Beispiel um alle erwachsenen Bewohner eines bestimmten Bundeslandes. Es ist also möglich, die interessierende Grundgesamtheit bei diesem Typ von Delphi-Befragung eindeutig zu bestimmen. ĺ Zum erforderlichen Umfang der Teilnehmergruppe Im Unterschied zu den bisher besprochenen Delphi-Ansätzen lässt sich hier die Expertenauswahl auch mithilfe von Zufallsauswahlen bewerkstelligen. Bei der Grundgesamtheit handelte es sich – um bei diesem Beispiel zu bleiben – um alle Einwohner des Bundeslandes Nordrhein-Westfalens. Aus dieser Grundgesamtheit können dann aufgrund verschiedener Vorgehensweisen, zum Beispiel mithilfe einer entsprechenden Schichtung, zufällig die Zielpersonen ermittelt werden. Es ist bekannt, dass sich mit wachsender Stichprobengröße der Auswahlfehler verringert. Damit steigt bei Delphi-Befragungen dieses Typs die Güte der Ergebnisse mit dem Umfang der Teilnehmergruppe. ĺ Zur Struktur der Teilnehmergruppe Die Struktur der Teilnehmer sollte derjenigen der Grundgesamtheit entsprechen. Für diesen Zweck können geschichtete Stichproben gezogen werden. Als Kriterien, um die Stichprobe zu schichten beziehungsweise um diese zu beurteilen, können zum Beispiel der Beruf, der Bildungsgrad, die Stellung im Erwerbsleben, die Schichtzugehörigkeit, das Alter, das Geschlecht, der Familienstand und die Konfession berücksichtigt werden, wie dies Mettler und Baumgartner (vgl. 1997:58) vorführen. Auch hier ist eine theoretische Begründung für die Auswahl der Schichtungskriterien anzumahnen.
Designs von Delphi-Befragungen
109
Bei der Auswahl der Teilnehmer für die Befragung wurde im obigen Beispiel so vorgegangen, dass in sechs Städten, die „ein der NRW-Situation repräsentatives wirtschaftliches und soziologisches Profil haben“ gezielt Teilnehmergruppen gebildet wurden. Es war vorgesehen, die Befragung in diesen Gruppen stattfinden zu lassen. Diese Gruppen sollten wiederum „soweit wie möglich die jeweilige örtliche Struktur wiederspiegeln.“ Damit lassen sich hier – im Unterschied zu den anderen Typen – auch Ausfälle identifizieren. Neben Personen mit Sprachschwierigkeiten gelang es beispielsweise nur unzureichend, Vertreter von Führungsschichten und Selbständig-Erwerbende vom Wert einer Teilnahme zu überzeugen. ĺ Die Wege zur Auffindung der Teilnehmer Die Teilnehmer sollen möglichst zufällig rekrutiert werden. Besonders günstig ist es, wenn auf entsprechende Register, wie die des Einwohnermeldeamtes, zurückgegriffen werden kann. Die umfangreichen Erfahrungen mit der Auffindung von Zielpersonen, die in der Umfrageforschung gemacht wurden, können hier genutzt werden. 7.2.4.5
Zusammenfassung
In der folgenden Übersicht (vgl. Tabelle 4) werden die relevanten Aspekte der Experten- beziehungsweise Teilnehmerrekrutierung für die jeweilige Art von DelphiBefragung vergleichend zusammengefasst. 7.2.5
Innerbetriebliche Delphi-Befragungen
In vielen Berichten über Delphi-Befragungen (vgl. Abschnitt 7.2.3) wurde geschildert, dass die Teilnehmer nach bestimmten Quotenvorgaben rekrutiert worden waren. Offenbar versprechen sich die Veranstalter von einer gezielt strukturierten Teilnehmergruppe bessere Resultate als von einem zufällig ausgewählten Personenkreis oder auch von einer (zu) homogenen Befragtengruppe. An dieser Stelle schließt sich damit die Frage nach dem Sinn von Delphi-Befragungen an, die innerbetrieblich durchgeführt werden. Solche Studien haben zunächst ganz offensichtlich einige wesentliche Vorteile. Diese Vorteile resultieren beispielsweise aus der im Vergleich zu überbetrieblichen Befragungen leichteren Organisation einer solchen Studie. Es ist weiterhin zu erwarten, dass die Befunde schneller vorliegen, dass die Kosten für die Veranstaltung der Befragung niedriger sind, dass die Response-Rate höher liegt und dass nicht zuletzt auch alle Befunde intern behandelt werden können und nicht mit anderen Experten darüber kommuniziert werden muss. Schließlich kommt bei größeren Institutionen hinzu, dass auch hier eine relativ heterogenere Zusammensetzung der Experten möglich wird.
110
Designs von Delphi-Befragungen
Tabelle 4: Ziel der Delphi-Befragung und Rekrutierung der Teilnehmer Ziel der Befragung
Hauptprinzipien für die Rekrutierung
Rein qualitatives Delphi zur Ermittlung von Standpunkten und Argumenten
Alle denkbaren Standpunkte sollen durch mindestens einen Teilnehmer vertreten sein, wenig Experten reichen unter Umständen bereits aus
Delphi zur möglichst exakten Bestimmung eines diffusen Sachverhalts
Hypothesen zur Identifikation von Expertise sind zu entwickeln, daraus ist eine spezifische Strategie zur Rekrutierung der Experten zu finden, generelle Aussagen zur erforderlichen Teilnehmerzahl sind nicht möglich
Studie zur Quantifizierung und Qualifizierung von Expertenmeinungen
Experten werden über Totalerhebung oder bewusste Auswahl rekrutiert; je mehr Befragte, desto aussagekräftiger wird das Ergebnis
Konsens-Delphi
die Grundgesamtheit lässt sich definieren, deren Struktur muss in einer Stichprobe abgebildet werden, mit steigender Teilnehmerzahl sinkt der Auswahlfehler
Diesen Vorteilen steht vor allem ein wesentlicher Nachteil gegenüber: Es ist zu befürchten, dass wegen der zu homogener Struktur der Experten ein zu einseitiges Bild vom jeweiligen Problembereich ermittelt wird. Verantwortlich dafür können etwa persönliche Karriereerwartungen sowie eine positive Voreingenommenheit gegenüber dem eigenen Fachgebiet bzw. Unternehmen gemacht werden. Fest steht in diesem Zusammenhang, dass Forschungsbedarf hinsichtlich dieses vermuteten Nachteils innerbetrieblicher Delphi-Befragungen besteht. Leider sind keine Studien bekannt, die diesem Problem explizit gewidmet sind. An dieser Stelle soll das Ergebnis einer Befragung berichtet werden, welche implizit eine Aussage zur angesprochenen Thematik enthält. Im Jahr 1999 wurde eine Delphi-Befragung zur Zukunft des Mobilfunks veranstaltet (vgl. Häder 2000a, 2000b). Ein Problem, das im Rahmen der Befragung bearbeitet wurde, betraf die weitere Ausbreitung von Mobiltelefonen. Die Teilnehmer der Befragung wurden zunächst darüber aufgeklärt, dass zum Zeitpunkt der Erhebung, im Sommer 1999, etwa 20 Prozent der Menschen in Deutschland über ein Mobiltelefon (Handy) verfügten. Danach schloss sich folgende Aufgabe an: „Schätzen Sie bitte den Anteil der Menschen, die in den nächsten fünf Jahren über ein Mobiltelefon verfügen werden, in Prozent ....!“
Designs von Delphi-Befragungen
111
Nach gut zwei Jahren zeigt sich bereits, dass die Entwicklung mit einer starken Dynamik verlaufen ist, das heißt, dass die Ausbreitung dieser neuen Technologie weitaus schneller verlief, als es von vielen Fachleuten zu diesem Zeitpunkt erwartet wurde. Dazu sollen an dieser Stelle nur zwei Quellen angeführt werden: ĺ Einer Forsa-Umfrage aus dem Jahr 2001 zufolge nutzen 62 Prozent von 1.005 Befragten ein Mobilfunkgerät.4 ĺ Ein ähnliches Resultat ergab eine Marktprognose vom Chef der Firma Xonio, Mathias Plica. Danach existieren in Deutschland im ersten Halbjahr 2001 54,7 Millionen Mobilfunkteilnehmer. Dies entspräche etwa 67 Prozent der deutschen Gesamtbevölkerung.5 Die in der genannten Delphi-Befragung für das Jahr 2004 vermuteten Zahlen enthält die folgende Tabelle 5. Tabelle 5: Median der Schätzungen, Ergebnisse nach der ersten und der zweiten Welle n
Median der Schätzungen in der ersten Welle
Median der Schätzungen in der zweiten Welle
Alle
50
50 Prozent
55 Prozent
Mitarbeiter bei D2 Mannesmann Mobilfunk
21
60 Prozent
60 Prozent
Wissenschaftler
13
40 Prozent
45 Prozent
Im kommerziellen Bereich tätige Experten
16
45 Prozent
45 Prozent
Aus dieser Studie kann folgendes Fazit gezogen werden: Die Ausbreitung der Mobilfunktechnik hat sich mit einer sehr großen Geschwindigkeit vollzogen. Obwohl die Gesamtheit der Teilnehmer an der Delphi-Befragung bereits von mehr als einer Verdoppelung der gegenwärtigen Teilnehmerzahl ausging, haben sie diese Entwicklung doch nicht im vollen Umfang vorhergesehen. In dem gezeigten Fall kommen jedoch die Mitarbeiter von D2 Mannesmann Mobilfunk (heute inzwischen VODAFON) in ihren Schätzungen dem wahrscheinlich tatsächlichen Wert am nächsten. Dies spricht
4 5
Weitere Informationen dazu finden sich im Internet unter der folgenden URL: http://www.xonio.com/news/Studie-Zwei-Drittel-der-Deutschen-nutztHandy_30264513.html Weitere Informationen dazu finden sich im Internet unter der folgenden URL: http://www.channelpartner.de/news/621488/index.html
112
Designs von Delphi-Befragungen
zunächst durchaus für die Idee, auch innerbetriebliche Delphi-Befragungen zu veranstalten. Eine weitere Verallgemeinerung dieses Befundes ist jedoch schwierig. So fand in Bezug auf den erfragten Sachverhalt tatsächlich eine für das Unternehmen äußerst positive Entwicklung statt, die den persönlichen Erwartungen der Mitarbeiter entsprochen haben dürfte. Unklar bleibt, ob auch ein negativer Trend erfolgreich hätte vorausgesagt werden können. Es bleibt jedoch zu vermerken, dass die Beschäftigten bei D2 Mannesmann Mobilfunk über die größte Expertise verfügten und dazu in der Lage waren, die Aufgabe am besten zu bewältigen. 7.2.6
Praktische Tipps
Im Weiteren werden einige praktische Hinweise zur Umsetzung der