Data Mining: Methoden und Algorithmen intelligenter Datenanalyse

Thomas A. Runkler Data Mining Computational Intelligence herausgegeben von Wolfgang Bibel, Rudolf Kruse und Bernhard...

132 downloads 1629 Views 2MB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!

Report copyright / DMCA form

DOWNLOAD PDF

Thomas A. Runkler Data Mining

Computational Intelligence

herausgegeben von Wolfgang Bibel, Rudolf Kruse und Bernhard Nebel

Aus den Kinderschuhen der „Künstlichen Intelligenz“ entwachsen bietet die Reihe breitgefächertes Wissen von den Grundlagen bis in die Anwendung, herausgegeben von namhaften Vertretern ihres Faches. Computational Intelligence hat das weitgesteckte Ziel, das Verständnis und die Realisierung intelligenten Verhaltens voranzutreiben. Die Bücher der Reihe behandeln Themen aus den Gebieten wie z. B. Künstliche Intelligenz, Softcomputing, Robotik, Neuro- und Kognitionswissenschaften. Es geht sowohl um die Grundlagen (in Verbindung mit Mathematik, Informatik, Ingenieurs- und Wirtschaftswissenschaften, Biologie und Psychologie) wie auch um Anwendungen (z. B. Hardware, Software, Webtechnologie, Marketing, Vertrieb, Entscheidungsfindung). Hierzu bietet die Reihe Lehrbücher, Handbücher und solche Werke, die maßgebliche Themengebiete kompetent, umfassend und aktuell repräsentieren. Unter anderem sind erschienen: Methoden wissensbasierter Systeme von Christoph Beierle und Gabriele Kern-Isberner Neuro-Fuzzy-Systeme von Detlef Nauck, Christian Borgelt, Frank Klawonn und Rudolf Kruse Evolutionäre Algorithmen von Ingrid Gerdes, Frank Klawonn und Rudolf Kruse Grundkurs Spracherkennung von Stephan Euler Quantum Computing verstehen von Matthias Homeister

www.viewegteubner.de

Thomas A. Runkler

Data Mining Methoden und Algorithmen intelligenter Datenanalyse Mit 72 Abbildungen und 7 Tabellen STUDIUM

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

Das in diesem Werk enthaltene Programm-Material ist mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Der Autor übernimmt infolgedessen keine Verantwortung und wird keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieses Programm-Materials oder Teilen davon entsteht. Höchste inhaltliche und technische Qualität unserer Produkte ist unser Ziel. Bei der Produktion und Auslieferung unserer Bücher wollen wir die Umwelt schonen: Dieses Buch ist auf säurefreiem und chlorfrei gebleichtem Papier gedruckt. Die Einschweißfolie besteht aus Polyäthylen und damit aus organischen Grundstoffen, die weder bei der Herstellung noch bei der Verbrennung Schadstoffe freisetzen.

1. Auflage 2010 Alle Rechte vorbehalten © Vieweg+Teubner | GWV Fachverlage GmbH, Wiesbaden 2010 Lektorat: Christel Roß | Walburga Himmel Vieweg+Teubner ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.viewegteubner.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Technische Redaktion: FROMM MediaDesign, Selters/Ts. Druck und buchbinderische Verarbeitung: Krips b.v., Meppel Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier. Printed in the Netherlands ISBN 978-3-8348-0858-5

V

Vorwort Die Information in der Welt verdoppelt sich etwa alle 20 Monate. Zu den wichtigsten Datenquellen geh¨ oren das Internet, industrielle und gesch¨aftliche Prozesse, Bilderfassungssysteme und die Biomedizin. Diese Quellen liefern große Mengen numerischer Daten, Bilddaten, Textdaten und strukturierter Daten. Neben der Erfassung und Speicherung stellen die Aufbereitung, Analyse und Nutzung dieser Daten heute die gr¨ oßten Herausforderungen dar. Ziel ist es, aus den großen Datenmengen die relevanten Informationen, also das Wissen“, zu ” extrahieren. Neben konventionellen statistischen Verfahren wie Korrelation und Regression werden hierzu Methoden aus den Bereichen Signaltheorie, Mustererkennung, Clusteranalyse, Neuroinformatik, Fuzzy-Systeme, evolution¨are Algorithmen, Schwarmintelligenz und maschinelles Lernen angewandt. F¨ ur die Analyse nichtnumerischer Daten sind relationale und strukturbasierte Algorithmen notwendig. Diese Datenanalysemethoden f¨ ur numerische und nichtnumerische Daten werden unter dem Sammelbegriﬀ Data Mining“ zusammengefasst. Da” ta Mining ist ein Prozess, der auch die Datenvorverarbeitung, Filterung und Visualisierung umfasst. Dieses Buch gibt eine strukturierte Einf¨ uhrung in den Data-Mining-Prozess und die wichtigsten Data-Mining-Methoden. Die Gliederung orientiert sich am typischen schrittweisen Ablauf von Datenanalyse-Projekten. Das Buch richtet sich an Ingenieure, Informatiker und Mathematiker in Forschung und Lehre, an Studenten dieser Fachgebiete, aber auch an Praktiker, die mit großen Datenmengen arbeiten. Zum Verst¨ andnis werden lediglich grundlegende MathematikKenntnisse vorausgesetzt. Der Stoﬀ dieses Buches basiert auf Vorlesungen u ¨ ber maschinelle Lernverfahren, Data Mining und Clusteranalyse, die der Autor seit vielen Jahren regelm¨ aßig an der Fakult¨ at f¨ ur Informatik der Technischen Universit¨at M¨ unchen h¨ alt. Das Buch enth¨ alt Ergebnisse aus zahlreichen Forschungs- und Entwicklungsprojekten im Learning Systems Department bei Siemens Corporate Technology in M¨ unchen. Die Erstauﬂage dieses Buches erschien im Jahr 2000 im Vieweg-Verlag unter dem Titel Information Mining“ (101). F¨ ur diese grundlegend u ¨ berarbeitete ” Neuauﬂage wurden s¨ amtliche Inhalte neu strukturiert und sorgf¨altig aktuali¨ siert. Neu hinzugef¨ ugt wurden die Abschnitte Ahnlichkeitsmaße, Chi-QuadratTest, Merkmalsselektion, Zeitreihenprognose, naiver Bayes-Klassiﬁkator, lineare Diskriminanzanalyse, Support-Vektor-Maschine und relationales Clustering.

VI

Vorwort

Ich danke den Kollegen der Fakult¨ at f¨ ur Informatik der Technischen Universit¨ at M¨ unchen, insbesondere Herrn Prof. Dr. Dr. h.c. mult. Wilfried Brauer, Herrn Prof. Dr. Javier Esparza, Herrn Dr. Clemens Kirchmair, Herrn Dr. Volker Baier, Herrn Dipl.-Inform. Achim Rettinger und Frau Erika Leber f¨ ur die Unterst¨ utzung bei der Planung und Realisierung der Vorlesungen. Mein besonderer Dank gilt meinem verstorbenen Kollegen Herrn Prof. Dr. Bernd Sch¨ urmann f¨ ur die pers¨ onliche F¨ orderung und die Unterst¨ utzung meiner Forschungs- und Lehrt¨ atigkeiten. F¨ ur den langj¨ ahrigen anregenden wissenschaftlichen Austausch danke ich Herrn Prof. Dr. James C. Bezdek, Herrn Prof. Dr. Eyke H¨ ullermeier, Herrn Prof. Dr. Uzay Kaymak, Herrn Prof. Dr. Jim Keller, Herrn Prof. Dr. Frank Klawonn, Herrn Prof. Dr. Rudolf Kruse und Herrn Prof. Dr. Jo˜ ao M. Sousa. F¨ ur die gute Zusammenarbeit danke ich meinen Kollegen und ehemaligen Kollegen von Siemens Corporate Technology in M¨ unchen, insbesondere Herrn Dr. Ralph Grothmann, Herrn Prof. Dr. Hans Hellendoorn, Herrn Dr. J¨ urgen Hollatz, Herrn Prof. Dr. Rainer Palm, Herrn Dr. Martin Schlang, Herrn Volkmar Sterzing und Herrn Dr. Hans-Georg Zimmermann. Mein besonderer Dank gilt auch den zahlreichen Lesern, Studierenden und Rezensenten, die mich auf Ungereimtheiten, Fehler und Verbesserungsm¨ oglichkeiten aufmerksam gemacht und damit maß¨ geblich zur Uberarbeitung des Buches beigetragen haben. Außerdem danke ich den Herausgebern der Reihe, Herrn Prof. Dr. Wolfgang Bibel, Herrn Prof. Dr. Rudolf Kruse, Herrn Prof. Dr. Bernhard Nebel, dem Vieweg+Teubner-Verlag, insbesondere Frau Andrea Broßler, Frau Dr. Christel Anne Roß und Frau Sybille Thelen, sowie Frau Angela Fromm f¨ ur die gute Zusammenarbeit bei der Konzipierung und Ver¨ oﬀentlichung dieses Buches. Nicht zuletzt danke ich meiner Familie, Anja, Marisa und Moritz, f¨ ur die Unterst¨ utzung und Geduld w¨ahrend der vielen Stunden, die ich diesem Buch gewidmet habe. M¨ unchen, im September 2009

Thomas Runkler

VII

Inhaltsverzeichnis 1 Data-Mining-Prozess

. . . . . . . . . . . . . . . . . . . . . . . .

1

2 Daten und Relationen . . . . . 2.1 Beispiel . . . . . . . . . . . . 2.2 Maßskalen . . . . . . . . . . . 2.3 Matrixdarstellung . . . . . . . 2.4 Relationen . . . . . . . . . . . 2.5 Un¨ ahnlichkeitsmaße . . . . . ¨ 2.6 Ahnlichkeitsmaße . . . . . . . 2.7 Sequenz- und Textrelationen . 2.8 Abtastung und Quantisierung

. . . . . . . . .

. . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

3 Datenvorverarbeitung 3.1 Fehlerarten . . . . . 3.2 Filterung . . . . . . 3.3 Standardisierung . . 3.4 Datenkonsolidierung

. . . . .

. . . . .

. . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. 21 . 21 . 26 . 31 . 34

4 Visualisierung . . . . . . . . . . 4.1 Diagramme . . . . . . . . . . 4.2 Hauptachsentransformation . 4.3 Mehrdimensionale Skalierung 4.4 Histogramme . . . . . . . . . 4.5 Spektralanalyse . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. 35 . 35 . 37 . 41 . 47 . 50

. . . . .

. . . . .

. . . . .

. . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5 5 7 9 10 10 12 14 17

5 Korrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.1 Lineare Korrelation . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.2 Chi-Quadrat-Unabh¨ angigkeitstest . . . . . . . . . . . . . . . . . . 61 6 Regression . . . . . . . . . . 6.1 Lineare Regression . . . . 6.2 Neuronale Netze . . . . . 6.3 Radiale Basisfunktionen . 6.4 Training und Validierung 6.5 Merkmalsselektion . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. 65 . 65 . 69 . 75 . 76 . 79

VIII

Inhaltsverzeichnis

7 Zeitreihenprognose . . . . . . . . . . . . . . . . . . . . . . . . . . 81 8 Klassiﬁkation . . . . . . . . . . . 8.1 Naiver Bayes-Klassiﬁkator . . . 8.2 Lineare Diskriminanzanalyse . 8.3 Support-Vektor-Maschine . . . 8.4 N¨ achster Nachbar Klassiﬁkator 8.5 Lernende Vektorquantisierung . 8.6 Entscheidungsb¨ aume . . . . . .

. . . . . . .

. . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. 85 . 89 . 91 . 93 . 96 . 96 . 99

9 Clustering . . . . . . . . . . . . 9.1 Sequentielles Clustering . . . 9.2 Prototypbasiertes Clustering 9.3 Fuzzy Clustering . . . . . . . 9.4 Relationales Clustering . . . . 9.5 Clustervalidit¨ at und -tendenz 9.6 Hierarchisches Clustering . . 9.7 Selbstorganisierende Karte . . 9.8 Regelerzeugung . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

10 Zusammenfassung

. . . . . . . . .

105 106 109 111 117 122 124 126 128

. . . . . . . . . . . . . . . . . . . . . . . . . . 135

¨ Ubungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 Symbolverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 Sachwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

1

Kapitel 1

Data-Mining-Prozess Der Fokus dieses Buches ist die Analyse großer Datenmengen, zum Beispiel: • Industrielle Prozessdaten: Zur Automatisierung industrieller Fertigungsprozesse werden zunehmend Prozessdaten erfasst und gespeichert. Die Informationstechnik ﬂießt in alle Ebenen der Automatisierungspyramide ein und betriﬀt somit Signale von Sensoren und Aktuatoren in der Feldebene ebenso wie Steuerungs- und Regelungssignale in der Steuerungsebene, Bedienungs- und Beobachtungsdaten in der Prozessleitebene sowie Planungsdaten und Kennzahlen in der Betriebsleit- und Unternehmensebene. Auf allen diesen Ebenen lassen sich mit Data Mining Potenziale zur Prozessoptimierung und Steigerung der Wettbewerbsf¨ahigkeit erschließen. • Marketing: Modernes Marketing basiert auf der Nutzung umfangreicher Daten zu Kunden, Produkten und Abs¨atzen. In der Warenkorbanalyse wird ausgewertet, welche Produkte in welchen St¨ uckzahlen mit welchen anderen Produkten zusammen gekauft wurden, zum Beispiel im Supermarkt. Die Auswertung hat das Ziel, Produkte optimal zu platzieren und die Preisgestaltung zu optimieren. Ein anderes wichtiges Anwendungsgebiet ist die datenbasierte Kundensegmentierung, die f¨ ur gezielte Kundenangebote und Werbemaßnahmen genutzt werden kann. • Textdaten und strukturierte Daten: Neben den oben genannten numerischen Daten stehen zunehmend auch Textdaten und strukturierte Daten zur Analyse zur Verf¨ ugung. Zu den wichtigsten Quellen von Textdaten geh¨ oren konventionelle Textdokumente ebenso wie internet-basierte Dokumente wie E-Mail, World Wide Web und web-basierte Datenbanken (Deep Web). Data Mining hilft, die verf¨ ugbaren Informationen zu ﬁltern, gew¨ unschte Informationen zu ﬁnden und tiefergehende Analysen der verf¨ ugbaren Informationen durchzuf¨ uhren. Zur Speziﬁkation und Speicherung von objektbezogenen Informationen werden außer unstrukturiertem Text zunehmend auch strukturierte Formate verwendet, in denen die Se-

2

1 Data-Mining-Prozess

Vorbereitung

Vorverarbeitung

Analyse

Nachbereitung

Planung

normalisieren

Visualisierung

Interpretation

Datensammlung

säubern

Korrelation

Dokumentation

Merkmalsgenerierung

filtern

Regression

Auswertung

Datenauswahl

ergänzen

Prognose

korrigieren

Klassifikation

transformieren

Clusteranalyse

Abbildung 1.1: Der Data-Mining-Prozess

mantik von Objekten und deren Beziehungen untereinander speziﬁziert werden k¨ onnen (Ontologien). • Bilddaten: Durch die Verf¨ ugbarkeit von preisg¨ unstigen elektronischen Kameras und satellitenbasierte Bildquellen (wie Google Earth) stehen große Mengen von Bilddaten f¨ ur die Analyse zur Verf¨ ugung. Mit Data-MiningMethoden werden Objekte gesucht und erkannt, Szenen analysiert und klassiﬁziert, und Bilddaten mit anderen Informationen in Beziehung gesetzt. • Biomedizinische Daten: Ein wichtiges Anwendungsgebiet der biomedizinischen Informatik ist die Erbgutanalyse. Hierzu stehen zum Beispiel im Internet zahlreiche Datenbanken mit sequenzierte Genomdaten zu Verf¨ ugung. Zu den Zielen der Analyse geh¨ oren die Bestimmung von Genfunktionen und die Vorhersage von Strukturen. Data Mining hat das Ziel, Wissen aus Daten zu extrahieren (11). Unter Wissen verstehen wir interessante Muster, und unter interessanten Mustern schließlich solche, die allgemein g¨ ultig sind, nicht trivial, neu, n¨ utzlich und verst¨andlich (35). Inwieweit diese Eigenschaften auf die erkannten Muster zutreﬀen, muss von Anwendung zu Anwendung neu beurteilt werden, und zwar in der Regel gemeinsam mit Anwendungsexperten. Durch die Einbeziehung der Experten entsteht ein r¨ uckgekoppelter Prozess, der oft wiederholt durchlaufen wird, bis ein zufriedenstellendes Ergebnis erreicht ist. In den meisten Anwendungen stehen zun¨achst nur Rohdaten zur Verf¨ ugung. Diese Rohdaten sind in der Regel ungeordnet, fehlerhaft, unvollst¨andig, teilweise redundant oder unwichtig. Bevor also die eigentliche Datenanalyse durchgef¨ uhrt werden kann, ist eine Vorbereitung und Vorverarbeitung der Daten notwendig. Dieser Ablauf ist in Abbildung 1.1 dargestellt. H¨auﬁg sind zu Beginn eines Projekts u ¨berhaupt noch keine nutzbaren Daten vorhanden, so dass zun¨achst die Datensammlung geplant und durchgef¨ uhrt werden muss. Zur Datenvorbe-

1 Data-Mining-Prozess

3

reitung geh¨ ort weiter, dass aus den teilweise un¨ ubersichtlichen Daten geeignete Merkmale generiert und die u ¨ berhaupt interessanten Daten ausgew¨ahlt werden. Nach der Datenvorbereitung steht ein Rohdatensatz zur Verf¨ ugung, der in der anschließenden Vorverarbeitung normalisiert, ges¨aubert, geﬁltert oder transformiert wird; fehlende Eintr¨ age werden erg¨ anzt und Fehler korrigiert. Der auf diese Weise erhaltene vorverarbeitete Datensatz kann anschließend mit verschiedenen Verfahren der Datenanalyse verarbeitet werden. Dabei spielen Visualisierungsverfahren eine große Rolle, aber auch reine Analysemethoden wie Korrelation, Regression, Prognose, Klassiﬁkation und Clusteranalyse. Die Ergebnisse der Analyse k¨ onnen meist nicht unmittelbar verwendet werden, sondern m¨ ussen nachbereitet, also interpretiert, dokumentiert und ausgewertet werden. Die in jedem Verarbeitungsblock angegebenen Methoden stellen nur typische Beispiele dar, die keinen Anspruch auf Vollst¨ andigkeit erheben. Die tats¨achlich ben¨otigten Verarbeitungsmethoden sind von Anwendung zu Anwendung verschieden und stark von Art, Qualit¨ at und Quantit¨ at der Daten abh¨angig. Außerdem ﬁndet der Datenanalyseprozess in der Regel nicht streng sequentiell statt, wie in Abbildung 1.1 gezeigt, sondern springt je nach Ergebnis der einzelnen Schritte zu fr¨ uheren Schritten zur¨ uck. Zum Beispiel werden in der Mustererkennung h¨auﬁg neue fehlerhafte Daten erkannt, die eine erneute Datens¨auberung notwendig machen.

5

Kapitel 2

Daten und Relationen Zur Einf¨ uhrung wird in diesem Kapitel der in der Datenanalyse sehr h¨auﬁg verwendete Iris-Datensatz vorgestellt. An diesem Beispiel werden einige grundlegende Begriﬀe und beispielhafte Fragestellungen erl¨autert. Daten k¨onnen im Allgemeinen sehr unterschiedliche Charakteristika haben. Zum Beispiel k¨onnen Daten numerisch oder nichtnumerisch sein, nichtnumerische Daten k¨onnen Text oder strukturierte Information enthalten, numerische Daten k¨onnen zu Vektoren oder Sequenzen zusammengefasst sein, sie k¨onnen auf unterschiedlichen Skalen messbar sein, k¨ onnen Abtastwerte von Zeitsignalen sein und k¨onnen quantisierte oder kontinuierliche Werte besitzen. Diese unterschiedlichen Charakteristika und ihre Konsequenzen f¨ ur die Datenanalyse sind im Folgenden beschrieben.

2.1

Beispiel

Der Iris-Datensatz (3) wurde 1935 von dem amerikanischen Botaniker Edgar Anderson erstellt, der die geographischen Unterschiede der Schwertlilien (Iris) untersuchte. Die von Anderson erhobenen Daten u ¨ ber Schwertlilien auf der Gasp´eHalbinsel in Quebec (Kanada) wurden erstmals von Sir Ronald Aylmer Fisher 1936 als Beispiel f¨ ur die Diskriminanzanalyse multivariater Daten verwendet (36) und entwickelten sich sp¨ ater zu einem der meistverwendeten Referenzdatens¨ atze in Statistik und Datenanalyse. Der Iris-Datensatz umfasst Messdaten von 150 Irispﬂanzen, davon jeweils 50 Borsten-Schwertlilien (Iris Setosa), Virginia-Schwertlilien (Iris Virginica) und verschiedenfarbige Schwertlilien (Iris Versicolor). Der Datensatz enth¨ alt von jeder dieser 150 Pﬂanzen die L¨ange und Breite eines Kelchblatts sowie die L¨ ange und Breite eines Bl¨ utenblatts (in Zentimetern). Den kompletten Datensatz zeigt Tabelle 2.1. In der Datenanalyse bezeichnen wir jede der 150 Irispﬂanzen als ein Objekt, jede der 3 Pﬂanzenarten als eine Klasse und jeden der 4 Messwerte als ein Merkmal. Typische Fragen, die uns bei der Analyse dieser Daten interessieren, sind: • Welche dieser Daten enthalten m¨ oglicherweise Messfehler oder falsche Klassenzuordnungen?

6

2 Daten und Relationen

Tabelle 2.1: Iris-Datensatz (3) Setosa Versicolor Virginica Kelchblatt Bl¨ utenblatt Kelchblatt Bl¨ utenblatt Kelchblatt Bl¨ utenblatt L¨ ange Breite L¨ ange Breite L¨ ange Breite L¨ ange Breite L¨ ange Breite L¨ ange Breite 5,1 3,5 1,4 0,2 7 3,2 4,7 1,4 6,3 3,3 6 2,5 4,9 3 1,4 0,2 6,4 3,2 4,5 1,5 5,8 2,7 5,1 1,9 4,7 3,2 1,3 0,2 6,9 3,1 4,9 1,5 7,1 3 5,9 2,1 4,6 3,1 1,5 0,2 5,5 2,3 4 1,3 6,3 2,9 5,6 1,8 5 3,6 1,4 0,2 6,5 2,8 4,6 1,5 6,5 3 5,8 2,2 5,4 3,9 1,7 0,4 5,7 2,8 4,5 1,3 7,6 3 6,6 2,1 4,6 3,4 1,4 0,3 6,3 3,3 4,7 1,6 4,9 2,5 4,5 1,7 5 3,4 1,5 0,2 4,9 2,4 3,3 1 7,3 2,9 6,3 1,8 4,4 2,9 1,4 0,2 6,6 2,9 4,6 1,3 6,7 2,5 5,8 1,8 4,9 3,1 1,5 0,1 5,2 2,7 3,9 1,4 7,2 3,6 6,1 2,5 5,4 3,7 1,5 0,2 5 2 3,5 1 6,5 3,2 5,1 2 4,8 3,4 1,6 0,2 5,9 3 4,2 1,5 6,4 2,7 5,3 1,9 4,8 3 1,4 0,1 6 2,2 4 1 6,8 3 5,5 2,1 4,3 3 1,1 0,1 6,1 2,9 4,7 1,4 5,7 2,5 5 2 5,8 4 1,2 0,2 5,6 2,9 3,6 1,3 5,8 2,8 5,1 2,4 5,7 4,4 1,5 0,4 6,7 3,1 4,4 1,4 6,4 3,2 5,3 2,3 5,4 3,9 1,3 0,4 5,6 3 4,5 1,5 6,5 3 5,5 1,8 5,1 3,5 1,4 0,3 5,8 2,7 4,1 1 7,7 3,8 6,7 2,2 5,7 3,8 1,7 0,3 6,2 2,2 4,5 1,5 7,7 2,6 6,9 2,3 5,1 3,8 1,5 0,3 5,6 2,5 3,9 1,1 6 2,2 5 1,5 5,4 3,4 1,7 0,2 5,9 3,2 4,8 1,8 6,9 3,2 5,7 2,3 5,1 3,7 1,5 0,4 6,1 2,8 4 1,3 5,6 2,8 4,9 2 4,6 3,6 1 0,2 6,3 2,5 4,9 1,5 7,7 2,8 6,7 2 5,1 3,3 1,7 0,5 6,1 2,8 4,7 1,2 6,3 2,7 4,9 1,8 4,8 3,4 1,9 0,2 6,4 2,9 4,3 1,3 6,7 3,3 5,7 2,1 5 3 1,6 0,2 6,6 3 4,4 1,4 7,2 3,2 6 1,8 5 3,4 1,6 0,4 6,8 2,8 4,8 1,4 6,2 2,8 4,8 1,8 5,2 3,5 1,5 0,2 6,7 3 5 1,7 6,1 3 4,9 1,8 5,2 3,4 1,4 0,2 6 2,9 4,5 1,5 6,4 2,8 5,6 2,1 4,7 3,2 1,6 0,2 5,7 2,6 3,5 1 7,2 3 5,8 1,6 4,8 3,1 1,6 0,2 5,5 2,4 3,8 1,1 7,4 2,8 6,1 1,9 5,4 3,4 1,5 0,4 5,5 2,4 3,7 1 7,9 3,8 6,4 2 5,2 4,1 1,5 0,1 5,8 2,7 3,9 1,2 6,4 2,8 5,6 2,2 5,5 4,2 1,4 0,2 6 2,7 5,1 1,6 6,3 2,8 5,1 1,5 4,9 3,1 1,5 0,2 5,4 3 4,5 1,5 6,1 2,6 5,6 1,4 5 3,2 1,2 0,2 6 3,4 4,5 1,6 7,7 3 6,1 2,3 5,5 3,5 1,3 0,2 6,7 3,1 4,7 1,5 6,3 3,4 5,6 2,4 4,9 3,6 1,4 0,1 6,3 2,3 4,4 1,3 6,4 3,1 5,5 1,8 4,4 3 1,3 0,2 5,6 3 4,1 1,3 6 3 4,8 1,8 5,1 3,4 1,5 0,2 5,5 2,5 4 1,3 6,9 3,1 5,4 2,1 5 3,5 1,3 0,3 5,5 2,6 4,4 1,2 6,7 3,1 5,6 2,4 4,5 2,3 1,3 0,3 6,1 3 4,6 1,4 6,9 3,1 5,1 2,3 4,4 3,2 1,3 0,2 5,8 2,6 4 1,2 5,8 2,7 5,1 1,9 5 3,5 1,6 0,6 5 2,3 3,3 1 6,8 3,2 5,9 2,3 5,1 3,8 1,9 0,4 5,6 2,7 4,2 1,3 6,7 3,3 5,7 2,5 4,8 3 1,4 0,3 5,7 3 4,2 1,2 6,7 3 5,2 2,3 5,1 3,8 1,6 0,2 5,7 2,9 4,2 1,3 6,3 2,5 5 1,9 4,6 3,2 1,4 0,2 6,2 2,9 4,3 1,3 6,5 3 5,2 2 5,3 3,7 1,5 0,2 5,1 2,5 3 1,1 6,2 3,4 5,4 2,3 5 3,3 1,4 0,2 5,7 2,8 4,1 1,3 5,9 3 5,1 1,8

2.2 Maßskalen

7

• Welcher Fehler wird durch die Rundung der Daten auf 0,1 Zentimeter verursacht? • Wie stark ist der Zusammenhang zwischen L¨ange und Breite einer Bl¨ ute? • Zwischen welchen Messwerten besteht der am st¨arksten ausgepr¨agte Zusammenhang? • Keine der Pﬂanzen in diesem Datensatz hat eine Kelchbreite von 1,8 Zentimetern. Welche Kelchl¨ ange w¨ urden wir bei einer solchen Pﬂanze erwarten? • Zu welcher Pﬂanzenart geh¨ ort vermutlich eine Iris mit einer Kelchbreite von 1,8 Zentimetern? • Sind in den drei betrachteten Arten auch Unterarten enthalten, die aus den Daten ersichtlich werden? In diesem Buch werden wir zahlreiche Methoden kennenlernen, solche und ¨ahnliche Fragestellungen zu beantworten. Zum Verst¨andnis dieser Methoden ist es notwendig, zun¨ achst einige grundlegende Eigenschaften von Daten und deren Relationen zueinander formal zu deﬁnieren.

2.2

Maßskalen

Daten k¨ onnen auf unterschiedlichen Skalen messbar sein (67). Tabelle 2.2 zeigt die wichtigsten Maßskalen, die dazugeh¨ origen deﬁnierten Operationen, Beispiele sowie die zugeh¨ origen statistischen Maße (46). Die erste Zeile in Tabelle 2.2 zeigt nominal skalierte Daten. Diese sind Daten, f¨ ur die lediglich die Gleichheit oder Ungleichheit deﬁniert ist. Beispiele sind reine“ Objektdaten wie Patientenna” men oder Produktbezeichnungen. Nominal skalierte Daten k¨onnen statistisch mit dem Modus beschrieben werden, der dasjenige Objekt bezeichnet, das im Datensatz am h¨ auﬁgsten vorkommt. Die zweite Zeile in Tabelle 2.2 zeigt ordinal skalierte Daten. F¨ ur diese ist neben Gleichheit und Ungleichheit auch eine Ordnungsrelation > bzw. < deﬁniert, Beispiel: Schulnoten. Ordinal skalierte Daten lassen sich statistisch mit dem Median beschreiben, der dasjenige Objekt bezeichnet, f¨ ur das im Datensatz (ungef¨ ahr) ebenso viele kleinere wie gr¨oßere Objekte existieren. Die Berechnung eines Durchschnitts von Schulnoten ist also

¨ Tabelle 2.2: Ubersicht u ¨ber verschiedene Maßskalen

Skala nominal ordinal Intervall proportional

Operation = = > < + − · /

Beispiel M¨ uller, Meier, Schulz sehr gut, gut, befriedigend 20◦ C, 1999 n. Chr. 273◦ K, 45 min

stat. Maß Modus Median Mittelwert Mittelwert

8

2 Daten und Relationen

Tabelle 2.3: Berechnung des Medians der Bl¨ utenblattbreite (Iris)

Wert 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1,1 1,2 1,3

Anzahl 5 29 7 7 1 1 0 0 0 7 3 5 10(13)

kum. Summe 5 34 41 48 49 50 50 50 50 57 60 65 75

Wert 2,5 2,4 2,3 2,2 2,1 2 1,9 1,8 1,7 1,6 1,5 1,4 1,3

Anzahl 3 3 8 3 6 6 5 12 2 4 12 8 3(13)

kum. Summe 3 6 14 17 23 29 34 46 48 52 64 72 75

maßtheoretisch nicht erlaubt. Die dritte Zeile in Tabelle 2.2 zeigt intervallskalierte Daten. Zus¨ atzlich zu den obigen Operationen sind f¨ ur diese die Addition und die Subtraktion deﬁniert. Beispiele sind Skalen mit willk¨ urlich deﬁniertem Nullpunkt wie die Celsius-Skala oder Jahreszahlen nach Christus. F¨ ur jeden intervallskalierten Datensatz kann ein (arithmetischer) Mittelwert angegeben werden. Die letzte Zeile in Tabelle 2.2 zeigt schließlich proportional skalierte Daten, f¨ ur die auch Multiplikation und Division deﬁniert sind. Proportional skalierte Datens¨ atze k¨ onnen ebenso wie intervallskalierte Datens¨atze auch durch den (arithmetischen) Mittelwert beschrieben werden. Beispiele hierf¨ ur sind relative Messwerte wie Temperaturen in Kelvin oder Zeitdiﬀerenzen. Die Messdaten aus dem Iris-Datensatz sind proportional skalierte Daten. So kann zum Beispiel aus der L¨ ange und Breite von Kelch- und Bl¨ utenbl¨attern durch Multiplikation n¨ aherungsweise die Fl¨ache der Kelch- und Bl¨ utenbl¨atter bestimmt werden. Es sind daher alle drei statistischen Maße Modus, Median und Mittelwert zul¨ assig. Diese lassen sich zum Beispiel anhand der Bl¨ utenblattbreite (vierte Spalte) im Iris-Datensatz illustrieren. Der Datensatz enth¨alt Bl¨ utenblattbreiten zwischen 0,1 und 2,5 Zentimetern. Die am h¨auﬁgsten vorkommende Bl¨ utenblattbreite ist 0,2 Zentimeter, und zwar bei 29 Pﬂanzen. Der Modalwert der Bl¨ utenblattbreite ist also 0,2 Zentimeter. Zur Berechnung des Median wird die Anzahl der Pﬂanzen mit den Bl¨ utenblattbreiten 0,1 Zentimeter, 0,2 Zentimeter, 0,3 Zentimeter usw. aufsummiert, bis die H¨alfte der Objekte (75) erfasst ist. Dies ist im linken Teil von Tabelle 2.3 dargestellt. Der Median der Bl¨ utenblattbreite ist also 1,3 Zentimeter. Alternativ kann die Summierung auch in absteigender Reihenfolge (rechter Teil von Tabelle 2.3) erfolgen. Der Mittelwert der Bl¨ utenblattbreite ist schließlich ca. 1,19933. Viele Methoden, die in diesem Buch beschrieben sind, gehen von intervalloder proportionalskalierten Daten aus verwenden daher das maßtheoretisch zu-

2.3 Matrixdarstellung

9

l¨ assige mathematische Instrumentarium. Es werden jedoch auch zahlreiche Methoden zur Analyse von nominal- und ordinalskalierten Daten beschrieben. Dies erfolgt meist mit Hilfe von Relationen bzw. relationalen Analysemethoden.

2.3

Matrixdarstellung

Jeder numerischer Merkmalsdatensatz l¨ asst sich als Menge X = {x1 , . . . , xn } ⊂ IRp

(2.1)

schreiben. Ein solcher Datensatz enth¨ alt n ∈ {1, 2, . . .} Elemente. Jedes Element ist ein p-dimensionaler reellwertiger Merkmalsvektor, wobei p ∈ {1, 2, . . .}, das heißt die Elemente des Datensatzes k¨ onnen im Sonderfall p = 1 auch skalare Werte sein. Außer der Mengenschreibweise wird h¨auﬁg auch die Matrixschreibweise ⎛ ⎞ (1) (p) x1 · · · x1 ⎜ . .. ⎟ .. ⎟ X=⎜ (2.2) . . ⎠ ⎝ .. (1) (p) xn · · · xn verwendet, die in Abbildung 2.1 dargestellt ist. Wir bezeichnen (mathematisch etwas ungenau) sowohl die Datenmenge als auch die Datenmatrix mit dem Symbol X. Jede Zeile in der Datenmatrix ent-

p

1 1

Datensatz X

- Datenpunkt xk Merkmalsvektor xk

@

@ @

@

@

@

n ? i-tes Merkmal x(i) i-te Komponente x(i)

@

@ @

@ R @ (i) Datum xk (i) Wert xk

Abbildung 2.1: Matrixschreibweise eines Datensatzes

10

2 Daten und Relationen

spricht einem Element der Datenmenge und wird als Datenpunkt oder Merkmalsvektor xk bezeichnet, k = 1, . . . , n. Jede Spalte in der Datenmatrix entspricht einer Komponente aller Elemente der Datenmenge und wird als i-tes Merkmal oder i-te Komponente x(i) bezeichnet, i = 1, . . . , p. Zeilen und Spalten werden also in diesem Buch durch tief- und hochgestellte Indizes unterschieden. In der Literatur ﬁnden sich hierzu auch alternative Schreibweisen, zum Beispiel x(k, .) und x(., i). Ein einzelnes Matrixelement entspricht einer Komponente eines Ele(i) ments der Datenmenge und wird Datum oder Wert xk genannt, k = 1, . . . , n, i = 1, . . . , p. Auch der Iris-Datensatz l¨ asst sich als eine solche Datenmatrix darstellen. Jede Zeile dieser Matrix entspricht einer der 150 Pﬂanzen, und jede Spalte der Matrix entspricht einer der 4 Messgr¨oßen. Die drei Spaltengruppen in Tabelle 2.1 w¨ urden also untereinander geh¨angt und bildeten somit die entsprechende Datenmatrix. Die Klasseninformation (Setosa, Versicolor, Virginica) k¨ onnte als ein zus¨ atzliches f¨ unftes (ordinalskaliertes) Merkmal in einer solchen Datenmatrix verwendet werden.

2.4

Relationen

Reine“ Objektdaten, also ordinalskalierte Daten, k¨onnen als Menge durch Auf” z¨ ahlung ihrer abstrakten Elemente beschrieben werden. O = {o1 , . . . , on }

(2.3)

H¨ auﬁg l¨ asst sich zu solchen Objektdaten eine sinnvolle Quantiﬁzierung der Zusammenh¨ ange zwischen Paaren von Objekten deﬁnieren. Die Semantik einer solchen Relation ⎛ ⎞ r11 · · · r1n ⎜ .. ⎟ ∈ IRn×n .. R = ⎝ ... (2.4) . . ⎠ rn1

· · · rnn

auf einem Objektdatensatz O ist, dass jeder numerische Eintrag rij , i, j = ¨ 1, . . . , n, beispielsweise die Ahnlichkeit oder Un¨ahnlichkeit, die Kompatibilit¨at oder Inkompatibilit¨ at, die N¨ ahe oder den Abstand der Objekte oi und oj beschreibt. Solche Relationen sind h¨ auﬁg symmetrisch, das heißt es ist rij = rji f¨ ur alle i, j = 1, . . . , n. Im Sonderfall, dass O ein numerischer Datensatz O ⊂ IRp ist, kann eine Relationsmatrix R mit einem geeigneten Maß u ¨ ber IRp bestimmt werden. Im Iris-Datensatz entspricht jedes dieser Objekte einer Irispﬂanze. Die ¨ Ahnlichkeit dieser Pﬂanzen k¨ onnte vom Experten durch optischen Vergleich der ¨ Pﬂanzen quantiﬁziert werden. Automatisiert ließe sich die Ahnlichkeiten zwischen Paaren dieser Pﬂanzen durch ein geeignetes Maß aus den L¨angen- und Breitenmesswerten berechnen.

2.5

Un¨ ahnlichkeitsmaße

Un¨ ahnlichkeitsmaße (auch Distanzmaße genannt) quantiﬁzieren die Un¨ahnlichkeit von Paaren von Objekten auf Basis der zugeh¨origen Merkmalsvektoren x

2.5 Un¨ ahnlichkeitsmaße

11

und y. Eine Abbildung d heißt Un¨ ahnlichkeitsmaß genau dann, wenn f¨ ur alle x und y gilt f (x, y) =

f (y, x)

(2.5)

f (x, y) ≥ f (x, x) =

0 0

(2.6) (2.7)

Un¨ ahnlichkeitsmaße lassen sich zum Beispiel u ¨ber Normen von x − y deﬁnieren. Eine Abbildung . : IRp → IR+ heißt Norm, genau dann, wenn x = 0 ⇔ a · x x + y

= ≤

x = (0, . . . , 0)

(2.8) p

|a| · x ∀a ∈ IR, x ∈ IR x + y ∀x, y ∈ IRp

Die h¨ auﬁg verwendete sogenannte Hyperbel-Norm“ ” p (j) x − yH = x − y (j)

(2.9) (2.10)

(2.11)

j=1

ist nach dieser Deﬁnition gar keine Norm, denn Bedingung (2.8) wird verletzt durch x1 = (0, 1) = (0, 0), denn x1 H = (0, 1)H = 0, bzw. Bedingung (2.9) (1) (2) (1) (2) wird zum Beispiel verletzt durch beliebige x2 = (x2 , x2 ) mit x2 · x2 = 0, 2 denn dann gilt a · x2 H = |a | · x2 H = |a| · x2 H f¨ ur beliebige |a| = 1. Zu den h¨ auﬁg verwendeten Abbildungen, die im Gegensatz zur Hyperbel” Norm“ aber tats¨ achlich Normen sind, geh¨ oren die Matrixnormen und die Minkowsky-Normen. Eine Matrixnorm ist deﬁniert als

x − yA = (x − y)A(x − y)T (2.12) Die Euklidische Norm ist ein Spezialfall der Matrixnormen f¨ ur ⎛ ⎞ 1 0 ··· 0 ⎜ 0 1 ··· 0 ⎟ ⎜ ⎟ A=⎜ . . . . . ... ⎟ ⎝ .. .. ⎠ 0 0 Gilt dagegen allgemein

⎛ ⎜ ⎜ A=⎜ ⎝

(2.13)

··· 1

d1 0 .. .

0 d2 .. .

··· ··· .. .

0

0

· · · dp

0 0 .. .

⎞ ⎟ ⎟ ⎟ ⎠

(2.14)

so sprechen wir von einer Diagonalnorm. Diagonalnormen erlauben es, den einzelnen Merkmale unterschiedliche Gewichte d1 , . . . , dp zuzuordnen. Die Mahalanobis-Norm ist u ¨ber die Inverse der Kovarianzmatrix des Datensatzes deﬁniert n

−1 1 −1 T A = cov X = (xk − x ¯) (xk − x ¯) (2.15) n k=1

12

2 Daten und Relationen

mit dem Mittelwert

n

x ¯=

1 xk n

(2.16)

k=1

Die Mahalanobis-Norm passt die Gewichtung der einzelnen Merkmale an die beobachtete Statistik der Daten an und ber¨ ucksichtigt zus¨atzlich Korrelationen zwischen den Merkmalen. Minkowsky-Normen sind deﬁniert als p q x(j) − y (j) q x − yq = (2.17) j=1

Der Euklidische Abstand l¨ asst sich mit q = 2 auch als Minkowsky-Norm schreiben. F¨ ur q = 1 erhalten wir den sogenannten Manhattan-Abstand (oder City Block), bei dem die Diﬀerenz jedes Merkmals in gleicher Weise linear eingeht. Im Grenz¨ ubergang f¨ ur q → ∞ wird die Minkowsky-Norm zur Sup- oder MaxNorm p q x(j) − y (j) q = max x(j) − y (j) lim (2.18) q→∞

j=1,...,p

j=1

die alleine durch die gr¨ oßte Merkmalsdiﬀerenz bestimmt wird.

2.6

¨ Ahnlichkeitsmaße

¨ ¨ Ahnlichkeitsmaße quantiﬁzieren die Ahnlichkeit von Paaren von Objekten auf ¨ der Basis der Merkmalsvektoren x und y. Eine Abbildung s heißt Ahnlichkeitsmaß genau dann, wenn f¨ ur alle x und y gilt s(x, y)

= s(y, x)

(2.19)

s(x, y) s(x, x)

≥ 0 ≥ s(x, y)

(2.20) (2.21)

¨ F¨ ur normalisierte Ahnlichkeitsmaße gilt zus¨atzlich s(x, x)

= 1

(2.22)

¨ Rein formal lassen sich zu jedem normalisierten Ahnlichkeitsmaß s korrespondierende Un¨ ahnlichkeitsmaße wie d = 1 − s oder d = 1/s − 1 deﬁnieren. Es ¨ wurden jedoch zahlreiche explizite Ahnlichkeitsmaße vorgeschlagen, die h¨auﬁg auf Skalarprodukten basieren und geeignet normalisiert werden, so dass die Bedingung (2.21) bzw. (2.22) erf¨ ullt wird, zum Beispiel • Cosinus

p

s(x, y) =

i=1

x(i) y (i)

p

i=1

p 2 2 x(i) y (i) i=1

(2.23)

¨ 2.6 Ahnlichkeitsmaße

13

¨ • Uberlapp

p

s(x, y) = min

i=1

p

2 x(i)

i=1

• Dice

p

2 s(x, y) =

p i=1

i=1

2 x(i)

• Jaccard

p

s(x, y) =

p i=1

x(i)

x(i) y (i)

2

+

2 y (i)

i=1

(2.24)

x(i) y (i) +

p i=1

2 y (i)

(2.25)

x(i) y (i)

i=1 p i=1

,

p

y (i)

2

−

p i=1

(2.26) x(i) y (i)

¨ All diese Ahnlichkeitsmaße haben im Gegensatz zu vielen Un¨ahnlichkeitsmaßen die Eigenschaft, dass die Hinzunahme von neutralen Merkmalen, die null sind, ¨ keine Anderung bewirkt, denn es werden dadurch in den Skalarprodukten lediglich einige Nullen zus¨ atzlich aufsummiert. Eine besondere Situation tritt auf, wenn alle Merkmale eines Objekts null sind, denn dadurch wird das Skalarpro¨ dukt im Z¨ ahler zu null. Beim Cosinus- und Uberlapp-Maß wird dann auch der Nenner zu null, so dass diese beiden Maße f¨ ur diesen Fall undeﬁniert sind. Das ¨ Dice- und das Jaccard-Maß liefern in diesem Fall eine Ahnlichkeit von null, s(0, x) =

0

(2.27)

f¨ ur alle x = (0, . . . , 0). Falls auch die Merkmale des zweiten Objekts alle null sind, so ist auch das Dice- und das Jaccard-Maß undeﬁniert. Das Cosinus-Maß hat die interessante Eigenschaft, dass es invariant gegen¨ uber einer positiven Skalierung der Merkmalsvektoren ist, s(c · x, y) = s(x, c · y) =

s(x, y) s(x, y)

(2.28) (2.29)

f¨ ur alle x, y und c > 0. Das Cosinus-Maß ber¨ ucksichtigt also die relative Verteilung der Merkmale. Beispiel: Gegeben sei ein Kuchenrezept mit den Zutaten 1 Ei, 100g Zucker, 200g Butter und 300g Mehl sowie ein zweites Kuchenrezept mit den Zutaten 2 Eier, 200g Zucker, 400g Butter und 600g Mehl. Oﬀensichtlich ist die Zusammensetzung beider Kuchen gleich. Das zweite Rezept ist lediglich f¨ ur die doppelte Menge konzipiert. Das Cosinus-Maß das einzige der genannten ¨ ¨ Ahnlichkeitsmaße, das f¨ ur dieses Beispiel erwartungsgem¨aß eine Ahnlichkeit von eins liefert. ¨ Neben den skalarproduktbasierten Ahnlichkeitsmaßen k¨onnen auch die in ¨ Kapitel 5 beschriebenen Maße f¨ ur die Korrelation von Merkmalen als Ahnlichkeitsmaße interpretiert und verwendet werden.

14

2.7

2 Daten und Relationen

Sequenz- und Textrelationen

Nicht nur f¨ ur skalare und vektorielle Daten, sondern auch f¨ ur Sequenzen lassen sich Relationen deﬁnieren. Beispiele f¨ ur solche Sequenzen sind Webseiten, die nacheinander von einem Benutzer aufgerufen werden, oder unstrukturierte Textdaten. Solche Sequenzen k¨ onnen als Zeichenfolgen repr¨asentiert werden, bei denen die Zeichen (zum Beispiel Webseiten oder Buchstaben) meist nominalskaliert sind, das heißt Paare von Zeichen k¨onnen entweder gleich oder ungleich sein, aber die Ordnung der Zeichen ist willk¨ urlich (zum Beispiel in Form einer Codierung als Index einer Webseite oder ASCII-Code eines Buchstabens) und hat keinen semantischen Bezug. Damit l¨ asst sich der Zeichenabstand z deﬁnieren als 0 falls x = y (2.30) z(x, y) = 1 sonst In der Analyse werden meist speziﬁsche Teile von Sequenzen betrachtet, zum Beispiel Aufrufe eines bestimmten Benutzers vom Einloggen bis zum Ausloggen oder W¨ orter in Textdokumenten, die durch Trennzeichen wie Leerzeichen und Interpunktionen getrennt sind. Wir nennen solche Teilsequenzen W¨orter, auch wenn es sich nicht um Textsequenzen handelt. Jedes dieser W¨orter l¨asst sich als Vektor von einzelnen Zeichen schreiben, ein Wort w mit p Zeichen, p = 1, 2, . . ., hat also die Repr¨ asentation w = (x(1) , . . . , x(p) ), wobei jede Komponente x(i) , i = 1, . . . , p, jeweils genau ein Zeichen enth¨alt. Falls die Zeichen intervall- oder proportionalskaliert sind, dann lassen sich f¨ ur Paare von gleich langen W¨ortern ¨ die oben beschriebenen vektorbasierten Ahnlichkeitsund Un¨ahnlichkeitsmaße verwenden. F¨ ur die hier betrachteten W¨ orter mit nominalskalierten Zeichen l¨asst sich dagegen als Un¨ ahnlichkeitsmaß der Hamming-Abstand H (45) deﬁnieren: H((x(1) , . . . , x(p) ), (y (1) , . . . , y (p) )) =

p

z(x(i) , y (i) )

(2.31)

i=1

Der Hamming-Abstand liefert also die Anzahl der nicht u ¨ bereinstimmenden Zeichen. Nur gleiche W¨ orter haben die Un¨ ahnlichkeit null. Und die W¨orter m¨ ussen gleich lang sein. H¨ auﬁg sollen jedoch W¨orter unterschiedlicher L¨ange verglichen werden, zum Beispiel unterschiedlich lange Web-Sequenzen zweier Benutzer oder zwei W¨ orter in Textdokumenten. Abst¨ande zwischen ungleich langen W¨ ortern k¨ onnen zwar prinzipiell dadurch gewonnen werden, dass das k¨ urzere der beiden W¨ orter durch neutrale Zeichen (zum Beispiel Leerzeichen) aufgef¨ ullt wird, bis beide W¨ orter die gleiche L¨ ange besitzen. F¨ ur die so konstruierten W¨ orter l¨ asst sich dann der Hamming-Abstand nach (2.31) berechnen. Diese ¨ Methode hat jedoch den Nachteil, dass Ubereinstimmungen in Wortteilen, die in den beiden W¨ ortern an unterschiedlichen Positionen stehen, nicht ber¨ ucksichtigt werden. Zum Beispiel berechnet sich der Hamming-Abstand zwischen den W¨ ortern Abstand“ und Stand“ zu H( Abstand“, Stand“) = 7, ” ” ” ” denn beim positionsweisen Vergleich sind alle Zeichenpaare ungleich. In diesem Beispiel w¨ are es also g¨ unstiger, die Leerzeichen am Anfang einzuf¨ ugen, so dass sich zwischen zwischen Abstand“ und Stand“ der Hamming-Abstand ” ”

2.7 Sequenz- und Textrelationen

15

for i = 1, . . . , p Li0 = i for j = 1, . . . , q L0j = j for i = 1, . . . , p for j = 1, . . . , q Lij = min{L(i−1) j +1, Li (j−1) +1, L(i−1) (j−1) +z(x(i) , y (j) )} Abbildung 2.2: Iterative Berechnung des Edit-Abstands Lpq

H( Abstand“, Stand“) = 3 ergibt. Es lassen sich auch Beispiele ﬁnden, bei ” ” denen es g¨ unstiger ist, Leerzeichen in der Wortmitte einzuf¨ ugen. Allgemein sind wir an einer L¨ angenanpassung interessiert, die zu dem geringsten HammingAbstand f¨ uhrt. Dies ist die Idee des Edit-Abstands, auch Levenshtein-Abstand genannt (73), der die Anzahl der Editieroperationen repr¨asentiert, die mindestens notwendig sind, um ein Wort in das andere Wort umzuwandeln. Die drei ¨ m¨ oglichen Editieroperationen sind Einf¨ ugen, L¨oschen und Andern eines Zeichens. Der Edit-Abstand L ist rekursiv deﬁniert als L((x(1) , . . . , x(p) ), (y (1) , . . . , y (q) )) = ⎧p ⎪ ⎪ ⎪q ⎨ min{L((x(1) , . . . , x(p−1) ),(y (1) , . . . , y (q) )) +1 ⎪ ⎪ L((x(1) , . . . , x(p) ), (y (1) , . . . , y (q−1) ))+1 ⎪ ⎩ L((x(1) , . . . , x(p−1) ),(y (1) , . . . , y (q−1) ))+z(x(p) , y (q) )}

q=0 p=0

(2.32)

sonst

Die ersten beiden F¨ alle der Fallunterscheidung bestimmen die Abst¨ande zu leeren W¨ ortern und l¨ osen die Rekursion auf. Die drei Argumente des MinimumOperators im dritten Fall der Fallunterscheidung entsprechen den drei m¨ogli¨ chen Editieroperationen Einf¨ ugen, L¨ oschen und Andern. Die einzelnen Teil(1) (i) (1) (j) abst¨ ande L((x , . . . , x ), (y , . . . , y )), i = 1, . . . , p, j = 1, . . . , q, k¨onnen kurz als Lij geschrieben und als Elemente einer Edit-Abstandsmatrix interpretiert werden. Zur Berechnung des Edit-Abstands Lpq m¨ ussen alle Teilabst¨ande Lij , i = 0, . . . , p, j = 0, . . . , q, bestimmt werden. F¨ ur die praktische Implementierung erweist sich die rekursive Formulierung nach (2.32) als laufzeitineﬃzient, denn diese berechnet zahlreiche Teilabst¨ ande Lij mehrfach. Bei der iterativen Berechnung nach Abbildung 2.2 werden die einzelnen Teilabst¨ande Lij jeweils nur einmal berechnet. Dazu werden zun¨ achst die Abst¨ande der Leerw¨orter als Li0 = i, i = 1, . . . , p, und L0j = j, j = 1, . . . , q, initialisiert und anschließend schrittweise die jeweils aus den bereits bekannten Abst¨anden berechenbaren Abst¨ ande ermittelt. Dazu kann die Wortl¨ ange des ersten Wortes in einer inneren Schleife und die Wortl¨ ange des zweiten Wortes in einer ¨außeren Schleife schrittweise erh¨ oht werden. Die Edit-Matrix L l¨asst sich nat¨ urlich nicht nur spal-

16

2 Daten und Relationen

C A E S A R

0 1 2 3 4 5 4

C 1 0 1 2 3 4 5

L 2 1 1 2 3 4 5

E 3 2 2 1 2 3 4

O 4 3 3 2 2 3 4

P 5 4 4 3 3 3 4

A 6 5 4 4 4 3 4

T 7 6 5 5 5 4 4

R 8 7 6 6 6 5 4

A 9 8 7 7 7 6 5

Abbildung 2.3: Schema zur Berechnung des Edit-Abstands zwischen den Zeichenketten CAESAR und CLEOPATRA

C 0 C

A 1 L

E 0 E

S 1 O

1 P

A 0 A

1 T

R 0 R

1 A

⇒5

Abbildung 2.4: Darstellung des Edit-Abstands zwischen den Zeichenketten CAESAR und CLEOPATRA durch Editieroperationen

tenweise berechnen, wie in Abbildung 2.2 gezeigt, sondern zum Beispiel auch zeilenweise oder schr¨ ag. Abbildung 2.3 zeigt die Berechnung des Edit-Abstands zwischen den W¨ ortern CAESAR und CLEOPATRA. Jedes Matrixelement wird als Minimum der drei benachbarten Elemente oben, links und links oben berechnet, wobei zu dem Element links oben der entsprechende Zeichenabstand addiert wird. Gleiche Zeichen (also Zeichenabst¨ ande null) sind in Abbildung 2.3 fett gekennzeichnet. Der Edit-Abstand l¨ asst sich als letzten Matrixeintrag rechts unten ablesen und ist in diesem Beispiel gleich 5. Es sind also mindestens 5 Editieroperationen notwendig, um das Wort CAESAR in das Wort CLEOPATRA umzuwandeln, und umgekehrt. Diese 5 Editieroperationen sind in Abbildung 2.4 dargestellt: Zeichen 2 ¨ andern, Zeichen 4 ¨ andern, Zeichen 5 einf¨ ugen, Zeichen 7 einf¨ ugen und Zeichen 9 einf¨ ugen. Die obige Deﬁnition des Edit-Abstands basiert auf dem Zeichenabstand z (2.30), der bestimmt, ob zwei Symbole gleich sind oder nicht. Daher ber¨ ucksichtigt der Edit-Abstand nur exakt u ¨ bereinstimmende Zeichen, nicht aber zum Beispiel ¨ ahnliche Webseiten oder ¨ahnlich klingende Buchstaben. wie zum Beispiel d und t. Abbildung 2.5 zeigt den Ausschnitt einer Wertetabelle f¨ ur ein Abstandsmaß z ∗ , das auch den Klang der Zeichen ber¨ ucksichtigt und f¨ ur ungleiche, aber ¨ ahnlich klingende Zeichen geringere Abst¨ande als 1 liefert. Entsprechende Abstandsmaße f¨ ur W¨ orter k¨onnen dadurch deﬁniert werden, dass der Zeichenabstand z in den Deﬁnitionen des Hamming-Abstands (2.31) bzw. des Edit-Abstands (2.32) durch z ∗ nach Abbildung 2.5 ersetzt wird. Die Idee der Abstandstabellen f¨ ur einzelne Zeichen wie in Abbildung 2.5 l¨ asst sich auch auf Abst¨ ande zwischen ganzen W¨ortern ausdehnen. Es ist jedoch aus Gr¨ unden des Speicherplatzes praktisch unm¨oglich, die Abst¨ande aller m¨oglichen Wortpaare in einer Tabelle zu speichern, selbst wenn die L¨ange (An-

2.8 Abtastung und Quantisierung

17

z∗ a b .. .

a 0 1 .. .

b 1 0 .. .

c 1 1 .. .

d 1 0.9 .. .

e 0.5 1 .. .

··· ··· ··· .. .

z 1 1 .. .

z

1

1

0.2

0.9

1

···

0

Abbildung 2.5: Wertetabelle zur Deﬁnition des Abstandsmaßes z ∗ , das den Klang der Zeichen ber¨ ucksichtigt (Ausschnitt)

zahl der Zeichen) der m¨ oglichen W¨ orter begrenzt ist. Es l¨asst sich jedoch f¨ ur einige synonyme W¨ orter eine Liste von speziﬁschen Abst¨anden erstellen. Bei der Berechnung des Wortabstands wird dann zun¨achst gepr¨ uft, ob beide W¨orter in der Liste der Synonyme enthalten sind und in diesem Fall der Abstand aus der vordeﬁnierten Liste verwendet. Andernfalls wird der Abstand mit einem der oben deﬁnierten Edit-Abstandsmaße berechnet.

2.8

Abtastung und Quantisierung

Einzelne Merkmale oder ganze Datens¨ atze X werden h¨auﬁg dadurch erzeugt, dass kontinuierliche Signale (zum Beispiel Sensormesswerte) in festen zeitlichen Abst¨ anden abgetastet werden, zum Beispiel wenn alle 5 Minuten die Raumtemperatur gemessen wird. Aus einem kontinuierlichen Zeitsignal x(t) kann auf diese Weise die Zeitreihe xk mit der Abtastzeit T gewonnen werden. xk = x(k · T ),

k = 1, . . . , n

(2.33)

Abbildung 2.6 zeigt ein Beispiel f¨ ur ein solches Signal x(t) und eine entsprechend abgetastete Zeitreihe xk (vertikale Balken). Die Abtastwerte xk enthalten nur einzelne Werte des Signals x(t) zu diskreten Zeitpunkten T, 2 · T, . . . , n · T . Der 1

1

0.5

0.5

0

0

−0.5

−0.5

−1 0

10

20

30

−1 0

10

20

30

Abbildung 2.6: Originalsignal x(t) und abgetastete Zeitreihe xk

18

2 Daten und Relationen 1

1

1

0.5

0.5

0.5

0

0

0

−0.5

−0.5

−0.5

−1 0

10

20

30

−1 0

10

20

30

−1 0

10

20

30

Abbildung 2.7: Abgetastete Zeitreihe und Rekonstruktion durch Polygonz¨ uge f¨ ur unterschiedliche Abtastraten

Kurvenverlauf des Signals x(t) zwischen den Abtastzeitpunkten, also in den Zeitintervallen t ∈ (l · T, (l + 1) · T ), l = 1, . . . , n − 1, ist in xk jedoch nicht enthalten. Die Zeitreihe xk enth¨ alt also nur einen Teil der Information des vollst¨andigen kontinuierlichen Signals x(t). Je gr¨ oßer die Abtastzeit T , desto gr¨oßer ist der Informationsverlust, bis aus der abgetasteten Zeitreihe schließlich keinerlei nutzbare Information mehr zu entnehmen ist. Je kleiner die Abtastzeit T , desto genauer wird das kontinuierliche Signal abgebildet, allerdings steigt dadurch die Anzahl der Daten und somit der notwendige Speicherbedarf. Gesucht ist also zu einem gegebenen kontinuierlichen Signal eine m¨oglichst große Abtastzeit, mit der trotz Abtastung m¨ oglichst alle relevanten Informationen erhalten bleiben. Jedes stetige kontinuierliche Signal l¨ asst sich als Summe von periodischen Signalen unterschiedlicher Frequenz darstellen (vgl. Abschnitt 4.5). Ist die h¨ochste in einem Signal x(t) enthaltene Frequenz fmax endlich, so heißt das Signal bandbegrenzt und f¨ ur das Fourier-Spektrum gilt |x(j2πf )| = 0 f¨ ur |f | > fmax . F¨ ur ein solches Signal l¨ asst sich eine maximale Abtastzeit Ts = 1/(2 · fmax ) bzw. eine Mindestabtastrate fs = 2 · fmax angeben, mit der eine Zeitreihe xk gewonnen werden kann, aus der sich das Originalsignal x(t) vollst¨andig und fehlerfrei rekonstruieren l¨ asst. Die Bedingung T ≤ Ts oder f ≥ fs (mit f = 1/T ) wird auch Nyquist-Bedingung oder Shannon’s Abtasttheorem genannt. Abbildung 2.7 zeigt drei Zeitreihen, die mit unterschiedlichen Abtastraten aus dem Originalsignal x(t) in Abbildung 2.6 (links) gewonnen wurden. F¨ ur die linke Zeitreihe gilt T < 1/(2·fmax), die Nyquist-Bedingung ist also erf¨ ullt, und der aus der Zeitreihe entstandene Polygonzug stimmt gut mit der Kurve x(t) u ur die mitt¨berein. F¨ lere Zeitreihe gilt T = 1/(2 · fmax ), die Abtastrate ist also an der Grenze der Nyquist-Bedingung, und der entsprechende Polygonzug gibt die Charakteristika von x(t) hinreichend gut wieder. Bei einer Verschiebung der Abtastzeitpunkte um eine halbe Periodenl¨ ange bei gleicher Abtastrate w¨ urden alle Abtastwerte in die Nulldurchg¨ ange fallen und eine (informationslose) Zeitreihe mit Nullwerten liefern. Es ist also empfehlenswert, eine Abtastrate etwas oberhalb der Nyquist-Bedingung zu w¨ ahlen. F¨ ur die rechte Zeitreihe gilt T > 1/(2 · fmax ), das heißt die Nyquist-Bedingung ist nicht erf¨ ullt, und der entsprechende Poly-

2.8 Abtastung und Quantisierung

19

1

1

0.5

0.5

0

0

−0.5

−0.5

−1 0

10

20

30

−1 0

10

20

30

Abbildung 2.8: Quantisierte Zeitreihe und Quantisierungsfehler

gonzug stimmt nur sehr schlecht mit x(t) u ¨berein. H¨auﬁg ist die Abtastung zum Zeitpunkt der Datenanalyse bereits erfolgt und kein Zugriﬀ auf die Originalsignale mehr m¨ oglich. Dennoch sollte hinterfragt werden, ob bei der Abtastung die Nyquist-Bedingung erf¨ ullt war, denn ansonsten geben die Zeitreihen die zu analysierenden Signale nur unzureichend wieder. H¨ auﬁg sollen analoge Signale analysiert werden, die nicht nur zeitkontinuierlich sind, sondern auch wertkontinuierlich. Zur Verarbeitung in digitalen Systemen werden diese kontinuierlichen Werte transformiert und quantisiert, das heißt sie werden von einem kontinuierlichen Wertebereich [wmin , wmax ] auf einen diskreten Wertebereich {w1 , . . . , wq } abgebildet, wobei q ∈ {1, 2, . . .} die Anzahl der Quantisierungsschritte bezeichnet. Jeder quantisierte Wert kann beispielsweise als Bin¨arzahl mit b = log2 q bit dargestellt werden. Zu einem kontinuierlichen Wert w ∈ [wmin , wmax ] kann ein entsprechender quantisierter Wert wk ∈ {w1 , . . . , wq } bzw. ein Index k ∈ {1, . . . , q} durch kaufm¨annisches Run” den“ bestimmt werden. wk−1 +wk 2

− w1 w − wmin ≤ < wq − w1 wmax − wmin

wk +wk+1 2

− w1 wq − w1

(2.34)

Diese Quantisierung f¨ uhrt zu einer Verf¨ alschung der Daten im Wertebereich. Abbildung 2.8 (links) zeigt die Quantisierung xq (t) der Zeitreihe x(t) aus Abbildung 2.6 (links) f¨ ur q = 11 ¨ aquidistante Quantisierungsstufen. Die Quantisierungsstufen erscheinen als waagerechte Linien (Treppenstufen) in der Zeitreihe. Das rechte Bild in Abbildung 2.8 zeigt den Quantisierungsfehler e(t) = x(t) − xq (t). Da die Quantisierungsstufen ¨ aquidistant sind, also wi = w1 + (i − 1) · Δw, i = 1, . . . , q, Δw = (wq − w1 )/(q − 1), schwankt der Quantisierungsfehler im Intervall e(t) ∈ [−Δw/2, Δw/2). Durch die Quantisierung entsteht also ein additiver Fehler mit dem Betrag |e| ≤ Δw/2. Um den Quantisierungsfehler m¨oglichst klein zu halten, sollten die Quantisierungsstufen m¨oglichst fein, das heißt Δw m¨ oglichst klein bzw. q m¨ oglichst groß sein. Bei einer bin¨aren Wertedarstellung mit b bit haben die Quantisierungsstufen den Abstand Δw = 1, und der darstellbare Zahlenbereich reicht von w1 = 0 bis wq = 2b − 1. Der relative Quantisierungsfehler l¨ asst sich dann mit |e/(wq −w1 )| ≤ 100%/2/(2b −1) ≈ 100%/2b+1

20

2 Daten und Relationen

absch¨ atzen. Insbesondere im Vergleich mit Ausreißern, die im n¨achsten Kapitel ausf¨ uhrlicher behandelt werden, ist der Fehler, der durch die Quantisierung entsteht, meist vernachl¨ assigbar, wenn die Grenzen des Wertebereichs wmin und wmax geeignet gew¨ ahlt sind. Bei einem zu groß gew¨ahlten Wertebereich [wmin , wmax ] besteht dagegen die Gefahr, dass ein Signal als konstant und damit irrelevant interpretiert wird, oder dass Spr¨ unge erkannt werden, die im Datenkontext nicht plausibel erkl¨ art werden k¨onnen. Wird zum Beispiel die Raumtemperatur mit 8 bit und den Grenzen [wmin , wmax ] = [0◦ C, 1000◦ C] dargestellt, dann entsprechen Temperaturen zwischen etwa 13.72◦C und 17.65◦C dem Wert 4 und Temperaturen zwischen etwa 17.65◦C und 21.57◦C dem Wert 5. Bei normalen Raumtemperaturverh¨ altnissen treten also nur diese beiden Werte 4 und 5 auf. Die einzige in den quantisierten Werten enthaltene Information ist ¨ dann die Unter- oder Uberschreitung der recht willk¨ urlichen Temperaturgrenze ◦ 17.65 C.

21

Kapitel 3

Datenvorverarbeitung Die in praktischen Anwendungen zur Verf¨ ugung stehenden Daten sind oft fehlerbehaftet, verrauscht, ung¨ unstig skaliert und verteilt gespeichert. Zur Datenanalyse m¨ ussen solche Rohdaten zun¨ achst vorverarbeitet werden, was einen nicht unerheblichen Arbeits- und Zeitaufwand innerhalb von Data-Mining-Projekten darstellt. Zu den wichtigsten Aufgaben dieser Datenvorverarbeitung geh¨ort die Erkennung und Behandlung von Fehlern, Ausreißern und Rauscheﬀekten sowie die Aufbereitung der Daten durch Standardisierung und die Zusammenfassung aller ben¨ otigten Daten, zum Beispiel zu einer einzigen Datenmatrix. Falls die Daten als Zeitreihen vorliegen, lassen sich Ausreißer und Rauschen durch Filtermethoden reduzieren. Abbildung 3.1 zeigt einige der wichtigsten Familien von Filtermethoden, die in diesem Kapitel beschrieben werden.

3.1

Fehlerarten

Fehler in Daten oder Messwerten lassen sich unterteilen in zuf¨allige und systematische Fehler. Zu den zuf¨ alligen Fehlern geh¨oren zum Beispiel Mess- und ¨ Ubertragungsfehler. Diese k¨ onnen als additives Rauschen modelliert werden. Abbildung 3.2 (links) zeigt den aus Abbildung 2.6 (rechts) bekannten Datensatz X = {x1 , . . . , xn }. Nehmen wir an, dass dieser Datensatz nicht fehlerfrei bestimmt wurde, sondern dass zuf¨ allige Fehler darin enthalten sind. Diese zuf¨alligen Fehler lassen sich als Gauß’sches Rauschen modellieren. Das mittlere Bild in Abbildung 3.2 zeigt einen Datensatz R = {r1 , . . . , rn }, der aus einer Normalverteilung mit Mittelwert 0 und Standardabweichung 0.1 gewonnen wurde, einer sogenannten N (0, 0.1)-Verteilung. Das rechte Bild in Abbildung 3.2 zeigt die Summe des Originaldatensatzes X und des Rauschens R, die den mit zuf¨alligen Fehlern behafteten Datensatz repr¨ asentiert. Zwischen den Originaldaten und den verrauschten Daten besteht qualitativ nur ein geringer Unterschied. Methoden zur Entfernung von Rauschen aus Zeitreihen sind in Abschnitt 3.2 ausf¨ uhrlich beschrieben.

22

3 Datenvorverarbeitung

gleitende statistische Maße

diskrete lineare Filter

endliche Impulsantwort gleitender Mittelwert

gleitender Median

unendliche Impulsantwort ButterworthFilter

exponentielle Filter

Abbildung 3.1: Einige wichtige Familien von Filtern 1

1

1

0.5

0.5

0.5

0

0

0

−0.5

−0.5

−0.5

−1 0

10

20

30

−1 0

10

20

30

−1 0

10

20

30

Abbildung 3.2: Originaldaten, Gauß’sches Rauschen und verrauschte Daten 1

1

1

0.5

0.5

0.5

0

0

0

−0.5

−0.5

−0.5

−1 0

10

20

30

−1 0

10

20

30

−1 0

10

Abbildung 3.3: Originaldaten, Ausreißer und Drift

20

30

3.1 Fehlerarten

23

Nicht alle zuf¨ allige Fehler k¨ onnen durch additives Rauschen modelliert werden, zum Beispiel die f¨ ur die Datenvorverarbeitung wichtige Klasse der Ausreißer. Ausreißer k¨ onnen durch Erfassungs- und Verarbeitungsfehler verursacht werden, die zu falschen oder vertauschten Daten oder Datens¨atzen f¨ uhren k¨onnen. Solche Fehler treten besonders h¨ auﬁg bei manueller Erfassung von Daten auf, wenn zum Beispiel einzelne Ziﬀern verwechselt, Kommata falsch gesetzt oder einzelne Zahlen vertauscht werden. Ausreißer k¨onnen aber auch dann entstehen, wenn Daten zwischen Systemen ausgetauscht werden, die verschiedene Datenformate verwenden. Je nach Bedeutung der Dezimaltrennzeichen . und , wird n¨ amlich zum Beispiel ein Wert 1.234 als Zahl 1, 234 oder 1234 interpretiert, alle Werte gr¨ oßer als 1000 werden also m¨ oglicherweise um einen Faktor 1000 zu klein dargestellt. Neben den zuf¨ alligen Fehlern k¨ onnen auch systematische Fehler in den Daten vorhanden sein. Hierzu geh¨ oren zum Beispiel Messfehler, die durch falsche Kalibrierung (Oﬀsets), falsche Skalierung oder Drifteﬀekte verursacht werden. Prinzipiell k¨ onnen solche systematischen Fehler oft vollst¨andig korrigiert werden, falls die Systematik der Fehler bekannt ist. Abbildung 3.3 zeigt erneut den schon oben verwendeten Datensatz X (links), dessen Verf¨ alschung durch zwei einzelne Ausreißer (Mitte) sowie dessen Verf¨ alschung durch einen systematischen Drifteﬀekt (rechts). Manche Ausreißer lassen sich dadurch erkennen, dass sie sehr stark von den u ¨ brigen Daten abweichen. Diese Abweichung kann mit statistischen Maßen erfasst werden, zum Beispiel mit der 2-Sigma-Regel, die einen Vektor xk ∈ X als Ausreißer klassiﬁziert, sobald mindestens ein Merkmal um mehr als zweimal die Standardabweichung ( Sigma“) vom Mittelwert abweicht. ” x(i) − x ¯(i) k xk ∈ X ist Ausreißer ⇔ ∃i ∈ {1, . . . , p}. (3.1) >2 s(i) wobei x ¯(i) der Mittelwert des i-ten Merkmals des Datensatzes X nach (2.16) (i) und s die entsprechende Standardabweichung ist. n n (i) 2 1 2

1 (i) (i) (i) 2 (i) (3.2) xk (xk − x ¯ ) = −n x ¯ s = n−1 n−1 k=1

k=1

Entsprechend zur 2-Sigma-Regel nach (3.1) l¨asst sich nat¨ urlich auch zum Beispiel eine 3-, 4-, oder 5-Sigma-Regel deﬁnieren. Die Ausreißer in Abbildung 3.3 (Mitte) k¨ onnten nicht nach dieser Regel erkannt werden, da sie lediglich lokale“ ” Ausreißer sind und den Wertebereich der u ¨ brigen Daten nicht verlassen. Solche Ausreißer k¨ onnten eher mit diﬀerentiellen Regeln erkannt werden, in denen die ¨ Anderung eines Wertes zum Folgewert betrachtet wird. Solche Ans¨atze ﬁnden sich implizit bei ausgew¨ ahlten Filterverfahren, die ausf¨ uhrlich in Abschnitt 3.2 beschrieben sind. Die automatische Erkennung von Ausreißern sollte grunds¨atzlich mit Vorsicht durchgef¨ uhrt werden, denn h¨ auﬁg enthalten Datens¨atze einige korrekte,

24

3 Datenvorverarbeitung

aber ungew¨ ohnliche Daten, die jedoch wertvolle Information tragen. Solche Exoten sind wichtig f¨ ur die folgende Datenanalyse und sollten daher keinesfalls entfernt werden. Wurde zum Beispiel in einer Produktionsanlage selten ein Produkt mit einer ungew¨ ohnlich hohen oder niedrigen Qualit¨at produziert, so w¨ urden die entsprechenden Produktionsdaten mit einer automatischen Ausreißererkennnung m¨ oglicherweise entfernt, w¨ ahrend sie f¨ ur die Analyse des Einﬂusses verschiedener Produktionsparameter auf die Produktqualit¨at m¨oglicherweise sehr wertvoll sind. Solche Exoten sind ohne weitere Informationen rein aus Datensicht nicht von fehlerhaften Daten unterscheidbar. Manchmal lassen sich (echte) Ausreißer auch dadurch erkennen, dass ihre Merkmale außerhalb des zul¨ assigen Wertebereichs liegen. Solche Ausreißer (i) (i) k¨ onnen durch Vergleich mit den zul¨ assigen Bereichsgrenzen xmin und xmax , i = 1, . . . , p, erkannt werden. (i) (i) (i) xk ∈ X ist Fehler ⇔ ∃i ∈ {1, . . . , p}. xk < xmin ∨ xk > x(i) (3.3) max Die Bereichsgrenzen k¨ onnen zum Beispiel gegeben sein durch das Vorzeichen (Preis, Temperatur, Zeit), den Messbereich des Aufnehmers, die Zeit der Betrachtung oder durch den Bereich physikalisch sinnvoller Werte. Dar¨ uber hinaus enthalten Datens¨ atze in praktischen Anwendungen h¨auﬁg auch konstante Merkmale (i) (i) xk = xl ∀k, l = 1, . . . , n (3.4) die zwar deﬁnitionsgem¨ aß keine Ausreißer besitzen, aber keine nutzbare Information tragen und daher entfernt werden sollten. Ist ein Ausreißer erkannt, so gibt es verschiedene M¨oglichkeiten der Behandlung, die hier danach sortiert sind, wie stark sie den Datensatz ver¨andern. 1. Markierung als Ausreißer: Der Ausreißer wird markiert und in weiteren Verarbeitungsschritten gesondert behandelt. Der Datensatz selbst bleibt dadurch unver¨ andert. Die Markierung kann dadurch erfolgen, dass zu dem Datensatz X eine Markierungsmatrix M erzeugt wird

(i) ultig 1 falls xk g¨ (i) mk = (3.5) 0 sonst Insbesondere bei großen Datens¨ atzen ist ein solches Verfahren ineﬃzient, da eine Markierungsmatrix in derselben Gr¨oße wie die Originaldaten erzeugt und gespeichert werden muss. (i)

2. Korrektur von xk : Diejenige Merkmale des Ausreißers werden korrigiert, die tats¨ achlich zu stark von den anderen Daten abweichen. Verschiedene Methoden zur Datenkorrektur sind zum Beispiel (a) Ersetzung des Ausreißers durch den Maximal- oder Minimalwert.

(i) (i) (i) max{xk | mk = 1} falls xf zu groß (i) xf = (3.6) (i) (i) (i) min{xk | mk = 1} falls xf zu klein

3.1 Fehlerarten

25

(b) Ersetzung durch den globalen Mittelwert (i) xf

n =

(i) (i) k=1 mk · xk n (i) k=1 mk (i)

(3.7)

(i)

(c) Ersetzung durch n¨ achsten Nachbarn xf = xk∗ aus min

k∈{1,...,n}

(1,...,i−1,i+1,...,p)

|xf

(1,...,i−1,i+1,...,p)

− xk

|

(3.8)

wobei die Abst¨ ande zu ung¨ ultigen Daten als unendlich deﬁniert werden. (j)

|.| = ∞, falls ∃j ∈ {1, . . . , i − 1, i + 1, . . . , p}. mk = 0

(3.9)

(d) lineare Interpolation bei Zeitreihen mit ¨aquidistanten Zeitschritten (i)

xf =

(i)

(i)

xf −1 + xf +1 2

(3.10)

(e) lineare Interpolation bei Zeitreihen mit nicht ¨aquidistanten Zeitschritten (i) (i) xf −1 · (tf +1 − tf ) + xf +1 · (tf − tf −1 ) (i) xf = (3.11) tf +1 − tf −1 (f) nichtlineare Interpolation, zum Beispiel durch Splines (7) (g) Filterung (siehe Abschnitt 3.2) (h) Erg¨ anzung durch Sch¨ atzung von Wahrscheinlichkeitsdichten, zum Beispiel mit dem EM-Algorithmus (Expectation Maximization) (30). (i) modellbasierte Erg¨ anzung, zum Beispiel Regression (siehe Kapitel 6) (i)

3. Entfernung von xk : Nur diejenige Merkmale des Ausreißers werden entfernt, die tats¨ achlich zu stark von den anderen Daten abweichen. Dieses Entfernen einzelner Werte kann dadurch implementiert werden, dass (i) die fehlerhaften Werte mit besonders deﬁnierten Symbolen wie xf = NaN (not a number) belegt werden. Zum Beispiel ist im 64-Bit IEEE Fließkommaformat das Symbol NaN als $7FFFFFFF deﬁniert. 4. Entfernung von xk : Der gesamte Ausreißer wird entfernt. Diese Methode wird h¨ auﬁg verwendet, hat aber in praktischen Anwendungen mit hochdimensionalen und stark gest¨ orten Daten den Nachteil, dass ein großer Teil des urspr¨ unglichen Datensatzes entfernt wird und dadurch f¨ ur die anschließende Datenanalyse m¨ oglicherweise zu wenige Daten zur Verf¨ ugung stehen.

26

3.2

3 Datenvorverarbeitung

Filterung

Zeitreihen enthalten h¨ auﬁg Rauschen und Ausreißer. Ausreißer in Datens¨atzen lassen sich allgemein wie im vorherigen Abschnitt beschrieben erkennen und behandeln. Rauschen und Ausreißer in Zeitreihen lassen sich jedoch auch direkt mit verschiedenen Methoden herausﬁltern. Durch Filterung werden nicht nur einzelne Daten (zum Beispiel Ausreißer), sondern in der Regel alle Daten ver¨ andert. Zu den einfachsten Filtermethoden geh¨oren die gleitenden statistischen Maße. Hierbei wird f¨ ur jeden Wert xk , k = 1, . . . , n, der Zeitreihe die unmittelbare Nachbarschaft dieses Werts betrachtet und ein statistisches Maß dieser Wertemenge als geﬁlterter Wert yk ausgegeben. Symmetrische gleitende statistische Maße ungerader Ordnung benutzen hierzu die Nachbarschaftsmengen Nkq = {xi | i = k − (q − 1)/2, . . . , k + (q − 1)/2}, q ∈ {3, 5, 7, . . .}, also außer xk noch die (q − 1)/2 vorhergehenden und die (q − 1)/2 nachfolgenden Werte. Symmetrische gleitende statistische Maße sind daher f¨ ur die nachtr¨agliche Filterung einsetzbar, wenn die gesamte Zeitreihe bereits vorliegt und im Nachhinein geﬁltert werden soll (Oﬄine-Betrieb). Asymmetrische gleitende statistische Maße benutzen dagegen die Nachbarschaftsmengen Nkq = {xi | i = k − q + 1, . . . , k}, also xk und die q − 1 vorangegangenen Werte, wobei die Ordnung q ganzzahlig ist, also gerade oder ungerade sein kann. Asymmetrische gleitende statistische Maße sind f¨ ur die sofortige Filterung von Zeitreihen geeignet, das heißt nach jedem neuen Eingangswert kann sofort ein Ausgangswert berechnet werden (Online-Betrieb). Die entsprechenden symmetrischen und asymmetrischen gleitenden Mittelwerte der ungeraden Ordnung q lauten yk

yk

=

=

1 q 1 q

k+ q−1 2

xi

(3.12)

xi

(3.13)

i=k− q−1 2 k i=k−q+1

Abbildung 3.4 zeigt eine Zeitreihe X = {x1 , . . . , xn } (links), die aus einer mit Rauschen und einem starken Ausreißer versetzten Cosinusfunktion gewonnen wurde. Die beiden anderen Diagramme in Abbildung 3.4 zeigen die mit asymmetrischem gleitendem Mittelwert geﬁlterten Zeitreihen Y = {yq , . . . , yn } f¨ ur q = 21 (Mitte) und q = 201 (rechts). In beiden geﬁlterten Zeitreihen wurde das Rauschen wesentlich verringert, f¨ ur die Intervalll¨ange 201 wurde das Rauschen sogar fast vollst¨ andig beseitigt. Die Amplitude des Ausreißers wurde von 2 auf etwa 0.5 bzw. 0.1 verringert. Die beste Filterung wird mit einer hohen Intervall¨ ange erzielt. Allerdings gehen durch die Filterung q − 1 Datenwerte verloren. Die Intervalll¨ ange sollte also gegen¨ uber der Anzahl der Daten vernachl¨assigbar sein (q n). Als statistisches Maß f¨ ur ordinalskalierte Daten wurde in Tabelle 2.2 bereits der Median aufgef¨ uhrt. Analog zum symmetrischen und asymmetrischen

3.2 Filterung

27

1

1

1

0.5

0.5

0.5

0

0

0

−0.5

−0.5

−0.5

−1 0

2

4

6

−1 0

2

4

−1 0

6

2

4

6

Abbildung 3.4: Original- und mit gleitendem Mittelwert geﬁlterte Daten 1

1

1

0.5

0.5

0.5

0

0

0

−0.5

−0.5

−0.5

−1 0

2

4

6

−1 0

2

4

6

−1 0

2

4

6

Abbildung 3.5: Original- und mit gleitendem Median geﬁlterte Daten

gleitenden Mittelwert der Ordnung q l¨ asst sich der symmetrische und asymmetrische gleitende Median der Ordnung q als mkq ∈ Ikq = {xk− q−1 , . . . , xk+ q−1 } 2 2 oder Ikq = {xk−q+1 , . . . , xk } mit {xi ∈ Ikq | xi < mkq } = {xi ∈ Ikq | xi > mkq }

(3.14)

deﬁnieren. Abbildung 3.5 zeigt die Anwendung von asymmetrischen gleitenden Medianﬁltern der Intervalll¨ ange 21 (Mitte) und 201 (rechts) auf den Datensatz xk (links). Ein Vergleich zwischen den Abbildungen 3.4 und 3.5 zeigt, dass der gleitende Mittelwert und der gleitende Median in etwa gleicher Weise das Rauschen verringern. Der gleitende Median ist jedoch wesentlich wirkungsvoller bei der Beseitigung des Ausreißers. Ein weiteres sehr einfaches Filterverfahren geht davon aus, dass der aktuelle Wert stets in etwa beibehalten wird, und ¨ andert den geﬁlterten Wert nur um einen Bruchteil η des durch diese Annahme verursachten Fehlers. yk+1 = yk + η · (xk − yk ),

k = 1, . . . , n − 1,

η ∈ [0, 1]

(3.15)

Jeder vergangene Wert yk−i , i = 1, . . . , k − 1, geht nach dieser Gleichung mit dem Koeﬃzienten (1−η)i in den geﬁlterten Wert yk ein. Die vergangenen Werte

28

3 Datenvorverarbeitung 1

1

0.5

0.5

0

0

−0.5

−0.5

−1 0

2

4

6

η=0.1 η=0.01

η=0.001

−1 0

2

4

6

Abbildung 3.6: Original- und exponentiell geﬁlterte Daten

werden also im Laufe der Zeit exponentiell vergessen. Dieses Filter heißt daher exponentielles Filter. Wegen der rekursiven Formulierung muss der geﬁlterte Wert y1 initialisiert werden. Hier verwenden wir die Initialisierung mit null. Abbildung 3.6 zeigt die Originaldaten X und die exponentiell geﬁlterten Daten Y mit den Parametern η = 0.1, 0.01 und 0.001. F¨ ur η = 0.1 ist der Filtereﬀekt gering. F¨ ur kleinere Werte von η wird das Rauschen stark und der Ausreißer weniger reduziert. F¨ ur kleine Werte von η folgt die geﬁlterte Zeitreihe den Elongationen der Originaldaten immer weniger nach, bis im Grenz¨ ubergang η → 0 die geﬁlterte Zeitreihe auf dem Initialwert beharrt (yk = y1 , k = 2, . . . , n). Die Familien diskreter linearer Filter der Ordnung q = 1, 2, . . . werden durch die allgemeine Diﬀerenzengleichung q−1 i=0

ai · yk−i =

q−1

bi · xk−i

(3.16)

i=0

mit den Koeﬃzienten a0 , . . . , aq−1 , b0 , . . . , bq−1 ∈ IR beschrieben (81). Daraus ergibt sich der Ausgang eines diskreten linearen Filters zu yk =

q−1 q−1 bi ai · xk−i − · yk−i a a i=0 0 i=1 0

(3.17)

Die Eigenschaften dieser Filter werden durch die Koeﬃzientenvektoren a = (a0 , . . . , aq−1 ) und b = (b0 , . . . , bq−1 ) festgelegt. F¨ ur a1 = . . . = aq−1 = 0 werden die vergangenen Werte yk−i , i = 1, . . . , q − 1 nicht f¨ ur die Berechnung des Filterausgangs yk verwendet, das heißt das Filter hat nur ein Ged¨achtnis f¨ ur die vergangenen q − 1 Eingangswerte und gibt zu einem endlichen Impuls am Eingang auch nur einen endlichen Impuls am Ausgang aus. Wegen dieses Eﬀekts sprechen wir von endlicher Impulsantwort (ﬁnite impulse response, FIR), ansonsten von unendlicher Impulsantwort (inﬁnite impulse response, IIR). Abbildung 3.7 zeigt eine Strukturdarstellung eines FIR-Filters. Dabei stehen die Kreise mit Pluszeichen f¨ ur Additionselemente, Pfeile mit Symbolen wie b0 f¨ ur Multiplikationen mit diesen Konstanten und leere Kreise f¨ ur eine zeitliche Verz¨ogerung um einen

3.2 Filterung

29

x y

1/a0

b0

b1

+

+

b2

bq-1

+

Abbildung 3.7: Strukturdarstellung eines FIR-Filters

x y

1/a0

b0

b1

+

+

b2

bq-1

+

a1

+

a2

aq-1

Abbildung 3.8: Strukturdarstellung eines IIR-Filters

Schritt, das heißt eine Speicherung des aktuellen Werts und ein Auslesen des letzten Werts (auch Register genannt). Die entsprechende Strukturdarstellung eines IIR-Filters ist in Abbildung 3.8 gezeigt. Durch die ¨ahnliche Verarbeitung der Werte von x und y ergibt sich eine nahezu symmetrische Struktur. Solche Filterstrukturen oder Teile davon lassen sich in spezieller Hardware implementieren, zum Beispiel in sogenannten Signalprozessoren, und erm¨oglichen dann eine sehr eﬃziente Filterung. Diskrete lineare Filter sind sehr allgemeine Filterfamilien, die den gleitenden Mittelwert und das exponentielle Filter als spezielle Instanzen enthalten. Einsetzen der Koeﬃzientenvektoren a = (1, η − 1), b = (0, η) in (3.17) ergibt zum Beispiel yk = η · xk−1 − (η − 1) · yk−1 = yk−1 + η(xk−1 − yk−1 )

(3.18)

was dem exponentiellen Filter nach (3.15) entspricht. Einsetzen der Koeﬃzien1 1 tenvektoren a = (1), b = ( , . . . , ) in (3.17) ergibt q q q mal yk =

q−1 1 i=0

q

· xk−i =

1 q

k

xi

(3.19)

i=k−q+1

was dem asymmetrischen gleitenden Mittelwert nach (3.13) entspricht. Der gleitende Mittelwert zweiter Ordnung wird auch FIR-Tiefpass erster Ordnung genannt. Es existieren zahlreiche algorithmische Verfahren und Tabellenwerke zum Filterentwurf, also zur Bestimmung geeigneter Filterkoeﬃzienten f¨ ur bestimmte gew¨ unschte Eigenschaften. Abbildung 3.9 zeigt die mit einem FIR-Tiefpass

30

3 Datenvorverarbeitung 1

1

0.5

0.5

0

0

0.1 ωg=0.001

0.08

0.06

0.04 −0.5

−1 0

−0.5

2

4

6

−1 0

0.02

2

4

6

0 0

7

14

21

Abbildung 3.9: Originaldaten, mit FIR-Tiefpass 21. Ordnung geﬁlterte Daten und Filterkoeﬃzienten Tabelle 3.1: Filterkoeﬃzienten f¨ ur Butterworth-Tiefp¨ asse zweiter Ordnung f¨ ur unterschiedliche Grenzfrequenzen

ωg 0.01 0.003 0.001

a0 1 1 1

a1 −1.96 −1.99 −2

a2 0.957 0.987 0.996

b0 2.41 · 10−4 2.21 · 10−5 2.46 · 10−6

b1 4.83 · 10−4 4.41 · 10−5 4.92 · 10−6

b2 2.41 · 10−4 2.21 · 10−5 2.46 · 10−6

21. Ordnung geﬁlterte Zeitreihe X (Mitte) und die dazugeh¨origen Filterkoeﬃzienten b0 , . . . , b21 (rechts). Die Filterkoeﬃzienten b sind alle positiv und liegen auf einer symmetrischen Glockenkurve. Der gr¨oßte Koeﬃzient ist b10 , also der mittlere Koeﬃzient, und die Summe aller Koeﬃzienten ist b0 + . . . + b21 = 1. Außerdem ist wie bei allen FIR-Filtern a = (1). Eine bekannte Familie von IIR-Filtern sind die Butterworth-Filter, f¨ ur die ebenfalls eine deﬁnierte Entwurfsmethode existiert (24). Ein Butterworth-Tiefpass erster Ordnung mit der Grenzfrequenz ωg = 0.5 hat die Filterkoeﬃzienten a = (1), b = (0.5, 0.5), entspricht also dem FIR-Tiefpass erster Ordnung bzw. dem gleitenden Durchschnitt zweiter Ordnung. Tabelle 3.1 zeigt die Filterkoeﬃzienten f¨ ur Butterworth-Tiefp¨ asse zweiter Ordnung f¨ ur unterschiedliche Grenzfrequenzen ωg = 0.01, 0.003 und 0.001. Die Filterkoeﬃzienten b sind s¨amtlich positiv, und es gilt 2 · b0 = b1 = 2 · b2 . Im Grenz¨ ubergang f¨ ur ωg → 0 erhalten wir oﬀensichtlich a = (1, −2, 1) und b = (0, 0, 0), also ein autoregressives System mit yk = −2yk−1 + yk−2 (3.20) das mit der Initialisierung null auch bei null verharrt. Dies ist allerdings der einzige endliche station¨ are Zustand eines solchen Systems. Abbildung 3.10 zeigt die Butterworth-geﬁlterten Daten f¨ ur X mit den Koeﬃzienten aus Tabelle 3.1. Sowohl das Rauschen als auch der Ausreißer werden schon bei großen Grenzfrequenzen stark reduziert. F¨ ur sehr kleine Grenzfrequenzen tritt jedoch der schon

3.3 Standardisierung

31

1

1

0.5

0.5

ωg=0.01 ω =0.003 g ωg=0.001

0

0

−0.5

−0.5

−1 0

2

4

6

−1 0

2

4

6

Abbildung 3.10: Original- und Butterworth-geﬁlterte Daten

von den exponentiellen Filtern (Abbildung 3.6) bekannte Eﬀekt auf, dass die geﬁlterte Zeitreihe dem Original immer weniger folgt und schließlich konstant null wird, also auf den station¨ aren Zustand konvergiert. W¨ahrend das FIRTiefpassﬁlter aus Abbildung 3.9 insgesamt 22 Parameter besitzt, sind es bei dem IIR-Filter aus Abbildung 3.10 nur 6. Im Vergleich zur FIR-Filtern erreichen IIR-Filter den gleichen Filtereﬀekt mit wesentlich geringerem Rechenaufwand und wesentlich weniger Parametern.

3.3

Standardisierung

In mehrdimensionalen Datens¨ atzen haben einzelne Merkmale h¨auﬁg sehr unterschiedliche Wertebereiche. Zum Beispiel unterscheiden sich der Preis eines Autos in Euro und dessen H¨ ochstgeschwindigkeit in Kilometern pro Stunde m¨oglicherweise um mehrere Zehnerpotenzen. Werden diese Merkmalswerte unver¨andert f¨ ur die Datenanalyse verwendet, so ergibt sich oft ein stark verf¨alschtes Bild, zum Beispiel dadurch, dass numerisch kleinere Merkmale gegen¨ uber numerisch gr¨ oßeren Merkmalen vernachl¨ assigt werden. Abbildung 3.11 (links) zeigt einen Datensatz, der aus einer Normalverteilung mit dem Mittelwertvektor μ = (0, 0) und dem Standardabweichungsvektor s = (0.1, 10) gewonnen wurde, das heißt die beiden Merkmale sind zwar unkorreliert, unterscheiden sich aber um zwei Zehnerpotenzen. Der Datensatz erscheint als Punkte auf einer vertikalen Linie durch den Ursprung. Dies gibt m¨ oglicherweise die wirkliche Struktur des Datensatzes wieder, wenn es sich bei den Merkmalen zum Beispiel um die L¨ange und den Durchmesser von Rohren in Millimetern handelt. Falls die Objekte aber, wie oben skizziert, Autos sind und die Merkmale Preise in Euro und H¨ochstgeschwindigkeiten in Kilometern pro Stunde, so ist die ungleiche Gewichtung der beiden Merkmale lediglich auf die Wahl der u uckzuf¨ uhren ¨ blichen Einheit zur¨ und ist somit willk¨ urlich und irref¨ uhrend. Eine M¨oglichkeit, Abhilfe zu schaffen, ist die Wahl besser geeigneter Einheiten, zum Beispiel Geschwindigkeiten in Millimetern pro Sekunde statt Kilometern pro Stunde. Eine einfachere Methode ist die automatische Wahl geeigneter Skalierungen der einzelnen Merkmale,

32

3 Datenvorverarbeitung 30

3

20

2

10

1

0

0

−10

−1

−20

−2

−30

−20

0

−3

20

−2

0

2

Abbildung 3.11: Zwei Merkmale mit unterschiedlichen Wertebereichen: Originaldaten und standardisierte Daten

auch Standardisierung genannt. Allgemein l¨asst sich zu einem mehrdimensionalen Datensatz ein minimaler Hyperw¨ urfel oder Merkmalsraum H(X) = [min{X (1) }, max{X (1)}] × . . . × [min{X (p) }, max{X (p) }]

(3.21)

angeben, der alle Punkte aus X enth¨ alt (X ⊆ H). Falls X Ausreißer enth¨alt oder nur Teilbereiche des eigentlich relevanten Merkmalsraums abdeckt, so ist es g¨ unstiger, statt des beobachteten Hyperw¨ urfels H(X) einen deﬁnierten relevanten Merkmalsraum (1)

(p)

(p) H ∗ (X) = [xmin , x(1) max ] × . . . × [xmin , xmax ]

(3.22)

zu betrachten. Allgemein betrachten wir also Merkmalsr¨aume mit willk¨ urlich deﬁnierten Grenzen xmin und xmax oder mit beobachteten Grenzen xmin = min{X (i) } und xmax = max{X (i) }. Eine g¨ unstige Darstellung des Datensatzes kann dadurch erreicht werden, dass alle Seiten des deﬁnierten oder beobachteten Merkmalsraums gleich lang erscheinen. Dies entspricht einer Transformation (i)

yk =

(i)

(i)

xk − xmin (i)

(i)

xmax − xmin

(3.23)

die auch Standardisierung des Hyperw¨ urfels genannt wird. Eine alternative Methode der Standardisierung benutzt statistische Maße des Datensatzes X, beispielsweise den Mittelwert x ¯ (2.16) und die Standardabweichung s (3.2). Die entsprechende sogenannte μ-σ-Standardisierung erfolgt gem¨ aß (i) x −x ¯(i) (i) yk = k (i) (3.24) s Abbildung 3.11 (rechts) zeigt die μ-σ-Standardisierung des links dargestellten Datensatzes. Der standardisierte Datensatz erscheint nicht mehr als vertikale Line, sondern als Punktwolke. Diese gibt m¨oglicherweise die Struktur des

3.3 Standardisierung

33

Datensatzes besser wieder. Dies ist jedoch, wie oben illustriert, stark von der Semantik der Daten abh¨ angig. Die Standardisierung des beobachteten Hyperw¨ urfels ist die optimale Skalierung f¨ ur unabh¨ angige gleichverteilte Merkmalsdaten, und die μ-σ-Standardisierung ist die optimale Skalierung f¨ ur unabh¨angige Gauß-verteilte Merkmalsdaten. Reale Daten sind jedoch in der Regel nicht unabh¨angig und weder ideal gleichverteilt noch ideal Gauß-verteilt, k¨ onnen aber oft zumindest n¨aherungsweise als unabh¨ angig und gleichverteilt oder Gauß-verteilt betrachtet werden. Viele Daten lassen sich dagegen besser durch einseitig begrenzte oder beidseitig unbegrenzte Verteilungen ann¨ ahern. Zum Beispiel k¨onnen Zeitdiﬀerenzen zwischen zuf¨ allig eintretenden Ereignissen wie das Eintreﬀen neuer Bestellungen einer Poisson-Verteilung folgen, die immer positive Werte liefert, und bei der auch sehr große Werte m¨ oglich sind, allerdings mit abnehmender Wahrscheinlichkeit. Eine Standardisierung des beobachteten Hyperw¨ urfels oder eine μ-σ-Standardisierung solcher Daten wird stets sehr stark von dem gr¨oßten beobachteten Wert bestimmt, der u ¨ ber weite Bereiche schwanken kann und daher keine zuverl¨ assige Standardisierung erlaubt. In solchen F¨allen ist es sinnvoll, die betreﬀenden Merkmale so zu transformieren, dass sich eine n¨aherungsweise Gleich- oder Gauß-Verteilung ergibt. Bei der Wahl einer geeigneten Transformation ist die Identiﬁkation des beobachteten und des gew¨ unschten Wertebereichs hilfreich. Im Folgenden ist eine Liste h¨ auﬁg verwendeter Datentransformationen sowie deren Wertebereiche angegeben. • reziproke Transformation f : IR\{0} → IR\{0} f (x) = f −1 (x) =

1 x

(3.25)

• Wurzeltransformationen f : (c, ∞) → IR+ f (x) = −1 f (x) =

√ b x−c b x + c, c ∈ IR, b > 0

(3.26) (3.27)

• logarithmische Transformation f : (c, ∞) → IR f (x) f −1 (x)

= logb (x − c) = bx + c, c ∈ IR, b > 0

(3.28) (3.29)

• Fisher-Z Transformation f : (−1, 1) → IR f (x) = f −1 (x)

=

1+x 1 · ln 2 1−x ex − e−x tanh x = x e + e−x artanh x =

(3.30) (3.31)

34

3 Datenvorverarbeitung

3.4

Datenkonsolidierung

Die zu analysierten Datens¨ atze sind oft zun¨achst nicht in einem einzigen Datensatz erfasst, sondern auf viele verschiedene Datens¨atze, Dateien, Datenbanken und Systeme verteilt. Zum Beispiel sind die Preise verschiedener Waren vielleicht in einer anderen Datenbank gespeichert als die Umsatzzahlen, oder die Mess- und Steuergr¨ oßen einer gesamten Fabrikanlage sind u ¨ber unterschiedliche Automatisierungsrechner in den einzelnen Fertigungsschritten verteilt. Die Datenhaltung und -bereitstellung in solchen verteilten Datenbanksystemen wird auch als Data Warehousing bezeichnet (8). Um eine geschlossene Analyse dieser verteilten Daten durchf¨ uhren zu k¨ onnen, ist es notwendig, die Vektoren in den unterschiedlichen Daten einander zuzuordnen. Diese Zuordnung kann in Form von Marken erfolgen, zum Beispiel durch • Codes, die eine Person oder einen Gegenstand eindeutig kennzeichnen, • (relative) Zeitangaben, die ein Ereignis an einem bestimmten Ort speziﬁzieren, und besonders bei sequentiellen Prozessen eine Rolle spielen (dabei m¨ ussen auch die Verz¨ ogerungen zwischen den einzelnen Prozessschritten ber¨ ucksichtigt werden), oder • (relative) Ortsangaben, die zum Beispiel Positionen auf einem Gegenstand angeben. Abbildung 3.12 zeigt zwei solcher Datens¨atze und einen anhand der Marken zusammengef¨ ugten Datensatz. Das Zusammenf¨ ugen der Datens¨atze kann prinzipiell mit Hilfe einfacher Vergleichsoperationen (auf den Marken) erfolgen. Oft existieren jedoch Marken, zu denen nicht in allen Datens¨atzen Daten vorhanden sind, so dass Teile des zusammengef¨ ugten Datensatzes leer bleiben; in diesem Fall muss entschieden werden, unter welchen Bedingungen ein Datum u ¨ berhaupt in den Datensatz aufgenommen oder besser weggelassen werden sollte. Falls in einem Datensatz Marken mehrfach mit unterschiedlichen Daten vorkommen, muss entschieden werden, welche Daten ausgew¨ahlt werden sollen oder ob eine Mittelung der Daten sinnvoll ist. Wenn Zeit- oder Ortsangaben als Marken benutzt werden, geh¨ oren Daten mit ¨ ahnlichen Marken wie zum Beispiel 9.59 Uhr“ ” und 10.00 Uhr“ eigentlich zusammen, so dass entschieden werden muss, bis zu ” welchem Abstand die Daten als zusammengeh¨orend interpretiert werden d¨ urfen. All diese Entscheidungen m¨ ussen individuell in Abh¨angigkeit von der Anwendung und den Daten getroﬀen werden. Marke

Daten x

.. .

.. .

+

Marke

Daten y

.. .

.. .

=

Marke

Daten x

Daten y

.. .

.. .

.. .

Abbildung 3.12: Zusammenf¨ ugen von Datens¨ atzen

35

Kapitel 4

Visualisierung Ein gutes und etabliertes Werkzeug zur Analyse von Datens¨atzen ist das menschliche Auge. Bei der Datenanalyse spielt daher die Visualisierung, das heißt die graﬁsche Darstellung der Daten, eine große Rolle (32; 129). Visualisierte Daten eignen sich auch gut f¨ ur Diskussionen mit Dom¨anen-Experten. Auf Papier oder Bildschirm k¨ onnen nur zwei Dimensionen dargestellt werden. Zur Visualisierung h¨ oherdimensionaler Merkmalsdaten werden Projektionsmethoden ein¨ gesetzt. Abbildung 4.1 gibt eine Ubersicht u ¨ ber die in diesem Kapitel beschriebenen Methoden der Visualisierung und Projektion.

4.1

Diagramme

Zu den am weitesten verbreiteten M¨ oglichkeit, Daten graﬁsch darzustellen, geh¨oren zweidimensionale Visualisierungen, in denen einzelne Merkmale entlang der Koordinatenachsen aufgetragen werden, so dass jeder Merkmalsvektor als Punkt visualisiert wird. Wird nur ein Merkmal visualisiert, sprechen wir von einem (einfachen) Diagramm. Mehrdimensionale Visualisierungen sind mit einem Streudiagramm m¨oglich. Bei zweidimensionalen Streudiagrammen wird meist die Merkmalsebene auf die Visualisierungsebene abgebildet und orthogonale Koordinatenachsen verwendet. In h¨ oherdimensionalen Streudiagrammen wird der Merkmalsraum auf die zweidimensionale Visualisierungsebene projiziert oder weitere Bildsymbole (wie zum Beispiel Symbole, Ziﬀern, Grauwerte oder Farben) zur Darstellung einzelner Merkmale verwendet. Verbreitet sind dreidimensionale Streudiagramme, bei denen der Merkmalsw¨ urfel durch eine vorgegebene lineare Projektion auf die Visualisierungsebene abgebildet wird. F¨ ur einen dreidimensionalen Datensatz X = {(x1 , y1 , z1 ), . . . , (xn , yn , zn )} zeigt Abbildung 4.2 ein (einfaches) Diagramm f¨ ur X (1) = {x1 , . . . , xn } (links), ein Streudiagramm (1,2) f¨ ur X = {(x1 , y1 ), . . . , (xn , yn )} (Mitte) und ein dreidimensionales Streudiagramm X (1,...,3) = {(x1 , y1 , z1 ), . . . , (xn , yn , zn )} (rechts). W¨ahrend das linke (einfache) Diagramm nur die Werte des ersten Merkmals zeigt, werden aus den Streudiagrammen die Zusammenh¨ ange zwischen den ersten beiden bzw. allen

36

4 Visualisierung

Visualisierung

Projektion

Diagramm

achsenparallele Projektion

Streudiagramm

Hauptachsentransformation

Histogramm

mehrdimens. Skalierung

Spektrum

Abbildung 4.1: Verfahren der Visualisierung und Projektion 1

1

0.8

0.8

0.6

0.6

1

0.5 0.4

0.4

0.2

0.2

0 5 5 0

0

20

40

0 −5

60

0

5

0 −5 −5

Abbildung 4.2: Diagramm, zwei- und dreidimensionales Streudiagramm 5

1

1

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0

−5 −5

0

5

0 −5

0

5

0 −5

0

5

Abbildung 4.3: Die drei verschiedenen zweidimensionalen achsenparallelen Projektionen eines dreidimensionalen Datensatzes

4.2 Hauptachsentransformation

37

drei Merkmalen deutlich. Je mehr Merkmale in das Diagramm einbezogen werden, desto mehr Information wird dargestellt, allerdings kann dadurch auch die ¨ Ubersichtlichkeit verringert werden. Wird bei dreidimensionalen Streudiagrammen die Beobachterposition (also der Blickwinkel und damit die Projektion) falsch gew¨ ahlt, so ist die Struktur der Daten in der zweidimensionalen Projektion nicht mehr erkennbar. Mehr als drei Merkmale k¨onnen ohne die Hinzunahme weiterer Bildsymbole nicht als Streudiagramme visualisiert werden, sondern nur ihre ein- oder zweidimensionalen Projektionen. Abbildung 4.3 zeigt die (achsenparallelen) Projektionen des obigen Datensatzes auf die durch die Koordinatenachsenpaare (x, y), (x, z) und (y, z) (von links nach rechts) aufgespannten zweidimensionalen Ebenen. Solche achsenparallele Projektionen k¨onnen einfach durch Weglassen der Merkmale z, y bzw. x erzeugt werden. Im zweidimensionalen Streudiagramm sind dann jeweils die verbleibenden beiden Merkmale dargestellt. Das mittlere Diagramm l¨ asst die Struktur der Daten erahnen, und im rechten Diagramm sind H¨ aufungen am unteren und oberen Rand zu erkennen, die Aussagekraft dieser einfachen achsenparallelen Projektionen ist jedoch sehr beschr¨ ankt. In den folgenden beiden Abschnitten werden zwei Projektionsverfahren vorgestellt, die die Visualisierung auch hochdimensionaler und kompliziert geformter Datenverteilungen vereinfachen.

4.2

Hauptachsentransformation

Achsenparallele Projektionen wie die in Abbildung 4.3 geben die Struktur der Daten nur dann erkennbar wieder, wenn die Strukturen in den Daten auch tats¨ achlich parallel zu den Koordinatenachsen verlaufen. Ist dies nicht der Fall, so kann eine Koordinatentransformation so durchgef¨ uhrt werden, dass der neue Ursprung genau im Zentrum (Mittelwert) der Daten liegt und die Achsen entsprechend der Datenstrukturen ausgerichtet sind. Abbildung 4.4 zeigt solche Koordinatenachsen y1 und y2 f¨ ur einen Datensatz, der aus einer schr¨ag nach rechts oben verlaufenden Punktwolke besteht. Die Projektion dieses Datensatzes auf y1 zeigt eine h¨ ohere Varianz der Daten als die Projektion auf die waagerechte Ach10

8

y2 y1

6

4

2

0 0

5

10

Abbildung 4.4: Hauptachsentransformation

38

4 Visualisierung

se, w¨ ahrend die Projektion des Datensatzes auf y2 eine geringere Varianz zeigt als die Projektion auf die senkrechte Achse. Daraus wird deutlich, dass die Daten entlang der y2 -Achse konzentriert und entlang der y1 -Achse weit verteilt sind, was die Struktur der Daten sehr gut wiedergibt. Die Vektoren y1 und y2 werden daher auch Hauptachsen des Datensatzes genannt, und die Transformation der Daten in das neue Koordinatensystem heißt Hauptachsentransformation (85). Weitere verbreitete Bezeichnungen f¨ ur diese Methode sind Hauptkomponentenanalyse, Principal Component Analysis (PCA), Singul¨arwertzerlegung, Singular Value Decomposition (SVD), Karhunen-Loeve-TransformationKarhunen-LoeveTransformation oder Eigenvektorprojektion. Die Hauptachsentransformation eines Datensatzes X ist eine Kombination aus einer Verschiebung (Translation) und einer Drehung (Rotation). yk = (xk − x ¯) · E

(4.1)

wobei x ¯ (2.16) der Mittelwert von X und E eine geeignete noch zu bestimmende Rotationsmatrix ist. Die entsprechende R¨ ucktransformation ergibt sich zu xk = yk · E T + x¯

(4.2)

¨ Nach obigen Uberlegungen kann eine geeignete Rotationsmatrix E durch Maximierung der Varianz in Y gewonnen werden. Die Varianz vy ist das Quadrat der Standardabweichung (3.2), also 1 T yk yk n−1 n

vy

= = =

=

1 n−1

k=1 n

(xk − x ¯) · E

k=1 n

(4.3) T · (xk − x ¯) · E

1 E T · (xk − x ¯)T · (xk − x ¯) · E n−1 k=1 n 1 T T (xk − x ¯) · (xk − x ¯) · E E n−1

(4.4) (4.5)

(4.6)

k=1

=

ET · C · E

(4.7)

Dabei ist C die Kovarianzmatrix von X, die schon bei der Deﬁnition des Mahalanobis-Abstands in (2.15) erw¨ ahnt wurde. Die Elemente der Kovarianzmatrix sind n 1 (i) (j) cij = (xk − x ¯(i) )(xk − x ¯(j) ), i, j = 1, . . . , p (4.8) n−1 k=1

Die Transformationsmatrix E soll nur eine Drehung, aber keine Streckung durchf¨ uhren, also gilt ET · E = 1 (4.9)

4.2 Hauptachsentransformation

39

Zur Maximierung der Varianz (4.7) unter der Randbedingung (4.9) eignet sich das Langrange-Verfahren mit der Lagrange-Funktion L = E T CE − λ(E T E − 1)

(4.10)

Die notwendige Bedingung f¨ ur ein Optimum von L ist

⇔

∂L ∂E CE + E T C − 2λE ⇔ CE

= 0

(4.11)

= 0 = λE

(4.12) (4.13)

Gleichung (4.13) beschreibt ein Eigenwertproblem, das sich zum Beispiel durch Umformung in das entsprechende homogene Gleichungssystem (C − λI) · E = 0

(4.14)

l¨ osen l¨ asst. Die Rotationsmatrix ergibt sich aus den Eigenvektoren von C. E = (v1 , . . . , vp ),

(v1 , . . . , vp , λ1 , . . . , λp ) = eig C

(4.15)

Die Varianzen in Y entsprechen den Eigenwerten λ1 , . . . , λp von C, denn CE = λE

⇔

λ = E T CE = vy

(4.16)

Die Hauptachsentransformation liefert also nicht nur die Koordinatenachsen f¨ ur Y , mit denen die Varianz maximiert wird, sondern auch die entsprechenden Varianzen selbst. Dies kann f¨ ur eine Projektion, also eine Dimensionsreduktion genutzt werden. Wenn der Datensatz X ⊂ IRp auf einen Datensatz Y ⊂ IRq mit 1 ≤ q < p abgebildet werden soll, so werden einfach die Koordinatenachsen (Eigenvektoren) mit den q h¨ ochsten Eigenwerten (Varianzen) verwendet und aus diesen die Rotationsmatrix E gebildet. E = (v1 , . . . , vq )

(4.17)

F¨ ur die Darstellung eines hochdimensionalen Datensatzes in einem zweidimensionalen Streudiagramm wird also q = 2 gew¨ahlt. Die Hauptachsentransformation eignet sich allerdings auch allgemein zur Verringerung der Datendimension f¨ ur nachfolgende Verarbeitungsschritte. In diesem Fall kann eine geeignete Projektionsdimension q zum Beispiel dadurch bestimmt werden, dass gefordert wird, dass in der Projektion mindestens 95% (oder einen anderen prozentualen Wert) der gesamten Varianzen erhalten sind. p q λi λi ≥ 95% (4.18) i=1

i=1

F¨ ur p = q ist die Hauptachsentransformation eine Kombination aus Translation und Rotation, und die R¨ ucktransformation macht diese Operationen wieder

40

4 Visualisierung

r¨ uckg¨ angig. In diesem Fall ist der Fehler der Transformation gleich null. Wird jedoch zus¨ atzlich eine Projektion durchgef¨ uhrt (q < p), so liefert die R¨ ucktransformation die Vektoren xk , k = 1, . . . , n, f¨ ur die im Allgemeinen xk = xk gilt. Der hierdurch verursachte Fehler l¨ asst durch die Summe der weggelassenen Eigenwerte absch¨ atzen. e=

p n 1 (xk − xk )2 = λi n i=q+1

(4.19)

k=1

Da gerade diejenigen Eigenvektoren ausgew¨ahlt werden, die die gr¨oßten Eigenwerte besitzen, liefert diese Methode die Projektion mit minimalem quadratischen Fehler. Die Hauptachsentransformation l¨asst sich auch in umgekehrter Reihenfolge herleiten, indem eine Abbildung gesucht wird, die den quadratischen Projektionsfehler minimiert, woraus sich ergibt, dass diese Abbildung die Varianzen maximiert.

Beispiel Abbildung 4.5 zeigt den Datensatz X = {(1, 1), (2, 1), (2, 2), (3, 2)}

(4.20)

Daraus ergeben sich der Mittelwert (2.16) und die Kovarianz (4.8) x ¯ = C

=

1 · (4, 3) 2 1 2 1 · 1 1 3

(4.21) (4.22)

und daraus die Eigenwerte und -vektoren (4.15) λ1

= 0.8727

(4.23)

λ2

= 0.1273

(4.24)

4

4

3.5

3.5

3

3

2.5

2.5 x3

2

x’

x4

4

2 x’3

1.5 1

1.5 x1 v

x2

1

1

1

0.5 0 0

x’2 x’

0.5 1

2

3

4

0 0

1

2

3

4

Abbildung 4.5: Hauptachsentransformation, Beispiel

4.3 Mehrdimensionale Skalierung

41

v1

=

v2

=

−0.85065 −0.52573 0.52573 −0.85065

(4.25) (4.26)

Zur Projektion auf nur eine Hauptachse wird v1 , der Eigenvektor mit dem h¨ochsten Eigenwert, ausgew¨ ahlt. Dadurch werden etwa 87% (4.23) der Varianzen abgedeckt. Es ergibt sich das Koordinatensystem, das in Abbildung 4.5 durch den Vektor v1 und seinen Ursprung in x ¯ speziﬁziert ist. Die entsprechende Rotationsmatrix lautet −0.85065 (4.27) E = v1 = 0.52573 und daraus ergeben sich die projizierten Daten (4.1) Y = {1.1135, 0.2629, −0.2629, −1.1135}

(4.28)

Die R¨ ucktransformation (4.2) liefert X = { (1.0528, 0.91459), (1.7764, 1.3618), (2.2236, 1.6382), (2.9472, 2.0854) } = X

(4.29)

Wie Abbildung 4.5 (rechts) zeigt, liegen die Projektionen X auf der Hauptachse der Daten X, dem Koordinatenvektor v1 . Nat¨ urlich l¨asst sich der zweidimensionale Datensatz X ohne Projektion visualisieren, wie ja in Abbildung 4.5 gezeigt. Die Projektion eines zweidimensionalen Datensatzes auf einen eindimensionalen Datensatz dient hier nur zur Veranschaulichung der Vorgehensweise. Zu den h¨ auﬁgsten Anwendungsbereichen der Hauptachsentransformation geh¨ ort die Projektion von hochdimensionalen Daten auf zweidimensionale Daten zur Visualisierung. Die Hauptachsentransformation ist eine lineare Abbildung, was zu einem relativ geringen Rechenaufwand und einer großen Robustheit f¨ uhrt. Komplexe hochdimensionale nichtlineare Datenstrukturen k¨onnen durch lineare Abbildungen jedoch nicht geeignet projiziert werden, sondern verlangen nach nichtlinearen Projektionsverfahren. Ein solches nichtlineares Projektionsverfahren ist im folgenden Abschnitt dargestellt.

4.3

Mehrdimensionale Skalierung

Ein Beispiel f¨ ur ein etabliertes nichtlineares Projektionsverfahren ist die mehrdimensionale Skalierung, die die Projektionsdaten bez¨ uglich einer vorgegebenen Relation an die Originaldaten anpasst. Wie schon in Abschnitt 2.4 beschrieben l¨ asst sich zu jedem numerischer Datensatz X = {x1 , . . . , xn } ⊂ IRp eine Relationsmatrix deﬁnieren, zum Beispiel eine Euklidische Abstandsmatrix Dx = (dxij ), dxij = xi − xj , i, j = 1, . . . , n. Entsprechend l¨asst sich auch f¨ ur den transformierten Datensatz Y = {y1 , . . . , yn } ⊂ IRq eine Abstandsmatrix Dy = (dyij ), dyij = yi − yj , i, j = 1, . . . , n, bestimmen. Die mehrdimensionale Skalierung

42

4 Visualisierung

versucht, zu einem gegebenen Datensatz X einen projizierten Datensatz Y so zu bestimmen, dass dxij ≈ dyij f¨ ur alle i, j = 1, . . . , n. Neben der eigentlichen Projektion besteht eine andere Anwendung f¨ ur die mehrdimensionale Skalierung darin, zu gegebenen relationalen Daten Dx eine geeignete Repr¨ asentation durch reellwertige Merkmalsvektoren Y zu bestimmen, also zum Beispiel Objekte auf einer Ebene so anzuordnen, dass der Abstand zwischen Paaren von Merkmalsvektoren in etwa der Un¨ahnlichkeit der entsprechenden Objekte entspricht. Beispielsweise l¨ asst sich eine Sammlung von Textdokumenten auf folgende Weise quasi kartographieren“: Zun¨achst wird die Matrix ” ¨ der paarweisen Ahnlichkeiten der Textdokumente mit einem der in Abschnitt 2.6 beschriebenen Maße bestimmt. Dann wird zu jedem Dokument ein zweidimensionaler Vektor zuf¨ allig initialisiert und als Repr¨asentant dieses Dokuments markiert. Schließlich wird die Menge aller Repr¨asentanten-Vektoren sukzessiv so ¨ angepasst, dass die Ahnlichkeitsmatrix dieser Vektoren m¨oglichst gut mit der ¨ Ahnlichkeitsmatrix der entsprechenden Textdokumente u ¨bereinstimmt. Um m¨ oglichst ¨ ahnliche Abstandsmatrizen Dx und Dy zu erhalten, also um die etwas plakative Forderung Dx ≈ Dy zu realisieren, wird zun¨achst ein Maß f¨ ur die Abweichung zwischen den beiden Matrizen Dx und Dy deﬁniert und dieses Fehlermaß dann sukzessiv numerisch minimiert. Geeignete Fehlermaße sind

E1

=

1 n n

i=1 j=i+1

E2

=

E3

=

2 dxij

n n

dyij − dxij

i=1 j=i+1

dxij

(4.30)

i=1 j=i+1

2 dyij − dxij dxij i=1 j=i+1 y 2 n n dij − dxij dxij i=1 j=i+1 n n

1 n n

2

(4.31)

(4.32)

Die Vorfaktoren in E1 und E3 h¨ angen nur von X ab, sind deshalb konstant und dienen lediglich dazu, geeignete Parameter des verwendeten Optimierungsverfahrens weitgehend unabh¨ angig von den Daten festlegen zu k¨onnen. E1 ist ein Maß f¨ ur den absoluten quadratischen Fehler, E2 ist ein Maß f¨ ur den relativen quadratischen Fehler und E3 ist ein Kompromiss zwischen E1 und E2 , der sowohl den absoluten als auch den relativen Fehler ber¨ ucksichtigt. In vielen praktischen Anwendungen liefert E3 die besten Ergebnisse. Die mehrdimensionale Skalierung mit E3 wird auch Sammon-Abbildung (112) genannt. Zur Bestimmung eines projizierten Datensatzes Y durch Minimierung des Fehlers E (also E1 , E2 oder E3 ) eignet sich ein Gradientenabstiegsverfahren. Gradientenabstieg bedeutet, dass der zu bestimmende Parameter in jedem Schritt proportional zum Gradienten

4.3 Mehrdimensionale Skalierung

43

der zu minimierenden Funktion ver¨ andert wird. Im Fall der mehrdimensionalen Skalierung wird der Gradientenabstieg gem¨aß der Vorschrift yk := yk − α ·

∂E ∂yk

(4.33)

k = 1, . . . , n, mit einer geeigneten Schrittweite α > 0 durchgef¨ uhrt. Zur Berechnung der Gradienten der obigen Fehlerfunktionen muss die Ableitung des Abstands nach einem Punkt berechnet werden. Diese ist entweder Null oder gleich der Richtung des Abstands. ∂dyij ∂ = yi − yj = ∂yk ∂yk

y 0

k −yj dy kj

falls i = k sonst

(4.34)

Damit ergeben sich die Gradienten der Fehlerfunktionen zu ∂E1 ∂yk

=

2 n n

i=1 j=i+1

∂E2 ∂yk

=

∂E3 ∂yk

=

dxij

2

i=1 j=i+1

dxij

(4.35)

j=k

2 2 n n

y −y y k j dkj − dxkj dykj yk − yj dykj

(4.36)

j=k

dykj − dxkj 2 dxkj

dykj − dxkj

yk − yj dykj

(4.37)

j=k

dxkj

Damit l¨ asst sich die mehrdimensionale Skalierung mit Gradientenabstieg durchf¨ uhren, wie in Abbildung 4.6 gezeigt. Nach zuf¨alliger Initialisierung wird f¨ ur jeden einzelnen projizierten Vektor yk , k = 1, . . . , n, ein Gradientenabstiegsschritt durchgef¨ uhrt und dann die Abst¨ ande dyij sowie die Gradienten ∂E/∂yk , k = 1, . . . , n, neu berechnet. Der Algorithmus terminiert, sobald die (in der Regel abnehmende) quadratische Summe der Gradienten einen Schwellwert Eth unterschreitet.

Beispiel F¨ ur den Datensatz (4.20) aus Abbildung 4.5 ergibt sich die Euklidische Abstandsmatrix zu √ √ ⎞ ⎛ 0 1 2 √5 ⎜ 1 2 ⎟ 0 1 ⎟ √ (4.38) Dx = ⎜ ⎝ 2 1 0 1 ⎠ √ √ 5 2 1 0 Die Daten X sowie die Abst¨ ande sind in Abbildung 4.7 (links) dargestellt. Der projizierte Datensatz wird initialisiert als Y = {1, 2, 3, 4}. Dieser entspricht der

44

4 Visualisierung

1. Gegeben Datensatz X = {x1 , . . . , xn } ⊂ IRp , Projektionsdimension q ∈ {1, . . . , p − 1}, Schrittweite α > 0, Schwellwert Eth > 0 2. Initialisiere Y = {y1 , . . . , yn } ⊂ IRq 3. Berechne dxij , i, j = 1, . . . , n 4. Berechne dyij , i, j = 1, . . . , n 5. Berechne ∂E/∂yk , k = 1, . . . , n 6. Aktualisiere yk = yk − α · 7. Falls

n

∂E , ∂yk

k = 1, . . . , n

(∂E/∂yk )2 ≥ Eth ,

k=1

wiederhole ab (4.) 8. Ausgabe: projizierter Datensatz X = {x1 , . . . , xn } ⊂ IRq

Abbildung 4.6: Mehrdimensionale Skalierung mit Gradientenabstieg

4

10

0.1

8

0.08

6

0.06

4

0.04

3.5 3 2.5 x3

2 1.5 1

x1

Dx

3,4

x4

Dx Dx Dx Dx 1,3 1,4 2,3 2,4 x2 Dx 1,2

2

0.02

0.5 0

1

2

3

4

0

y1

1

y2

2

y3

3

y4

4

0

2

4

6

8

10

Abbildung 4.7: Sammon-Abbildung, Beispiel (Originaldaten, projizierte Daten in den einzelnen Iterationsschritten und Verlauf der Fehlerfunktion)

4.3 Mehrdimensionale Skalierung untersten Zeile in Abbildung 4.7 (Mitte). lautet ⎛ 0 1 ⎜ 1 0 Dy = ⎜ ⎝ 2 1 3 2

45 Die entsprechende Abstandsmatrix ⎞ 2 3 1 2 ⎟ ⎟ (4.39) 0 1 ⎠ 1 0

Der Projektionsfehler nach Sammon betr¨ agt nach der Initialisierung also √ 2 √ 2 2− 2 3− 5 1 √ √ √ √ · 2· E3 = + = 0.0925 (4.40) 3·1+2· 2+ 5 2 5 Dies ist erste Wert der Fehlerfunktion in Abbildung 4.7 (rechts). Die Fehlergradienten f¨ ur die vier Datenpunkte lauten √ √ 2− 2 3− 5 2 ∂E3 √ √ · − √ − √ = −0.1875 (4.41) = ∂y1 3·1+2· 2+ 5 2 5 √ ∂E3 2− 2 2 √ √ · − √ = −0.1027 (4.42) = ∂y2 3·1+2· 2+ 5 2 √ ∂E3 2− 2 2 √ √ √ · = 0.1027 (4.43) = ∂y3 3·1+2· 2+ 5 2 √ √ ∂E3 2 3− 5 2− 2 √ √ √ · = + √ = 0.1875 (4.44) ∂y4 3·1+2· 2+ 5 5 2 Mit der Schrittweite α = 1 ergibt sich daraus der neue projizierte Datensatz zu Y = (1.1875, 2.1027, 2.8973, 3.8125), der der zweiten Zeile in Abbildung 4.7 (Mitte) entspricht. Der weitere Verlauf der Optimierung wird aus den Diagrammen in Abbildung 4.7 (Mitte und rechts) deutlich. Die projizierten Daten n¨ ahern sich in immer kleineren Schritten der Terminierungsmenge Y = (1.3058, 2.1359, 2.8641, 3.6942), und der Fehler nimmt ab, bis bei E3 = 0.0212 eine S¨ attigung erreicht wird. Die G¨ ute der erzielten Transformation l¨asst sich mit sogenannten ShepardDiagrammen darstellen, in denen alle Abst¨ande dyij der Projektion u ¨ber den Originalabst¨ anden dxij , i, j = 1, . . . , n, aufgetragen sind. F¨ ur eine fehlerfreie Abbildung der Abst¨ ande m¨ ussten alle Punkte im Shepard-Diagramm auf der Winkelhalbierenden liegen. Abbildung 4.8 zeigt die Shepard-Diagramme f¨ ur den ersten (links) und den zehnten (rechts) Schritt des obigen Beispiels. Mehrere u ullte Kreise gekennzeichnet. Nach dem ¨ bereinander liegende Punkte sind als gef¨ zehnten Schritt sind die Punkte zwar nicht genau auf der Winkelhalbierenden, aber wesentlich n¨ aher als zu Beginn. Torgerson (128) deﬁniert eine nichtlineare Projektionsmethode auf der Basis der Shepard-Diagramme, die der mehrdimensionalen Skalierung sehr ¨ ahnlich ist. Anstatt die Punkte im Shepard-Diagramm nahe an die Winkelhalbierende zu bringen, wie es das Ziel der mehrdimensionale Skalierung ist, versucht Torgersons Methode, die Punkte so anzuordnen, dass sich durch sie ein streng monotoner Linienzug legen l¨asst.

46

4 Visualisierung t=1

Dy

t = 10

2.5

2.5

2

2

1.5

Dy

1.5

1

1

0.5

0.5

0 0

0.5

1

D

1.5

2

0 0

2.5

0.5

x

1

1.5

2

2.5

Dx

Abbildung 4.8: Shepard-Diagramme der Sammon-Abbildung 1.5

2

1

1.5

0.5

1

0

0.5 −0.5

0 2 1 1

0 0 −1

−1 −1.5 −2

−1

0

1

2

Abbildung 4.9: Originaldatensatz und Sammon-Abbildung (A)

Zur Veranschaulichung des Algorithmus’ wurde mit (4.20) ein besonders einfaches Beispiel gew¨ ahlt. Zur Verdeutlichung der F¨ahigkeiten nichtlinearer Abbildungen wird eine zweidimensionale Repr¨asentation des Datensatzes X = {((t1 − 1) · (t2 − 1), t1 , t2 )T | t1 , t2 ∈ {0, 0.1, 0.2, . . . , 2} }

(4.45)

mit Hilfe der Sammon-Abbildung in 1000 Iterationsschritten berechnet. Abbildung 4.9 (links) zeigt diesen Datensatz, der an ein verbogenes Quadrat erinnert. Die Sammon-Transformierte auf der rechten Seite zeigt ein entsprechend gerade gebogenes Viereck, das die ﬂ¨ achige Struktur sehr gut wiedergibt. Der transformierte Datensatz enth¨ alt ebenso wie der Originaldatensatz genau 4 Eckpunkte und 76 Randpunkte, und die Nachbarschaftsbeziehungen zwischen den einzelnen Punkten bleiben erhalten. Abbildung 4.10 (links) zeigt den Datensatz X = {(t, sin t, cos t)T | t ∈ {0, 0.1, 0.2, . . . , 50} }

(4.46)

der einer Schraubenkurve entspricht. Die Sammon-Transformierte, die auf der

4.4 Histogramme

47 30

1

20

0.5

10

0

0

−0.5 −10

−1 1

−20

50 0

−30 −10

−1 0

−5

0

5

Abbildung 4.10: Originaldatensatz und Sammon-Abbildung (B)

rechten Seite abgebildet ist, gibt die Linienstruktur der Daten gut wieder, das heißt es gibt einen Anfangs- und einen Endpunkt, und alle Zwischenpunkte haben jeweils genau zwei Nachbarn auf gegen¨ uberliegenden Seiten. Die acht Schleifen im Originaldatensatz werden durch acht Zickzackverl¨aufe repr¨asentiert. Im Vergleich zur linearen Hauptachsentransformation liefert die nichtlineare mehrdimensionale Skalierung Projektionen, in der sich auch komplexe Datenstrukturen gut erkennen lassen. Der Berechnungsaufwand der nichtlinearen Projektion ist durch die iterative Vorgehensweise allerdings in der Regel deutlich h¨ oher als bei der linearen Projektion.

4.4

Histogramme

In den vorangegangenen Abschnitten wurden Daten als Merkmalsvektoren oder deren Projektionen in Diagrammen visualisiert. In Abschnitt 2.2 wurden skalare statistische Maße pr¨ asentiert, die einen Datensatz abstrakt beschreiben, ohne jeden Merkmalsvektor einzeln anzugeben. Eine weniger starke statistische Abstraktion von Daten, also eine Abstraktion, die mehr Information u ¨ ber den Datensatz enth¨ alt, sind Histogramme. Histogramme erm¨oglichen die Erkennung von Datenh¨ aufungen wie in Abbildung 4.3 (rechts) am oberen und unteren Rand sowie eine Absch¨ atzung der Datenverteilung. Zur Berechnung eines Histogramms wird der (beobachtete) Wertebereich jedes Merkmals X (i) , i = 1, . . . , p, in m = 2, 3, . . . Intervalle (i)

(i)

(i)

(i)

(i)

(i) [ξ1 , ξ2 ], [ξ2 , ξ3 ], . . . , [ξm , ξm+1 ] (i)

ξ1 ≤ min X (i) ,

(i)

ξm+1 ≥ max X (i)

(4.47) (4.48)

aufgeteilt und gez¨ ahlt, wie viele Werte aus X (i) in die einzelnen Intervalle fallen. Die Anzahl der Werte ist also (i)

hk (X (i) , m) = {ξ ∈ X (i) | ξk

(i)

≤ ξ < ξk+1 }, k = 1, . . . , m − 1 (4.49) (i)

(i) ≤ ξ ≤ ξm+1 } hm (X (i) , m) = {ξ ∈ X (i) | ξm

(4.50)

48

4 Visualisierung 15

15

60 50

10

10

40 30

5

5

20 10

0 −5

0

5

0 −5

0

5

0 0

0.5

1

Abbildung 4.11: Histogramme der Merkmale x, y und z

wobei die Summe aller H¨ auﬁgkeiten die Anzahl der Datenpunkte ergibt, m

hk (X (i) , m) = X (i) = n

(4.51)

k=1

H¨ auﬁg werden Intervalle gleicher Breite Δx(i) = (max{X (i) } − min{X (i) })/m (i) verwendet, so dass sich die Intervallgrenzen ξk = min{X (i) } + (k − 1) · Δx, k = 1, . . . , m + 1, ergeben. F¨ ur den in Abbildung 4.3 gezeigten Datensatz ergeben sich mit m = 100 die in Abbildung 4.11 gezeigten Histogramme der drei Merkmale. In der Visualisierung der Histogramme wird jedes Intervall als Rechteck dargestellt, wobei die linke und rechte Seite des Rechtecks der Unterund Obergrenze des Intervalls und die untere und obere Seite des Rechtecks der Null und der Anzahl der in dieses Intervall fallenden Datenpunkte entspricht. Die ersten beiden Merkmale der in Abbildung 4.11 gezeigten Daten sind oﬀensichtlich n¨ aherungsweise gleich verteilt, w¨ahrend das dritte Merkmal sehr viele Werte nahe bei null bzw. nahe bei eins enth¨alt. Diese Werte entsprechen den oberen und unteren Plateaus, die im dreidimensionalen Streudiagramm aus Abbildung 4.2 zu erkennen sind. Mit Histogrammen lassen sich solche H¨aufungen und Plateaus leicht erkennen. Auch l¨ asst sich die Form der zugrunde liegenden Datenverteilung absch¨ atzen, also ob die Daten n¨aherungsweise gleichverteilt, Gauß-verteilt, Poisson-verteilt oder vielleicht sogar skalenfrei verteilt sind (vgl. Abschnitt 3.3). Voraussetzung hierf¨ ur ist allerdings, dass die Intervallgrenzen bzw. bei Histogrammen mit gleich breiten Intervallen die Anzahl der Intervalle geeignet gew¨ ahlt sind. Bei einer zu geringen Intervallanzahl kann die zugrundeliegende Datenverteilung nur sehr grob abgesch¨atzt werden, w¨ahrend bei einer zu großen Intervallanzahl viele Intervalle leer bleiben oder nur mit einzelnen Punkten gef¨ ullt sind, so dass die Datenverteilung ebenfalls nicht erkannt werden kann. Oﬀenbar h¨ angt die empfehlenswerte Intervallanzahl von der Anzahl der Daten und deren Verteilung ab. F¨ ur die Wahl geeigneter Anzahlen von Intervallen gleicher Breite wurden verschiedene Regeln vorgeschlagen, zum Beispiel

4.4 Histogramme

49

• die Regel nach Sturgess (123), die lediglich die Anzahl der Daten ber¨ ucksichtigt, mi = 1 + log2 n (4.52) • die Regel nach Scott (118), die auch die Standardabweichung der Daten mit ber¨ ucksichtigt, und somit auf (n¨ aherungsweise) Gauß-verteilte Daten zugeschnitten ist, 3.49 · s(i) √ mi = (4.53) 3 n mit der Standardabweichung s(i) nach (3.2) und • die Regel nach Freedman und Diaconis (37), die das mittlere 50%-Quantil ber¨ ucksichtigt, (i) 2 · (Q75% − Q25% )(i) √ mi = (4.54) 3 n mit Quantilen gem¨ aß (i)

Qφ = min{ξ | X (i) ≤ ξ ≥ n · φ}

(4.55)

Im Unterschied zu den bisher betrachteten Histogrammen mit Intervallen gleicher Breite k¨ onnen auch Intervalle unterschiedlicher Breite gew¨ahlt werden, zum Beispiel um Bereiche mit gr¨ oßeren H¨ auﬁgkeits¨anderungen feiner auﬂ¨osen zu k¨ onnen (57). Dies geschieht implizit zum Beispiel dadurch, dass die Intervalle so gew¨ ahlt werden, dass in jedes Intervall gleich viele Datenpunkte fallen. Bei der Visualisierung von Histogrammen mit Intervallen unterschiedlicher Breite empﬁehlt es sich, als H¨ ohe der einzelnen Rechtecke die Anzahl der Daten geteilt durch die Intervallbreite zu verwenden. Insbesondere bei Histogrammen mit Intervallen gleicher Breite und bei einer etwas zu gering gew¨ ahlten Intervallanzahl kann eine Verf¨alschung dadurch verursacht werden, dass Datenpunkte, die sehr nah an einer Intervallgrenze liegen, dem entsprechenden Intervall zugerechnet werden, obwohl sie eigentlich schon fast im Nachbarintervall liegen. Solche Verf¨alschungen lassen sich durch unscharfe Histogramme (102) verhindern. W¨ ahrend bei gew¨ohnlichen, also scharfen Histogrammen jeder Datenwert x(i) genau einem der Intervalle zugeordnet wird, so kann jeder Datenwert in einem unscharfen Histogramm zu gewissem Grad zu mehreren (unscharfen) Intervallen geh¨oren. Jedes dieser unscharfen Intervalle wird durch eine Zugeh¨ origkeitsfunktion μ : X → [0, 1] deﬁniert. Bei gleichverteilten dreiecks- bzw. schulterf¨ ormigen unscharfen Intervallen lauten diese Zugeh¨ origkeitsfunktionen beispielsweise ⎧ (i) ⎪ falls x(i) < ξ1 ⎪1 ⎨ (i) (i) ξ2 −x (i) (i) μ1 (x(i) ) = falls ξ1 ≤ x(i) < ξ2 (4.56) (i) (i) ξ2 −ξ1 ⎪ ⎪ ⎩ (i) 0 falls x(i) ≥ ξ2

50

4 Visualisierung

μ

ξ1

ξ2

x

ξm-1 ξm

ξ3

Abbildung 4.12: Zugeh¨ origkeitsfunktionen f¨ ur unscharfe Histogramme

(i)

μk (x ) =

μm (x(i) ) =

⎧ ⎪ 0 ⎪ ⎪ ⎪ x(i) −ξ(i) ⎪ ⎪ k−1 ⎪ ⎨ (i) (i) ξk −ξk−1

(i)

falls x(i) < ξk−1 (i)

(i)

falls ξk−1 ≤ x(i) < ξk

(i) ξk+1 −x(i) ⎪ (i) (i) ⎪ falls ξk ≤ x(i) < ξk+1 ⎪ (i) (i) ⎪ ξk+1 −ξk ⎪ ⎪ ⎪ (i) ⎩ 0 falls x(i) ≥ ξk+1 k = 2, . . . , m − 1 ⎧ (i) 0 falls x(i) < ξm−1 ⎪ ⎪ ⎨ (i)

⎪ ⎪ ⎩

x(i) −ξm−1 (i) (i) ξm −ξm−1

1

(i)

(i)

falls ξm−1 ≤ x(i) < ξm

(4.57)

(4.58)

(i)

falls x(i) ≥ ξm

Diese Zugeh¨ origkeiten sind in Abbildung 4.12 dargestellt. Mit diesen Zugeh¨origkeitsfunktionen kann jeder Datenpunkt zu gewissem Grad bis zu zwei unscharfen Intervallen zugeordnet werden, wobei die Summe der Zugeh¨origkeitswerte eins ergibt. Die H¨ auﬁgkeitswerte von unscharfen Histogrammen werden gem¨aß ˜ k (X (i) , m) = h μk (x(i) , m) (4.59) x(i) ∈X (i)

berechnet. Scharfe Histogramme lassen sich durch Wahl von rechteckf¨ormigen Zugeh¨ origkeitsfunktionen als Spezialf¨ alle von unscharfen Histogrammen interpretieren.

4.5

Spektralanalyse

Bei den bisher vorgestellten Visualisierungsmethoden wurden die Daten, deren Projektionen oder statistische Maße graphisch dargestellt. Im Allgemeinen ist Visualisierung eine geeignete Abbildung eines Datensatzes X auf einen Datensatz Y so, dass wesentliche Eigenschaften der Daten in Y besser erkennbar sind als in X. Dies triﬀt nicht nur auf Projektionen zu, die zu jedem Datenpunkt einen entsprechenden Bildpunkt bestimmen, oder auf statistische Maße, die mehrere oder alle Datenpunkte in einem Symbol zusammenfassen, sondern

4.5 Spektralanalyse

51

auch auf Methoden, die eine Menge von Merkmalen zur Charakterisierung des Datensatzes X bestimmen. H¨ auﬁg betrachtete Merkmale sind die spektralen Merkmale wie Betrags- und Phasenspektrum. Diese spektralen Merkmale sind durch den Satz von Fourier motiviert, nach dem sich jede stetig diﬀerenzierbare Funktion f durch ein Integral von Sinus- und Cosinusfunktionen schreiben l¨asst. ∞ f (x)

=

(a(y) cos xy + b(y) sin xy) dy 0

a(y) =

b(y) =

1 π 1 π

mit

(4.60)

∞ f (u) cos yu du

(4.61)

f (u) sin yu du

(4.62)

−∞ ∞

−∞

Dieser Satz motiviert die Deﬁnition der Fouriercosinustransformierten Fc (y) und der Fouriersinustransformierten Fs (y). Fc (y) = f (x) = Fs (y) = f (x) =

2 π 2 π 2 π 2 π

∞ f (x) cos xy dx

(4.63)

Fc (y) cos xy dy

(4.64)

f (x) sin xy dx

(4.65)

Fs (y) sin xy dy

(4.66)

0

∞ 0

∞ 0

∞ 0

Die Fourier(co)sinustransformation l¨ asst sich nicht nur auf kontinuierliche, sondern auch auf diskrete Funktionen anwenden. Die entsprechende diskrete Fourier(co)sinustransformation kann aus (4.63) bis (4.66) formal durch die Substitutionen x = k · T und y = l · ω gewonnen werden. Die diskreten Funktionswerte sind durch den Datensatz X gegeben, so dass f (k · T ) = xk , k = 1, . . . , n, und die diskreten Spektralwerte ergeben einen Datensatz Y , so dass Fc (l · ω) = ylc und Fs (l · ω) = yls , l = 1, . . . , m. ylc = xk =

2 n nωT π

n k=1 m l=1

xk cos klωT

(4.67)

ylc cos klωT

(4.68)

52

4 Visualisierung 1

1.5 10 ⋅ ω T = 0.001 1

0.8

0.5 0.6 0

100 ⋅ ω T = 0.01

1.5 0.4

−0.5

1 0.2

−1

0.5 0 0

0

200

300

1

−0.5

−1.5 0

1000

2000

3000

4000

5000

1000

2000

3000

4000

5000

1.5 10 ⋅ ω T = 0.001 1

0.8

−1 −1.5 0

100

0.5 1000

2000

3000

4000

5000 0.6 0

100 ⋅ ω T = 0.01

0.4

−0.5 0.2

0 0

−1

100

200

300

−1.5 0

Abbildung 4.13: Datensatz, Betrag der Fouriertransformierten und R¨ ucktransformierte (oben: Cosinus, unten: Sinus)

yls = xk =

2 n nωT π

n k=1 m

xk sin klωT

(4.69)

yls sin klωT

(4.70)

l=1

Abbildung 4.13 (links) zeigt den Datensatz X = {(i, cos(0.001 · i) + 0.5 · cos(0.01 · i − 1)) | i ∈ {1, . . . , 5000}}

(4.71)

der aus zwei periodischen Anteilen besteht: einem mit hoher Periodendauer und hoher Amplitude und einem mit niedriger Periodendauer und niedriger Amplitude. Ein solcher Datensatz k¨ onnte zum Beispiel aus Verkaufszahlen bestehen, die im jahreszeitlichen Rhythmus stark und im Wochenrhythmus weniger stark schwanken. Ein anderes Beispiel sind Wirtschaftsdaten, in denen langfristige Trend- und kurzfristige Konjunkturkomponenten vermischt sind. Die mittlere Spalte in Abbildung 4.13 zeigt die Betr¨ age der Fouriercosinustransformierten nach (4.67) (oben) und der Fouriersinustransformierten nach (4.69) (unten), die mit m = 300 und ωT = 10−4 berechnet wurden. Die beiden Konstanten ω und T treten hier immer paarweise als Produkt auf, so dass lediglich das Produkt ωT als freier Parameter festgelegt wird. Lokale Maxima beider Transformierten liegen jeweils etwa bei y10 und y100 . Das Produkt der Indizes mit der Konstanten ωT liefert 10 · ωT = 0.001 und 100 · ωT = 0.01, also gerade die Frequenzen

4.5 Spektralanalyse

53 1

1.5 10 ⋅ ω T = 0.001 1

0.8

Betrag y

0.5

Sinus ys Phase p Cosinus yc

0.6 0

100 ⋅ ω T = 0.01

0.4

−0.5 0.2

−1

0 0

100

200

300

−1.5 0

100

200

300

Abbildung 4.14: Zerlegung, Betrag- und Phasenspektrum

der beiden Cosinusterme in X (4.71). Die genauen Werte der Maxima sind c s s y9c = 0.9722, y98 = 0.4313, y14 = 0.7075 und y103 = 0.5104. Dies entspricht ungef¨ ahr den Amplituden der beiden Cosinusterme in X (4.71), besonders bei der Sinustransformation sind die Amplituden jedoch mit großem Fehler behaftet. Die rechte Spalte in Abbildung 4.13 zeigt die Fouriercosinusr¨ ucktransformierte nach (4.68) (oben) und die Fouriersinusr¨ ucktransformierte nach (4.70) (unten). Die Fouriercosinusr¨ ucktransformierte stimmt weitgehend mit den Originaldaten X u ¨ berein. Der Fehler (gestrichelte Kurve) ist nahe null. Die Fouriersinusr¨ ucktransformierte unterscheidet sich dagegen stark von den Originaldaten X (gestrichelte Kurve). Die Fouriercosinustransfomierte y c und die Fouriersinustransfomierte y s entsprechen den Katheten eines rechtwinkligen Dreiecks, wie in Abbildung 4.14 dargestellt. Das Fourierbetragsspektrum y ist als Hypothenuse, und das Fourierphasenspektrum p ist als Kathetenwinkel eines solchen Dreiecks deﬁniert. yl = (ylc )2 + (yls )2 (4.72) pl

= arctan

yls ylc

(4.73)

Das mittlere Diagramm in Abbildung 4.14 zeigt das Fourierbetragsspektrum von X (4.71) nach (4.72). Die lokalen Maxima liegen bei y10 = 0.9784 und y101 = 0.5261, geben also Frequenz und Amplitude der beiden Schwingungsterme sehr gut wieder. Das rechte Diagramm in Abbildung 4.14 zeigt das Fourierphasenspektrum von X (4.71) nach (4.73). Die zu den beiden Schwingungstermen geh¨ orenden Phasenwerte p10 = 0.2073 und p100 = 1.0320 stimmen ungef¨ahr mit den tats¨ achlichen Phasenwerten in (4.71) u ¨ berein. Die Fourieranalyse ist also eine Visualisierungsmethode, die zu einem Datensatz X ⊂ IRp ein Betragsspektrum Y = {y1 , . . . , ym } ⊂ IR und ein Phasenspektrum P = {p1 , . . . , pm } ⊂ IR liefert, aus dem sich Frequenzen, Amplituden und Phasen der spektralen Anteile des Datensatzes erkennen lassen.

55

Kapitel 5

Korrelation Eine wichtige Aufgabe der Datenanalyse ist die Analyse des Zusammenhangs zwischen einzelnen Merkmalen. Die St¨ arke dieses Zusammenhangs wird Korrelation genannt. Die Korrelationsanalyse hilft, Zusammenh¨ange zu erkl¨aren und zielgerichtet bestimmte Eﬀekte zu erzielen. Beispiel: In einer Produktionsanlage soll ein Produkt mit einer bestimmten Qualit¨at hergestellt werden; es wird untersucht, welche Produktionsdaten am st¨arksten mit der Zielgr¨oße Produktqualit¨ at korrelieren; diejenigen Parameter mit der h¨ochsten Korrelation werden dann gezielt beeinﬂusst, um die optimale Produktqualit¨at zu erzielen. Zur Korrelationsanalyse werden vornehmlich Verfahren der klassischen (46), multivariaten (33), robusten (56) und explorativen Statistik (129) eingesetzt, aber auch verschiedenste nichtlineare Regressionverfahren, deren Approximationsfehler als Korrelationsmaß verwendet werden k¨onnen (siehe Kapitel 6). Wir unterscheiden lineare und nichtlineare Korrelation. Abbildung 5.1 gibt eine ¨ Ubersicht u ¨ber die in diesem Kapitel beschriebenen Algorithmen. Besonderes Augenmerk legen wir auf die Unterscheidung zwischen der Korrelation von Merkmalen und deren kausalem Zusammenhang, dem daraus resultierenden Problem der Scheinkorrelation und deren Kompensation.

5.1

Lineare Korrelation

In (2.15) und (4.8) wurde bereits die empirische Kovarianzmatrix C eines Datensatzes X ⊂ IRp deﬁniert, deren Eintr¨ age cij , i, j = 1, . . . , p, den Zusammenhang zwischen den Merkmalen x(i) und x(j) quantiﬁzieren. Große absolute Werte von cij deuten auf einen starken Zusammenhang hin, kleine absolute Kovarianzen auf einen schwachen Zusammenhang. Große Varianzen der Merkmalswerte x(i) oder x(j) selbst f¨ uhren jedoch unabh¨ angig vom Zusammenhang zwischen x(i) und x(j) zu großen Kovarianzen cij . Diesen Eﬀekt gleicht der Pearsonsche

56

5 Korrelation

lineare Korrelation

nichtlineare Korrelation

Kovarianz Pearson’sche Korrelation

Chi-QuadratUnabhängigkeit

partielle Korrelation

Regressionsfehler

multiple Korrelation

Abbildung 5.1: Wichtige lineare und nichtlineare Korrelationsverfahren

Korrelationskoeﬃzient S durch Normalisierung mit dem Produkt der beiden Standardabweichungen (3.2) aus. sij

=

=

cij (i) s s(j)

(5.1) n k=1

n

(i) (xk k=1

=

(i)

(j)

(xk − x ¯(i) )(xk − x ¯(j) ) −

x ¯(i) )2 n

n

k=1

(j) (xk

−

(i) (j)

xk xk − n x ¯(i) x ¯(j) 2 2 n n 2 2 (i) (j) (i) (j) xk xk −n x ¯ −n x ¯ k=1

(5.2)

x ¯(j) )2

k=1

(5.3)

k=1

Da die Standardabweichungen gerade den Wurzeln der Diagonalen der Kovari√ anzmatrix entsprechen (s(i) = cii ) l¨ asst sich (5.1) auch schreiben als cij sij = √ cii cjj

(5.4)

Der Wertebereich der Korrelationen ist sij ∈ [−1, 1]. Absolute Korrelationen nahe eins deuten also auf einen starken, absolute Korrelationen nahe null auf einen schwachen Zusammenhang hin. In vielen Anwendungen kommt es nicht alleine darauf an, wie groß der Zusammenhang zwischen einzelnen Paaren von Merkmalen ist, sondern eher, welche Gruppen von Merkmalen miteinander sehr stark zusammenh¨angen. In mehrstuﬁgen Produktionsprozessen l¨ asst sich so zum Beispiel identiﬁzieren, welche

5.1 Lineare Korrelation

57

1. Gegeben Datensatz X = {x1 , . . . , xn } ⊂ IRp , Schwellwert sth ∈ [0, 1] 2. Initialisiere Clusterindizes ci = 0, i = 1, . . . , p, Clusternummer γ = 0, Restmerkmale z = p 3. Berechne Korrelationen sij , i = 1, . . . , p, j = i + 1, . . . , p 4. Sortiere absolute Korrelationen, so dass |si1 j1 | ≥ |si2 j2 | ≥ . . . ≥ |si p (p−1) 2

j p (p−1) | 2

5. for k = 1, . . . , p2 (p − 1) • Abbruch, falls z = 0 ∨ |sik jk | ≤ sth • if

cik = 0 ∧ cjk = 0 then γ = γ + 1, cik = γ, cjk = γ, z = z − 2

• elsif cik = 0 ∧ cjk = 0 then cjk = cik , z = z − 1 • elsif cik = 0 ∧ cjk = 0 then cik = cjk , z = z − 1 • elsif cik = 0 ∧ cjk = 0 ∧ cik = cjk then cl = cik ∀l mit cl = cjk • Ausgabe: Zugeh¨ origkeitsvektor c = (c1 , . . . , cp )

Abbildung 5.2: Bestimmung von Korrelationsclustern

Merkmale vermutlich zum gleichen Prozessschritt geh¨oren und somit f¨ ur die Analyse dieses Schrittes relevant sind. Eine solche Gruppierung von Merkmalen kann mit Hilfe von Korrelationsclustern dargestellt werden (siehe Algorithmus in Abbildung 5.2). Dazu wird jedem Merkmal ein Clusterindex ci , i = 1, . . . , p, zugeordnet, der zun¨ achst mit null initialisiert wird. Die Korrelationsmatrix wird berechnet, und die Eintr¨ age der oberen Dreiecksmatrix werden sortiert, damit die Korrelationen in absteigender Reihenfolge bearbeitet werden k¨onnen. Mit der h¨ ochsten Korrelation beginnend wird dann in jedem Schritt eine der folgenden Aktionen durchgef¨ uhrt: • Falls beide betrachtete Merkmale noch keinem Cluster angeh¨oren, wird ein neuer Cluster gebildet und die beiden Merkmale diesem Cluster zugeordnet. • Falls nur eine der beiden Merkmale schon zu einem Cluster geh¨ort, so wird die andere ebenfalls diesem Cluster zugeordnet. • Falls beide Merkmale unterschiedlichen Clustern zugeordnet sind, so werden beide Cluster zusammengefasst.

58

5 Korrelation X (11) (X (1) )

X (11) (X (2) )

1.5

1.5

1

1

0.5

0.5

0

0

−0.5

−0.5

−1

−1

|sij | (sortiert) 1

0.8

0.6

0.4

−1.5

−2

0

2

−1.5

0.2

−2

0

2

0 0

25

50

75

100

Abbildung 5.3: Sortierte absolute Korrelationen und Streudiagramme

Dieser Algorithmus terminiert, wenn die letzte der p Merkmale einem Cluster zugewiesen wird oder wenn der betrachtete Korrelationswert einen Schwellwert erreicht oder unterschreitet. Als Beispiel wird ein 15-dimensionaler Datensatz X = {x1 , . . . , x100 } ⊂ IR15 betrachtet, dessen erste zehn Merkmale zuf¨allig mit einer Normalverteilung initialisiert werden, dessen 11. Merkmal verrauscht sinusf¨ormig von der ersten abh¨ angt, ebenso die 12. von der zweiten, 13. von der dritten, 14. von der vierten und 15. von der f¨ unften. F¨ ur alle k = 1, . . . , 100 ist also

N (0, 1) falls i = 1, . . . , 10 (i) xk = (5.5) (i−10) ) + N (0, 0.1) falls i = 11, . . . , 15 sin(xk Abbildung 5.3 (links) zeigt das Streudiagramm X (11) (X (1) ), das den verrauschten sinusf¨ ormigen Zusammenhang zwischen dem ersten und dem elften Merkmal darstellt. Die Streudiagramme X (11) (X (1) ), bis X (15) (X (5) ) und deren Inverse X (1) (X (11) ) bis X (5) (X (15) ) sehen ¨ ahnlich aus. Alle anderen Streudiagramme ahneln X (11) (X (2) ) in Abbildung 5.3 (Mitte), das heißt die u ¨brigen Merkmale ¨ sind praktisch unabh¨ angig voneinander. Das rechte Diagramm in Abbildung 5.3 zeigt die sortierten absoluten Korrelationen |sij |, i = 1, . . . , p, j = i + 1, . . . , p. Die f¨ unf h¨ ochsten Korrelationen zwischen 0.8 und 1 sind |s1 11 |, |s2 12 | . . . |s5 15 |. Alle anderen Korrelationen sind wesentlich geringer (kleiner als 0.3). Die einzelnen Zeilen in Tabelle 5.1 zeigen die Inhalte des Clusterindexvektors c in jedem Iterationsschritt bei der Bestimmung von Korrelationsclustern. Zu Beginn ist kein Merkmal einem Cluster zugeordnet (c = (0, . . . , 0)). Da s5 15 die betragsm¨ aßig gr¨ oßte vorkommende Korrelation ist, wird in Schritt k = 1 Cluster Nummer 1 mit den Merkmalen x(5) und x(15) gebildet. In den folgenden vier Schritten werden weitere Cluster mit den Merkmalspaaren x(i) und x(i+10) , i = 1, . . . , 4, erzeugt. Die bis dahin betrachtete kleinste absolute Korrelation ist s4 14 = 0.8793. Der n¨ achste Korrelationswert (Schritt k = 6) ist mit |s2 4 | = 0.2275 betragsm¨ aßig wesentlich kleiner. Es werden Cluster Nummer 2 und 5 zusammengefasst. Im Folgenden werden die verbleibenden Merkmale auf

5.1 Lineare Korrelation

59

Tabelle 5.1: Korrelationscluster nach den einzelnen Iterationsschritten

k 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

0 0 0 4 4 4 4 4 4 4 4 1 1 1 1 1 1 1 1 1 1 1

0 0 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1

0 0 0 0 5 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1

0 0 0 0 0 0 6 6 1 1 1 1 1 1 1 1 1 1 1 1 1 1

c 0 0 0 0 0 0 0 0 0 0 2 2 2 2 2 2 2 2 1 1 1 1

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1

0 0 0 0 0 0 6 6 1 1 1 1 1 1 1 1 1 1 1 1 1 1

0 0 0 4 4 4 4 4 4 4 4 1 1 1 1 1 1 1 1 1 1 1

0 0 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1

0 0 0 0 5 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

|sik jk | 0.8793 0.2275

z=0

die Cluster verteilt und immer wieder Paare von Clustern zusammengefasst, bis schließlich (k = 22 bzw. z = 0) alle Merkmale zum gleichen Cluster geh¨oren. Um diese Triviall¨ osung zu verhindern, wird die Bestimmung der Korrelationscluster abgebrochen, sobald die absolute Korrelation |sik jk | den Schwellwert sth erreicht oder unterschreitet. Sinnvolle Schwellwerte liegen f¨ ur das Beispiel (5.5) in sth ∈ [0.2275, 0.8793). Das relative große Intervall sinnvoller Schwellwerte zeigt, dass sth kein sehr kritischer Parameter ist. Ein sinnvoller Default-Schwellwert ist sth = 0.5. Korrelationen geben an, wie stark sich zwei Merkmale ¨ahneln, sie sagen jedoch nichts u ¨ ber einen kausalen Zusammenhang zwischen den Merkmalen aus. Anhand der Korrelationskoeﬃzienten kann also nicht festgestellt werden, ob die ¨ ¨ Anderung eines bestimmten Merkmals die Anderung eines bestimmten anderen Merkmals verursacht oder ob sie von ihr verursacht wird. Wenn also zum Beispiel eine hohe Korrelation zwischen dem K¨orpergewicht und dem Konsum kalorienreduzierter Getr¨ anke erkannt wird, so ist ohne weitere Informationen nicht klar, ob nun Menschen zur Gewichtsreduktion solche Getr¨anke w¨ahlen, oder ob solche Getr¨ anke eine besondere Gewichtszunahme verursachen. Innerhalb von Korrelationsclustern k¨ onnen dar¨ uber hinaus mehrere Merkmale ge-

60

5 Korrelation

meinsam Ursache oder Wirkung eines weiteren Merkmals sein, ohne selbst in einem kausalen Zusammenhang miteinander zu stehen. Zum Beispiel f¨ uhrt eine hohe Sonnenscheindauer zu einer erh¨ ohten Waldbrandgefahr und gleichzeitig zu erh¨ ohtem Kornertrag. Alle drei Merkmale sind deshalb stark korreliert, allerdings besteht oﬀensichtlich kein direkter urs¨achlicher Zusammenhang zwischen Waldbr¨ anden und dem Kornertrag. Da diese beiden Merkmale dennoch stark korreliert sind, heißt eine solche Korrelation auch Scheinkorrelation. Scheinkorrelationen k¨ onnen auch dann auftreten, wenn mehrere Merkmale des Datensatzes mit Merkmalen in kausalem Zusammenhang stehen, die im Datensatz nicht enthalten sind (missing inputs). Auch in diesem Fall wird eine irref¨ uhrend hohe Korrelation ermittelt. Wenn Informationen u achlichen Zusammenh¨ange in einem Da¨ ber die urs¨ tensatz gegeben sind oder wenn ein Verdacht auf Scheinkorrelationen besteht, so interessiert die Korrelation zwischen Paaren von Merkmalen ohne den Einﬂuss einer oder mehrerer St¨ ormerkmale. Eine solche Korrelation heißt partielle Korrelation. Die partielle Korrelation zwischen x(i) und x(j) ohne den Einﬂuss von x(k) ist sij − sik sjk sij\k = (5.6) (1 − s2ik )(1 − s2jk ) Der Eﬀekt der Scheinkorrelation kann mit Hilfe der partiellen Korrelation allerdings nur dann kompensiert werden, wenn die Daten der gemeinsamen Ursache (im obigen Beispiel also die Sonnenscheindauer) explizit bekannt sind. Die Korrelation unter Ausschluss von zwei St¨ ormerkmalen heißt bipartielle Korrelation. Die bipartielle Korrelation zwischen x(i) und x(j) ohne den Einﬂuss von x(k) und x(l) ist sij − sik sjk − sil sjl + sik skl sjl si\k, j\l = (5.7) (1 − s2ik )(1 − s2jl ) Umgekehrt l¨ asst sich die Korrelation eines Merkmals mit mehreren anderen Merkmalen mit der multiplen Korrelation bestimmen. Die Korrelation zwischen x(i) und den Merkmalen x(j1 ) , . . . , x(jq ) ist ⎞−1 ⎛ ⎛ ⎞

1 sj2 j1 . . . sj1 jq sij1

⎜ sj1 j2 ⎜ sij2 ⎟

1 . . . sj2 jq ⎟ ⎟ ⎜ ⎜ ⎟ · ⎜ . ⎟ (5.8) si,(j1 ,...,jq ) = ⎟ .. .

(sij1 . . . sijq ) · ⎜ .. . . . . ⎠ ⎝ . ⎝ . . ⎠ . . 1 sijq sj1 jq sj2 jq . . . F¨ ur den Sonderfall q = 1 wird die multiple Korrelation zum Betrag der gew¨ohnlichen Korrelation. si,(j1 ) = |sij1 | (5.9) F¨ ur q = 2 ergibt sich beispielsweise s2ij1 + s2ij2 − 2sij1 sij2 sj1 j2 si,(j1 ,j2 ) = 1 − s2j1 j2

(5.10)

5.2 Chi-Quadrat-Unabh¨ angigkeitstest

61

W¨ ahrend der Wertebereich der Korrelation sij = [−1, 1] ist, so gilt dies im Allgemeinen f¨ ur die partiellen und multiplen Korrelationen nicht.

5.2

Chi-Quadrat-Unabh¨ angigkeitstest

Die lineare Korrelationsanalyse ist ein einfaches, robustes und eﬃzientes Verfahren zur Quantisierung des linearen Zusammenhangs zwischen Paaren von Merkmalen. Sie liefert allerdings nur dann zuverl¨assige Aussagen, wenn der Zusammenhang tats¨ achlich linear ist. Ist der Zusammenhang zwar ausgepr¨agt, aber nichtlinear, so bewertet die lineare Korrelationsanalyse diesen Zusammenhang m¨ oglicherweise als gering. H¨ angen zwei Merkmale zum Beispiel sinusf¨ormig voneinander ab, x(i) = sin x(j) , und weichen die Daten von x(i) weit genug vom n¨ aherungsweise linearen Bereich in der N¨ ahe von Null ab, so liefert die lineare Korrelationsanalse eine geringe Korrelation, obwohl die Merkmale tats¨achlich in einem sehr ausgepr¨ agten Zusammenhang stehen. Solche nichtlineare Zusammenh¨ ange lassen sich zuverl¨ assiger mit dem Chi-Quadrat-Unabh¨angigkeitstest quantiﬁzieren (72). Hierzu werden die Wertebereiche beider Merkmale wie bei der Erstellung von Histogrammen in r und s paarweise disjunkte Intervalle aufgeteilt und die H¨ auﬁgkeiten der Daten in diesen Intervallen gez¨ahlt. Hier(1) (1) durch ergeben sich die beiden H¨ auﬁgkeitsvektoren h(1) = (h1 , . . . , hr ) und (2) (2) h(2) = (h1 , . . . , hs ) sowie die Matrix der H¨auﬁgkeiten der Intervallpaare ⎛ ⎜ ⎜ h=⎜ ⎝

h11 h21 .. .

h12 h22 .. .

hr1

hr2

· · · h1s · · · h2s .. .. . . · · · hrs

⎞ ⎟ ⎟ ⎟ ⎠

(5.11)

(1)

(2)

Abbildung 5.4 zeigt den Zusammenhang zwischen den H¨auﬁgkeiten hi , hj und hij , i = 1, . . . , r, j = 1, . . . , s. Es gilt x

(2)

hj

(2)

hij

(1)

(1) hi

x

Abbildung 5.4: H¨ auﬁgkeiten f¨ ur den Chi-Quadrat-Unabh¨ angigkeitstest

62

5 Korrelation r j=1 r

hij

=

hi ,

(1)

i = 1, . . . , r

(5.12)

hij

=

hj ,

(2)

j = 1, . . . , s

(5.13)

i=1

das heißt h(1) und h(2) entsprechen den Randverteilungen von h. Falls die beiden Merkmale stochastisch unabh¨ angig sind, so gilt (2)

(1)

(1) hj hij h ≈ i · n n n

wobei n=

s r

⇒

hij ≈

r

hij =

i=1 j=1

hi

i=1

(1)

hi

=

s j=1

(2)

· hj n (2)

hj

(5.14)

(5.15)

¨ Ahnlich wie bei der mehrdimensionalen Skalierung (Abschnitt 4.3) l¨asst sich die Abweichung von der idealen stochastischen Unabh¨angigkeit durch einen absoluten quadratischen Fehler E1 =

(1)

hij −

hi

(2)

· hj n

2 (5.16)

einen relativen quadratischen Fehler E2 =

(1)

hij −

hi

(2)

· hj n

2 (1) (2) 2 hi · hj n

(5.17)

oder einen gemischten Fehler E3 =

(1)

hij −

hi

(2)

· hj n

2 (1) (2) hi · hj n

(5.18)

quantiﬁzieren. Wie schon bei der Sammon-Abbildung entscheiden wir uns f¨ ur den gemischten Fehler E3 und erhalten die Pr¨ ufgr¨oße f¨ ur den Chi-QuadratUnabh¨ angigkeitstest 2 (1) (2) s r n · h − h · h ij i j 1 χ2 = (1) (2) n i=1 j=1 h ·h i

(5.19)

j

Bei einem Signiﬁkanzniveau α wird die Hypothese, dass beide Merkmale stochastisch unabh¨ angig sind, abgelehnt, wenn χ2 > χ2 (1 − α, r − 1, s − 1)

(5.20)

5.2 Chi-Quadrat-Unabh¨ angigkeitstest

63

F¨ ur kleine Werte von χ2 wird also vermutet, dass die Hypothese, dass beide Merkmale stochastisch unabh¨ angig sind, wahr ist. Da die χ2 -Verteilung monoton ist, besitzt dasjenige Merkmalspaar, dass mit dem niedrigsten Signiﬁkanzniveau als unabh¨ angig betrachtet werden kann, den h¨ochsten Wert von χ2 . Somit kann 2 χ ohne Berechnung von χ2 (1 − α, r − 1, s − 1) als ein Maß f¨ ur die nichtlineare Korrelation zwischen Merkmalspaaren verwendet werden. ¨ Ahnlich wie bei den Histogrammen nach Abschnitt 4.4 m¨ ussen auch beim Chi-Quadrat-Unabh¨ angigkeitstest die Intervalle der einzelnen Merkmale geeignet gew¨ ahlt werden. Sowohl zu große als auch zu kleine Intervallen f¨ uhren zu einem geringen χ2 Wert, der eine geringe Korrelation suggeriert. Zur Bestimmung geeigneter Intervalle eignen sich die in Abschnitt 4.4 beschriebenen Methoden. Auch unscharfe Intervalle lassen sich verwenden, was zum unscharfen Chi-Quadrat-Unabh¨angigkeitstest f¨ uhrt (102). Alternativ zum hier beschriebenen Chi-Quadrat-Verfahren kann eine nichtlineare Korrelationsanalyse auch mit Hilfe einer expliziten Regression durchgef¨ uhrt werden. Diese Vorgehensweise ist in Abschnitt 6.4 detailliert beschrieben.

65

Kapitel 6

Regression Durch Korrelationen wird quantiﬁziert, wie stark der Zusammenhang zwischen einzelnen Merkmalen ist. Im Unterschied dazu bestimmt die Regression eine Sch¨ atzung f¨ ur den funktionalen Zusammenhang zwischen diesen Merkmalen. Beispiel: Aus den Daten einer Produktionsanlage wurde erkannt, dass ein bestimmter Produktionsparameter sehr stark mit der Produktqualit¨at korreliert; nun soll herausgefunden werden, wie dieser Parameter eingestellt werden muss, um einen bestimmten vorgegebenen Qualit¨atsgrad zu erzielen. Zur Bestimmung einer Regressionsfunktion werden die Parameter eines Funktionsprototyps so bestimmt, dass der Fehler der Funktionsapproximation minimiert wird. In Abh¨ angigkeit der verwendeten Funktionsprototypen werden unterschiedliche Regressionsverfahren unterschieden: lineare Regression, nichtlineare Regression mit vorgegebenen Funktionen (zum Beispiel polynomielle Regression), die sich in eine lineare Regression u uhren l¨asst, und nichtlineare ¨ berf¨ Regression mit universellen Approximatoren, zum Beispiel neuronale Netze oder ¨ radiale Basisfunktionen. Abbildung 6.1 gibt eine Ubersicht u ¨ ber die in diesem Kapitel beschriebenen Algorithmen.

6.1

Lineare Regression

Die lineare Regression bestimmt einen linearen Zusammenhang zwischen den Merkmalen x(i) und x(j) , i, j = 1, . . . , p, in der Form (i)

(j)

xk ≈ a + b(xk − x ¯(j) )

(6.1)

Die quadratische Fehlerfunktion zur Bestimmung der Parameter a und b lautet n 2 1 (i) (j) xk − a − b(xk − x ¯(j) ) E= n k=1

(6.2)

66

6 Regression

lineare Regression

nichtlineare Regression

lineare Regression

nichtlineare Regression

robuste Regression

universelle Approximatoren

multiple Regression

mehrschichtiges Perzeptron radiale Basisfunktionen

Abbildung 6.1: Wichtige lineare und nichtlineare Regressionsverfahren

Die notwendigen Kriterien f¨ ur (lokale) Extrema von E sind ∂E ∂a

= −

∂E ∂b

= −

n 2 (i) (j) xk − a − b(xk − x ¯(j) ) = 0 n

2 n

k=1 n k=1

(j) (i) (j) (xk − x ¯(j) ) xk − a − b(xk − x ¯(j) ) = 0

(6.3) (6.4)

Kleinere Umformungen liefern die L¨ osung a = b =

x ¯(i) n k=1

(6.5) (i)

(j)

(xk − x ¯(i) )(xk − x ¯(j) ) n k=1

(i) (xk

= −x ¯(i) )2

cij cii

(6.6)

Aus dem Mittelwertvektor und der Kovarianzmatrix des Datensatzes X lassen sich also ohne iteratives Optimierungsverfahren unmittelbar die Parameter der linearen Regressionsfunktionen zwischen allen Merkmalen in X bestimmen. Anstelle des mittleren quadratischen Fehlers (6.2) l¨asst sich auch der Median des quadratischen Fehlers oder der getrimmte mittlere quadratische Fehler (least trimmed squares, LTS) (94) E=

m 1 2 ek , m

m ∈ {1, . . . , n}

(6.7)

k=1

verwenden, wobei die Regressionsfehler (i)

(j)

el = xk − a − b(xk − x ¯(j) ),

k, l ∈ {1, . . . , n}

(6.8)

6.1 Lineare Regression

67

so sortiert werden, dass

e1 ≤ e2 ≤ . . . ≤ en

(6.9)

das heißt f¨ ur m = n entspricht LTS dem mittleren quadratischen Fehler, und f¨ ur m = 1 wird nur der Datenpunkt mit dem kleinsten Fehler ber¨ ucksichtigt. Mit LTS l¨ asst sich eine robustere Regression erreichen, die weniger von Ausreißern verf¨ alscht wird. Bei der nichtlinearen Regression mit vorgegebenen Funktionsprototypen wird eine (nichtlineare) Funktion f so gew¨ ahlt, dass der der (nichtlineare) Zusammenhang zwischen x(i) und x(j) als linearer Zusammenhang zwischen x(i) und f (x(j) ) geschrieben werden kann. Es werden also die Parameter a und b so gesch¨ atzt, dass n 1 (i) (j) (j) xk ≈ a + b f (xk ) − f (xκ ) (6.10) n κ=1 (j)

Mit der Substitution fk = f (xk ) entspricht dies der Gleichung der linearen Regression (6.1). Die L¨ osung (mit mittlerem quadratischen Fehler) lautet daher analog zu (6.5) und (6.6): a b

= x¯(i) n =

(6.11)

k=1

(i) (xk − x ¯(i) )(fk − f¯) n k=1

=

(i)

(xk − x ¯(i) )2

cov(x(i) , f (x(j) )) cii

(6.12)

Parameter √ innerhalb der Funktion f , wie zum Beispiel der Parameter c in f (x) = c + x, k¨ onnen mit der nichtlinearen Regression aber in der Regel nicht gesch¨ atzt werden. In bestimmten F¨ allen, wie zum Beispiel bei f (x) = log(c + x) = c · log(x), l¨ asst sich der Parameter allerdings aus der Funktion herausziehen. Ein linearer Zusammenhang zwischen x(i) und mehreren anderen Merkmalen (j1 ) x , . . . , x(jm ) wird mit der multiplen linearen Regression bestimmt, indem die Parameter a und b der folgenden N¨ aherung gesch¨atzt werden. (i)

xk ≈ a +

m l=1

(j )

bl (xk l − x ¯(jl ) )

Der mittlere quadratische Fehler zur Parametersch¨atzung lautet hier 2 n m 1 (i) (jl ) xk − a − E= bl (xk − x ¯(jl ) ) n k=1

(6.13)

(6.14)

l=1

Die notwendigen Kriterien f¨ ur (lokale) Extrema von E sind n m ∂E 2 (i) (jl ) (jl ) = − xk − a − bl (xk − x ¯ ) =0 (6.15) ∂a n k=1 l=1 n m ∂E 2 (jl ) (i) (j ) = − (xk − x ¯(jl ) ) xk − a − bλ (xk λ − x ¯(jλ ) ) = 0(6.16) ∂bl n k=1

λ=1

68

6 Regression

f¨ ur alle l = 1, . . . , m. F¨ ur den Parameter a folgt daraus wieder a=x ¯(i)

(6.17)

Die Parameter bl , l = 1, . . . , m, ergeben sich aus dem linearen Gleichungssystem m n n (jλ ) (jl ) (i) (j ) (jλ ) (jl ) bλ (xk − x ¯ )(xk − x ¯ )= (xk − x ¯(i) )(xk l − x ¯(jl ) ) (6.18)

λ=1

k=1

⇔

m

k=1

cjλ jl bλ = ci jl

(6.19)

λ=1

Die multiple nichtlineare Regression kann analog zur einfachen nichtlinearen (j ) (l) (j) Regression durch die Substitution xk l = fk = fl (xk ), l = 1, . . . , m, aus der multiplen linearen Regression abgeleitet werden. Zu den wichtigsten Beispielen der multiplen nichtlinearen Regression mit vorgegebenen Funktionsprototypen geh¨ ort die polynomielle Regression. Hierbei werden als Funktionsprotoypen die Potenzfunktionen fl : x → xl , l = 1, . . . , m (6.20) verwendet und die Parameter a und bl , l = 1, . . . , m, so bestimmt, dass der (i) (j) Zusammenhang zwischen den Merkmalen xk und xk mit minimalem Fehler durch das Polynom m n l 1 l (i) (j) (j) xk xk (6.21) x ≈ a+ bl − n κ=1 κ l=1 2 m (j) (j) (j) = b0 + b1 · xk + b2 · xk + . . . + bm · xk (6.22) dargestellt werden kann, wobei sich der konstante Summand b0 = a −

m n 1 (j) l xκ bl n κ=1

(6.23)

l=1

ergibt. Die polynomielle Regression l¨ asst sich zur multiplen polynomiellen Regression erweitern, indem f¨ ur jedes weitere betrachtete Merkmal entsprechend m zus¨ atzliche Merkmale durch Potenzfunktionen deﬁniert werden. Des Weiteren k¨ onnen in der multiplen polynomiellen Regression auch gemischte Terme durch Hinzunahme weiterer Merkmale ber¨ ucksichtigt werden.

Beispiel Als Beispiel zur multiplen linearen Regression dient der Datensatz ⎞ ⎛ 6 4 −2 ⎜ 2 1 −1 ⎟ ⎟ ⎜ 0 ⎟ X =⎜ ⎟ ⎜ 0 0 ⎝ 0 1 1 ⎠ 2 4 2

(6.24)

6.2 Neuronale Netze

69

f¨ ur den ein linearer Zusammenhang zwischen dem Merkmal x(1) und den Merkmalen x(2) und x(3) gesucht wird. (1)

(2)

(3)

¯(2) ) + b2 (xk − x ¯(3) ) xk ≈ a + b1 (xk − x Die Mittelwerte der einzelnen Merkmale lauten 6+2+2 =2=a x ¯(1) = 5 4+1+1+4 x ¯(2) = =2 5 −2 − 1 + 1 + 2 x ¯(3) = =0 5

(6.25)

(6.26) (6.27) (6.28)

Die Kovarianzmatrix von X ist ⎛

⎞ 6 3.5 −2.5 0 ⎠ C = ⎝ 3.5 3.5 −2.5 0 2.5

(6.29)

Das lineare Gleichungssystem zur Bestimmung der Parameter b1 und b2 lautet c22 b1 + c32 b2

= c12

(6.30)

c23 b1 + c33 b2 (6.30) ⇔ 3.5 b1

= c13 = 3.5

(6.31) (6.32)

(6.31)

⇔

2.5 b2

= −2.5

⇔ ⇔

b1 = 1 b2 = −1

(6.33)

Die gesuchte multiple lineare Funktion f¨ ur X lautet also (1)

(2)

(3)

(2)

(3)

xk ≈ 2 + (xk − 2) − (xk − 0) = xk − xk

(6.34)

Einsetzen der Daten aus X (6.24) in die Funktion (6.34) zeigt, dass der Approximationsfehler E in diesem Beispiel sogar null ist, das heißt alle Datenvektoren liegen exakt auf der durch die Funktion beschriebenen Ebene. Dies ist ein Sonderfall. In der Regel ist der Regressionsfehler E > 0.

6.2

Neuronale Netze

Im letzten Abschnitt wurden Regressionsverfahren vorgestellt, die explizite Funktionsprototypen wie lineare Funktionen, Potenzfunktionen oder Polynome verwenden. Weichen die Daten von den gegebenen Funktionsprototypen ab, so lassen sich in einer engen Umgebung um einen sogenannten Arbeitspunkt gute Approximationen ﬁnden. Zum Beispiel wurden die sinusf¨ormigen Zusammenh¨ange im Datensatz (5.5) recht gut erkannt, weil sie sich f¨ ur den Bereich um null n¨aherungsweise linear verhalten, denn die Sinusfunktion l¨asst sich als Taylor-Reihe sin x =

∞

(−1)n

n=1

≈

x2n+1 x3 x5 =x− + − +... (2n + 1)! 3! 5!

x f¨ ur x ≈ 0

(6.35)

70

6 Regression Eingangs- verdeckte Ausgangsschicht schicht schicht

O4

w4,6

O6 1

w5,6 0.5

O5 0 −5

−4

−3

−2

−1

0

1

2

3

4

5

Abbildung 6.2: Mehrschichtiges Perzeptron und Sigmoidfunktion

schreiben. Der n¨ aherungsweise lineare Charakter wird auch aus Abbildung 5.3 (links) deutlich. St¨ arkere nichtlineare Zusammenh¨ange u ¨ ber gr¨oßere Wertebereiche hinweg lassen sich jedoch mit der linearen Regression nur unzureichend erfassen. Einige nichtlineare Regressionsverfahren wie zum Beispiel Polynome, erlauben die Approximation jeder stetigen Funktion mit beliebigem Fehler, wenn nur der Polynomgrad m, also die Anzahl der freien Parameter, hoch genug gew¨ahlt wird. Ein Regressionsverfahren mit dieser Eigenschaft wird universeller Approximator genannt (55). Die universelle Approximationseigenschaft von Polynomen ist allerdings oft nur von theoretischem Nutzen. Die Approximation ist an den Datenpunkten ist zwar wie gefordert sehr gut, aber zwischen den Datenpunkten und außerhalb des betrachteten Datenbereichs, also im Interpolations- und Extrapolationsverhalten, werden durch den erforderlichen hohen Polynomgrad ¨ starke Uberschwinger erzeugt, die aus den Daten nicht intuitiv erkl¨art werden k¨ onnen (vgl. hierzu auch Abschnitt 6.4). Aus diesem Grund werden in praktischen Anwendungen oft universelle Approximatoren eingesetzt, die geringere lokale Schwankungen verursachen. Hierzu geh¨oren unter anderem universelle Approximatoren aus der Neuroinformatik: das mehrschichtige Perzeptron und radiale Basisfunktionen. Diese beiden Klassen universeller Approximatoren werden in diesem und im folgenden Abschnitt beschrieben. Ein Beispiel f¨ ur ein k¨ unstliches neuronales Netz, das als universeller Approximator genutzt werden kann, ist das mehrschichtige Perzeptron (multilayer perceptron, MLP ) (93). Ein MLP ist ein gerichteter Graph wie in Abbildung 6.2 (links) gezeigt. Die Knoten eines MLP heißen Neuronen, da ein MLP und die ¨ Funktionalit¨ at der MLP-Knoten Ahnlichkeit mit einem biologischen neuronalen Netz besitzen (51; 91; 116). Die Kanten eines MLP tragen reellwertige Gewichte, wobei wij ∈ IR das Kantengewicht vom Ausgang des Neurons Nummer i zu einem Eingang des Neurons Nummer j bezeichnet. Jedes Neuron liefert einen skalaren Ausgangswert, der Ausgangswert des Neurons Nummer i ist also

6.2 Neuronale Netze

71

Oi ∈ IR. Der eﬀektive Eingangswert Ii ∈ IR jedes Neurons ist die Summe der entsprechenden gewichteten Eingangswerte. Ii = wji Oj (6.36) j

Der Ausgangswert jedes Neurons wird aus dem eﬀektiven Eingangswert mit ¨ Hilfe einer Ubertragungsfunktion f : IR → IR berechnet, so dass Oi = f (Ii )

(6.37)

¨ Eine h¨ auﬁg verwendete Ubertragungsfunktion ist die in Abbildung 6.2 (rechts) gezeigte Sigmoid-Funktion oder logistische Funktion f (x) =

1 1 + e−x

(6.38)

die bewirkt, dass der Neuronenausgang stets auf das oﬀene Intervall Oi ∈ (−1, 1) beschr¨ ankt bleibt. Diese Sigmoid-Funktion ¨ ahnelt sehr der bereits erw¨ahnten inversen Fisher-Z-Funktion (3.31). Neben den Kanten, die Paare von Neuronen verbinden, enth¨ alt ein MLP auch Kanten vom externen Netzeingang zu Neuroneneing¨ angen und Kanten von Neuronenausg¨angen zum externen Netzausgang. Alle Neuronen, die direkt mit mindestens einem Netzeingang verbunden sind, bilden die Eingangsschicht des MLP, alle Neuronen, deren Ausgang mit dem Netzausgang verbunden ist, bilden die Ausgangsschicht. Alle u ¨brigen Neuronen bilden eine oder mehrere verdeckte Schichten. Mit Hilfe der Gleichungen (6.36), (6.37) und (6.38) l¨ asst sich zu jedem gegebenen Netzeingang der entsprechende Netzausgang berechnen. Wenn die Eingangsschicht aus p ≥ 1 und die Ausgangsschicht aus r ≥ 1 Neuronen besteht, so ist der Netzeingang ein Vektor x ∈ IRp und der Netzausgang ein Vektor y ∈ IRr . Das MLP stellt somit eine Funktion f : IRp → IRr dar, die durch die Werte der Gewichte wij speziﬁziert wird. Die Festlegung der Gewichte wij und somit der Netz¨ ubertragungsfunktion f kann im Prinzip durch den Benutzer erfolgen, dies ist jedoch nur f¨ ur die wenigsten Anwendungen praktikabel. MLPs werden dagegen meist f¨ ur nichtlineare Regressionsaufgaben eingesetzt, bei denen Datens¨atze mit Ein-/Ausgangspaaren Z = (X, Y ) ∈ IRp+r vorliegen, die die gew¨ unschte Netz¨ ubertragungsfunktion beschreiben. Mit Hilfe eines geeigneten Lernverfahrens werden die Netzgewichte wij so trainiert, dass das Netz n¨ aherungsweise zu jedem Eingangsvektor x ∈ X den zugeh¨ origen Ausgangsvektor y ∈ Y reproduziert, dass also y ≈ f (x). Zur Vereinfachung der Schreibweise werden im Folgenden MLPs betrachtet, die wie in Abbildung 6.2 (links) gezeigt genau eine verdeckte Schicht mit q ≥ 1 Neuronen besitzen. MLPs mit genau einer verdeckten Schicht werden auch zweischichtige (und nicht etwa dreischichtige) MLPs genannt, da sie zwei Schichten adaptierbarer Kantengewichte besitzen, n¨ amlich zwischen Eingangsschicht und verdeckter Schicht sowie zwischen verdeckter Schicht und Ausgangsschicht. Weiterhin werden im Folgenden die Neuronen so indiziert, dass die Neuronen der Eingangsschicht die Ausg¨ ange O1 , . . . , Op besitzen, die Neuronen der verdeckten Schicht die Ausg¨ ange Op+1 , . . . , Op+q und die Neuronen der Ausgangsschicht die

72

6 Regression

Ausg¨ ange Op+q+1 , . . . , Op+q+r . Der Netzeingang ist somit x = (I1 , . . . , Ip ) ∈ X und der Netzausgang ist (Op+q+1 , . . . , Op+q+r ). Der Sollwert des Netzausgangs ist jedoch y = (Op+q+1 , . . . , Op+q+r ) ∈ Y . Die Abweichung des Netzausgangs von dessen Sollwert wird durch den mittleren quadratischen Ausgangsfehler E quantiﬁziert. E=

p+q+r 1 · (Oi − Oi )2 r i=p+q+1

(6.39)

Zum Training des Netzes sollen die Netzgewichte wij so adaptiert werden, dass der Fehler E minimal wird. Hierzu wird ein Gradientenabstiegsverfahren verwendet, das die Gewichte in jedem Schritt entsprechend der aktuellen Fehlergradienten modiﬁziert. ∂E ∂wij

Δwij = −α(t) ·

(6.40)

Ein Gradientenabstiegsverfahren wurde in Abschnitt 4.3 bereits zur mehrdimensionalen Skalierung verwendet (Abbildung 4.6). Zur Adaption der Gewichte zwischen verdeckter Schicht und Ausgangsschicht ergeben sich die Fehlergradienten f¨ ur (6.40) unter Beachtung der Kettenregel direkt aus (6.36), (6.37) und (6.39). ∂E ∂Oj

∂E = ∂wij ∼

(Oj −

·

Oj )

∂Oj ∂Ij

·

∂Ij ∂wij

(6.41)

· f (Ij ) · Oi

(O)

= δj (O)

Der Term δj , j = p + q + 1, . . . , p + q + r, wird auch Deltawert der Ausgangsschicht genannt. Mit diesem Deltawert wird (6.40) zur generalisierten DeltaRegel (95) (O)

Δwij = −α(t) · δj

· Oi

(6.42)

F¨ ur die Sigmoid-Funktion (6.38) l¨ asst sich die Ableitung nach Ij berechnen als f (Ij )

=

∂ 1 1 =− · −e−Ij 2 −I j −I ∂Ij 1 + e (1 + e j )

=

1 e−Ij · = Oj · (1 − Oj ) 1 + e−Ij 1 + e−Ij

(6.43)

¨ Aus (6.41) und (6.43) ergibt sich also f¨ ur sigmoide Ubertragungsfunktionen (O)

δj

= (Oj − Oj ) · Oj · (1 − Oj )

(6.44)

6.2 Neuronale Netze

73

Zur Adaption der Gewichte zwischen der Eingangsschicht und der verdeckten ¨ Schicht muss die Summe der Anderung aller Ausg¨ange betrachtet werden. ∂E = ∂wij

p+q+r l=p+q+1 p+q+r

∼

∂E ∂Ol

·

∂Ol ∂Il ∂Oj ∂Ij · · · ∂Il ∂Oj ∂Ij ∂wij

(Ol − Ol ) · f (Il ) · wjl · f (Ij ) · Oi

(6.45)

l=p+q+1 p+q+r

=

p+q+r

l=p+q+1 l=p+q+1

(O)

· wjl · f (Ij ) · Oi

δl

Analog zu (6.41) gilt damit p+q+r ∂E (O) = f (Ij ) · δl · wjl ·Oi ∂wij l=p+q+1

(6.46)

(H)

= δj

Die generalisierte Delta-Regel f¨ ur die Gewichte zwischen Eingangsschicht und verdeckter Schicht lautet damit entsprechend zu (6.42) (H)

Δwij = −α(t) · δj

· Oi

(6.47)

F¨ ur die Sigmoidfunktion ergeben sich die Deltawerte der verdeckten Schicht mit (6.43) und (6.46) zu (H)

δj

= (Oj ) · (1 − Oj ) ·

p+q+r l=p+q+1

(O)

δl

· wjl

(6.48)

Das Schema zur Berechnung l¨ asst sich entsprechend auch f¨ ur MLPs mit mehr als zwei Schichten, also mit mehreren verdeckten Schichten erweitern. Auch f¨ ur diese l¨ asst sich f¨ ur jede Schicht eine Gleichung zur Berechnung der Delta¨ werte aus der Ableitung der Ubertragungsfunktion und den Deltawerten der nachfolgenden Schichten herleiten. Der Gradientenabstieg mit der Delta-Regel (6.42) bzw. (6.47) wird auch als Backpropagation-Algorithmus bezeichnet, da die Fehler von der Ausgangsschicht zur Eingangsschicht hin zur¨ uckpropagiert werden (133). Abbildung 6.3 zeigt den Backpropagation-Algorithmus f¨ ur die hier betrachteten zweischichtigen MLPs. Nach der Initialisierung der Gewichte werden in jedem Lernschritt f¨ ur jedes Paar von Ein- und Ausgangswerten jedes Gewicht einmal gem¨ aß der Delta-Regel aktualisiert, bis ein Abbruchkriterium erreicht ist, zum Beispiel bis der Fehler E (6.39) einen Schwellwert Eth > 0 unterschritten hat. In diesem Trainingsprozess werden die MLP-Gewichte so bestimmt, dass das MLP zu den gegebenen Eingangsdaten mit minimalem Fehler die gew¨ unschten Ausgangsdaten produziert. Nach Abschluss des Trainings kann ein MLP mit den auf diese Weise gefundenen Gewichten als (nichtlineare) Regressionsfunktion verwendet werden.

74

6 Regression

1. Gegeben Neuronenanzahl p, q, r ∈ {1, 2, . . .}, Eingangsdaten X = {x1 , . . . , xn } ⊂ IRp , Ausgangsdaten Y = {y1 , . . . , yn } ⊂ IRr 2. Initialisiere wij , i, j = 1, . . . , p + q + r 3. F¨ ur jedes Ein-/Ausgangspaar (xk , yk ), k = 1, . . . , n, (a) Aktualisiere die Gewichte der Ausgangsschicht (O)

wij = wij −α(t)·δj

·Oi ,

i = 1, . . . , q j = p + 1, . . . , p + q

(b) Aktualisiere die Gewichte der verdeckten Schicht (H)

wij = wij −α(t)·δj

·Oi ,

i = p + 1, . . . , p + q j = p + q + 1, . . . , p + q + r

4. Wiederhole ab (3.), bis Abbruchkriterium erreicht 5. Ausgabe: Gewichte wij , i, j = 1, . . . , p + q + r

Abbildung 6.3: Backpropagation-Algorithmus (zweischichtiges Perzeptron)

w1

x

w2 w3

+

y

Abbildung 6.4: RBF-Netz mit drei radialen Basisfunktionen

6.3 Radiale Basisfunktionen

6.3

75

Radiale Basisfunktionen

Netzwerke mit radiale Basisfunktionen, sogenannte RBF-Netze (44; 86; 87), sind mit Neuronen aufgebaut, die jeweils eine einzelne radiale Basisfunktion x−μi 2 − σi ui (x) = e (6.49) μi ∈ IRp , σi > 0, i = 1, . . . , c, realisieren. Abbildung 6.4 zeigt ein RBF-Netz mit drei solcher Basisfunktionen. Jedes Neuron ist mit dem Eingang x und u ¨ ber ein Gewicht wi ∈ IR mit dem summierenden Ausgangsneuron verbunden. Der Ausgang eines RBF-Netzes berechnet sich somit zu y=

c

wi · e

−

x−μi 2 σi

(6.50)

i=1

Um RBF-Netzwerke mit Ein-Ausgangsdaten zu trainieren, werden die Basisfunktionen ui und Gewichte wi in zwei getrennten Schritten bestimmt. Zum Training der Basisfunktionen (6.49) werden die Zentren μi und die Varianzen σi bestimmt, i = 1, . . . , c. Dies kann durch Gradientenabstieg, Wettbewerbslernen oder Clustermethoden erfolgen. F¨ ur den Gradientenabstieg dient die mittlere quadratische Fehlerfunktion c 2 x −μ 2 n 1 − kσ i i E= wi e − yk (6.51) n i=1 k=1

Daraus ergeben sich die Fehlergradienten ⎛ ⎞ 2 xk −μj x −μ 2 m n − ∂E 4wi ⎝ σj − kσ i ⎠ i = w e − y − μ ) e (6.52) (x j k k i ∂μi nσi2 j=1 k=1 ⎛ ⎞ 2 xk −μj x −μi 2 m n − k ∂E 4wi ⎝ σj ⎠ (xk − μi )2 e− σi = w e − y (6.53) j k 3 ∂σi nσi j=1 k=1

mit denen ein Gradientenabstieg durchgef¨ uhrt werden kann. Die Gewichte wi k¨ onnen anschließend aus der Pseudoinversen der Matrix U der Basisfunktionswerte gesch¨ atzt werden, wobei uik = ui (xk ), i = 1, . . . , c, k = 1, . . . , n. Gem¨aß (6.50) lassen sich aus der Matrix U der radialen Basisfunktionswerte und dem gesuchten Gewichtsvektor w = (w1 , . . . , wc ) die Netzausg¨ange berechnen, die gleich Y sein sollen. Y = w·U (6.54) Die Gewichte w lassen sich also mit der Pseudoinversen von U sch¨atzen. w = (U T U )−1 U T Y

(6.55)

¨ Eine Ubersicht des Trainingsalgorithmus f¨ ur radiale Basisfunktionen ist in Abbildung 6.5 dargestellt.

76

6 Regression

1. Gegeben Anzahl der Basisfunktionen c ∈ {1, 2, . . .}, Eingangsdaten X = {x1 , . . . , xn } ⊂ IRp , Ausgangsdaten Y = {y1 , . . . , yn } ⊂ IRr 2. Initialisiere μi , σi , i = 1, . . . , c 3. F¨ ur jedes Ein-/Ausgangspaar (xk , yk ), k = 1, . . . , n, aktualisiere die Parameter der Basisfunktionen μi = μi − α(t) ·

∂E , ∂μi

i = 1, . . . , c (6.52)

σi = σi − α(t) ·

∂E , ∂μi

i = 1, . . . , c (6.53)

4. Wiederhole ab (3.), bis Abbruchkriterium erreicht 5. Berechne den Gewichtsvektor w = (U T U )−1 U T Y

(6.55)

6. Ausgabe: Funktionsparameter μi , σi und Gewichte wi , i = 1, . . . , c

Abbildung 6.5: Trainings-Algorithmus f¨ ur radiale Basisfunktionen

6.4

Training und Validierung

Die in den beiden letzten Abschnitten beschriebenen nichtlinearen Regressionsverfahren mit mehrschichtigen Pezeptrons und radialen Basisfunktionen sind, wie schon zu Beginn von Abschnitt 6.2 erl¨autert, universelle Approximatoren. Im Gegensatz zur linearen Regression sind solche universellen Approximatoren in der Lage, einen gegebenen Datensatz mit beliebig geringem Fehler zu approximieren, wenn nur die Anzahl der freien Parameter groß genug ist. Wird in einem mehrschichtigen Perzeptron die Anzahl der Neuronen erh¨oht, so erh¨oht sich auch die Anzahl der Kanten, die die Neuronen miteinander verbinden, und somit auch die Anzahl der w¨ ahrend des Trainingsvorgangs frei ver¨anderbaren Kantengewichte. Und wird die Anzahl der radialen Basisfunktionen erh¨oht, so erh¨ oht sich auch die Anzahl der in den Basisfunktionen enthaltenen variablen Parameter. Je h¨ oher die Anzahl der beim Training frei ver¨anderbaren Parameter, desto genauer l¨ asst sich die Regression an den vorgegebenen Datensatz anpassen und desto geringer wird dadurch der Fehler auf den gegebenen Trai-

6.4 Training und Validierung

77

Trainingsmenge Zt

Training

Z=(X,Y)

Trainingsfehler Et

f Validierungsmenge Zv

Validierung

Validierungsfehler Ev

Abbildung 6.6: Training und Validierung

ningsdaten. Dieser Fehler des trainierten Regressionsmodells f wird Trainingsfehler genannt. Oft wird der mittlere quadratische Fehler betrachtet 1 E= (y − f (x))2 (6.56) Z (x,y)∈Z

Ab einer bestimmten Anzahl freier Parameter ist sogar ein Trainingsfehler von null m¨ oglich. Die Anzahl der freien Parameter ist dann so groß, dass die Daten quasi auswendig gelernt bzw. wie in einer Tabelle gespeichert und sp¨ater abgerufen werden. Bei der Regression interessieren wir uns jedoch in der Regel nicht f¨ ur eine Approximation der Funktionswerte an den schon durch die Daten bekannten Punkten, sondern eine Absch¨ atzung der Funktionswerte an Punkten, die durch die Daten nicht abgedeckt sind. Wichtig ist also nicht ein geringer Trainingsfehler, sondern ein geringer Fehler auf unbekannten Daten, der sogenannte Generalisierungsfehler. Zur Absch¨ atzung des Generalisierungsfehlers kann der Datensatz Z = (X, Y ) in zwei disjunkte Mengen aufgeteilt werden: die Trainingsmenge Zt = (Xt , Yt ) ⊂ Z und die Validierungsmenge Zv = (Xv , Yv ) ⊂ Z, Zt ∪ Zv = X, Zt ∩ Zv = { }. Die Trainingsmenge wird dann zum Training des Regressionsmodells f , also zum Beispiel des mehrschichtigen Perzeptrons oder der radialen Basisfunktionen, verwendet und anschließend der Trainingsfehler 1 Et = (y − f (x))2 (6.57) Zt (x,y)∈Zt

bestimmt. Anschließend wird der Fehler des mit den Trainingsdaten trainierten Modells auf den Validierungsdaten, der sogenannte Validierungsfehler, berechnet: 1 Ev = (y − f (x))2 (6.58) Zv (x,y)∈Zv

Dieser Validierungsfehler ist eine Absch¨ atzung f¨ ur den Fehler der Regressionsmodells bei der Interpolation zwischen den gegebenen Trainingsdaten. Abbildung 6.6 zeigt ein Schema des Zusammenspiels von Training und Validierung. Zur Aufteilung des Datensatzes Z in Trainingsmenge Zt und Validierungsmenge Zv k¨ onnen verschiedene Methoden verwendet werden: • Leave-One-Out: F¨ ur alle k = 1, . . . , n wird bei der Leave-One-Out-Methode Zv = {zk }, Zt = Z\Zv gew¨ ahlt, das Modell Y = f (X) mit Zt trainiert

78

6 Regression und anschließend der Validierungsfehler Evk f¨ ur f mit Zv bestimmt. Ein Maß f¨ ur die Modellg¨ ute ist der mittlere Validierungsfehler n

Ev =

1 Evk n

(6.59)

k=1

Dieses Verfahren ist aufw¨ andig, da n Modelle f trainiert werden m¨ ussen, und f¨ uhrt zu einer zu optimistischen Sch¨atzung des Validierungsfehlers, da die einzelnen Datenpunkte meist durch die Grundgesamtheit der Trainingsdaten sehr gut repr¨ asentiert werden. • Kreuzvalidierung benutzt Validierungsmengen Zv mit jeweils m Vektoren (Zv = m), m >> 1, m << n. Diese k¨onnen zum Beispiel m aufeinander folgende Vektoren sein (Zv = {zi , . . . , zi+m }, i ∈ {1, . . . , n − m}), feste Abst¨ ande besitzen (Zv = {zi , zi+n/m . . . , zi+(m−1)·n/m }, i ∈ {1, . . . , n/m − 1}), oder zuf¨ allig gew¨ahlt werden. Kreuzvalidierung ist in praktischen Anwendungen oft der beste Kompromiss zwischen Rechenaufwand und Aussagekraft des Validierungsfehlers. • Leave-m-Out benutzt alle Zv ⊂ Z mit Zv = m. Es werden also alle n m¨ o glichen Kombinationen aus Trainings- und Validierungsmengen m durchlaufen. Da f¨ ur jeden Durchlauf ein komplettes Training des Funktionsapproximators durchgef¨ uhrt werden muss, ist diese Methode nur f¨ ur sehr kleine Werte von m (bzw. n − m) praktikabel und somit nur von theoretischem Interesse. Da das Regressionsmodell auf den Trainingsdaten und nicht auf den Validierungsdaten basiert, ist der Validierungsfehler meist gr¨oßer als der Trainingsfehler, Ev > Et . Sei d die Anzahl der freien Parameter des Regressionsmodells, also zum Beispiel die Anzahl der Kantengewichte eines mehrschichtigen Perzeptrons. Dann l¨ asst sich der Zusammenhang zwischen Trainings- und Validierungsfehler durch folgende Beziehungen absch¨ atzen (2; 25): Ev

≈

Ev

≈

Ev

≈

1 + d/n Et 1 − d/n (1 + 2d/n) Et 1 Et (1 − d/n)2

(6.60) (6.61) (6.62)

Zur Erstellung von Modellen mit guter Generalisierungsf¨ahigkeit wird die Anzahl der Modellparameter d so gew¨ ahlt, dass Trainings- und Validierungsfehler in der gleichen Gr¨ oßenordnung liegen, auch wenn dies zur einer Verschlechterung des Trainingsfehlers f¨ uhrt. Gem¨ aß der drei obigen Absch¨atzungen muss hierzu d << n gelten. Geeignete Werte von d lassen sich iterativ bestimmen, indem nach jedem Trainingsvorgang die Modellkomplexit¨at gem¨aß der beobachteten Trainings- und Validierungsfehler angepasst und sukzessiv neu trainiert wird, bis Trainings- und Validierungsfehler im gew¨ unschten Verh¨altnis erzielt werden.

6.5 Merkmalsselektion

79

Wird ein universeller Approximator zur Regression zwischen X und Y verwendet und die Modellkomplexit¨ at so bestimmt, dass Trainings- und Validierungsfehler in der gleichen Gr¨ oßenordnung liegen, so liegt ein universelles generalisierungsf¨ ahiges beliebig nichtlineares Regressionsmodell zwischen X und Y vor, dessen G¨ ute durch den Validierungsfehler bestimmt wird. Dieser Validierungsfehler kann als weitgehend unabh¨angig von der gew¨ahlten Struktur des Regressors (zum Beispiel mehrschichtiges Perzeptron) betrachtet werden und spiegelt somit ein Maß f¨ ur die zwischen X und Y maximal erzielbare Modellg¨ ute wider. Somit kann der Validierungsfehler auch als Maß f¨ ur nichtlineare Korrelation zwischen X und Y aufgefasst werden und stellt somit eine Alternative zur nichtlinearen Korrelationsanalyse mit dem Chi-Quadrat-Verfahren nach Abschnitt 5.2 dar.

6.5

Merkmalsselektion

In den vorangegangenen Abschnitten wurde davon ausgegangen, dass die Merkmale in Y von s¨ amtlichen Merkmalen in X abh¨angen und infolgedessen s¨amtliche Merkmale in X in das Regressionsmodell eingehen. Dies ist in praktischen Anwendungen jedoch nicht notwendigerweise der Fall, so dass einige Merkmale in X mit einigen Merkmalen in Y m¨ oglicherweise in keinerlei und nur in marginalem Zusammenhang stehen. Im Folgenden betrachten wir jeweils ein einziges (skalares) Merkmal y aus Y . H¨ angt y nur von einer Teilmenge der Merkmale aus X ab, werden jedoch alle Merkmale aus X f¨ ur das Regressionsmodell verwendet, so f¨ uhrt dies zu einer unn¨ otig hohen Modellkomplexit¨ at, also einer unn¨otig hohen Anzahl von freien Modellparametern und damit verbunden zu einem unn¨otig hohen Trainingsaufwand. Durch den st¨ orenden Eﬀekt von irrelevaten Merkmalen kann sich sogar die Modellg¨ ute verschlechtern. Aus diesen Gr¨ unden wird die Regression h¨auﬁg mit einer Selektion der tats¨ achlich relevanten Merkmale verkn¨ upft. Hierzu werden die verwendeten Teilmengen der Merkmale in X nach jedem Training angepasst, bis eine geeignete Merkmalsteilmenge gefunden ist. Ein einfaches Verfahren beginnt mit allen Merkmalen in X und l¨asst nach jedem Training das am wenigsten relevante Merkmal weg, bis die erzielte Modellg¨ ute eine gewisse Grenze unterschreitet. Ein anderes Verfahren beginnt mit einem einzigen Merkmal und f¨ ugt nach jedem Training das am st¨arksten relevante Merkmal hinzu, bis durch Hinzunahme weiterer Merkmale keine große Verbesserung des Modells mehr erzielt wird. Beide Verfahren k¨onnen duch ihre sukzessive Vorgehensweise zu ung¨ unstigen Merkmalsteilmengen f¨ uhren, weil nur einzelne ucksichtigt werden. So kann Merkmale, nicht aber deren Zusammenh¨ ange ber¨ ur das Merkmal y eine zum Beispiel ein einzelnes Merkmal zwar f¨ ur sich alleine f¨ geringe Relevanz besitzen, aber gemeinsam mit einem anderen Merkmal sehr relevant sein. Dieser Nachteil l¨ asst sich durch Kombination dieser beide Verfahren abmildern, indem abwechselnd phasenweise Merkmale hinzugenommen und weggelassen werden.

80

6 Regression

Um die optimale Teilmenge der verwendeten Merkmale f¨ ur ein gegebenes Regressionsmodell zu bestimmen, m¨ ussten alle m¨oglichen Teilmengen bewertet werden, was einen exponentiellen Aufwand bedeutet. Um diesen Aufwand zu umgehen, werden eﬃziente approximative Methoden verwendet, die stochastisch ausgew¨ ahlte Merkmalsteilmengen bewerten. Hierzu geh¨oren insbesondere metaheuristische Methoden wie Simulated Annealing (77), genetische Algorithmen (121) oder schwarmbasierte Verfahren (130).

81

Kapitel 7

Zeitreihenprognose Zeitliche Sequenzen von Daten spielen im Data Mining eine große Rolle. In Abschnitt 2.7 wurden spezielle Relationen f¨ ur Sequenzdaten pr¨asentiert, in Abschnitt 2.8 wurde die Problematik der ad¨ aquaten Abtastung von kontinuierlichen Signalen behandelt, in Abschnitt 3.2 wurden Filterverfahren f¨ ur Sequenzen beschrieben und in Abschnitt 4.5 wurde gezeigt, wie sich die spektralen Eigenschaften von Zeitreihen berechnen und visualisieren lassen. Neben der Vorverarbeitung, Visualisierung und Analyse von Sequenzdaten ist die Prognose eine wichtige Aufgabenstellung im Data Mining. Ziel der Prognose ist es, auf Basis der beobachteten Daten eine Vorhersage der Zeitreihe u ¨ ber mehrere Zeitschritte in die Zukunft zu produzieren. Zur Bestimmung eines geeigneten Prognosemodells wird angenommen, dass eine (skalare) Zeitreihe durch ein r¨ uckgekoppeltes zeitdiskretes dynamisches System (53) mit einem Eingang x ∈ IRp , einem internen (verborgenen) Zustand s ∈ IRr und einem Ausgang y ∈ IRq erzeugt wird, das f¨ ur diskrete Zeitpunkte k durch eine Zustands- und Ausgabegleichung beschrieben werden kann. sk yk

= g(sk−1 , xk ) = h(sk , xk )

(7.1) (7.2)

Ein Blockdiagramm eines solchen Systems ist in Abbildung 7.1 oben links gezeigt. F¨ ur den Sonderfall dass s nicht in ganz IRr liegt, sondern in einem endlichen Zustandsraum, zum Beispiel s ∈ {0, 1}r , so heißt ein solches System endlicher Zustandsautomat. Das obige Gleichungssystem beschreibt einen sogenannten Mealy-Automaten (76). Ein Sonderfall von Mealy-Automaten sind Moore-Automaten (79), bei denen der Ausgang nur vom Zustand, nicht aber vom aktuellen Eingang abh¨ angt. sk yk

= g(sk−1 , xk ) = h(sk )

(7.3) (7.4)

Ein Blockdiagramm eines solchen Moore-Automaten ist in Abbildung 7.1 oben rechts dargestellt. Moore- und Mealy-Automaten besitzen die gleiche M¨achtigkeit. Jeder Moore-Automat l¨ asst sich in einen Mealy-Automaten u uhren und ¨berf¨

82

7 Zeitreihenprognose

s0

s

g

x

g x1

g

x

y

h

s

h

y1

y2

y3

yn

h

h

h

h

s

g x2

s

g x3

s

g

s

y

sn+1

xn

Abbildung 7.1: R¨ uckgekoppelte dynamische Systeme: Mealy-Automat (oben links), Moore-Automat (oben rechts), zeitlich entfalteter MooreAutomat (unten)

umgekehrt. In der Praxis k¨ onnen Mealy-Automaten ein bestimmtes dynamisches Verhalten oft mit weniger Zust¨ anden bzw. mit einer niedrigeren Zustandsdimension r realisieren. Moore-Automaten besitzen dagegen den Vorteil, dass sie oft leichter manuell zu entwerfen sind und ihr Verhalten in der Regel einfacher analysiert werden kann. Aus diesem Grund betrachten wir im Folgenden ohne Beschr¨ ankung der Allgemeinheit ausschließlich Moore-Automaten. Aufgabe der Prognose ist es, aus den bekannten beobachteten Teilsequenzen (x1 , . . . , xn } und (y1 , . . . , yn } ohne Kenntnis der zuk¨ unftigen Eingangsteilsequenz (xn+1 , . . . , xn+q } die zu erwartende zuk¨ unftige Ausgangsteilsequenz (yn+1 , . . . , yn+q } zu sch¨ atzen. Zur Bestimmung des Prognosemodells werden geeignete Funktionen g und h gesucht, die einen gegebenen Datensatz m¨oglichst gut approximieren, zum Beispiel durch Minimierung eines quadratischen Fehlerfunktionals n E= (yk − yk )2 (7.5) k=1

Dies f¨ uhrt zu einem Regressionsproblem, wie im vorangegangenen Kapitel beschrieben, bei dem aus den Wertequadrupeln (xk , sk−1 , sk , yk ), k = 1, . . . , n, die Funktionen g und h bestimmt werden. Allerdings sind bei der Prognose die internen Systemzust¨ ande s nicht bekannt, sondern m¨ ussen aus den vorhandenen Daten gesch¨ atzt werden. Jeder Zustand sk h¨angt von allen (ebenfalls unbekannten) vorangegangenen Zust¨ anden s0 , . . . , sk−1 ab. Die vorangegangenen Zust¨ ande wurden u ¨ber die Funktion g durch die Eingangswerte x1 , . . . , xk−1 beeinﬂusst und haben u ¨ber die Funktion h die Ausgangswerte y1 , . . . , yk−1 bestimmt. Es wird also angenommen, dass sk aus x1 , . . . , xk−1 und y1 , . . . , yk−1

7 Zeitreihenprognose

83

1. Gegeben Datens¨ atze X = {x1 , . . . , xn } ⊂ IRp , Y = {y1 , . . . , yn } ⊂ IRq , Intervallbreite m ∈ {1, . . . , n} 2. Bilde Regressionsdatensatz Z entsprechend (7.8)-(7.12) 3. Bestimme f aus Z durch geeignetes Regressionsverfahren 4. Ausgabe: f

Abbildung 7.2: Zustandsfreie Zeitreihenprognosemodellbildung

gesch¨ atzt werden kann. Diese Annahme liefert ein zustandsfreies Modell, das als Approximation des Moore-Modells interpretiert werden kann: yk = fk (y1 , . . . , yk−1 , x1 , . . . , xk−1 ),

k = 2, . . . , n

(7.6)

Die Funktionen f2 , . . . , fn k¨ onnen jedoch nicht durch Regression bestimmt werden, denn zu jedem Zeitpunkt k steht nur ein einziges Datentupel zur Verf¨ ugung. Abilfe schaﬀt es, wenn nicht alle vorangegangenen Ein- und Ausgangswerte zur Sch¨ atzung des aktuellen Zustands verwendet werden, sondern nur die jeweils letzten m Werte. Die entsprechende Modell lautet dann yk = f (yk−m , . . . , yk−1 , xk−m , . . . , xk−1 ),

k = m + 1, . . . , n

(7.7)

F¨ ur die Bestimmung von f stehen n − m Datentupel zur Verf¨ ugung. F¨ ur m = 3 und n = 8 lauten diese 8 − 3 = 5 Tupel beispielsweise y4

=

f (y1 , y2 , y3 , x1 , x2 , x3 )

(7.8)

y5 y6

= =

f (y2 , y3 , y4 , x2 , x3 , x4 ) f (y3 , y4 , y5 , x3 , x4 , x5 )

(7.9) (7.10)

y7 y8

= =

f (y4 , y5 , y6 , x4 , x5 , x6 ) f (y5 , y6 , y7 , x5 , x6 , x7 )

(7.11) (7.12)

Dabei kommen die Werte xm , . . . , xn−m und ym+1 , . . . , yn−m , also in diesem Falle x3 , x4 , x5 , y4 , y5 am h¨ auﬁgsten vor, das heißt diese Werte gehen bei einer Bestimmung von f durch Regression am st¨arksten in das Modell ein. Die Intervallbreite m sollte in Verh¨ altnis zu n nicht zu klein gew¨ahlt werden, um die versteckten Zust¨ ande m¨ oglichst gut sch¨atzen zu k¨onnen, aber auch nicht zu groß, um eine ausreichende Anzahl an Datentupeln f¨ ur die Regression zu erhalten. Ein Algorithmus zur zustandsfreien Zeitreihenprognose ist in Abbildung 7.2 dargestellt. Kern der Prognose ist oﬀenbar ein geeignetes Regressionsmodell. Hierf¨ ur kommen zum Beispiel die in Kapitel 6 beschriebenen linearen oder neuronalen Modelle in Frage. G¨ unstige Werte der Intervallbreite m und geeignete Parameter des Regressionsmodells k¨ onnen durch Validierungsverfahren wie in

84

7 Zeitreihenprognose

Abschnitt 6.4 beschrieben bestimmt werden. Außer der modellbasierten Berechnung der bereits bekannten Werte y1 , . . . , yn lassen sich mit dem Prognosemodell f auch zuk¨ unftige Werte yn+1 , yn+2 , . . . absch¨atzen, sofern die zuk¨ unftigen Eingangswerte xn+1 , xn+2 , . . . bekannt sind oder zumindest abgesch¨atzt werden k¨ onnen. Sind die zuk¨ unftigen Eingangswerte unbekannt, so besteht eine einfache M¨ oglichkeit der Absch¨ atzung darin, die zuk¨ unftigen Werte von x auf den bisher beobachteten Mittelwert zu setzen. n

xk =

1 xj , n j=1

k = n + 1, n + 2, . . .

(7.13)

Eine Alternative besteht darin, die Eingangswerte bereits bei der Modellierung auszuklammern, so dass sich ein rein autoregressives Modell ergibt. yk = f (yk−m , . . . , yk−1 ),

k = m + 1, . . . , n

(7.14)

Die entsprechenden Tupel f¨ ur die Regression lauten dann beispielsweise f¨ ur m = 3 und n = 8 folgendermaßen: y4

= f (y1 , y2 , y3 )

(7.15)

y5 y6

= f (y2 , y3 , y4 ) = f (y3 , y4 , y5 )

(7.16) (7.17)

y7 y8

= f (y4 , y5 , y6 ) = f (y5 , y6 , y7 )

(7.18) (7.19)

In der klassischen Zeitreihenprognose werden solche autoregressiven Modelle mit linearer Regression verwendet und als (lineare) AR-Modelle bezeichnet (22). F¨ ur lineare Prognosemodelle gelten ¨ ahnliche Aussagen wie f¨ ur lineare Regressionsmodelle. Ihre Berechnung ist im Vergleich zu nichtlinearen Verfahren deutlich eﬃzienter, allerdings liefern sie im Falle von stark nichtlinearen Zusammenh¨ angen unzureichende Ergebnisse. Um nichtlineare Zusammenh¨ange mit linearen Modellen besser prognostizieren zu k¨onnen, werden Erweiterungen mit gleitenden Mittelwerten, integralen Ans¨ atzen und Regressoren (ARMA, ARIMA, ARMAX) verwendet. Zuverl¨ assigere Prognosen k¨onnen jedoch in der Regel durch Verwendung nichtlinearer Regressionsfunktionen, zum Beispiel neuronaler Netze, erzielt werden. Ein besonders erfolgreicher Ansatz zur Zeitreihenprognose mit rekurrenten neuronalen Netzen verwendet das urspr¨ unglich beschriebene Zustandsmodell (7.3),(7.4), entfaltet es zeitlich gem¨aß Abbildung 7.1 unten, realisiert die Funktionen g und h durch Perzeptrons und repr¨asentiert die unbekannten Zustandsvektoren s durch freie Variablen, die im Laufe des Trainings bestimmt werden (143).

85

Kapitel 8

Klassiﬁkation Bisher wurden zwei Arten numerischer Datens¨atze betrachtet: gew¨ohnliche Merkmalsdaten X = {x1 , . . . , xn } ⊂ IRp (8.1) und Ein-Ausgangs-Datens¨ atze f¨ ur die Regression (Kapitel 6), bei denen jeder Vektor eine Konkatenation aus einem p-dimensionalen Eingangsvektor und einem q-dimensionalen Ausgangsvektor eines Systems darstellt. Z = (X, Y ) = {(x1 , y1 ), . . . , (xn , yn )} ⊂ IRp+q

(8.2)

In diesem Kapitel werden Daten von Objekten betrachtet, die jeweils einer von c Klassen angeh¨ oren, c ∈ {2, 3, . . .}. Beispiel: Untersuchungsergebnisse in der Medizin liefern oft numerische Merkmale wie Temperatur oder Blutdruck, auf Grund derer sich beurteilen l¨ asst, ob der Patient gesund oder krank ist, das heißt ob der Patient der Klasse der Gesunden oder Kranken zugeordnet werden kann. Formal kann die Klassenzuordnung durch einen eindimensionalen Klassenvektor y ⊂ {1, . . . , c} speziﬁziert werden. Die klassiﬁzierten Daten lassen sich dann als Konkatenation der p-dimensionalen Merkmalsdaten und des eindimensionalen Klassenvektors schreiben. Z = (X, y) = {(x1 , y1 ), . . . , (xn , yn )} ⊂ IRp × {1, . . . , c}

(8.3)

Die Aufbereitung und Analyse solcher Daten kann im Prinzip genau wie in den vorherigen Abschnitten beschrieben erfolgen. Dabei muss allerdings ber¨ ucksichtigt werden, dass der Klassenindex y eine nominalskaliert ist. Es ist also keine Ordnung der Klassen deﬁniert, so dass Additionen oder Multiplikationen von Klasseninformationen yi nicht sinnvoll sind. In vielen F¨ allen kann angenommen werden, dass die klassiﬁzierten Objekte mit den Merkmalsvektoren xk typische Beispiele f¨ ur die Elemente der zugeh¨origen Klassen yk darstellen, zum Beispiel wenn Patienten mit hoher Temperatur der Klasse der Kranken zugeordnet sind. Mit Hilfe der verf¨ ugbaren klassiﬁzierten Daten kann also versucht werden, die einzelnen Klassen zu modellieren und mit

86

8 Klassiﬁkation

den datenbasierten Klassenmodellen automatische Klassiﬁkatoren zu entwerfen. Ein Klassiﬁkator klassiﬁziert beispielsweise einen (noch nicht diagnostizierten) Patienten mit hoher Temperatur als krank, wenn in den zur Verf¨ ugung stehenden Daten Patienten mit solchen Merkmalen meist als krank klassiﬁziert wurden. Auf der Basis des klassiﬁzierten Datensatzes X wird also eine Funktion f : IRp → {1, . . . , c} gesucht, die zu einem gegebenen Merkmalsvektor x die gesuchte Klasse y liefern soll. Die Anwendung einer solchen Funktion f wird auch Klassiﬁkation genannt, die Bestimmung der Klassiﬁkationsfunktion f aus dem Datensatz Z = (X, y) heißt Klassiﬁkatorentwurf (32; 127). Der Klassiﬁka¨ torentwurf weist große Ahnlichkeit zur Regression (Kapitel 6) auf. Auch beim Klassiﬁkatorentwurf kommt es in der Praxis nicht darauf an, den Trainingsdatensatz m¨ oglichst fehlerfrei abzubilden, also zu jedem Merkmalsvektor xk die gew¨ unschte Klasse yk zu produzieren, sondern vielmehr neue (bisher unklassiﬁzierte) Objekte nur aus Kenntnis der entsprechenden Merkmalsvektoren x der richtigen (noch unbekannten) Klasse zuzuordnen. Hierzu wird auch beim Klassiﬁkatorentwurf eine Aufteilung der Daten in Trainings- und Validierungsmenge vorgenommen (vgl. Abschnitt 6.4) und versucht, eine m¨oglichst hohe Klassiﬁkationsg¨ ute auf der Validierungsmenge zu erzielen. Zur Bestimmung der Klassiﬁkationsg¨ ute wird eine ausgew¨ahlte Klasse betrachtet, zum Beispiel die Klasse der kranken Patienten. Idealerweise werden alle gesunden Patienten als gesund und alle kranken Patienten als krank klassiﬁziert. Im Fehlerfall wird ein gesunder Patient als krank oder ein kranker Patient als gesund klassiﬁziert. Oﬀenbar wirken sich diese beiden Arten der Fehlklassiﬁkationen f¨ ur die weitere Diagnose und Behandlung des Patienten sehr unterschiedlich aus und m¨ ussen daher unterschiedlich bewertet werden. Es werden daher vier verschiedene F¨ alle richtiger und falscher Klassiﬁkationen unterschieden (4): 1. richtig positiv oder true positive (TP): y = i, f (x) = i (ein kranker Patient wird als krank klassiﬁziert) 2. richtig negativ oder true negative (TN): y = i, f (x) = i (ein gesunder Patient wird als gesund klassiﬁziert) 3. falsch positiv oder false positive (FP): y = i, f (x) = i (ein gesunder Patient wird als krank klassiﬁziert) 4. falsch negativ oder false negative (FN): y = i, f (x) = i (ein kranker Patient wird als gesund klassiﬁziert) Der Fall FP wird auch Fehler erster Art und der Fall FN Fehler zweiter Art genannt. Auf der Basis der Kenngr¨ oßen TP, TN, FP und FN werden h¨auﬁg folgende abgeleitete Kenngr¨ oßen verwendet: • Korrektklassiﬁkationen T=TP+TN (Anzahl der richtig klassiﬁzierten Patienten) • Falschklassiﬁkationen F=FP+FN (Anzahl der falsch klassiﬁzierten Patienten)

8 Klassiﬁkation

87

• Relevanz R=TP+FN (Anzahl der kranken Patienten) • Irrelevanz I=FP+TN (Anzahl der gesunden Patienten) • Positivit¨ at P=TP+FP (Anzahl der als krank klassiﬁzierten Patienten) • Negativit¨ at N=TN+FN (Anzahl der als gesund klassiﬁzierten Patienten) • Korrektklassiﬁkationsrate T/n (Wahrscheinlichkeit, dass ein Patient richtig klassiﬁziert wird) • Falschklassiﬁkationsrate F/n (Wahrscheinlichkeit, dass ein Patient falsch klassiﬁziert wird) • Richtig-Positiv-Rate, Sensitivit¨ at, Treﬀerquote oder Recall TPR=TP/R (Wahrscheinlichkeit, dass ein kranker Patient als krank klassiﬁziert wird) • Richtig-Negativ-Rate oder Speziﬁt¨ at TNR=TN/I (Wahrscheinlichkeit, dass ein gesunder Patient als gesund klassiﬁziert wird) • Falsch-Positiv-Rate, Ausfallrate oder Falschalarmrate FPR=FP/I (Wahrscheinlichkeit, dass ein gesunder Patient als krank klassiﬁziert wird) • Falsch-Negativ-Rate FNR=FN/R (Wahrscheinlichkeit, dass ein kranker Patient als gesund klassiﬁziert wird) • positiver Vorhersagewert, Genauigkeit oder Pr¨azision TP/P (Wahrscheinlichkeit, dass ein krank klassiﬁzierter Patient krank ist) • negativer Vorhersagewert TN/N (Wahrscheinlichkeit, dass ein gesund klassiﬁzierter Patient gesund ist) • negative Falschklassiﬁkationsrate FN/N (Wahrscheinlichkeit, dass ein gesund klassiﬁzierter Patient krank ist) • positive Falschklassiﬁkationsrate FP/P (Wahrscheinlichkeit, dass ein krank klassiﬁzierter Patient gesund ist) Zur Bewertung eines Klassiﬁkators reicht es nicht aus, nur eine dieser Kenngr¨ oßen zu verwenden. Oft werden mindestens zwei dieser Kenngr¨oßen in einem Diagramm dargestellt. In einer Receiver Operating Curve, kurz ROC-Diagramm, wird auf der Ordinate die Richtig-Positiv-Rate TPR und auf der Abszisse die Falsch-Positiv-Rate FPR aufgetragen. Auch in der deutschsprachigen Literatur wird in der Regel der englische Begriﬀ Receiver Operating Curve verwendet. Abbildung 8.1 links zeigt das Beispiel eines ROC-Diagramms. F¨ ur einen gegebenen Klassiﬁkator und einen gegebenen Datensatz l¨asst sich die G¨ ute der Klassiﬁkation als ein Punkt in einem ROC-Diagramm darstellen. Wird ein geeignetes Validierungsverfahren verwendet, so lassen sich TPR und FPR auf der Validierungsmenge als typische Klassiﬁkationsg¨ ute des verwendeten Klassiﬁkators interpretieren. Unterschiedliche Klassiﬁkatoren und gleichartige Klassiﬁkatoren mit unterschiedlichen Parametern lassen sich hinsichtlich ihrer Klassiﬁkationsg¨ ute u ¨ bersichtlich in ROC-Diagrammen vergleichen. Ein idealer Klassiﬁkator

88

8 Klassiﬁkation 1

1

0.8

0.8

0.6

0.6

TPR

TP/P 0.4

0.4

0.2

0.2

0 0

0.5

FPR

1

0 0

0.5

1

TPR

Abbildung 8.1: ROC-Diagramm (links) und PR-Diagramm (rechts)

klassiﬁziert mit 100% TPR und 0% FPR. Ein solcher idealer Klassiﬁkator entspricht daher der oberen linken Ecke des ROC-Diagramms. Gute, nicht-ideale Klassiﬁkatoren sollten daher m¨ oglichst nahe an der oberen linken Ecke liegen. Die obere rechte Ecke des ROC-Diagramms entspricht einem Klassiﬁkator, der immer ein positives Ergebnis liefert, also 100% TPR und 100% FPR, die untere linke Ecke einem Klassiﬁkator, der immer ein negatives Ergebnis liefert, also 0% TPR und 0% FPR, und die untere rechte Ecke einem Klassiﬁkator, der immer das falsche Ergebnis liefert, also 0% TPR und 100% FPR. Ein Klassiﬁkator, der immer das falsche Ergebnis liefert, l¨ asst sich leicht in einen idealen Klassiﬁkator u uhren, indem das Klassiﬁkationsergebnis invertiert wird, das heißt aus ¨ berf¨ einer positiven Klassiﬁkation wird eine negative gemacht und umgekehrt. Eine solche Inversion f¨ uhrt dazu, dass die Klassiﬁkationsg¨ ute im ROC-Diagramm an der Hauptdiagonalen (gestrichelt) gespiegelt wird. Alle Klassiﬁkatoren, deren G¨ ute durch einen Punkt unterhalb der Hauptdiagonalen repr¨asentiert wird, lassen sich also durch Inversion verbessern. Aus diesem Grund werden in der Regel nur solche Klassiﬁkatoren betrachtet, deren G¨ ute oberhalb der Hauptdiagonalen liegen. Durch Variation von Parametern eines Klassiﬁkators entsteht eine Punktmenge im ROC-Diagramm, die sich als Punkte auf einer kontinuierlichen ROC-Kurve interpretieren lassen. Auf diese Weise entstehen charakteristische ROC-Kurven, mit denen sich verschiedene Klassiﬁkatortypen vergleichen lassen. Eine Alternative zum ROC-Diagramm ist das Genauigkeits-TreﬀerquoteDiagramm, Precision-Recall-Diagramm oder kurz PR-Diagramm. Wie der Name bereits erkennen l¨ asst, wird in einem PR-Diagramm auf der Ordinate die Pr¨azision TP/P und auf der Abszisse die Treﬀerquote TPR aufgetragen. Abbildung 8.1 rechts zeigt das Beispiel eines PR-Diagramms. In der Regel l¨asst sich bei einer niedrigen Treﬀerquote eine hohe Pr¨ azision erreichen, das heißt wenn nur sehr wenige Kranke als krank klassiﬁziert werden, dann l¨asst sich leicht ein Klassiﬁkator erstellen, bei dem die wenigen als krank klassiﬁzierten Patienten auch tats¨ achlich krank sind, und umgekehrt l¨asst sich f¨ ur eine hohe Treﬀerquote oft nur eine niedrige Pr¨ azision erreichen. Auch im PR-Diagramm l¨asst sich durch Variation von Parametern eines Klassiﬁkators eine kontinuierliche cha-

8.1 Naiver Bayes-Klassiﬁkator

89

häufigkeitsbasiert

Naiver Bayes Klassifikator

Nächster Nachbar Klassifikator

linear

lineare Diskriminanz

Lernende Vektorquantisierung

Support Vektor Maschine

Entscheidungsbäume

prototypbasiert

hierarchisch

¨ Abbildung 8.2: Ubersicht der beschriebenen Klassiﬁkationsverfahren

rakteristische PR-Kurve approximieren. Der Schnittpunkt dieser PR-Kurve mit der Hauptdiagonalen wird Genauigkeits-Treﬀerquote-Grenzwert oder PrecisionRecall-Breakeven-Point genannt. Je h¨ oher dieser Wert, desto besser ist die G¨ ute des Klassiﬁkators. Ein Vergleich zwischen ROC- und PR-Diagrammen ﬁndet sich in (29). In den folgenden Abschnitten werden einige wichtige Familien von Klassiﬁkatoren mit ihren speziﬁschen Vor- und Nachteilen vorgestellt. Dabei wird unterschieden zwischen h¨ auﬁgkeitsbasierten, linearen, prototypbasierten und hier¨ archischen Verfahren. Eine Ubersicht u ¨ber die in diesem Kapitel beschriebenen Algorithmen gibt Abbildung 8.2.

8.1

Naiver Bayes-Klassiﬁkator

Ein naiver Bayes-Klassiﬁkator ist ein wahrscheinlichkeitsbasiertes Klassiﬁkationsverfahren, das auf dem Satz von Bayes (9) basiert: F¨ ur zwei Ereignisse A und B mit p(B) > 0 gilt p(A | B) · p(B) = p(B | A) · p(A)

(8.4)

L¨ asst sich das Ereignis A in die disjunkten Ereignisse A1 ,. . . ,Ac zerlegen, so gilt weiter p(Ai ) · p(B | Ai ) (8.5) p(Ai | B) = c P (Aj ) · P (B | Aj ) j=1

Bei der Klassiﬁkation betrachtet wir anstatt der Ereignisse A und B die Ereignisse Objekt geh¨ ort zur Klasse i“ (kurz i) und Objekt wird durch den ” ” Merkmalsvektor x beschrieben“ (kurz x). Durch Einsetzen erhalten wir p(i) · p(x | i) p(i | x) = c p(p(j) · x | j) j=1

(8.6)

90

8 Klassiﬁkation

Tabelle 8.1: Beispiel naiver Bayes-Klassiﬁkator: gegebene H¨ auﬁgkeiten

regelm¨ aßig in der Vorlesung nicht regelm¨ aßig in der Vorlesung Skript durchgearbeitet Skript nicht durchgearbeitet

Pr¨ ufung bestanden 21 1 16 6

Pr¨ ufung nicht bestanden 4 3 2 5

Nehmen wir an, dass x ein Vektor von p stochastisch unabh¨angigen Merkmalen ist, so gilt p p(x | i) = p(x(k) | i) (8.7) k=1

und durch Einsetzen erhalten wir schließlich die Vorschrift des naiven BayesKlassiﬁkators p p(x(k) | i) p(i) · k=1 (8.8) p(i | x) = c p p(j) · p(x(k) | j) j=1

k=1

Die f¨ ur die Klassiﬁkation ben¨ otigten Wahrscheinlichkeiten lassen sich aus den im Datensatz Z = (X, y) beobachteten relativen H¨auﬁgkeiten sch¨atzen. Die Wahrscheinlichkeiten p(i) werden also aus den relativen H¨auﬁgkeiten der Klasse y = i gesch¨ atzt, i = 1, . . . , c, und die Wahrscheinlichkeiten p(x(k) | i) aus den relativen H¨ auﬁgkeiten des Merkmals x(k) in Klasse y = i, i = 1, . . . , c, k = 1, . . . , p. Formel (8.8) liefert daraus f¨ ur einen gegebenen Merkmalsvektor die Wahrscheinlichkeiten der Zugeh¨ origkeit des Objekt zu jeder einzelnen Klasse. Im Falle einer deterministischen Klassiﬁkation liefert der naive Bayes-Klassiﬁkator diejenige Klasse mit der h¨ ochsten Wahrscheinlichkeit. Beispiel: Studierende nehmen an einer Pr¨ ufung teil. Einige von ihnen waren regelm¨aßig in der Vorlesung, andere nicht. Einige von ihnen haben das Skript durchgearbeitet, andere nicht. Gefragt ist, mit welcher Wahrscheinlichkeit ein Studierender bei regelm¨aßigem Vorlesungsbesuch und Durcharbeiten des Skripts die Pr¨ ufung besteht. Gegeben seien hierzu die H¨ auﬁgkeiten der Merkmale Vorlesungsbesuch, Durcharbeiten des Skripts und Pr¨ ufungsergebnis entsprechend Tabelle 8.1. Aus den gegebenen H¨ auﬁgkeiten ergeben sich die ben¨ otigten Wahrscheinlichkeiten zu aßig in der Vorlesung | bestanden) = p(regelm¨ p(Skript durchgearbeitet | bestanden) = ⇒ p(x | bestanden) =

21 21 = 21 + 1 22 16 16 = 16 + 6 22 21 · 16 84 = 22 · 22 121

(8.9) (8.10) (8.11)

8.2 Lineare Diskriminanzanalyse

91

p(regelm. i. d. Vorlesung | nicht bestanden) = p(Skript durchgearbeitet | nicht bestanden) = ⇒ p(x | nicht bestanden) = p(bestanden) = p(nicht bestanden) = p(bestanden) · p(x | bestanden) = p(nicht bestanden) · p(x | nicht bestanden) =

=

⇒ p(bestanden | x)

=

168 · 203 147 = 168 · 203 + 8 · 319 158

≈

4 4 = 4+3 7 2 2 = 2+5 7 4·2 8 = 7·7 49 22 22 = 22 + 7 29 7 7 = 22 + 7 29 22 84 168 · = 29 121 319 7 8 8 · = 29 49 203 168 319

168 319

+

93%

8 203

(8.12) (8.13) (8.14) (8.15) (8.16) (8.17) (8.18) (8.19) (8.20)

Der Studierende wird die Pr¨ ufung also mit einer Wahrscheinlichkeit von 93% bestehen, und ein deterministischer Klassiﬁkator liefert das Ergebnis bestan” den“. Zu den gr¨ oßten Vorteilen des naiven Bayes-Klassiﬁkators geh¨ort die Eﬃzienz, da die Trainingsdaten zur Bestimmung der relativen H¨auﬁgkeiten nur ein einziges Mal durchlaufen werden m¨ ussen. Falls in den Daten Eintr¨age fehlen, zum Beispiel auf Grund von fehlerhaften und nicht plausiblen Eintr¨agen, so k¨ onnen diese einfach ignoriert werden. Ein großer Nachteil des naiven BayesKlassiﬁkators ist allerdings, dass er von einer stochastischen Unabh¨angigkeit der Merkmale ausgeht, die in praktischen F¨ allen oft nicht gegeben ist. In der obigen Beschreibung wurde von bin¨ aren Merkmalen ausgegangen. Der naive BayesKlassiﬁkator l¨ asst sich jedoch leicht auf beliebige diskrete Merkmale erweitern. Kontinuierliche Merkmale m¨ ussen diskretisiert werden. Geeignete Diskretisierungen lassen sich mit Hilfe von Histogramm-Methoden (vgl. Abschnitte 4.4 und 5.2) ﬁnden.

8.2

Lineare Diskriminanzanalyse

Abbildung 8.3 (links) zeigt ein Streudiagramm eines klassiﬁzierten zweidimensionalen reellwertigen Datensatzes. Die Merkmalsvektoren von Klasse 1 sind als Kreuze gekennzeichnet und die Merkmalsvektoren von Klasse 2 als Kreise. Die Merkmalsvektoren beider Klassen sind in dieser Darstellung relativ gut separiert. Punkte oberhalb der gestrichelten Linie geh¨oren u ¨ berwiegend zu Klasse 1 und Punkte unterhalb der Linie u ¨ berwiegend zu Klasse 2. Die gepunktete Linie

92

8 Klassiﬁkation 6

6

4

4

2

2

0

0

−2

−2

−4 −4

−2

0

2

4

6

−4 −4

−2

0

2

4

6

Abbildung 8.3: Diskriminanz durch Klassenmittelwerte (links) und lineare Diskriminanzanalyse (rechts)

kann also als Grenze zwischen den beiden Klassengebieten interpretiert werden und wird auch Diskriminanzgerade genannt, in Normalform geschrieben als w · x + b = 0,

w ∈ IRp ,

b ∈ IR

(8.21)

Im h¨ oherdimensionalen Fall p > 2 sprechen wir allgemein von einer Diskriminanzhyperebene, hier betrachten wir jedoch ohne Beschr¨ankung der Allgemeinheit nur den zweidimensionalen Fall. Die lineare Diskriminanzanalyse bestimmt f¨ ur einen gegebenen Datensatz (X, y) eine optimale Diskriminanzgerade, also die Parameter w und b. Der Einfachheit halber beschr¨anken wir uns in diesem Abschnitt auf nur zwei Klassen. Eine Erweiterung auf mehrere Klassen kann durch Verwendung mehrerer Diskriminanzhyperebenen erfolgen oder durch Kombination mehrerer zweiklassiger Klassiﬁkatoren. Wenn die Daten der beiden Klassen wie in diesem Fall n¨aherungsweise als punktsymmetrisch Gauß-verteilt mit den Mittelwerten μ1 , μ2 und mit gleicher Varianz interpretiert werden k¨ onnen, so l¨ asst sich eine geeignete Diskriminanzgerade durch die Mitte zwischen den beiden Mittelwerten legen, so dass sich f¨ ur den Normalvektor w und den Abstand d folgende Gleichungen ergeben: w b

= μ1 − μ2 μ1 + μ2 = −w · 2

(8.22) (8.23)

Die gepunktete Gerade in Abbildung 8.3 wurde auf diese Weise berechnet. Abbildung 8.3 rechts zeigt zwei Klassen mit denselben Mittelpunkten μ1 , μ2 wie links, jedoch sind die Verteilungen nicht punktsymmetrisch, sondern horizontal gedehnt. Die gem¨ aß obigen Gleichungen berechnete gepunktete Gerade trennt die beiden Klassen oﬀensichtlich nur unzureichend. Die lineare Diskriminanzanalyse ist eng mit der Hauptachsentransformation gem¨aß Abschnitt 4.2 verwandt. Eine Projektion der Daten entlang der gepunkteten Gerade liefert eindimensionale Projektionsdaten, in denen die beiden Klassen im linken Bild

8.3 Support-Vektor-Maschine

93

optimal und im rechten Bild weniger gut separiert sind. Gute Separierbarkeit bedeutet, dass in der Projektion die Kovarianzen innerhalb der Klassen C1 =

c

(xk − μi )T (xk − μi )

(8.24)

i=1 yk =i

m¨ oglichst gering und die Kovarianzen zwischen den Klassen C2 =

c

(μi − x ¯)T (μi − x ¯)

(8.25)

i=1

¨ m¨ oglichst groß sind. Gem¨ aß dieser Uberlegung wird in der linearen Diskriminanzanalyse nach Fisher (36), die erstmals auf den Iris-Datensatz angewendet wurde (vgl. Abschnitt 2.1), der Quotient J=

wT · C2 · w wT · C1 · w

(8.26)

maximiert. Diese Maximierung f¨ uhrt, analog zur Hauptachsentransformation in Abschnitt 4.2, zu dem Eigenwertproblem (C2−1 C1 ) · w = λ · w

(8.27)

mit dem sich w und daraus b bestimmen l¨ asst. F¨ ur den hier betrachteten Fall c = 2 ergibt sich die Vereinfachung C2 = (μ1 − μ2 )T (μ1 − μ2 )

(8.28)

die zu der L¨ osung w b

= C1−1 (μ1 − μ2 ) μ1 + μ2 = −w · 2

(8.29) (8.30)

f¨ uhrt. Die entsprechende Diskriminanzgerade ist in Abbildung 8.3 rechts gestrichelt eingezeichnet und f¨ uhrt oﬀenbar zu einer wesentlich besseren Separation als die gepunktete Gerade. Die lineare Diskriminanzanalyse ist ein eﬃzientes Klassiﬁkationsverfahren, das auch f¨ ur korrelierte Merkmale geeignet ist. Allerdings setzt die lineare Diskriminanzanalyse voraus, dass die Klassengebiete im Merkmalsraum n¨aherungsweise Gauß-verteilt sind, und ist daher ungeeignet f¨ ur stark nichtlineare Klassengrenzen, die sich aus anderen Verteilungen ergeben.

8.3

Support-Vektor-Maschine

Die Support-Vektor-Maschine (SVM) (114) ist ein Klassiﬁkator, der ebenso wie die lineare Diskriminanzanalyse lineare Diskriminanzhyperebenen verwendet. Bei der SVM wird jedoch gefordert, dass alle Trainingsdatenpunkte einen

94

8 Klassiﬁkation

Mindestabstand von der Diskriminanzhyperebene einhalten. Im Beispiel zweier Klassen wird also f¨ ur alle xk , k = 1, . . . , n, gefordert, dass w · xk + b

≥

+1 falls yk = 1

(8.31)

w · xk + b

≤

−1 falls yk = 2

(8.32)

Falls f¨ ur diese Bedingung mehrere (m¨ oglicherweise unendlich viele) L¨osungen existieren, wird bei der SVM die L¨ osung mit minimalem J=

1

w 2 2

(8.33)

gew¨ ahlt. Falls die Klassengrenzen u ¨ berlappen, kann keine L¨osung gefunden werden, die die Bedingungen (8.31) und (8.32) erf¨ ullt. F¨ ur diesen Fall werden Schlupfvariablen ξ1 , . . . , ξk ∈ IR+ eingef¨ uhrt, mit denen der Mindestabstand von der Diskriminanzhyperebene reduziert werden kann, w · xk + b

≥ +1 − ξk

falls yk = 1

(8.34)

w · xk + b

≤ −1 + ξk

falls yk = 2

(8.35)

die aber in der Kostenfunktion als Strafterm verwendet werden. 1 ξk , J = w 2 + γ · 2 n

γ>0

(8.36)

k=1

Zur Bestimmung von w und b wird Gleichung (8.36) unter den Randbedingungen (8.34) und (8.35) mit einem geeigneten Optimierungsverfahren minimiert, zum Beispiel mit quadratischer Programmierung. Eine Alternative zu diesem direkten Optimierungsansatz besteht darin, den Normalvektor als Linearkombination der Trainingsdaten zu schreiben w= αj xj − αj xj (8.37) yj =1

yj =2

und dann die Parameter α1 , . . . , αn zu optimieren. Die Klassiﬁkationsregel lautet dann entsprechend αj xj xk − αj xj xk + b ≥ +1 − ξk falls yk = 1 (8.38) yj =1

yj =1

yj =2

αj xj xk −

αj xj xk + b

≤

−1 + ξk

falls yk = 2

(8.39)

yj =2

Zun¨ achst liefert dies keinen erkennbaren Vorteil, denn die Anzahl der zu bestimmenden freien Parameter wird dadurch erheblich erh¨oht, n¨amlich von p + 1 auf n + 1. Diese Schreibweise erm¨ oglicht jedoch u ¨ ber den sogenannten Kernel-Trick eine elegante Erweiterung der linearen Diskriminanzhyperebenen auf nichtlineare Klassengrenzen. Die Idee des Kernel-Tricks ist es, einen Datensatz X = {x1 , . . . , xn } ∈ IRp in einen h¨ oherdimensionalen Datensatz X = {x1 , . . . , xn } ∈

8.3 Support-Vektor-Maschine

95

IRq , q > p, zu u uhren, so dass die Struktur der Daten in X in gewissem ¨ berf¨ Sinne einfacher ist als die Struktur in X. Bei der Support-Vektor-Maschine ist das Ziel, Klassen mit nichtlinearen Klassengrenzen in X in Klassen mit n¨ aherungsweise linearen Klassengrenzen in X zu u uhren und dann lineare ¨ berf¨ Klassiﬁkationsverfahren auf X anzuwenden. In Abschnitt 9.4 werden wir eine Anwendung des Kernel-Tricks auf die relationale Clusteranalyse kennenlernen. Die mathematische Grundlage des Kernel-Tricks ist der Satz von Mercer (78), der bereits seit hundert Jahren bekannt ist, aber erst in den letzten Jahren durch seine Anwendung auf Kernel-Funktionen popul¨ar geworden ist. Der Satz von Mercer besagt, dass es f¨ ur einen Datensatz X und eine Kernel-Funktion k : IRp × IRp → IR eine Abbildung ϕ : IRp → IRq gibt so, dass k(xj , xk ) = ϕ(xj ) · ϕ(xk )T

(8.40)

Das bedeutet, dass eine Abbildung von X auf X dadurch erfolgen kann, dass Skalarprodukte in X durch Kernfunktionen in X ersetzt werden, ohne dass eine explizite Berechnung von X notwendig ist. Das Ersetzen von Skalarprodukten in X durch Kernfunktionen in X wird daher als Kernel-Trick bezeichnet. H¨auﬁg verwendete Kernel-Funktionen sind • lineare Kernel

k(xj , xk ) = xj · xTk

(8.41)

• polynomielle Kernel k(xj , xk ) = (xj · xTk )d , • Gauß-Kernel k(xj , xk ) = e−

d ∈ {2, 3, . . .}

xj −xk 2 σ2

,

σ>0

(8.42)

(8.43)

• Tangens Hyperbolicus Kernel k(xj , xk ) = 1 − tanh

xj − xk 2 , σ2

σ>0

(8.44)

• Radialer Basisfunktionskernel (86) k(xj , xk ) = f ( xj − xk )

(8.45)

Oﬀensichtlich sind Gauß-Kernel und Tangens Hyperbolicus Kernel Spezialf¨alle des radialen Basisfunktionskernels. Mit dem Kernel-Trick ergibt sich die Klassiﬁkationsregel der Support-Vektor-Maschine schließlich zu αj k(xj , xk ) − αj k(xj , xk ) + b ≥ +1 − ξk falls yk = 1 (8.46) yj =1

yj =1

yj =2

αj k(xj , xk ) −

yj =2

αj k(xj , xk ) + b

≤

−1 + ξk

falls yk = 2 (8.47)

96

8 Klassiﬁkation

Da eine große Anzahl von Parametern α1 , . . . , αn durch Optimierung bestimmt werden muss, ist der Klassiﬁkatorentwurf bei der Support-Vektor-Maschine vergleichsweise aufw¨ andig. Die Support-Vektor-Maschine besitzt jedoch den Vorteil, dass auch komplexe nichtlineare Klassengrenzen gut erkannt werden k¨ onnen.

8.4

N¨ achster Nachbar Klassiﬁkator

Ein mathematisch deutlich einfacheres Klassiﬁkationsverfahren ist der N¨achsteNachbar-Klassiﬁkator, der ein zu klassiﬁzierendes Objekt mit dem Merkmalsvektor x derjenigen Klasse zuordnet, zu der das Objekt mit den ¨ahnlichsten Merkmalen im Trainingsdatensatz geh¨ ort (120). Der N¨achste-Nachbar-Klassiﬁkator liefert also zu einem Merkmalsvektor die Klasse yk , wenn gilt

x − xk = min x − xj

j=1,...,n

(8.48)

Hierzu muss nat¨ urlich ein geeignetes Abstandsmaß verwendet werden, zum Beispiel der Euklidische oder der Mahalanobis-Abstand. Eine Modiﬁkation dieser Methode ist der N¨achste-k-Nachbarn-Klassiﬁkator, der die Klasseninformationen nicht nur des n¨ achsten Nachbarn, sondern der k ∈ {2, . . . , n − 1} n¨achsten Nachbarn ber¨ ucksichtigt und die am h¨ auﬁgsten vorkommende Klasse ausgibt. Der N¨ achste-Nachbar-Klassiﬁkator und der N¨achste-k-Nachbarn-Klassiﬁkator ben¨ otigen keinen Aufwand f¨ ur den Klassiﬁkatorentwurf und werten die Daten erst bei einer Klassiﬁkationsanfrage aus. Solche Verfahren werden auch faules Lernen (Lazy Learning) (1) genannt. Neue Daten k¨onnen sehr leicht in den Klassiﬁkator integriert werden, indem die klassiﬁzierten Merkmalsvektoren an die Datenbasis angeh¨ angt werden. Beliebig komplexe nichtlineare Klassengrenzen k¨ onnen gut erkannt werden, wenn in der N¨ahe der Klassengrenzen nur gen¨ ugend Trainingsdaten vorliegen. Bei jeder Klassiﬁkation muss allerdings der gesamte Datensatz durchlaufen werden, was zu einem relativ hohen Aufwand bei der eigentlichen Klassiﬁkation f¨ uhrt.

8.5

Lernende Vektorquantisierung

Der N¨ achste-Nachbar-Klassiﬁkator und der N¨achste-k-Nachbarn-Klassiﬁkator haben gute Klassiﬁkationseigenschaften mit dem Nachteil, dass f¨ ur jede Klassiﬁkation der gesamte Datensatz durchsucht werden muss. Es wurden zahlreiche Variationen vorgeschlagen mit der Idee, aus dem Datensatz eine Menge von repr¨ asentativen Objekten (sogenannte Prototypen) zu extrahieren und die zu klassiﬁzierenden Daten dann nur mit diesen Prototypen zu vergleichen. Die lernende Vektorquantisierung (LVQ) (64; 65) ist ein heuristisches Verfahren, dass zu einem gegebenen Datensatz (X, y) f¨ ur jede Klasse genau einen Prototypen vi ∈ IRp , i = 1, . . . , c, bestimmt. Die Prototypen k¨onnen dann wie beim

8.5 Lernende Vektorquantisierung

97

1. Gegeben klassiﬁzierter Datensatz X = {x1 , . . . , xn } ⊂ IRp , y = {y1 , . . . , yn } ⊂ {1, . . . , c}, Klassenanzahl c ∈ {2, . . . , n − 1}, Gewichtsfunktion α(t) 2. Initialisiere V = {v1 , . . . , vc } ⊂ IRp , t = 1 3. for k = 1, . . . , n (a) Bestimme Gewinnerprototypen vi ∈ V so, dass

xk − vi ≤ xk − v

(b) Verschiebe Gewinnerprototypen vi + α(t)(xk − vi ) vi = vi − α(t)(xk − vi )

∀v ∈ V

falls yk = i sonst

4. t = t + 1 5. Wiederhole ab (3.), bis Abbruchkriterium erreicht 6. Ausgabe: Prototypen V = {v1 , . . . , vc } ⊂ IRp

Abbildung 8.4: Lernende Vektorquantisierung

N¨ achsten-Nachbarn-Klassiﬁkator zur Klassiﬁkation genutzt werden. Ein Objekt mit dem Merkmalsvektor x wird der Klasse i zugeordnet, wenn

x − vi = min x − vj

j=1,...,c

(8.49)

Zur Bestimmung der Prototypen werden diese zun¨achst zuf¨allig initialisiert. Dann werden Merkmalsvektoren des Trainingsdatensatzes durchlaufen und der jeweils n¨ achste Prototyp verschoben, und zwar in Richtung des aktuellen Merkmalsvektors, wenn der Prototyp zur selben Klasse geh¨ort wie das aktuelle Trainingsobjekt, und in Gegenrichtung, wenn der Prototyp zu einer anderen Klasse geh¨ ort. Die Verschiebung erfolgt mit einem exponentiellen Filter mit einer Lernrate, die im Laufe des Lernvorgangs sukzessiv reduziert werden sollte. Die lernende Vektorquantisierung terminiert, sobald ein geeignetes Abbruchkriterium erf¨ ullt ist. Eine detaillierte Beschreibung der lernenden Vektorquantisierung zeigt Abbildung 8.4. Eine Modiﬁkation von LVQ verwendet unscharfe Klassenzugeh¨ origkeiten zwischen null und eins. Diese unscharfe lernende Vektorquantisierung (Fuzzy LVQ, FLVQ) ist in (82) beschrieben. Die lernende Vektorquantisierung zeichnet sich durch einen aufw¨andigen Klassiﬁkatorentwurf und eine eﬃziente Klassiﬁkation aus. Beim Klassiﬁkatorentwurf m¨ ussen alle Daten mehrfach durchlaufen werden, bis eine geeignete

98

8 Klassiﬁkation

1. Gegeben klassiﬁzierter Datensatz X = {x1 , . . . , xn } ⊂ IRp , y = {y1 , . . . , yn } ⊂ {1, . . . , c}, Klassenanzahl c ∈ {2, . . . , n − 1} 2. Initialisiere V = {V1 , . . . , Vc }, Vi = {vi1 } ⊂ IRp , i = 1, . . . , c, S = {S11 , S12 , . . . , . . . , Sc1 , Sc2 , . . .}, Sij = {} ⊂ IRp , i = 1, . . . , c, j = 1, 2, . . . 3. for k = 1, . . . , n (a) Bestimme Gewinnerprototypen vij ∈

V = V1 ∪ . . . ∪ Vc so, dass

xk − vij ≤ xk − v ∀v ∈ V

(b) if yk = i, (xk richtig klassiﬁziert) then Sij = Sij ∪ {xk } else Vyk = Vyk ∪ {xk } 4. for vij ∈ V (alle Prototypen vij durch Mittelwert von Sij ersetzen) if Sij = {}, then vij = mean(Sij ), Sij = {} 5. Wiederhole ab (3.), bis Abbruchkriterium erreicht. 6. Ausgabe: Prototypen V = {V1 , . . . , Vc }, Vi ⊂ IRp , i = 1, . . . , c

Abbildung 8.5: Der Q∗ -Algorithmus

Menge von Prototypen bestimmt ist. Bei der Klassiﬁkation m¨ ussen dagegen nur die Vergleiche mit c Prototypen durchgef¨ uhrt werden. Der Klassiﬁkatorentwurf ist also aufw¨ andig im Vergleich zum N¨ achsten-Nachbarn-Klassiﬁkator, aber die Klassiﬁkation ist deutlich eﬃzienter, falls c n. Bei radial symmetrischen, gut separierbaren Klassen liefert die lernende Vektorquantisierung vergleichbare Ergebnisse wie der N¨ achste-Nachbar-Klassiﬁkator. Nehmen die Klassen dagegen komplizierter geformte Bereiche ein, so gen¨ ugt es nicht mehr, pro Klasse nur einen Prototypen zu verwenden. Abhilfe schaﬀen hier Verfahren, die pro Klasse mehrere Prototypen verwenden. Als Beispiel f¨ ur ein solches Verfahren sei hier der sogenannte Q∗ -Algorithmus (90) genannt, der in Abbildung 8.5 dargestellt ist. Im Gegensatz zu LVQ verwendet Q∗ pro Klasse eine Menge Vi ⊂ IRp von Repr¨ asentanten und zus¨ atzlich eine Menge Si ⊂ IRp von Beispielen, i = 1, . . . , c. Die Mengen der Repr¨ asentanten werden zu Beginn jeweils mit einem zuf¨allig gew¨ ahlten Vektor initialisiert, und die Beispielmengen sind zu Beginn alle leer. Analog zu LVQ wird dann f¨ ur jeden Merkmalsvektor xk der n¨achste Nachbar vij ∈ V1 ∪ . . . ∪ Vc bestimmt. Im Gegensatz zu LVQ wird der Gewinnerprototyp jedoch nicht modiﬁziert. Bei richtiger Klassiﬁkation wird der Merkmalsvektor xk als weiteres Beispiel f¨ ur den Repr¨ asentanten vij zur Beispielmenge Sij hinzu-

8.6 Entscheidungsb¨ aume

99

genommen. Bei falscher Klassiﬁkation wird aus xk dagegen ein neuer Repr¨asentant f¨ ur die Klasse yk gebildet, das heißt xk wird der Repr¨asentantenmenge Vyk hinzugef¨ ugt. Eine Modiﬁkation der Prototypen erfolgt bei Q∗ erst, wenn alle Daten xk ∈ X auf diese Weise durchlaufen wurden. Dann werden n¨amlich die Prototypen als Mittelwert aller entsprechenden Beispielvektoren gebildet. Dieser Vorgang wird bis zur Erf¨ ullung einer geeigneten Abbruchbedingung wiederholt. Auch bei Q∗ erfolgt die Klassiﬁkation gem¨aß der Klassenzugeh¨origkeit des n¨ achsten Prototypen.

8.6

Entscheidungsb¨ aume

Bei den bisher vorgestellten Klassiﬁkatoren werden bei der Klassiﬁkation eines Objekts x stets alle p Merkmale gleichzeitig betrachtet. Diese Vorgehensweise ist ung¨ unstig, wenn die Erfassung, Aufbereitung oder Auswertung der einzelnen Merkmale aufw¨ andig ist. So werden bei der Diagnose von Patienten beispielsweise grundlegende Untersuchungen wie Temperatur- oder Blutdruckmessungen durchgef¨ uhrt, mit denen sich bereits viele Krankheiten ausschließen lassen, so dass sich weitere Untersuchungen er¨ ubrigen. Die Idee ist also, eine Klassiﬁkation so durchzuf¨ uhren, dass die einzelnen Merkmale in der Reihenfolge der Wichtigkeit u uft und so die Kandidaten f¨ ur die gesuchte Klasse immer mehr ein¨ berpr¨ geschr¨ ankt werden. Ein solcher Klassiﬁkator hat eine hierarchische Struktur, im Gegensatz zur ﬂachen Struktur der Klassiﬁkatoren aus den vorigen Abschnitten. Hierarchische Klassiﬁkatoren lassen sich mit sogenannten Entscheidungsb¨aumen darstellen (92). Abbildung 8.6 zeigt zwei ¨ aquivalente Entscheidungsb¨aume f¨ ur den (funktional) gleichen Klassiﬁkator. Beide Klassiﬁkatoren erhalten den zweidimensionalen Merkmalsvektor x = (b, h) eines Lebewesens, wobei b ∈ {0, 2, 4} die Anzahl der Beine und h > 0 die K¨ orpergr¨oße (in Metern) ist. Aus dem Merkmalsvektor soll die Art des Lebewesens klassiﬁziert werden, also festgestellt werden, ob das Lebewesen ein Fisch, Vogel, Mensch, Katze oder Pferd ist. Ein Klassiﬁkator mit Repr¨ asentanten w¨ urde f¨ ur dieses Beispiel die Merkmalsvek¨ toren von typischen Fischen, V¨ ogeln usw. speichern und gem¨aß der Ahnlichkeit von x mit den gespeicherten Merkmalsvektoren klassiﬁzieren. Die beiden Entscheidungsb¨ aume betrachten dagegen nacheinander die einzelnen Komponenten des Merkmalsvektors. Im oberen Entscheidungsbaum wird zun¨achst das Merkmal b gepr¨ uft. Im Falle b = 0 ist die Klasse (Fisch) bereits bestimmt, ohne dass das Merkmal h betrachtet werden muss. In den F¨allen b = 2 und b = 4 wird jeweils der Bereich m¨ oglicher Klassen eingeschr¨ankt (Vogel oder Mensch bzw. Katze oder Pferd), es liegt also bereits nach Pr¨ ufung eines einzigen Merkmals ein Informationsgewinn vor. Zur genauen Festlegung der entsprechenden Klasse ist jedoch f¨ ur b = 0 eine zus¨ atzliche Pr¨ ufung des Merkmals h erforderlich. Im unteren Entscheidungsbaum wird zuerst das Merkmal h gepr¨ uft. Dadurch ist noch keine eindeutige Klassiﬁkation m¨oglich, aber der Informationsgewinn besteht darin, dass das Lebewesen Fisch, Vogel oder Katze (bzw. Fisch, Mensch oder Pferd) sein muss. Auch hier ist zur genauen Klassiﬁkation eine weitere Merkmalspr¨ ufung notwendig.

100

8 Klassiﬁkation

b=0

Fisch

b=2

h<=1m

b=4

h>1m

Vogel

Fisch

b=2

h>1m

Katze

Pferd

Mensch

h<=1m

b=0

h<=1m

h>1m

b=4

Vogel

b=0

Katze

Fisch

b=2

Mensch

b=4

Pferd

Abbildung 8.6: Zwei (funktional) ¨ aquivalente Entscheidungsb¨ aume

Welcher der beiden Entscheidungsb¨ aume ist besser? Die Traversierung des Entscheidungsbaumes liefert die Information der Klassenzugeh¨origkeit. An jedem Knoten des Entscheidungsbaumes wird eine bestimmte Menge Z = (X, y), X ⊂ IRp , y ⊂ {1, . . . , c} betrachtet, die alle an diesem Knoten m¨oglichen Vektoren enth¨ alt. Jede Klasse kommt mit einer gewissen Wahrscheinlichkeit vor, die aus den Klassen in y gesch¨ atzt werden kann. Mit der Kurzschreibweise Xkj = {x ∈ X | x(j) = k}, j = 1, . . . , p, betr¨agt die Wahrscheinlichkeit f¨ ur Klasse k

yk

p(y = k) = (8.50)

X

Die Entropie, also die am aktuellen Knoten in der Menge Z = (X, y) enthaltene Information betr¨ agt damit H(Z) = =

− −

c k=1 c k=1

p(y = k) log2 p(y = k)

(8.51)

yk

yk

log2

X

X

(8.52)

F¨ ur jeden Knoten eines Entscheidungsbaums gilt, dass alle unmittelbar darunterliegenden Kanten dasselbe Merkmal betrachten. Ohne Beschr¨ankung der Allgemeinheit seien diese Merkmale diskret mit dem Wertebereich x(j) ∈ {1, . . . , vj },

8.6 Entscheidungsb¨ aume

101

Tabelle 8.2: Datensatz zu Abbildung 8.6

Nummer Gr¨ oße h [m] Beine b Tier

1 0.1 0 F

2 0.2 2 V

3 1.8 2 M

4 0.2 4 K

5 2.1 4 P

6 1.7 2 M

7 0.1 4 K

8 1.6 2 M

wobei j ∈ {1, . . . , p} der Index des betrachteten Merkmals ist und vj ∈ {1, 2, . . .} die Anzahl der Kanten. Die Traversierung der Kante Nummer k ∈ {1, . . . , vj } liefert die Information H(Zkj ) gem¨ aß (8.51). Die Wahrscheinlichkeit f¨ ur die Traversierung der Kante Nummer k ∈ {1, . . . , vj } l¨asst sich aus X als p(x(j) = k) =

Xkj

X

(8.53)

sch¨ atzen. Wird das Merkmal j in den unmittelbar nachfolgenden Kanten verwendet, so ergibt sich durch Traversierung einer dieser Kanten ein erwarteter Informationsgewinn gj . Dieser Informationsgewinn berechnet sich aus der Information der Menge Z minus dem Erwartungswert der Information nach der Traversierung zu einem der vj Folgeknoten. gj = H(Z) −

vj

p(x(j) = k) · H(Zkj ) = H(Z) −

k=1

vj

Xkj

k=1

X

H(Zkj )

(8.54)

Der (informationstheoretisch) beste Entscheidungsbaum ist derjenige, der an jeder Kante dasjenige Merkmal betrachtet, das zu einem maximalen Informationsgewinn f¨ uhrt. Die Frage, welcher der beiden Entscheidungsb¨aume in Abbildung 8.6 der (informationstheoretisch) beste ist, kann also nur beantwortet werden, wenn alle zugeh¨ origen bedingten Klassenwahrscheinlichkeiten bekannt sind oder aus einem Datensatz Z gesch¨ atzt werden k¨onnen, zum Beispiel aus den in Tabelle 8.2 angegebenen Daten. Dabei steht F“ f¨ ur Fisch, V“ f¨ ur Vogel, ” ” M“ f¨ ur Mensch, K“ f¨ ur Katze und P“ f¨ ur Pferd. Da in Z die Klassen F“, ” ” ” ” V“ und P“ jeweils einmal vorkommen, die Klasse M“ dreimal und die Klasse ” ” ” K“ zweimal, betr¨ agt die Entropie von Z ” 1 1 1 1 3 3 2 2 1 1 H(Z) = − log2 − log2 − log2 − log2 − log2 8 8 8 8 8 8 8 8 8 8 ≈ 2.1556 bit (8.55) Wir betrachten zun¨ achst den Fall, dass am Wurzelknoten f¨ ur die ersten Verzweigungskanten das Merkmal Anzahl der Beine b verwendet wird (entspricht Abbildung 8.6 oben). Wegen des Wertebereichs b ∈ {0, 2, 4} kommen drei Kanten mit den Markierungen b = 0“, b = 2“ und b = 4“ in Frage. Die Entropiewerte ” ” ” nach der Traversierung einer dieser Kanten betragen H(Z | b = 0) =

−1 log2 1 = 0

(8.56)

102

8 Klassiﬁkation H(Z | b = 2) = H(Z | b = 4) =

1 − log2 4 1 − log2 3

1 3 3 − log2 ≈ 0.8113 bit 4 4 4 1 2 2 − log2 ≈ 0.9183 bit 3 3 3

(8.57) (8.58)

Daraus folgt der Informationsgewinn f¨ ur b als erstes Verzweigungsmerkmal gb

4 3 1 H(Z) − H(Z | b = 0) − H(Z | b = 2) − H(Z | b = 4) 8 8 8 1.4056 bit (8.59)

= ≈

Wird dagegen die K¨ orpergr¨ oße h am Wurzelknoten betrachtet (entspricht Abbildung 8.6 unten), so sind f¨ ur den gegebenen Datensatz zwei Kantenmarkierungen h ≤ 1m“ und h > 1m“ ausreichend, das heißt sowohl f¨ ur h ≤ 1m als auch f¨ ur ” ” h > 1m l¨ asst sich durch alleinige Angabe von b eine eindeutige Klassiﬁkation erreichen. Die Entropiewerte nach der Traversierung einer der beiden Kanten sind H(Z | h ≤ 1m) = H(Z | h > 1m) =

1 − log2 4 1 − log2 4

1 1 1 2 2 − log2 − log2 ≈ 1.5 bit (8.60) 4 4 4 4 4 1 3 3 − log2 ≈ 0.8113 bit (8.61) 4 4 4

Damit ist der Informationsgewinn f¨ ur h als erstes Verzweigungsmerkmal gh

4 4 = H(Z) − H(Z | h ≤ 1m) − H(Z | h > 1m) 8 8 ≈ 1 bit

(8.62)

Der obere Entscheidungsbaum in Abbildung 8.6 f¨ uhrt also mit der Traversierung der ersten Kante zu einem erwarteten Informationsgewinn von etwa 1.4056 bit (8.59), w¨ ahrend der erwartete Informationsgewinn beim unteren Entscheidungsbaum nur etwa 1 bit (8.62) betr¨ agt. Der obere Entscheidungsbaum ist also der informationstheoretisch bessere. Die obige informationstheoretische Betrachtung f¨ uhrt nicht nur wie gerade dargestellt zu einem Kriterium zum Vergleich verschiedener Entscheidungb¨aume, sondern liefert auch eine konstruktive Methode zur Erstellung informationstheoretisch optimaler Entscheidungsb¨ aume: den ID3-Algorithmus (88), der in Abbildung 8.7 dargestellt ist. Ausgehend von der Menge {1, . . . , n} der Indizes aller zu klassiﬁzierender Objekte, dem Wurzelknoten des Entscheidungsbaums und der Menge {1, . . . , p} aller noch zu vergebenden Merkmale wird die rekursive Prozedur ID3 aufgerufen, die den informationstheoretisch optimalen Entscheidungsbaum aufbaut. Die Rekursion in ID3 bricht ab, wenn am aktuellen Knoten alle Daten derselben Klasse angeh¨ oren, denn dann sind keine weiteren Verzweigungskanten notwendig. Ansonsten wird der erwartete Informationsgewinn gi (8.54) f¨ ur jedes noch zu vergebende Merkmal berechnet und dasjenige Merkmal j bestimmt, das den h¨ ochsten Informationsgewinn liefert. Anhand der Werte des Gewinnermerkmals j wird der Datensatz in disjunkte Teilmengen zerlegt

8.6 Entscheidungsb¨ aume

103

• Gegeben X = {x1 , . . . , xn } ⊂ {1, . . . , v1 } × . . . × {1, . . . , vp }, y = {y1 , . . . , yn } ⊂ {1, . . . , c} call ID3({1, . . . , n}, Wurzel, {1, . . . , p}) • procedure ID3(I, N, K) 1. if alle y(I) gleich then break 2. Berechne Informationsgewinn gj ((X(I), y(I))) ∀j ∈ K 3. Bestimme Gewinnermerkmal i = argmax{gj ((X(I), y(I)))} 4. Zerlege I in vi disjunkte Teilmengen (i)

Ij = {k ∈ I | xk = k} j = 1, . . . , vi 5. for j mit Ij = {} – Generiere neuen Knoten Nj und h¨ange ihn an N – call ID3(Ij , Nj , I\{i})

Abbildung 8.7: Aufbau eines Entscheidungsbaums mit ID3

und f¨ ur jede nichtleere Teilmenge ein neuer Knoten angeh¨angt. F¨ ur jeden angeh¨ angten Knoten wird dann rekursiv der zugeh¨orige Teilbaum berechnet. ID3 geht davon aus, dass f¨ ur jedes Merkmal eine endliche diskrete Wertemenge existiert, zum Beispiel in Form tats¨achlich diskreter Wertemengen oder in Form von benutzerdeﬁnierten Werteintervallen wie im obigen Beispiel die Intervalle (−∞, 1m) und (1m, ∞) f¨ ur die K¨orpergr¨oße h. Der Classiﬁcation and Regression Tree Algorithm (CART) (23) ist eine Erweiterung von ID3 f¨ ur reellwertige klassiﬁzierte Datens¨ atze Z = (X, y), X ⊂ IRp , y ⊂ {1, . . . , c}, die f¨ ur jedes Merkmal x(l) , l = 1, . . . , p, durch Entropiemaximierung eine Intervallgrenze s(l) bestimmt, so dass von jedem inneren Knoten des Entscheidungsbaums zwei Kanten mit den Markierungen x(l) ≤ s(l)“ und x(l) > s(l)“ ausgehen. Im ” ” Gegensatz dazu benutzt Chi-Square Automatic Interaction Detection (CHAID) (60) zur Bestimmung der Intervallgrenzen einen statistischen χ2 -Test (vgl. Abschnitt 5.2). Weitere Erweiterungen von ID3 sind C4.5 (89) und See5 / C5.0, die ebenfalls auch mit reellwertigen Daten arbeiten. Zus¨atzlich k¨onnen die Daten bei C4.5 ¨ und See5 / C5.0 auch fehlende Eintr¨ age besitzen, u ussige Aste der Ent¨ berﬂ¨ scheidungsb¨ aume werden anschließend entfernt (sog. Pruning) und es k¨onnen aus dem Entscheidungsbaum Regeln extrahiert werden. In Abschnitt 9.6 wird eine Methode auf der Basis von Clusterverfahren beschrieben, die einen Entscheidungsbaum aus einem unklassiﬁzierten reellwertigen Datensatz X ⊂ IRp

104

8 Klassiﬁkation

bestimmt. Hierzu werden je nach Datenlage eine oder mehrere Kanten an jeden Knoten angeh¨ angt und die entsprechenden Kantenmarkierungen automatisch bestimmt. Entscheidungsb¨ aume sind bei der Klassiﬁkation dann eﬃzient, wenn viele potenzielle Merkmale vorhanden sind, von denen aber nur wenige f¨ ur die Klassiﬁkation ben¨ otigt werden. Sie liefern dann gute Klassiﬁkationsergebnisse, wenn die Klassengrenzen st¨ uckweise parallel zu den Koordinatenachsen verlaufen. Neben der Klassiﬁkation liefern Entscheidungsb¨aume auch interessante Strukturinformationen, die zum Beispiel f¨ ur die Merkmalsselektion genutzt werden k¨onnen (siehe Abschnitt 6.5).

105

Kapitel 9

Clustering Im vorangegangenen Kapitel u ¨ber Klassiﬁkation wurden Datens¨atze betrachtet, die neben den eigentlichen Merkmalsvektoren X auch deren Klassenzugeh¨origkeit y enthalten. In vielen Anwendungen sind solche Klassenzugeh¨origkeiten nicht verf¨ ugbar oder zu aufw¨ andig zu bestimmen (zum Beispiel nur durch manuelle Klassiﬁkation). Mit Hilfe der in diesem Abschnitt dargestellten Clusterverfahren (58; 59) lassen sich Klassenzugeh¨origkeiten aus der Struktur der Merkmalsdaten sch¨ atzen. Aufgabe der Clusteranalyse ist also, die Objekte eines unklassiﬁzierten Merkmalsdatensatzes einer bestimmten Anzahl von Clustern zuzuordnen. Wir unterscheiden sequentielle und prototypbasierte Verfahren. Bei den prototypbasierten Verfahren unterscheiden wir nach den Clustermodellen (scharf, unscharf, possibilistisch, Ausreißer), den Prototypen (punktf¨ormig, Gustafson-Kessel, Hyperebenen, komplexe Formen) und weiteren Speziﬁka wie ¨ medoid-basierte, relationale, Kernel- und heuristische Verfahren. Eine Ubersicht u ¨ ber die in diesem Kapitel beschriebenen Algorithmen gibt Abbildung 9.1. Abbildung 9.2 (links) zeigt den Datensatz X = {(2, 2), (3, 2), (4, 3), (6, 7), (7, 8), (8, 8), (5, 5)}

(9.1)

der oﬀensichtlich zwei H¨aufungspunkte (Cluster) links unten bzw. rechts oben enth¨ alt. In Abbildung 9.2 (rechts) ist eine Partition von X gem¨aß dieser Clusterstruktur verdeutlicht. Der Datensatz wird in die disjunkten Teilmengen C1 = {x1 , x2 , x3 } und C2 = {x4 , x5 , x6 } zerlegt, die durch die gestrichelten Kreise angedeutet sind. Dass die beiden Cluster gleich viele Elemente und Vektoren mit aufeinander folgenden Indizes enthalten, ist eine Besonderheit des Datensatzes X (9.1) und ist im Allgemeinen nicht der Fall. Eine Zerlegung eines Datensatzes X = {x1 , . . . , xn } ⊂ IRp in seine Clusterstruktur ist allgemein deﬁniert als die Partition von X in c ∈ {2, 3, . . . , n−1} disjunkte Teilmengen C1 , . . . , Cc so, dass X Ci

= =

C1 ∪ . . . ∪ Cc {} f¨ ur alle i = 1, . . . , c

(9.2) (9.3)

Ci ∩ Cj

=

{} f¨ ur alle i, j = 1, . . . , c, i = j

(9.4)

106

9 Clustering

prototypbasiertes Clustering

sequentielles Clustering

scharf

unscharf

possibilistisch

Ausreißer

punktförmig

ellipsoid

linear

komplexe Formen

Medoide

relational

Kernel

heuristisch

¨ Abbildung 9.1: Ubersicht der beschriebenen Clusterverfahren 10

10

8

8

6

6

4

4

2

2

0 0

5

10

0 0

5

10

Abbildung 9.2: Ein Datensatz und die Aufteilung in seine Clusterstruktur

9.1

Sequentielles Clustering

Die Cluster Ci , i = 1, . . . , c, sind eine gute Repr¨asentation der Clusterstruktur in X, falls alle Punkte innerhalb der Cluster einen geringen Abstand voneinander haben, und alle Punkte in verschiedenen Clustern einen großen Abstand. Aus dieser Forderung lassen sich sequentielle hierarchische nicht¨ uberlappende Clustermodelle deﬁnieren, die zu einem gegebenen Datensatz X Clusterpartitionen bestimmen (122). Abbildung 9.3 zeigt den Algorithmus der agglomerativen Variante, die sogenannte sequentielle agglomerative hierarchische nicht¨ uberlappende (SAHN) Clusteranalyse. Zu Beginn des Algorithmus geht SAHN davon aus, dass jeder Punkt xk , k = 1, . . . , n, des Datensatzes einen einzelnen Cluster darstellt. Es gibt also co = n Cluster C0k = {xk }, k = 1, . . . , n. In jedem Schritt i des SAHN-Algorithmus wird dasjenige Paar von Clustern Cia und Cib ,

9.1 Sequentielles Clustering

107

1. Gegeben Datensatz X = {x1 , . . . , xn } ⊂ IRp , Abstandsmaß d : (IRp × . . . × IRp ) × (IRp × . . . × IRp ) → IR 2. Initialisierung Γ0 = {C01 , . . . , C0c0 } = {{x1 }, . . . , {xn }} ⇒ c0 = n 3. for i = 0, . . . , n − 1 • Bestimme (a∗ , b∗ ) mit d(Cia∗ , Cib∗ ) = mina,b∈{1,...,ci }, a=b d(Cia , Cib ) • Γi+1 = ( Γi \ {Cia∗ } \ {Cib∗ } ) ∪ {Cia∗ ∪ Cib∗ } 4. Ausgabe: Teilmengen Γ0 , . . . , Γn

Abbildung 9.3: Sequentielle agglomerative hierarchische nicht¨ uberlappende (SAHN) Clusteranalyse

a, b ∈ {1, . . . , ci } bestimmt, das den geringsten Abstand besitzt. Diese beiden Cluster werden dann zu einem einzigen Cluster verschmolzen. Zu Beginn des Algorithmus enth¨ alt jeder Cluster jeweils genau einen Punkt. Der Abstand zwischen zwei Clustern ist also gleich dem Abstand der in den beiden Clustern beﬁndlichen Punkte. Im Laufe des Algorithmus werden jedoch Cluster verschmolzen, wodurch Cluster mit mehreren Punkten entstehen. Der Abstand zwischen solchen Clustern kann bestimmt werden durch • Minimalabstand (Single Linkage) d(Ca , Cb ) =

min

x∈Ca , y∈Cb

x − y

(9.5)

x − y

(9.6)

• Maximalabstand (Complete Linkage) d(Ca , Cb ) =

max

x∈Ca , y∈Cb

• mittleren Abstand (Average linkage) d(Ca , Cb ) =

1 Ca · Cb

x − y

(9.7)

x∈Ca , y∈Cb

• Abstand der Zentren

1 1 x− x d(Ca , Cb ) = Ca Cb x∈Ca

x∈Cb

(9.8)

108

9 Clustering 10

10

8

8

6

6

4

4

2

2

0 0

5

0 0

10

5

10

Abbildung 9.4: Abst¨ ande zwischen Clustern .4853

.4721

.4142 1 0

1

2

3

4

5

6

Abbildung 9.5: Dendrogramm (Minimalabst¨ ande u ¨ber Punktindizes)

• Ward-Methode (132)

Ca · Cb 1 1 x− x d(Ca , Cb ) = Ca + Cb Ca Cb x∈Ca

(9.9)

x∈Cb

Abbildung 9.4 visualisiert die ersten drei F¨alle (Single, Complete und Average Linkage). Das linke Bild zeigt den Maximal- und Minimalabstand der beiden Cluster aus Abbildung 9.2. Das rechte Bild zeigt den mittleren Abstand, f¨ ur den der Mittelwert aller Abst¨ ande zwischen den Punkten des einen Clusters und den Punkten des anderen Clusters gebildet wird. Im Laufe des SAHN-Algorithmus’ werden sukzessiv Cluster zusammengefasst, bis schließlich alle Punkte zu ein und demselben Cluster geh¨ oren. Diese Eigenschaft wurde bereits bei der Bildung von Korrelationsclustern beschrieben (Abbildung 5.2). Abbildung 9.5 zeigt ein sogenanntes Dendrogramm, das darstellt, wie die einzelnen Punkte x1 , . . . , x6 (Indizes auf der Abzisse) sukzessiv von unten nach oben zusammengefasst werden, bis schließlich nur noch ein einzelner Cluster vorhanden ist. Die so bestimmten Partitionen lauten der Reihe nach Γ0

=

{{x1 }, {x2 }, {x3 }, {x4 }, {x5 }, {x6 }}

(9.10)

9.2 Prototypbasiertes Clustering

109

Γ 1 = Γ2

=

{{x1 , x2 }, {x3 }, {x4 }, {x5 , x6 }}

(9.11)

Γ3 = Γ4 Γ5 =

= =

{{x1 , x2 , x3 }, {x4 , x5 , x6 }} {{x1 , x2 , x3 , x4 , x5 , x6 }} = {X}

(9.12) (9.13)

Auf der Ordinate des Dendrogramms k¨ onnen die Schleifenindizes i aufgetragen werden. Aussagekr¨ aftiger sind jedoch die Abst¨ande der beiden Cluster, die im jeweiligen Schritt verschmolzen werden. Die Ordinate in Abbildung 9.5 zeigt die Minimalabst¨ ande gem¨ aß (9.5). Analog zu diesem agglomerativen Clusteralgorithmus l¨asst sich auch ein divisiver Algorithmus schreiben. Die sequentielle divisive hierarchische nicht¨ uberlappende (SDHN) Clusteranalyse (34) beginnt mit der Initialisierung Γ∗0 = ∗ ∗ {C0c ∗ } = {{x1 , . . . , xn }}, also mit c0 = 1 Cluster und teilt die Cluster in jedem 0 Schritt sukzessiv in Teilcluster auf. Eine Variante des SAHN-Algorithmus’ benutzt Dichtesch¨ atzer anstelle von Abstandsmaßen zur Verschmelzung von Clustern (Density-Based Spatial Clustering of Applications with Noise, DBSCAN) (113). Bisher wurde die Partition eines Datensatzes stets mit einer Partitionsmenge Γ dargestellt, die die einzelnen Cluster, also die disjunkten Teilmengen von X, enth¨ alt. Eine ¨ aquivalente Darstellung dieser Partition ist eine Matrix von Zugeh¨ origkeitswerten, also eine Partitionsmatrix U mit den Elementen 1 falls xk ∈ Ci uik = (9.14) 0 falls xk ∈ Ci Da jeder Cluster mindestens ein Element besitzt, gilt f¨ ur jede Partitionsmatrix n

uik > 0,

i = 1, . . . , c

(9.15)

k=1

Da die Cluster disjunkt sind, wird jedes Datum genau einem Cluster zugeordnet, und es gilt f¨ ur die Partitionsmatrix c

uik = 1,

k = 1, . . . , n

(9.16)

i=1

Abbildung 9.6 (links) zeigt den Datensatz X (9.1) und die Werte der zweiten Zeile der Partitionsmatrix als vertikale Balken. Die zweite Zeile der Partitionsmatrix enth¨ alt die Werte eins f¨ ur alle Elemente des zweiten Clusters und die Werte null f¨ ur alle anderen Punkte. Die Balken an den Punkten x4 , . . . , x6 haben deswegen die H¨ ohe eins, w¨ ahrend die u ¨ brigen Balken nicht sichtbar sind (H¨ ohe null).

9.2

Prototypbasiertes Clustering

Eine dritte Beschreibungsm¨ oglichkeit f¨ ur Cluster neben Partitionsmengen und Partitionsmatrizen sind Prototypen wie zum Beispiel Clusterzentren V = {v1 , . . . , vc }

(9.17)

110

9 Clustering 10

1

8

6

0.5 4

0 10

2

10 5

5

0 0

0 0

5

10

Abbildung 9.6: Clusterzugeh¨ origkeiten und Clusterzentren

Jeder Cluster wird dabei durch ein einzelnes Zentrum vi , i = 1, . . . , c, repr¨asentiert. Die Zuordnung der einzelnen Punkte xk , k = 1, . . . , n, zu den c Clustern kann zum Beispiel mit der N¨achsten-Nachbar-Regel analog zu (8.48) erfolgen, das heißt xk geh¨ ort zu Cluster i genau dann, wenn xk − vi = min xk − vj j=1,...,c

(9.18)

Zur Bestimmung von Clusterzentren eignet sich das c-Means (CM) Modell (5), das u ¨ ber die Minimierung der Summe der quadratischen Abst¨ande zwischen den Zentren und den zugeh¨ origen Punkten deﬁniert ist. Das CM-Modell lautet also: Minimiere die Zielfunktion JCM (U, V ; X) =

c

xk − vi 2 =

i=1 xk ∈Ci

n c

uik xk − vi 2

(9.19)

i=1 k=1

Aus den notwendigen Bedingungen f¨ ur (lokale) Extrema von (9.19), ∂JCM (U, V ; X) = 0, ∂vi

i = 1, . . . , c

(9.20)

n 1 k=1 uik xk xk = n Ci k=1 uik

(9.21)

folgt f¨ ur die Clusterzentren vi =

xk ∈Ci

Jedes Clusterzentrum vi ist also das erste Moment oder der Schwerpunkt aller Punkte des Clusters i. Wird ein Clusterzentrum entsprechend (9.21) bestimmt, ergeben sich m¨ oglicherweise andere Cluster, denn die Zugeh¨origkeiten der Punkte zu den Clustern sind ja u achsten Clusterzentren (9.18) deﬁniert, und ¨ber die n¨ eine Ver¨ anderung der Zentren kann somit eine Ver¨anderung der Clusterzuord¨ nung bewirken. Daher sollte also nach einer Anderung der Zentren V auch die Partitionsmatrix U neu bestimmt werden, was wiederum eine Neuberechnung

9.3 Fuzzy Clustering

111

1. Gegeben Datensatz X = {x1 , . . . , xn } ⊂ IRp , Clusteranzahl c ∈ {2, . . . , n − 1}, Maximalzahl der Iterationen tmax , Abstandsmaß . , Abstandsmaß f¨ ur Abbruchkriterium . , Abbruchgrenze 2. Initialisiere Prototypen V (0) ⊂ IRp 3. for t = 1, . . . , tmax – Bestimme U (t) (V (t−1) , X) – Bestimme V (t) (U (t) , X) – if V (t) − V (t−1) ≤ , stop 4. Ausgabe: Partitionsmatrix U ∈ [0, 1]c×n , Prototypen V = {v1 , . . . , vc } ∈ IRp

Abbildung 9.7: Alternierende Optimierung von Clustermodellen

der Zentren notwendig macht. Zur Optimierung des CM-Modells wird also abwechselnd U gem¨ aß (9.18) und V gem¨ aß (9.21) neu bestimmt. Diese alternierende Optimierung (AO) ist in Abbildung 9.7 dargestellt. Hier wird zun¨achst V zuf¨ allig initialisiert und nach jeder Neuberechnung von U und V gepr¨ uft, ¨ ob die Anderungen in V unterhalb einer Abbruchgrenze liegen. Initialisierung und Terminierung k¨ onnte aber auch u ¨ ber U statt V erfolgen, so dass innerhalb der For-Schleife zun¨ achst V (t) (U (t−1) , X), dann U (t) (V (t) , X) berechnet und bei ¨ geringen Anderungen von U terminiert w¨ urde. Die Pr¨ ufung der Terminierungsbedingung ist f¨ ur c · n p jedoch wesentlich aufw¨andiger, so dass meist die in Abbildung 9.7 gezeigte Variante bevorzugt wird.

9.3

Fuzzy Clustering

Die Aufteilung des Datensatzes (9.1) in die beiden Cluster in Abbildung 9.2 ist leicht nachvollziehbar, da die Daten tats¨ achlich klar getrennt sind. Wird dagegen der Punkt x7 = (5, 5) hinzugef¨ ugt, ist also X = {(2, 2), (3, 2), (4, 3), (6, 7), (7, 8), (8, 8), (5, 5)}

(9.22)

(siehe Pluszeichen in Abbildung 9.8 links), so ist nicht klar, welchem Cluster der neue Punkt x7 zuzuordnen ist. Aufgrund der Symmetrie sollte x7 beiden Clustern gleichermaßen zugeordnet werden, also zu beiden Clustern die Zugeh¨origkeit 1/2 erhalten. Diese Forderung l¨ asst sich erf¨ ullen, wenn f¨ ur die Eintr¨age

112

9 Clustering 10

1

8

6

0.5 4

0 10

2

10 5 0 0

5

10

5 0 0

Abbildung 9.8: Datensatz mit einem Punkt, der beiden Clustern gleichermaßen angeh¨ ort, und die entsprechende unscharfe Partition

der Partitionsmatrix Werte im Intervall uik ∈ [0, 1], i = 1, . . . , c, k = 1, . . . , n, zugelassen werden. Die Semantik solcher kontinuierlicher Zugeh¨origkeitswerte lautet ⎧ falls xk ∈ Ci ⎨= 0 falls xk ∈ Ci uik = 1 (9.23) ⎩ ∈ (0, 1) sonst Weiterhin sollen die durch eine solche Partitionsmatrix beschriebenen unscharfen Cluster analog zu (9.15) nicht leer sein, n

uik > 0,

i = 1, . . . , c

(9.24)

k=1

und es soll analog zu (9.16) die Normalisierungsbedingung c

uik = 1,

k = 1, . . . , n

(9.25)

i=1

gelten. Die Bedingung (9.25) erinnert an die Normalisierung von Wahrscheinlichkeitsverteilungen (100), jedoch stellen Zugeh¨origkeiten (31; 138) und Wahrscheinlichkeiten verschiedene Konzepte der Unsicherheit dar (41; 119) und werden hier daher streng unterschieden (13). Im Unterschied zur unscharfen Datenanalyse (6; 71; 126; 131; 136), in der auch die Daten unscharf sein k¨onnen (84), werden hier lediglich unscharfe Partitionen betrachtet. Abbildung 9.8 (rechts) zeigt die zweite Zeile einer solchen unscharfen Partition. Die Zugeh¨origkeiten des neuen Punktes x7 sind u17 = u27 = 1/2. Die Zugeh¨origkeiten u21 , u22 , u23 sind klein, k¨ onnen aber ungleich null sein, und die Zugeh¨origkeiten u24 , u25 , u26 sind groß, k¨ onnen aber ungleich eins sein. Jeder Punkt kann zu einem gewissen Grad beiden Clustern zugeordnet werden.

9.3 Fuzzy Clustering

113

Wenn die Cluster durch Prototypen V und eine unscharfe Partitionsmatrix U dargestellt werden, so lassen sich diese aus einem Datensatz mit Hilfe des Fuzzy c-Means (FCM) Modells (12; 19; 54) bestimmen: Minimiere die Kostenfunktion JFCM (U, V ; X) =

n c

2 um ik xk − vi

(9.26)

k=1 i=1

unter den Randbedingungen (9.24) und (9.25). Der Parameter m ∈ (1, ∞) legt fest, wie groß die Unsch¨ arfe der Cluster sein soll. F¨ ur den Grenzwert m → 1 geht das FCM-Modell in das scharfe CM-Modell u ur den Grenzwert ¨ber. F¨ m → ∞ erhalten alle Punkte die gleiche Zugeh¨origkeit uik = 1/c, i = 1, . . . , c, k = 1, . . . , n, zu allen Clustern. Ein h¨ auﬁg verwendeter Wert ist m = 2. Da das FCM-Modell eine Optimierungsaufgabe mit Randbedingungen ist, eignet sich zur L¨ osung das Lagrange-Verfahren. Hierzu dient die Lagrange-Funktion c

n c m 2 FFCM (U, V, λ; X) = uik xk − vi − λ · uik − 1 (9.27) k=1 i=1

i=1

Die notwendigen Bedingungen f¨ ur lokale Extrema der Lagrange-Funktion sind ⎫ ∂FFCM ⎪ c =0 ⎪ 2 ⎪ ⎬ xk − vi m−1 ∂λ ⇒ uik = 1 (9.28) ⎪ xk − vj ⎪ ∂FFCM j=1 ⎪ =0 ⎭ ∂uik n um ik xk ∂JFCM k=1 (9.29) ⇒ vi = =0 n ∂vi m uik k=1

Ein Vergleich von (9.29) mit (9.21) best¨ atigt, dass FCM f¨ ur m → 1 in CM u ¨ bergeht. Wie auch bei CM beeinﬂusst die Wahl der Prototypen die Partitionsmatrix und umgekehrt. Ein geeigneter Algorithmus f¨ ur die Optimierung des FCM-Modells ist daher die alternierende Optimierung nach Abbildung 9.7, nur dass nun die Elemente der Partitionsmatrix mit (9.28) anstelle von (9.18) und die Prototypen mit (9.29) anstelle von (9.21) berechnet werden. Andere Methoden zur Optimierung des FCM-Modells sind genetische Algorithmen (17; 61; 107), Partikelschwarm-Optimierung (110), Ameisenalgorithmen (103) und Wespenalgorithmen (109). Das FCM-Clustermodell liefert meist zuverl¨assig und eﬃzient sinnvolle Cluster, auch wenn die Daten verrauscht sind. Ausreißer, die einen großen Abstand von allen Clusterzentren besitzen, erhalten im FCM-Modell die Zugeh¨origkeiten uik ≈ 1/c, i = 1, . . . , c, denn die Normalisierungsbedingung (9.25) fordert, dass die Summe der Zugeh¨ origkeiten eins betr¨agt. Ein Ausreißer erh¨alt also die gleichen Zugeh¨ origkeiten wie ein Datenpunkt, der genau zwischen allen Clusterzentren liegt, so wie der mittlere Punkt in Abbildung 9.8. Intuitiv ließe sich

114

9 Clustering

dagegen erwarten, dass ein Ausreißer eine sehr geringe Zugeh¨origkeit zu allen Clustern erh¨alt, denn er kann f¨ ur keinen Cluster als repr¨asentativ betrachtet werden. Um dies zu realisieren, muss die Normalisierungsbedingung (9.25) aufgehoben werden. Eine Minimierung der FCM-Kostenfunktion (9.26) liefert ohne diese Randbedingung jedoch stets die Triviall¨osung JFCM = 0 mit uik = 0 f¨ ur alle i = 1, . . . , c, k = 1, . . . , n. Zur Vermeidung dieser Triviall¨osung l¨asst sich die Kostenfunktion um einen Term erweitern, der kleine Zugeh¨origkeiten bestraft. Hirdurch ergibt sich das possibilistische c-Means (PCM) Modell (69) mit der Kostenfunktion JPCM (U, V ; X) =

n c k=1 i=1

um ik

xk − vi + 2

c i=1

ηi

n

(1 − uik )m

(9.30)

k=1

und der Randbedingung (9.24) mit den Clusterradien η1 , . . . , ηc > 0. Nullsetzen der Ableitungen liefert die Bestimmungsgleichungen (9.29) und c 1

xk − vi 2 m−1 1+ (9.31) uik = 1 ηi j=1 ¨ Aufgrund der Ahnlichkeit mit der Cauchy-Verteilungsfunktion wird (9.31) auch Cauchy-Zugeh¨ origkeitsfunktion genannt. Ein anderer Ansatz zur geeigneten Modellierung von Ausreißern beim Clustering verwendet einen zus¨atzlichen Cluster, dem Ausreißer zugeordnet werden. Dieser Ausreißercluster wird im englischen nicht ganz konsistent als noise cluster, und nicht etwa als outlier cluster bezeichnet. Die Zugeh¨ origkeit jedes Datenpunktes zu diesem Ausreißercluster ist die verbleibende Diﬀerenz der Summe aller anderen Zugeh¨origkeiten zu eins. Der Ausreißercluster wird nicht durch ein Zentrum speziﬁziert, sondern dadurch, dass alle Punkte zu diesem Cluster den gleichen Abstand δ > 0 haben, der den großen Abstand der Ausreißer zu den u ¨ brigen Datenpunkten repr¨asen¨ tiert und geeignet gew¨ ahlt werden muss. Mit diesen Uberlegungen ergibt sich das sogenannte Ausreißerclustering, englisch noise clustering (NC) (27) mit der Kostenfunktion ⎛ ⎞m n n c c 2 JNC (U, V ; X) = um δ 2 ⎝1 − ujk ⎠ (9.32) ik xk − vi + k=1 i=1

k=1

j=1

Nullsetzen der Ableitungen liefert die Bestimmungsgleichungen (9.29) und ⎞ ⎛ c 2 2 xk − vi m−1 xk − vi m−1 ⎠ uik = 1 ⎝ + (9.33) xk − vj δ j=1 F¨ ur die Abstandsmaße in der Kostenfunktion des CM (9.19), FCM (9.26), PCM (9.30) oder NC (9.32) Modells und damit in den entsprechenden Bestimmungsgleichungen f¨ ur uik (9.18), (9.28), (9.31), (9.33) kommt prinzipiell jede beliebige Norm aus Abschnitt 2.4 in Frage, zum Beispiel die Euklidische Norm

9.3 Fuzzy Clustering

115

oder die Mahalanobis-Norm. Eine Variante der Mahalanobis-Norm verwendet statt der Kovarianzmatrix des gesamten Datensatzes die Kovarianzmatrizen der einzelnen Cluster. Die Kovarianzmatrix des Clusters i = 1, . . . , c ist deﬁniert als Si =

n

T um ik (xk − vi ) (xk − vi )

(9.34)

k=1

und entspricht der Kovarianz innerhalb der Klassen (8.24) der linearen Diskriminanzanalyse nach Abschnitt 8.2. Analog zum Mahalanobis-Abstand l¨asst sich damit f¨ ur jeden Cluster eine eigene Matrixnorm mit Ai = p ρi det(Si ) Si−1 (9.35) deﬁnieren. Der Vorfaktor in (9.35) dient der Normalisierung, so dass jeder Cluster das Hypervolumen det(Ai ) = ρi besitzt. Meist werden die Hypervolumina als ρ1 = . . . = ρc = 1 gew¨ ahlt. Mit diesen clusterspeziﬁschen Normen l¨asst sich zum Beispiel die FCM-Kostenfunktion zur Gustafson-Kessel (GK) (43) Kostenfunktion modiﬁzieren. JGK (U, V ; X) =

n c

T um ik (xk − vi )Ai (xk − vi )

(9.36)

k=1 i=1

Entsprechende Varianten lassen sich auch f¨ ur CM, PCM und NC entwickeln. Auch f¨ ur das GK-Modell lassen sich Prototypen und Zugeh¨origkeiten durch alternierende Optimierung nach Abbildung 9.7 bestimmen. Cluster, die durch ihre Zentren beschrieben werden, sind je nach Abstandsmaß Hypersph¨ aren oder Hyperellipsoide. H¨ auﬁg ist jedoch die nat¨ urliche Struktur der Daten komplizierter geformt, zum Beispiel linien- oder kreisf¨ormig, wenn Objekte in Grauwertbildern erkannt werden sollen. Linien, Kreise und andere geometrische Formen lassen sich durch speziﬁsche Parametertupel beschreiben. Geraden und Hyperebenen sind eindeutig durch einen Aufpunktvektor vi ∈ IRp und einen oder mehrere Richtungsvektoren di1 , . . . , diq , q ∈ {1, . . . , p − 1}, festgelegt. Der Prototyp einer Geraden oder Hyperebenen lautet also pi = (vi , di1 , . . . , diq ), i = 1, . . . , c. Der Abstand zwischen einem Punkt xk und dem Cluster mit einem solchen Prototypen pi ist geometrisch nach dem Satz des Pythagoras bestimmt als q 2 d(xk , pi ) = xk − vi 2 − (xk − vi )dTij (9.37) j=1

Formal kann ein solches Abstandsmaß direkt anstelle des Punktabstands in ein Clustermodell (zum Beispiel CM, FCM, PCM oder NC) eingesetzt werden, und es ergibt sich ein Clustermodell f¨ ur die Prototypen P = {p1 , . . . , pc }. So ergibt sich beispielsweise f¨ ur Varianten von FCM die Kostenfunktion JFC* (U, P ; X) =

n c k=1 i=1

2 um ik d(xk , pi )

(9.38)

116

9 Clustering

unter den Randbedingungen (9.24) und (9.25). Falls die Prototypen Geraden sind, so heißt das Modell (9.38) Fuzzy c-Lines (FCL) (14) und es wird f¨ ur die Prototypen pi = (vi , di1 ) (also q = 1) das Abstandsmaß (9.37) benutzt. Falls die Prototypen Hyperebenen sind, also q > 1, so heißt das Modell Fuzzy c-Varieties (FCV) (15). Die L¨ osung der FC*-Modelle ergibt sich analog zu FCM aus den notwendigen Bedingungen f¨ ur lokale Extrema der Lagrange-Funktion.

uik = 1

c 2 d(xk , pi ) m−1 j=1

d(xk , pj )

(9.39)

Die Aufpunktvektoren der Geraden oder Hyperebenen ergeben sich wie f¨ ur FCM aus (9.29) und die Richtungsvektoren sind die Eigenwerte der ClusterKovarianzmatrizen (9.34).

dij = eig j

n

T um ik (xk − vi ) (xk − vi ),

j = 1, . . . , q

(9.40)

k=1

Die alternierende Optimierung erfolgt wieder gem¨aß Abbildung 9.7, wobei die Prototypen nun nicht mehr V , sondern allgemein P heißen. Ein drittes Beispiel f¨ ur nicht punktf¨ ormige Prototypen sind Elliptotypes (15), die wie Hyperebenen mit den Prototypen pi = (vi , di1 , . . . , diq ) beschrieben werden, die aber konvexe Kombinationen aus Punkten und Hyperebenen sind. Im Gegensatz zu Hyperebenen, die sich auf ganz IRp erstrecken, ist ein Elliptotype auf die Umgebung um sein Zentrum beschr¨ ankt. Das Abstandsmaß f¨ ur Elliptotypes lautet q 2 d(xk , (vi , di1 , . . . , diq )) = xk − vi 2 − α · (xk − vi )dTij

(9.41)

j=1

wobei α ∈ [0, 1] den Grad der Lokalit¨ at festlegt. F¨ ur α = 0 werden Elliptotypes zu Punkten, f¨ ur α = 1 werden sie zu Hyperebenen. Das Fuzzy c-Elliptotypes (FCE) Modell entspricht dem FCV-Modell, jedoch wird das Abstandsmaß (9.41) anstatt (9.37) benutzt. Abbildung 9.9 (links) zeigt die Clusterprototypen, die f¨ ur den Datensatz (9.1) durch alternierende Optimierung des FCE-Modells mit c = m = 2, q = 1, α = 0.5 und tmax = 100 Iterationen erhalten wurden. Die Clusterzentren v1 und v2 sind durch kleine Kreise, die Richtungsvektoren d11 und d21 sind durch Pfeile dargestellt. Sowohl die Zentren als auch die Hauptrichtungen der beiden Cluster wurden gut erkannt. Ein weiteres Beispiel f¨ ur kompliziertere geometrische Prototypen sind Kreise, die sich mit pi = (vi , ri ), also Zentrum und Radius darstellen lassen. Der Abstand zwischen xk und Cluster pi ist d(xk , (vi , ri )) = | xk − vi − ri | .

(9.42)

9.4 Relationales Clustering

117

10

10

8

8

6

6

4

4

2

2

0 0

5

0 0

10

5

10

Abbildung 9.9: Erkennung von Linien und Kreisen durch Clusteranalyse

Das entsprechende Modell heißt Fuzzy c-Shells (FCS) (26). In der alternierenden Optimierung von FCS werden die Zentren gem¨aß (9.29) bestimmt und die Radien gem¨ aß n um ik xk − vi k=1 ri = (9.43) n um ik k=1

Abbildung 9.9 (rechts) zeigt einen Datensatz, in dem mit alternierender Optimierung des FCS-Modells zwei Kreise identiﬁziert wurden. Erweiterungen von FCS ﬁnden sich zum Beispiel in (18; 28; 38; 75). Auf die gleiche Weise wie das FCM-Modell durch Verwendung komplexer Prototypen und der entsprechenden Abstandsmaße zu FCL, FCV, FCE und FCS erweitert wurde, lassen sich aus CM die entsprechenden Modelle CL, CV, CE, CS, aus PCM die Modelle PCL, PCV, PCE, PCS und aus NC die Modelle NCL, NCV, NCE, und NCS entwickeln.

9.4

Relationales Clustering

Die bisher betrachteten Clustermethoden ﬁnden Cluster auf der Basis von Merkmalsdatens¨atzen X ⊂ IRp . In diesem Abschnitt werden Clustermethoden f¨ ur relationale Daten betrachtet, Daten also, die durch Relationsmatrizen R ∈ IRn×n speziﬁziert sind (vgl. Abschnitt 2.4). Wir betrachten hier den Fall, dass die Relationsmatrix eine symmetrische Abstandsmatrix D ist, so dass dii = 0 und dij = dji , i, j = 1, . . . , n. Eine M¨ oglichkeit, Cluster in D zu ﬁnden, bietet die mehrdimensionale Skalierung nach Abschnitt 4.3. Die mehrdimensionale Skalierung bestimmt einen Merkmalsdatensatz X ⊂ IRp , der eine approximative Repr¨asentation von D ist, das heißt f¨ ur die Abst¨ ande zwischen Elementen von X gilt dkl ≈ xk − xl ,

k, l = 1, . . . , n

(9.44)

118

9 Clustering

Nach der mehrdimensionalen Skalierung lassen sich Cluster in X mit konventionellen Clusterverfahren f¨ ur Merkmalsdaten bestimmen. Verfahren, die ohne eine solche explizite Erstellung eines Merkmalsdatensatzes Cluster in relationalen Daten ﬁnden, heißen relationale Clusterverfahren (108). Die in den beiden vorangegangenen Abschnitten beschriebenen Clustermodelle CM, FCM, PCM und NC minimieren Funktionale, in die die Merkmalsvektoren stets u ande zu den Prototypmerkmalen eingehen. Ein relatio¨ ber die Abst¨ naler Datensatz enth¨ alt die Abst¨ ande zwischen allen Paaren von Merkmalsvektoren. Wird gefordert, dass die Prototypen nur aus der Menge der betrachteten Objekte gew¨ ahlt werden d¨ urfen, so nennen wir dieses Prototypen V ⊆ X Medoide, engl. medoids (68). Alle Abst¨ ande zwischen Objekte und diesen Medoiden sind aus dem relationalen Datensatz bekannt. Somit l¨asst sich jedes der Clustermodelle CM, FCM, PCM und NC durch Beschr¨ankung der Prototypen auf Medoide in ein relationales Clusterverfahren u uhren. Wir bezeichnen die ent¨ berf¨ sprechenden Clustermodelle als relationale c-Medoide (RCMdd), relationale Fuzzy c-Medoide (RFCMdd), relationale Possibilistische c-Medoide (RPCMdd) und ¨ relationales Ausreißerclustering mit Medoiden (RNCMdd). Bei der Uberf¨ uhrung in relationale Clustermodelle bleibt die Kostenfunktion unver¨andert, und es wird lediglich die Nebenbedingung V ⊆ X erg¨ anzt, die bewirkt, dass alle zur Berechnung der Zugeh¨ origkeiten uik gem¨ aß (9.18), (9.28), (9.31) und (9.33), ben¨otigten Daten unmittelbar aus R entnommen werden k¨onnen. Die Auswahl der Objekte, die als Prototypen (Medoide) verwendet werden, ist ein diskretes Optimierungsproblem, das in der Regel mit ersch¨ opfender Suche gel¨ost werden muss. Wir illustrieren dieses Verfahren am Beispiel RFCMdd. Der Beitrag von Cluster i zur Kostenfunktion JRFCMdd = JFCM ist Ji∗ =

n

2 um ik xk − vi

(9.45)

k=1

und somit gilt J = und weiter

c i=1

Ji∗ . Gilt beispielsweise vi = xj , dann ist vi −xk = rjk Ji∗ = Jij =

n

2 um ik rjk

(9.46)

k=1

Die beste Wahl der Medoide ist also vi = xwi , i = 1, . . . , n, mit wi = argmin{Ji1 , . . . , Jin }

(9.47)

Die Optimierung der Medoid-Verfahren erfolgt wieder durch alternierende Optimierung, bei der abwechselnd die Zugeh¨ origkeiten wie bei den merkmalsbasierten Verfahren und die Medoide mit der ersch¨opfenden Suche bestimmt werden. Die ersch¨ opfende Suche f¨ uhrt zu einem hohen Rechenaufwand bei den MedoidVerfahren. ¨ Ein anderer Ansatz zur Uberf¨ uhrung von merkmalsbasierten in relationale Clustermodelle besteht darin, die Clusterprototypen nur implizit zu bestimmen.

9.4 Relationales Clustering

119

Dies kann dadurch erfolgen, dass die Vorschrift zur Bestimmung der optimalen Clusterprototypen in die Kostenfunktion eingesetzt wird. Diese sogenannte Reformulierung (48) liefert Kostenfunktionen f¨ ur relationale Daten. Die Clustermodelle, die durch Reformulierung aus CM, FCM, PCM und NC entstehen, bezeichnen wir als relationale c-Means (RCM) (16), relationale Fuzzy c-Means (RFCM), relationale Possibilistische c-Means (RPCM) und relationales Ausreißerclustering (RNC). Wir illustrieren die Reformulierung hier am Beispiel RFCM. Einsetzen von (9.29) in (9.26) liefert die Kostenfunktion n n

JRFCM (U ; R) =

c i=1

m 2 um ij uik rjk

j=1 k=1 n

j=1

(9.48) um ij

Zur Optimierung von JRFCM werden die Zugeh¨origkeiten U zun¨achst zuf¨allig initialisiert. Nullsetzen der Ableitung von JRFCM nach uik liefert die Vorschrift zur iterativen Aktualisierung der Zugeh¨ origkeiten n

uik = 1

n j=1

s=1 n s=1

um is rsk

n

um ir

−

n

r=1

um jr

um um rst

it n is 2

um ir

s=1 t=1 2

r=1

r um js sk

n n

−

n n

r=1

um r um js jt st

n

s=1 t=1 2

um jr

(9.49)

2

r=1

i = 1, . . . , c, k = 1, . . . , n. Wegen der impliziten Berechnung von V erfolgt hier keine alternierende Optimierung von U und V , sondern lediglich eine iterative Optimierung von U . Der Abbruch erfolgt mit einer geeigneten Terminierungsbedingung. Eine ausf¨ uhrliche Beschreibung anderer relationaler Clustermodelle und deren Herleitung durch Refomulierung ﬁndet sich in (49). F¨ ur den Sonderfall, dass der relationale Datensatz R aus einem Merkmalsdatensatz X erzeugt wurde, und dass hierbei dieselbe Norm . verwendet wurde, die auch im Clustermodell verwendet wird (zum Beispiel die Euklidische Norm), so wird die Minimierung von JFCM (U, V ; X) (zumindest n¨aherungsweise) die gleiche Partitionsmatrix U liefern wie die Minimierung von JRFCM (U ; R). Gleiches gilt f¨ ur die Paare CM/RCM, PCM/RPCM, NC/RNC, CMdd/RCMdd, FCMdd/RFCMdd, PCMdd/RPCMdd und NCMdd/RNCMdd. Dieser Zusammenhang gilt nicht, falls R aus X mit einer anderen Norm oder ganz ohne Verwendung von Merkmalsdaten erzeugt wurde. In diesem Fall ist es sogar m¨ oglich, dass die Optimierung der relationalen Clustermodelle Zugeh¨origkeiten uik < 0 oder uik > 1 liefert. F¨ ur die Euklidische Norm l¨asst sich dieses Problem vermeiden, indem die nicht-Euklidische Abstandsmatrix D in eine Euklidische Abstandsmatrix Dβ = D + β · B (9.50) mit einem geeigneten Parameter β ∈ IR+ transformiert wird (47), wobei B die inverse Diagonalmatrix bezeichnet, mit bij = 1 f¨ ur alle i, j = 1, . . . , n,

120

9 Clustering

i = j, und bii = 0 f¨ ur alle i = 1, . . . , n. Der Parameter β wird als null initialisiert und sukzessiv erh¨ oht, bis alle Zugeh¨origkeiten im Einheitsintervall liegen. Die entsprechenden Clustermodelle bezeichnen wir mit dem Pr¨aﬁx NE f¨ ur nicht-Euklidisch, also beispielsweise nicht-Euklidische relationale Fuzzy c-Means (NERFCM) (47), nicht-Euklidische relationale Possibilistische c-Means (NERPCM) (106) und nicht-Euklidisches relationales Ausreißerclustering (NERNC). Die bisher betrachteten relationalen Clustermodelle wurden aus Clustermodellen f¨ ur Merkmalsdaten abgeleitet, die Cluster mit hypersph¨arischen Geometrien ﬁnden. In Abschnitt 9.3 wurden daraus abgeleitete Clustermodelle vorgestellt, die sich auch f¨ ur komplizierter geformte Clustergeometrien wie Ellipsen, Geraden, Linien, Hyperebenen, Elliptotypes oder Kreise eignen. Solche Modelle lassen sich nur schwierig auf relationale Daten u ¨ bertragen, ohne explizit Merk¨ malsdaten zu approximieren. Ein Beispiel f¨ ur eine solche Ubertragung ist das relationale Gustafson-Kessel-Modell (104). In Abschnitt 8.3 haben wir einen anderen Ansatz kennengelernt, um Algorithmen f¨ ur einfache Geometrien auf komplexe Geometrien zu erweitern: den Kernel-Trick. In der Support-VektorMaschine dient der Kernel-Trick dazu, einen Klassiﬁkationsalgorithmus f¨ ur lineare Klassengrenzen so zu erweitern, dass auch Klassen mit komplexer geformten Grenzen erkannt werden. Die Idee des Kernel-Tricks beim Clustering ist entsprechend, Clusteralgorithmen f¨ ur hypersph¨arische Clusterformen so zu erweitern, dass auch Cluster mit komplexeren Geometrien erkannt werden. In der Literatur ist die Anwendung des Kernel-Tricks auf die Clustermodelle CM (115; 142; 40), FCM (139; 140; 137), PCM (141), NERFCM (50) und NERPCM (106) beschrieben. Die Kernel-Varianten der Clustermodelle werden durch ein vorangestelltes kleines k gekennzeichnet, also beispielsweise kCM, kFCM, kPCM, kNERFCM und kNERPCM. Im relationalen Clustering l¨asst sich der Kernel-Trick f¨ ur den Spezialfall des Euklidischen Abstands nutzen, um Abst¨ande in R mit Kernel-Funktionen auf R zu schreiben. 2 rjk

=

ϕ(xj ) − ϕ(xk ) 2

(9.51) T

= =

(ϕ(xj ) − ϕ(xk )) (ϕ(xj ) − ϕ(xk )) ϕ(xj )ϕ(xj )T − 2 ϕ(xj )ϕ(xk )T + ϕ(xk )ϕ(xk )T

(9.52) (9.53)

= =

k(xj , xj ) − 2 · k(xj , xk ) + k(xk , xk ) 2 − 2 · k(xj , xk )

(9.54) (9.55)

wobei angenommen wird, dass k(x, x) = 0 f¨ ur alle x ∈ IRp . Dies bedeutet, dass eine Kernel-Variante eines beliebigen relationalen Clusteralgorithmus’ einfach dadurch erhalten werden kann, dass der relationale Datensatz R mit (9.55) in einen kernelisierten“ relationalen Datensatz R transformiert wird und anschlie” ßend der urspr¨ ungliche relationale Clusteralgorithmus auf R angewandt wird. ¨ F¨ ur die Kernel-Variante ist also keine Anderung des (relationalen) Clusteralgorithmus’ notwendig, sondern lediglich eine vorgeschaltete Transformation. F¨ ur die in Abschnitt 8.3 angegebenen h¨ auﬁg verwendeten Gauß-Kernel (8.43) und

9.4 Relationales Clustering

121 1.5

1.5

1

r

1

r 0.5

0 0

0.5

5

10

15

0 0

5

r

10

15

r

Abbildung 9.10: Kernel-Clustering: Transformation durch Gauß-Kernel (links) und Tangens Hyperbolicus Kernel (rechts)

hyperbolische Tangens-Kernel (8.44) ergeben sich f¨ ur das Kernel-Clustering beispielsweise die folgenden Transformationsvorschriften: rjk

=

rjk

=

r2 jk

2 − 2 · e− σ 2

2 r jk 2 · tanh σ2

(9.56) (9.57)

Diese beiden Funktionen sind in Abbildung 9.10 f¨ ur die Parameter σ ∈ {1, 2, 3, 4} dargestellt. Oﬀensichtlich sind die Transformation durch Gauß-Kernel und Tangens Hyperbolicus Kernel sehr ¨ ahnlich. Die Abst¨ande werden oﬀenbar an r = √ 2 begrenzt, und kleine Abst¨ ande werden mit einem n¨aherungsweise konstanten Faktor multipliziert. Wir nehmen an, dass der relationale Clusteralgorithmus invariant ist gegen eine Multiplikation aller Abst¨ande mit einem konstanten Faktor c ∈ IR+ , das heißt wir erhalten die gleichen Ergebnisse mit einem ska∗ lierten Datensatz R∗ mit rjk = c · rjk , j, k = 1, . . . , n. Ohne das Clusterergebnis zu ver¨ andern, k¨ onnen wir also jede der Transformationskurven in Abbildung 9.10 so mit einer individuellen Konstante multiplizieren, dass die Steigung im Ursprung zu eins wird, das heißt kleine Abst¨ande bleiben durch die KernelTransformation n¨ aherungsweise unver¨ andert. Die auf diese Weise gewonnenen Tranformationskurven sind in Abbildung 9.11 dargestellt. Diese Transformationen bewirken oﬀensichtlich n¨ aherungsweise ein Abschneiden der Abst¨ande an der Grenze σ. Die Kernel-Transformation hat also den Eﬀekt, dass der Einﬂuss von sehr großen Un¨ ahnlichkeiten in R, und insbesondere von Ausreißern beschr¨ ankt wird (105).

122

9 Clustering

r

5

5

4

4

3

r

3

2

2

1

1

0 0

5

10

15

0 0

r

5

10

15

r

Abbildung 9.11: Kernel-Clustering: Skalierte Transformation durch GaußKernel (links) und Tangens Hyperbolicus Kernel (rechts)

9.5

Clustervalidit¨ at und -tendenz

Bisher wurde stillschweigend vorausgesetzt, dass in den zu analysierenden Datens¨ atzen u urliche Cluster enthalten sind, und dass die Anzahl der ¨ berhaupt nat¨ enthaltenen Cluster bekannt ist. Beides ist in vielen Anwendungen nicht der Fall. Um festzustellen, ob u ¨berhaupt Cluster vorhanden sind, eignet sich der Hopkins-Index (58; 59). Zur Bestimmung des Hopkins-Index eines Datensatzes X = {x1 , . . . , xn } ⊂ IRp werden zun¨ achst m Punkte R = {r1 , . . . , rm } in der konvexen H¨ ulle von X zuf¨ allig gew¨ ahlt, wobei m << n gilt. Dann werden weitere m Datenpunkte S = {s1 , . . . , sm } zuf¨allig aus X gew¨ahlt, also S ⊂ X. F¨ ur diese beiden Mengen R und S werden dr1 , . . . , drm , die Abst¨ande von R zu den n¨ achsten Nachbarn in X, und ds1 , . . . , dsm , die Abst¨ande von S zu den n¨ achsten Nachbarn in X bestimmt. Mit diesen Abst¨anden bestimmt sich der Hopkins-Index zu m dpri i=1 h= (9.58) m m dpri + dpsi i=1

i=1

Da der Hopkins-Index stark von der Wahl der Mengen R und S abh¨angt, empﬁehlt es sich, die zuf¨ allige Wahl der Mengen R und S mehrfach zu wiederholen und den Mittelwert aus den einzelnen Werten f¨ ur h zu verwenden. Der Wertebereich des Hopkins-Index ist h ∈ [0, 1]. Zur Interpretation des Hopkins-Index k¨ onnen drei typische F¨ alle betrachtet werden: 1. F¨ ur h ≈ 0.5 sind die Abst¨ ande zwischen den Daten aus X etwa so groß wie die Abst¨ ande zwischen beliebigen Punkten innerhalb der konvexen H¨ ulle von X. Dies deutet darauf hin, dass S bzw. X einer ¨ahnlichen Verteilung entspricht wie die Menge R. Da die Punkte in R rein zuf¨allig gew¨ahlt wurden, kann also geschlossen werden, dass auch X rein zufallsverteilt ist.

9.5 Clustervalidit¨ at und -tendenz 1

0.8

123

2

30

1.5

25

1

20

0.5

15

0

10

0.6

0.4

0.2

0 0

−0.5

0.5

h ≈ 0.4229

1

−1 −1

5 0

1

h ≈ 0.9988

2

5

10

15

20

25

30

h ≈ 0.1664

Abbildung 9.12: Drei Datens¨ atze und ihre Hopkins-Indizes

2. F¨ ur h ≈ 0 sind die Abst¨ ande zwischen den Daten aus X relativ groß. Dieser Fall kann auftreten, wenn die Punkte in X regelm¨aßig in etwa gleichem Abstand in der konvexen H¨ ulle von X verteilt werden. Kleine Werte des Hopkins-Index deuten also auf eine regelm¨aßige Struktur des Datensatzes hin. 3. F¨ ur h ≈ 1 sind die Abst¨ ande zwischen den Daten aus X relativ klein. Dies kann durch Cluster verursacht werden, innerhalb derer die Daten relativ dicht liegen. Aus einem hohen Hopkins-Index kann also geschlossen werden, dass X eine ausgepr¨ agte Clusterstruktur besitzt. Abbildung 9.12 zeigt drei unterschiedliche Datens¨atze und ihre Hopkins-Indizes f¨ ur m = 10. Links liegt eine reine Zufallsverteilung vor, so dass der HopkinsIndex etwa h ≈ 0.5 betr¨ agt. In der Mitte sind zwei klar getrennte Cluster vorhanden, was durch h ≈ 1 gut erkannt wird. Der rechte Datensatz enth¨alt eine sehr regelm¨ aßige Struktur – dies wird durch einen kleinen Wert von h erkannt. Eine andere Interpretation dieser Ergebnisse besteht darin, dass der linke Datensatz c = 1 Cluster und der rechte Datensatz c = n Cluster enth¨alt. In keinem dieser beiden F¨ alle kann von einer Clusterstruktur gesprochen werden. Daher wurde bisher auch stets f¨ ur c gefordert, dass 1 < c < n gilt. Eine Clusteranalyse l¨ asst nur dann sinnvolle Ergebnisse erwarten, wenn in den Daten tats¨achlich eine Clusterstruktur enthalten ist. Der Hopkins-Index der Daten sollte also mindestens h > 0.5 sein. asst sich bestimmen, ob X eine Clusterstruktur Mit dem Hopkins-Index l¨ besitzt, das heißt ob in X nat¨ urliche Cluster vorkommen. Der Parameter c ∈ {2, . . . , n − 1} muss bei allen hier vorgestellten Clustermethoden vom Anwender gew¨ ahlt werden, das heißt vor der Clusteranalyse muss bekannt sein, wie viele Cluster in den Daten enthalten sind. In vielen Anwendungen ist c jedoch unbekannt und muss erst durch Analyse der Daten abgesch¨atzt werden. Hierzu eignet sich ein Verfahren, das die Clusteranalyse wiederholt f¨ ur unterschiedliche Werte von c durchf¨ uhrt, die erhaltenen Partitionen bewertet und daraus die beste Partition ausw¨ ahlt. Die Bewertung der Partitionen wird auch Clus-

124

9 Clustering

tervalidierung genannt. Zu den gebr¨ auchlichsten Maßen zur Clustervalidierung geh¨ oren die durchschnittliche quadratische Zugeh¨origkeit (Partitionskoeﬃzient) (12) n c 1 2 P C(U ) = uik (9.59) n i=1 k=1

die die durchschnittliche Entropie (Klassiﬁkationsentropie) (135) 1 CE(U ) = −uik · log uik n i=1 n

c

(9.60)

k=1

und der Durchschnitt der Maximalzugeh¨ origkeiten (Proportionsexponent) (135) 1 max uik i n n

P E(U ) =

(9.61)

k=1

Die beste Partition zeichnet sich durch den h¨ochsten Partitionskoeﬃzienten, den h¨ ochsten Proportionsexponenten oder die niedrigste Klassiﬁkationsentropie aus. Der zugeh¨ orige Parameter c ist ein Sch¨ atzwert f¨ ur die Anzahl der nat¨ urlichen Cluster in X.

9.6

Hierarchisches Clustering

Die in Abschnitt 8.6 beschriebenen Methoden zur datengetriebenen Extraktion von Entscheidungsb¨ aumen (ID3, CART, C4.5) benutzen klassiﬁzierte Datens¨ atze X ⊂ IRp × {1, . . . , c}. Algorithmen, die aus Daten unter Benutzung von Klasseninformationen lernen, werden auch ¨ uberwachte Lernalgorithmen genannt. Die Clusteralgorithmen aus Abschnitt 9 sind im Gegensatz dazu un¨ uberwachte Lernalgorithmen, denn sie benutzen unklassiﬁzierte Datens¨atze X ⊂ IRp . Mit einer Kombination aus Elementen der u ¨ berwachten EntscheidungsbaumAlgorithmen und Elementen der un¨ uberwachten Clusteranalyse lassen sich sinnvolle Entscheidungsb¨ aume auch aus unklassiﬁzierten Daten erstellen. Diesen kombinierten Algorithmus nennen wir Entscheidungsbaum-Clustering (Decision Tree Clustering, DTC) (111) (siehe Abbildung 9.13). Analog zu ID3 (Abbildung 8.7) arbeitet DTC rekursiv von einem Wurzelknoten aus. An der Wurzel wird der gesamte Datensatz X = {x1 , . . . , xn } ⊂ IRp betrachtet und zun¨achst mit Hilfe des Hopkins-Index (9.58) u uft, ob X u ¨ berpr¨ ¨ berhaupt Cluster enth¨alt, ob also h > 0.5 ist. Falls in X Cluster enthalten sind, wird f¨ ur jedes Merkmal j = 1, . . . , p ein Clustering mit einem geeigneten Clusteralgorithmus durchgef¨ uhrt, zum Beispiel CM, FCM, PCM oder NC. Der Clusteralgorithmus erh¨alt die vorher speziﬁzierten Parameter P sowie die Clusteranzahl d, die von 2 bis zu einer Maximalzahl cmax variiert wird. F¨ ur jedes Merkmal j = 1, . . . , p und jede Clusteranzahl d = 2, . . . , cmax werden also eine Partition U jd und die zugeh¨origen Prototypen V jd bestimmt. Die beste dieser Partitionen zeichnet sich durch die h¨ ochste Validit¨ at aus, die mit einer geeigneten Methode aus Abschnitt 9.5,

9.6 Hierarchisches Clustering

125

• Gegeben X = {x1 , . . . , xn } ⊂ IRp , cmax ∈ {2, 3, . . . , n − 1} call DTC(X, Wurzel, {1, . . . , p}) • procedure DTC(X, N, I) 1. if Hopkins-Index h(X) ≤ 0.5 (9.58) then return 2. for j ∈ I, d = 2, . . . , cmax – Bestimme Partition und Prototypen (U jd , V jd ) = Cluster(X (j) , d) – Berechne Clustervalidit¨ at πjd = PC(U jd ) (9.59) 3. Bestimme Indizes von Gewinnerpartition U ic und -prototypen V ic (i, c) = argmax{πjd } ic ic ≤ . . . ≤ vc∗ 4. Sortiere die Clusterzentren so, dass v1∗ ic ic 5. Setze v0∗ = −∞, vc+1∗ =∞

6. Zerlege X in c disjunkte Teilmengen ic ic v ic + vk∗ v ic + vk+1∗ ≤ x(i) < k∗ , k = 1, . . . , c Xki = x ∈ X | k−1∗ 2 2 7. for k mit Xki = {} – Generiere neuen Knoten Nk und h¨ange ihn an N – if I = {i} then call DTC(Xki , Nk , I\{i})

Abbildung 9.13: Aufbau eines Entscheidungsbaums mit DTC

zum Beispiel dem Partitionskoeﬃzienten PC (9.59), der Klassiﬁkationsentropie CE (9.60) oder dem Proportionsexponenten PE (9.61) bestimmt wird. Beim Proportionsexponenten m¨ ussen die Gewinnerpartitionen und -prototypen allerdings durch Minimierung statt Maximierung bestimmt werden. Die GewinnerDatendimension i wird benutzt, um den Datensatz X in c Teilmengen Xki , k = 1, . . . , c, zu zerlegen. (i) Xki = {x ∈ X | bic < bic k−1 ≤ x k },

k = 1, . . . , c

(9.62)

Um ein oﬀenes unterstes bzw. oberstes Intervall zu erhalten, wird bic 0 = −∞ ic und bic ¨ brigen Grenzen bic c = ∞ gesetzt. Zur Bestimmung der u 1 , . . . , bc−1 weric ic ic den die Clusterzentren V ⊂ IR sortiert, so dass v1∗ ≤ . . . ≤ vc∗ . Die Grenzen

126

9 Clustering

ic bic origkeitsfunktio1 , . . . , bc−1 werden dort platziert, wo sich benachbarte Zugeh¨ nen schneiden. ic ic ic uic (9.63) k∗ (bk ) = uk+1∗ (bk ) k = 1, . . . , c − 1

F¨ ur FCM-Zugeh¨ origkeitsfunktionen (9.28) ergibt sich daraus beispielsweise 2 m−1 c c 2 ic bic − v ic m−1 bic − v k k+1∗ k∗ k =1 1 ic bic − v ic b − v ic

l=1

k

l

k

l=1

(9.64)

l

Dies ist erf¨ ullt f¨ ur ic ic ic |bic k − vk∗ | = |bk − vk+1∗ |

⇒

bic k =

ic ic vk∗ + vk+1∗ 2

(9.65)

Die optimalen Grenzen liegen also genau zwischen benachbarten Clusterzentren. F¨ ur jede der durch diese Grenzen festgelegten (nichtleeren) Teilmengen wird ein neuer Knoten angeh¨ angt und DTC rekursiv f¨ ur die verbleibenden Merkmale aufgerufen, bis alle Merkmale durchlaufen sind.

9.7

Selbstorganisierende Karte

Eine selbstorganisierende Karte (63; 66; 134) ist ein q-dimensionales Feld von l Knoten. Im zweidimensionalen Fall k¨ onnen diese Knoten zum Beispiel rechteckig oder hexagonal angeordnet werden, wie in Abbildung 9.14 gezeigt. Jeder Knoten in einer solchen selbstorganisierenden Karte besitzt einen Ortsvektor ri ∈ IRq , der seine Position in der Karte festlegt, sowie einen Referenzvektor mi ∈ IRp , der einem Punkt aus dem Bereich des Datensatzes X entspricht, i = 1, . . . , l. Beim Training der Karte wird in jedem Lernschritt t zu jedem Vektor xk ∈ X derjenige Knoten bestimmt, dessen Referenzvektor den geringsten Abstand zu xk besitzt. Anschließend werden die Referenzvektoren aller Knoten aus der Nachbarschaft des Gewinnerknotens ¨ahnlich wie bei der lernenden Vektorquantisierung (siehe Abschnitt 8.5) modiﬁziert. Die Nachbarschaft zwischen

r1

r2

r3

r4

r5

r6

r7

r8

r5

r9

r10

r11

r12

r13

r14

r15

r16

r13

r17

r18

r19

r20

r21

r22

r23

r24

r21

r25

r26

r27

r28

r29

r30

r31

r32

r29

r1 r9 r17 r25

r6 r14 r22 r30

r2 r10 r18 r26

r7 r15 r23 r31

r3 r11 r19 r27

r8 r16 r24 r32

r4 r12 r20 r28

Abbildung 9.14: Rechteckige und hexagonale selbstorganisierende Karte

9.7 Selbstorganisierende Karte

127

1. Gegeben Datensatz X = {x1 , . . . , xn } ⊂ IRp , Projektionsdimension q ∈ {1, . . . , p − 1}, Knotenpositionen R = {r1 , . . . , rl } ⊂ IRq 2. Initialisiere M = {m1 , . . . , ml } ⊂ IRp , t = 1 3. F¨ ur jeden Vektor xk , k = 1, . . . , n, (a) Bestimme Gewinnerknoten mc , so dass xk − mc ≤ xk − mi ∀i = 1, . . . , l (b) Aktualisiere Gewinner und Nachbarn mi = mi + hci · (xk − mc )

∀i = 1, . . . , l

4. t = t + 1 5. Wiederhole ab (3.), bis Abbruchkriterium erreicht 6. Ausgabe: Referenzvektoren M = {m1 , . . . , ml } ⊂ IRp

Abbildung 9.15: Training einer selbstorganisierenden Karte

den Knoten mit den Indizes c = 1, . . . , l und i = 1, . . . , l kann deﬁniert werden u ¨ ber die Blasenfunktion (9.66) hci = α(t) falls rc − ri < ρ(t) 0 sonst oder die Gauß-Funktion hci = α(t) · e

−

rc −ri 2 2·ρ2 (t)

(9.67)

Der Beobachtungsradius ρ(t) und die Lernrate α(t) sind monoton fallende Funktionen, zum Beispiel A α(t) = , A, B > 0 (9.68) B+t Den Algorithmus zum Training einer selbstorganisierenden Karte zeigt Abbildung 9.15. Zur Visualisierung des Trainingsergebnisses einer selbstorganisierende Karte k¨ onnen die einzelnen Referenzvektoren oder die Abst¨ande der Referenzvektoren benachbarter Knoten dargestellt werden. Abbildung 9.16 zeigt eine Karte, die entsprechend der Abst¨ ande der Referenzvektoren mit Grauwerten eingef¨ arbt wurde, wobei hohe Abst¨ ande durch helle Grauwerte repr¨asentiert werden. Die gezeigte Struktur deutet darauf hin, dass in diesem Datensatz zwei ausgepr¨ agte Cluster vorhanden sind, die durch die Knoten links oben und rechts oben repr¨ asentiert werden.

128

9 Clustering

Abbildung 9.16: Visualisierung einer selbstorganisierenden Karte

9.8

Regelerzeugung

Die in den letzten Abschnitten vorgestellten Datenanalysemethoden ermitteln Analyseergebnisse in Form von parametrischen Gleichungen, Verzweigungsbedingungen in Entscheidungsb¨ aumen oder Prototypparametern. Solche abstrakten Repr¨ asentationen (20) sind f¨ ur Menschen nur schwer zu interpretieren. F¨ ur Menschen sind linguistische Regeln oft wesentlich leichter zu verstehen, zum Beispiel in der Form wenn (Pr¨amisse), dann (Konklusion)“ (10). Ein mit LVQ ” oder Q∗ erzeugter N¨ achster-Nachbar-Klassiﬁkator nach (8.48) l¨asst sich durch c Regeln der Form Ri : Wenn x nahe bei vi , dann Klasse i

(9.69)

i = 1, . . . , c, darstellen. Eine Partition, die durch Clustering mit Punktprototypen erzeugt wurde, l¨ asst sich analog darstellen durch c Regeln (39; 62; 52) der Form Ri : Wenn x nahe bei vi , dann Cluster i (9.70) Falls die Cluster nachtr¨ aglich bestimmten Klassen zugeordnet werden, ergibt sich daf¨ ur eine Schreibweise wie in (9.69). Da die Clusteranalyse neben den Prototypparametern auch die Zugeh¨ origkeitsfunktionen der Cluster liefert, l¨asst sich die Pr¨ amisse x nahe bei vi“ schlicht als die Zugeh¨origkeit von x zu Cluster ” i schreiben. Damit wird (9.70) zu Ri : Wenn ui (x), dann Cluster i

(9.71)

Die scharfe Zuordnung zu einem Cluster kann erfolgen, indem alle Regeln ausgewertet werden und der Cluster mit der h¨ochsten Zugeh¨origkeit ui (x), i = 1, . . . , c, ausgew¨ ahlt wird. In einem Entscheidungsbaum wie in Abbildung 8.6 l¨asst sich jeder Pfad von der Wurzel zu einem Blatt als eine Regel schreiben, deren Pr¨amisse die Konjunktion aller besuchten Kantenmarkierungen und deren Konklusion die Klasse des Blattes enth¨ alt, zum Beispiel Wenn b = 2 und h > 1m, dann Mensch

(9.72)

9.8 Regelerzeugung

129

Die Regeln (9.69) bis (9.72) heißen Klassiﬁkationsregeln, da sie jedem Eingangswert x ∈ IRp eine Klasse zuweisen. Im Gegensatz dazu bestimmen Approximationsregeln zu jedem Eingangswert x ∈ IRp einen Ausgangswert y ∈ IRq . Das Ergebnis einer lineare Regression kann zum Beispiel qualitativ als eine Je-DestoRegel dargestellt werden. Je gr¨ oßer x, desto kleiner y

(9.73)

F¨ ur die Erzeugung von Approximationsregeln eignet sich auch die lokale Modellierung mit Clustermethoden. Hierzu werden die Eingangsdaten X = {x1 , . . . , xn } ⊂ IRp mit den zugeh¨ origen Augangsdaten Y = {y1 , . . . , yn } ⊂ IRq eines Systems konkateniert, so dass ein Ein-Ausgangsdatensatz oder Produktraumdatensatz Z = {z1 , . . . , zn } = {(x1 , y1 ), . . . , (xn , yn )} ⊂ IRp+q (9.74) entsteht (83). Wird eine Clusteranalyse dieses Datensatzes Z durchgef¨ uhrt, so l¨ asst sich jedes Clusterzentrum als eine Konkatenation eines typischen Eingangs(1,...,p) (p+1,...,p+q) vektors vi mit dem entsprechenden Ausgangsvektor vi schreiben. Jedes Clusterzentrum entspricht also einer Regel (1,...,p)

Ri : Wenn x nahe bei vi

(p+1,...,p+q)

, dann y nahe bei vi

(9.75)

¨ Wie schon beim Ubergang von (9.70) zu (9.71) liegt es nahe, die Ausdr¨ ucke mit nahe bei“ durch entsprechende Zugeh¨ origkeiten zu ersetzen. ” (9.76) Ri : Wenn uxi (x), dann uyi (y) Da der Clusteralgorithmus jedoch nur die Zugeh¨origkeitsfunktion ui ((x, y)) im Produktraum liefert, m¨ ussen die Zugeh¨ origkeitsfunktionen uxi und uyi durch Projektion bestimmt werden. Falls die Werte von x und y auf die Intervalle [xmin , xmax ] bzw. [ymin , ymax ] beschr¨ ankt sind, lassen sich diese Projektionen u ¨ ber die Suprema aller Projektionen schreiben. uxi

=

uyi

=

sup

{ui (x, y)}

(9.77)

{ui (x, y)}

(9.78)

y∈[ymin ,ymax ]

sup

x∈[xmin ,xmax ]

ur Fuzzy cAbbildung 9.17 zeigt die Zugeh¨ origkeitsfunktionen u2 , ux2 und uy2 f¨ Means (9.28). Die Zugeh¨ origkeitsfunktionen ui lassen sich nicht nur auf den Ein- und den Ausgangsraum projizieren, sondern auf jede einzelne Komponente von Ein- und Ausgangsraum. Analog zu (9.77) und (9.78) lauten die einzelnen projizierten Zugeh¨ origkeitsfunktionen uil (z (l) ) =

sup (¬l)

(¬l)

{ui (z)}

(9.79)

z (¬l) ∈[zmin ,zmax ]

wobei z (¬l) = z (1,...,l−1,l+1,...,p+q) , l = 1, . . . , p + 1. Jede Regel Ri (9.76) wird dadurch in q Regeln p

uil (x(l) ), dann ui p+m (y (m) )

Rim : Wenn l=1

(9.80)

130

9 Clustering

1

0.5

0 10 5 0 0

5

10

Abbildung 9.17: Regelerzeugung durch Projektion von Zugeh¨ origkeiten

jeweils f¨ ur eine Komponente m = 1, . . . , q des Ausgangsraums, aufgeteilt. Eine Regel Rim der Form (9.80) heißt Mamdani-Assilian-Regel (21; 42; 70; 74). F¨ ur einen Eingangsvektor ξ ∈ IRp berechnet sich das Resultat einer einzelnen Regel Rim (9.80) zu p

μim (y (m) ) = ui (p+m) (y (m) ) ∧

uil (ξ (l) )

(9.81)

l=1

i = 1, . . . , c, m = 1, . . . , q, wobei die Konjunktion ∧ der Zugeh¨origkeitswerte durch eine beliebige Dreiecksnorm (t-Norm) (117), zum Beispiel das Minimum u ∧ v = min{u, v}, implementiert werden kann. Das Gesamtresultat eines kompletten Mamdani-Assilian-Regelsatzes R = {Rim | i = 1, . . . , c, m = 1, . . . , p} ist c

! y (m) = d μim (y (m) ) (9.82) i=1

m = 1, . . . , p, wobei die Disjunktion ∨ eine beliebige Dreiecksconorm (t-Conorm) (117) ist, zum Beispiel das Maximum u ∨ v = max{u, v}. Die Funktion d ein sogenannter Defuzziﬁzierungsoperator (96; 97; 98), zum Beispiel die Schwerpunktmethode (erstes Moment). ⎛ dCOG (μ(x)) = ⎝

"∞

−∞

⎞ ⎛ ∞ ⎞ " ⎝ μ(x) x dx⎠ μ(x) dx⎠

(9.83)

−∞

Da die Berechnung des Ausgangsvektors y aus dem Eingangsvektor x gem¨aß (9.81) bis (9.83) relativ aufw¨ andig ist, werden die Zugeh¨origkeitsfunktionen ui p+m (y (m) ), m = 1, . . . , q, h¨ auﬁg durch Einerfunktionen (Singletons) ersetzt, so dass # (p+m) 1 falls y (m) = vi ui p+m (y (m) ) = (9.84) 0 sonst

9.8 Regelerzeugung

131

das heißt die Konklusion jeder Regel Rim enth¨alt nur den Wert einer Kom(p+m) ponente des Clusterzentrums vi . Mit dieser Vereinfachung der MamdaniAssilian-Regel (9.80) ergibt sich eine Sugeno-Yasukawa-Regel (124) p (p+m)

uil (x(l) ), dann y (m) = vi

Rim : Wenn

(9.85)

l=1

Die Einerfunktionen der Mamdani-Assilian-Regeln erscheinen bei den SugenoYasukawa-Regeln als konstante Konklusionen. Das Resultat eines gesamten Sugeno-Yasukawa-Regelsatzes R = {Rim | i = 1, . . . , c, m = 1, . . . , p} ergibt sich f¨ ur einen Eingangsvektor ξ ∈ IRp durch konvexe Kombination als p c $ (p+m) (l) uil (ξ ) · vi i=1 l=1 (m) (9.86) y = p c $ uil (ξ (l) ) i=1 l=1

Ein Vergleich mit (6.50) zeigt, dass jedes RBF-Neuron als eine Sugeno-Yasukawa-Regel (9.85) mit der RBF-Zugeh¨ origkeitsfunktion (6.49) x−μi 2 − σi ui (x) = e (9.87) und der Konklusion wi , Rm : Wenn ui (x), dann y = wi

(9.88)

beschrieben werden k¨ onnte, wenn alle Zugeh¨origkeitsfunktionen normalisiert w¨ aren. c ui (x) = 1 f¨ ur alle x ∈ IRp (9.89) i=1

Dies ist jedoch in der Regel nicht der Fall. Allerdings werden oft Modiﬁkationen von RBF-Netzen verwendet, bei denen die Zugeh¨origkeitsfunktionen ui (x) so modiﬁziert werden, dass die Normalisierungsbedingung (9.89) erf¨ ullt ist. Diese Modiﬁkationen sind Sugeno-Yasukawa-Systeme und keine RBF-Netze im eigent¨ lichen Sinn. Die Ahnlichkeit zwischen Sugeno-Yasukawa-Systemen und RBFNetzen bildet jedoch die wichtigste Schnittstelle zwischen neuronalen Netzen und Fuzzy-Systemen. In sogenannten Neuro-Fuzzy-Systemen wird die Struktur von Fuzzy-Regeln auf neuronale Architekturen abgebildet. Dadurch lassen sich einerseits Fuzzy-Regeln mit neuronalen Lernverfahren trainieren und andererseits neuronale Netze mit Fuzzy-Regeln (Expertenwissen) initialisieren (80). F¨ ur den Datensatz X aus (9.1) wurden mit Fuzzy c-Means, c = m = 2 und tmax = 100 Iterationen die Zugeh¨ origkeitfunktionen u1 , u2 sowie die Clusterzentren v1 und v2 bestimmt. X wurde als Ein-Ausgangsdatensatz mit p = q = 1 interpretiert und durch Projektion die Eingangszugeh¨origkeitsfunktionen u11 (x(1) ) und u21 (x(1) ) bestimmt. Abbildung 9.18 (links) zeigt diese beiden Zugeh¨ origkeitsfunktionen. Die entsprechenden beiden Sugeno-Yasukawa-Regeln

132

9 Clustering

1

10 Wenn x = klein

10

Wenn x = groß

dann y = 7.6787

dann y = 0.54641 x + 3.8452

0.8

8

8

0.6

6

6

0.4

4

4 dann y = 2.3213

0.2

0 0

dann y = 0.54641 x + 0.69071

2

5

2

0 0

10

5

10

0 0

5

10

Abbildung 9.18: Erzeugte Regeln: Pr¨ amissen (links), Sugeno-Yasukawa Konklusionen (Mitte) und Takagi-Sugeno Konklusionen (rechts)

lauten R11 :

(2)

(9.90)

(2) v2

(9.91)

Wenn u11 (x), dann y = v1

R21 :

Wenn u21 (x), dann y =

ur u21 (x(1) ) groß“ F¨ ur u11 (x(1) ) kann die linguistische Bezeichnung klein“ und f¨ ” ” (2) (2) benutzt werden. Mit den Projektionen v1 = 2.3213 und v2 = 7.6787 der Clusterzentren ergibt sich daraus R11 : R21 :

Wenn x = klein, dann y = 2.3213 Wenn x = groß, dann y = 7.6787

(9.92) (9.93)

Abbildung 9.18 (Mitte) zeigt die durch den Regelsatz (9.92) und (9.93) gem¨aß ¨ Auswertung nach (9.86) beschriebene Ubertragungsfunktion y(x) f¨ ur x ∈ [0, 10]. (1) (1) In den Eingangsprojektionen der Clusterzentren x = v1 und x = v2 liefert das Sugeno-Yasukawa-System die Ausgangsprojektionen der Clusterzen(1) (2) (2) (2) tren y(v1 ) = v1 und y(v1 ) = v2 . Dazwischen wird nichtlinear interpo(1) (1) liert. Die Extrapolation f¨ ur x < v1 und x > v2 n¨ahert sich dem Mittelwert (2) (2) y(−∞) = y(∞) = (v1 + v2 )/2 an, je weiter sich x von den Clusterzentren entfernt. F¨ ur die Bestimmung von Mamdani-Assilian- und Sugeno-Yasukawa-Regeln wurden nur punktf¨ ormige Cluster mit den Zentren vi ber¨ ucksichtigt. Auch kompliziertere Clusterformen k¨ onnen zur Regelerzeugung benutzt werden. Elliptotypes (9.41) mit den Parametern pi = (vi , di1 , . . . , dip ) sind zum Beispiel wie in Abbildung 9.9 gezeigt lokal lineare Modelle f¨ ur den Zusammenhang zwischen der Eingangsgr¨ oße x ∈ IRp und der Ausgangsgr¨oße y ∈ IRq . (x, y)

=

vi +

p

λj dij = vi + λ · D

(9.94)

j=1

⇒

x = y (m)

=

(1,...,p)

vi

+ λ · d(1,...,p)

(9.95)

(p+m) vi

+λ·d

(9.96)

(p+m)

9.8 Regelerzeugung

133

Jeder Elliptotype-Cluster kann also als q (lokale) Regeln mit den linearen Konklusionsfunktionen y (m) = fim (x), m = 1, . . . , q, geschrieben werden (99). Mit (9.95) und (9.96) ergeben sich diese Regeln zu (p+m)

fim (x) = vi

(1,...,p)

+ (x − vi

&−1 % ) · d(1,...,p) · d(p+m)

(9.97)

Allgemein (also f¨ ur beliebige Funktionen fim : IRp → IR) heißen solche Regeln Takagi-Sugeno-Regeln (125). p

uil (x(l) ) dann y (m) = fim (x)

Rim : Wenn

(9.98)

l=1

Takagi-Sugeno-Regeln werden ¨ ahnlich wie Sugeno-Yasukawa-Regeln f¨ ur einen Eingangsvektor ξ ∈ IRp durch konvexe Kombination ausgewertet. p c $ uil (ξ (l) ) · fim (ξ) i=1 l=1 (9.99) y (m) = p c $ uil (ξ (l) ) i=1 l=1

Takagi-Sugeno-Regeln (9.98) mit konstanten Konklusionsfunktionen fim (x) = (p+m) vi sind ¨ aquivalent zu Sugeno-Yasukawa-Regeln (9.85). Die unterste Zeile in Abbildung 9.18 zeigt die Elliptotypes, die f¨ ur den Datensatz X aus (9.1) mit alternierender Optimierung des FCE-Modells, c = m = 2, α = 0.5 und tmax = 100 Iterationen bestimmt wurden. Die beiden lokalen Modelle, die jeweils durch vi (Kreis) und di1 (Pfeil) dargestellt sind, lauten f11 (x)

=

0.54641 x + 3.8542

(9.100)

f21 (x)

=

0.54641 x + 0.69071

(9.101)

¨ Zus¨ atzlich sind die Ubertragungsfunktionen gem¨aß (9.99) dargestellt.

135

Kapitel 10

Zusammenfassung Ziel der Datenanalyse ist es, aus großen Datenmengen Wissen zu extrahieren, das heißt allgemein g¨ ultige, nicht triviale, neue, n¨ utzliche und verst¨andliche Muster zu erkennen. F¨ ur diese Wissensextraktion wurde ein mehrstuﬁger Datenanalyse-Prozess dargestellt, an dem sich die Gliederung dieses Buches orientiert. Zur Vorbereitung der Datenanalyse ist es notwendig, bereits bei der Planung und Durchf¨ uhrung der Datensammlung die Charakteristika der Daten, die Datendarstellung und m¨ ogliche Fehlerquellen zu beachten. Zun¨achst sollte gekl¨art werden, auf welchen Skalen die Daten gemessen werden, also ob sie nominal-, ordinal-, intervall- oder proportionalskaliert sind, denn davon h¨angt ab, welche mathematischen Operationen auf den Daten u ¨berhaupt maßtheoretisch zul¨assig und damit sinnvoll sind. Wichtig f¨ ur die Datendarstellung ist es, ob es sich um numerische oder nichtnumerische Objektdaten handelt. Numerische Merkmalsdaten lassen sich zu Datenmatrizen zusammenfassen, die eine bequeme Darstellung und Handhabung erm¨ oglichen, w¨ ahrend sich nichtnumerische Objektdaten in Form von Relationsmatrizen der rechnergest¨ utzten Bearbeitung erschließen. Relationen spielen auch bei der Analyse von numerischen Merkmalsdatens¨atzen eine große Rolle, denn die meisten Visualisierungs- und Mustererkennungsmethoden basieren auf Un¨ ahnlichkeitsmaßen wie Matrixnormen (zum Beispiel Euklidische, Diagonal- und Mahalanobis-Norm) oder Minkowsky-Normen, oder auf ¨ Ahnlichkeitsmaßen wie zum Beispiel dem Cosinus-Maß. Sequenzdaten und insbesondere Textdaten, die bei der Verarbeitung von Web-Daten oft im Vordergrund stehen, lassen sich mit speziellen Abstandsmaßen wie dem Edit-Abstand in geeignete relationale Darstellungen u uhren und auf diese Weise nume¨ berf¨ risch weiterverarbeiten. Bei Daten, die durch Abtastung zeit- und wertkontinuierlicher Signale gewonnen wurden, m¨ ussen dar¨ uber hinaus Abtastungs- und Quantisierungsfehler ber¨ ucksichtigt werden. Um die Information eines kontinuierlichen Signals vollst¨ andig in abgetasteten Daten zu erfassen, muss die Einhaltung der Nyquist-Bedingung sichergestellt und f¨ ur eine hinreichend kleine Quantisierungsstufen gesorgt werden.

136

10 Zusammenfassung

Ziel der Datenvorverarbeitung ist die Erkennung und Behandlung von fehlerhaften Daten sowie die einheitliche Datendarstellung. Bei der Fehlerbetrachtung wird zwischen zuf¨ alligen und systematischen Fehlern unterschieden. Zuf¨allige Fehler, die durch additives Rauschen modelliert werden k¨onnen, lassen sich in vielen Datenanalyseaufgaben vernachl¨ assigen. Ausreißer, Oﬀsets, Drifteﬀekte und andere systematische Fehler m¨ ussen dagegen vor der Datenanalyse geeignet behandelt werden. Die 2-Sigma-Regel klassiﬁziert Daten als Ausreißer, die vom Mittelwert um mehr als das doppelte der Standardabweichung abweichen. Bei dieser Methode ist zu beachten, dass auch fehlerfreie Exoten, die h¨auﬁg gerade die wichtigste Information in Datens¨ atzen tragen, als Ausreißer klassiﬁziert werden k¨ onnen. Eine sicherere aber wesentlich weniger restriktive Methode klassiﬁziert Daten als Ausreißer, wenn sie außerhalb der zul¨assigen Wertebereiche liegen. Nach der Erkennung k¨ onnen Ausreißer, eventuell nach zus¨atzlicher manueller Klassiﬁkation, markiert, korrigiert oder entfernt werden. Zur Korrektur eignet sich das Ersetzen des Ausreißers durch Maximal-, Minimal- oder Mittelwerte sowie durch Kombinationen der Werte der n¨achsten Nachbarn. Speziell bei Zeitreihen (aber auch bei Bilddaten) l¨asst sich die Erkennung und Korrektur von fehlerhaften Daten mit Filtermethoden erreichen. Mit gleitenden Mittelwerten l¨ asst sich Rauschen gut herausﬁltern, jedoch lassen sich Ausreißer besser mit gleitenden Medianwerten entfernen. Das exponentielle Filter hat einen geringen Rechenaufwand, beseitigt aber bei geringen Lernraten auch we¨ sentliche Signalinformationen. Ahnliches gilt f¨ ur andere diskrete lineare Filter. Diskrete lineare Filter mit unendlicher Impulsantwort (IIR-Filter) wie zum Beispiel Butterworth-Filter haben den geringsten Rechenaufwand, allerdings muss hierbei besonders auf die Stabilit¨ at des Filters geachtet werden. Zur einheitlichen Darstellung der Daten ist es notwendig, Merkmale mit unterschiedlichen Wertebereichen zu standardisieren. Dies kann mit Hyperw¨ urfeln oder statistischen Maßen (Mittelwert, Standardabweichung) erfolgen. Außerdem ist es oft zweckm¨ aßig, Daten, die verteilt in unterschiedlichen Dateien gespeichert sind, zu einem einzigen Datensatz zusammenzufassen. Der dritte Schritt des Data-Mining-Prozesses ist die eigentliche Erkennung von Merkmalen in den (vorverarbeiteten) Daten. Das beste bekannte Werkzeug zur Erkennung von Mustern ist das menschliche Auge. Zur Merkmalserkennung werden daher Visualisierungsmethoden eingesetzt, die es dem menschlichen Entwickler oder Anwender erm¨ oglichen, interessante Strukturen zu erkennen. Der Mensch kann nur maximal drei r¨aumliche Dimensionen wahrnehmen, und auf Papier oder Bildschirmen lassen sich nur zwei Dimensionen darstellen. F¨ ur h¨ oherdimensionale Daten werden daher Projektionsmethoden eingesetzt. Zu den einfachsten Projektionsmethoden geh¨oren achsenparallele Projektionen. Liegen die Hauptachsen der Datenstrukturen nicht parallel zu den Koordinatenachsen, so liefert die Hauptachsentransformation (auch Hauptkomponentenanalyse, Principal Component Analysis, Singul¨arwertzerlegung, Singular Value Decomposition, Karhunen-Loeve Transformation oder Eigenvektorprojektion genannt) eine geeignete Koordinatentransformation (Rotation und Translation), die zu einer Varianzmaximierung und gleichzeitig einer Minimierung des Projektionsfehlers f¨ uhrt. Komplexe, hochdimensionale Strukturen lassen sich mit

10 Zusammenfassung

137

solchen linearen Projektionsmethoden oft nur schwierig erkennen. Eine nichtlineare Projektionsmethode ist die mehrdimensionale Skalierung, die den absoluten, relativen oder Sammon-Fehler zwischen den Abstandsmatrizen in Urbildund Bildraum (zum Beispiel durch Gradientenabstieg) minimiert. Eng mit der mehrdimensionalen Skalierung verwandt ist die Shepard-Methode, bei der versucht wird, die gleiche Ordnung der Abst¨ ande in Urbild- und Bildraum zu erreichen. Histogramme erlauben es, die Verteilung der einzelnen Merkmalsdaten abzusch¨ atzen. Wichtig ist dabei, dass die Anzahl der Histogramm-Intervalle geeignet, also nicht zu wenige und nicht zu viele, gew¨ahlt wird. Aus den Betragsund Phasenspektren lassen sich wesentliche Strukturelemente von Zeitreihendaten erkennen. Neben der Mustererkennung durch Visualisierung existieren zahlreiche Verfahren der maschinellen Mustererkennung. Zu den wichtigsten statistischen Methoden der Datenanalyse geh¨ oren die Korrelations- und Regressionsanalyse. Mit Kovarianzen und Korrelationen wird der (lineare) Zusammenhang zwischen Daten quantiﬁziert. Gruppen von zusammengeh¨origen Merkmalen lassen sich in Form von Korrelationsclustern bestimmen. Die gefundenen Ergebnisse sollten auf Scheinkorrelationen hin u uft und gegebenenfalls mit partiellen Korre¨berpr¨ lationskoeﬃzienten herausgerechnet werden. Nichtlineare Korrelationen k¨onnen mit dem Chi-Quadrat-Unabh¨ angigkeitstest quantiﬁziert werden, bei es ebenso wie bei den Histogrammen wichtig ist, jedes Merkmal in eine geeignete Anzahl von Intervallen aufzuteilen. Die Regressionsanalyse bestimmt eine Sch¨atzung f¨ ur den funktionalen Zusammenhang zwischen Merkmalen durch Minimierung des quadratischen Approximationsfehlers und ist damit eine Methode der Funktionsapproximation. Durch Substitution l¨ asst sich die lineare Regression auch auf gegebene nichtlineare Funktionen erweitern. Auf diese Weise l¨asst sich zum Beispiel eine eﬃziente polynomielle Regression durchf¨ uhren. Eine Regression mit beliebigen Nichtlinearit¨ aten l¨ asst sich durch universelle Approximatoren realisieren, zum Beispiel mit neuronalen Netzen. Ein Beispiel f¨ ur einen solchen universellen Approximator ist ein mehrschichtiges Perzeptron, das die Topologie eines gerichteten Graphen besitzt und als Abstraktion eine biologischen neuronalen Netzes interpretiert werden kann. Die freien Parameter eines mehrschichtigen Perzeptrons sind die Gewichte der Kanten zwischen den auch Neu” ronen“ genannten Knoten, die auf Basis von gegebenen Trainingsdaten mit dem Backpropagation-Algorithmus optimal eingestellt werden k¨onnen. Ein anderes Beispiel f¨ ur universelle Approximatoren sind Netze mit radialen Basisfunktionen, die lokale Regressionsmodelle repr¨ asentieren. Bei der Regression mit universellen Approximatoren werden die Daten oft in Trainings- und Validierungsdaten aufgeteilt. Die Auswahl von Trainings- und Validierungsmengen kann mit Leave-One-Out, Cross-Validierung oder Leave-m-Out erfolgen. Die G¨ ute der Regression bestimmt sich durch den Regressionsfehler auf den Validierungsdaten. Die Regressionsg¨ ute kann oft dadurch erh¨ oht werden, dass nicht alle Merkmale, sondern nur geeignet selektierte Merkmale verwendet werden. Die Auswahl der geeigneten Merkmalsmenge kann sukzessiv auf Basis der erzielten Validierungsfehler erfolgen.

138

10 Zusammenfassung

Auch die Prognose von Zeitreihen kann mit Regressionsverfahren durchgef¨ uhrt werden. Hierzu werden die beobachteten Daten entsprechend des erzeugenden rekurrenten Modells gruppiert, und geeignete lineare oder neuronale Verfahren berechnen daraus Regressionsmodelle, die sich zur Berechnung der Prognosen verwenden lassen. Sind die Objekte bestimmten Klassen zugeordnet, so lassen sich aus den klassiﬁzierten Merkmalsdaten Klassiﬁkatoren bauen, mit denen sich neue Objekte auf Basis ihrer Merkmale klassiﬁzieren lassen. Die G¨ ute der Klassiﬁkation l¨ asst sich mit zweidimensionalen Diagrammen untersuchen, zum Beispiel Receiver-Operating-Curve oder Precision-Recall-Diagramm. Ein naiver BayesKlassiﬁkator ist ein eﬃzientes h¨ auﬁgkeitsbasiertes Verfahren, das sich jedoch nur f¨ ur stochastisch unabh¨ angige (diskrete) Merkmale eignet. Auch die lineare Diskriminanzanalyse ist eﬃzient, eignet sich jedoch nur f¨ ur lineare Klassengrenzen. Eine Erweiterung ist die Support-Vektor-Maschine, die durch den sogenannten Kernel-Trick auch f¨ ur nichtlineare Klassengrenzen geeignet ist. Der N¨achsteNachbar-Klassiﬁkator ist ein sehr einfaches faules“ Lernverfahren mit Trai” ningsaufwand null und hohem Klassiﬁkationsaufwand. Prototypbasierte Erweiterungen wie die lernende Vektorquantisierung (LVQ) oder der Q∗ -Algorithmus f¨ uhren zu Klassiﬁkationsverfahren, die in Training und Klassiﬁkation eﬃzient sind. Entscheidungsb¨ aume sind Klassiﬁkatoren mit hierarchischer Struktur, die an jeder Verzweigung nur ein einziges Merkmal zur Klassenunterteilung verwenden. Die optimalen Verzweigungsbedingungen k¨onnen auf der Basis von Daten durch Maximierung des Informationsgewinns (Entropie) bestimmt werden. F¨ ur diskrete Daten dient hierzu der ID3-Algorithmus, f¨ ur kontinuierliche Daten CART (Classiﬁcation and Regression Tree) oder C4.5. Sind die Klasseninformationen nicht in den Daten enthalten, so k¨onnen diese mit Hilfe von Clusterverfahren gesch¨ atzt werden. Ein (guter) Cluster ist eine Menge von Punkten, die nahe zusammen liegen und von anderen Clustern deutlich getrennt sind. Die sequentielle agglomerative hierarchische nicht¨ uberlappende (SAHN) Clusteranalyse deﬁniert zun¨ achst jeden einzelnen Punkt als Cluster und fasst dann sukzessiv Clusterpaare mit dem geringsten Abstand zusammen. Die sequentielle divisive hierarchische nicht¨ uberlappende (SDHN) Clusteranalyse beginnt mit einem einzigen Cluster, der sukzessiv geteilt wird. W¨ahrend SAHN und SDHN lediglich Partitionen bestimmen, liefert das c-Means (CM) Modell zu jedem Cluster zus¨ atzlich einen Prototypen (Clusterzentrum). Hierzu wird die Summe der quadratischen Abst¨ ande zwischen allen Punkten und den zugeh¨ origen Clusterzentren minimiert, in der Regel durch alternierende Optimierung (AO), bei der abwechselnd Partitionen und Prototypen (zum Beispiel mit Hilfe der notwendigen Bedingungen f¨ ur Extrema der Kostenfunktion) neu bestimmt werden. Unscharfe Cluster zeichnen sich dadurch aus, dass jeder Datenpunkt zu gewissen Graden zu mehreren Clustern geh¨oren kann. Sie lassen sich zum Beispiel durch das Fuzzy c-Means (FCM) Modell bestimmen, das die Summe der mit den Zugeh¨ origkeiten gewichteten quadratischen Abst¨ande zwischen Punkten und Zentren minimiert. Prototypbasierte Clustermodelle lassen sich leicht von Punktprototypen zu Prototypen h¨oherer Ordnung erweitern. Durch Verwendung einer Variante des Mahalanobis-Abstands k¨onnen f¨ ur die einzelnen

10 Zusammenfassung

139

Cluster ellipsoide Prototypen gefunden werden (Gustafson-Kessel-Modell). Mit anderen Abstandsmaßen lassen sich auch Linien, (Hyper-)Ebenen oder Kreise in Daten ﬁnden. Possibilistische und Ausreißer-Modelle erm¨oglichen es, Ausreißer auch beim Clustering geeignet zu behandeln. F¨ ur all diese Clustermodelle stehen auch relationale Varianten zur Verf¨ ugung, die Cluster in relationalen Daten¨ atzen ﬁnden. Durch die Verwendung des Kernel-Tricks lassen sich auch hier Cluster mit komplizierten nichtlinearen Formen ﬁnden. Ob in einem Datensatz u asst sich mit dem Hopkins-Index bestimmen. ¨ berhaupt Cluster enthalten sind, l¨ Die G¨ ute der gefundenen Cluster l¨ asst sich mit Validit¨atsmaßen (wie Partitionskoeﬃzient, Klassiﬁkationsentropie oder Proportionsexponent) quantiﬁzieren. Auch f¨ ur unklassiﬁzierte Daten lassen sich mit Hilfe von Clustermodellen Entscheidungsb¨ aume erzeugen, die die Struktur der Daten widerspiegeln. Im Gegensatz zu ID3 oder CART werden die optimalen eindimensionalen Partitionen an jeder Verzweigung des Entscheidungsbaums nicht aufgrund von Entropiemaximierung, sondern durch Maximierung bzw. Minimierung von Validit¨atsmaßen bestimmt. Ein alternatives heuristisches Verfahren zur Clusteranalyse ist die selbstorganisierende Karte, die gleichzeitig auch eine Projektion der Daten durchf¨ uhrt. Die in Daten gefundenen Cluster lassen sich nicht nur in Form der Partitionen oder Prototypen interpretieren, sondern mit Hilfe von Projektionsmethoden auch in Wenn-Dann-Regeln (Mamdani-Assilian, Sugeno-Yasukawa oder Takagi-Sugeno) konvertieren, die f¨ ur den Menschen oft leichter verst¨andlich sind. Die Nachbereitung des Datenanalyse-Prozesses umfasst die Interpretation, Dokumentation und Auswertung der Analyseergebnisse. Diese Schritte sind anwendungsspeziﬁsch und daher in diesem Buch nicht explizit dargestellt. Die in diesem Buch beschriebenen Methoden der intelligenten Datenanaly¨ se stellen einen umfassenden Uberblick des aktuellen Stands der Technik dar und erm¨ oglichen es dem Leser, f¨ ur viele Data-Mining-Aufgabenstellungen sinnvolle und strukturierte Vorgehensweisen festzulegen sowie gezielt geeignete und vielversprechende Methoden auszuw¨ ahlen. Durch das weiterhin exponentielle Wachstum der verf¨ ugbaren Datenmengen, Speichergr¨oßen und Verarbeitungsgeschwindigkeiten beﬁndet sich auch das Gebiet Data Mining in einem sehr dynamischen Entwicklungsprozess, der in den n¨achsten Jahren sicherlich weitere substanzielle Fortschritte in der Algorithmik mit sich bringen wird. Das mit diesem Buch erworbene solide Grundverst¨andnis f¨ ur die verschiedenen Aufgabenstellungen und L¨ osungsans¨ atze wird den Leser bef¨ahigen, mit der Weiterentwicklung dieses Gebiets Schritt zu halten, neue Methoden zu verstehen und anzuwenden – und nicht zuletzt auch selbst aktiv zur Weiterentwicklung des Gebiets beizutragen.

141

¨ Ubungsaufgaben 1. Was sind die Schritte des Datenanalyse-Prozesses? 2. Was unterscheidet nominal-, ordinal-, intervall- und proportionalskalierte Daten? 3. Ist die Abbildung f : IRp × IRp → IR+ mit f (x, y) = min x(j) − y (j) j=1,...,p

(10.1)

eine Norm? ¨ 4. Welche Ahnlichkeit bestimmt das Cosinus-Maß zwischen einem Vektor p x ∈ IR und dem Vektor c · x, f¨ ur c < 0 bzw. c > 0? Was bedeutet dies beispielsweise f¨ ur den Vergleich von Textdokumenten? 5. Bestimmen Sie (a) den Zeichenabstand zwischen ‘a’ und ‘A’ (b) den Hamming-Abstand zwischen ‘Pr¨ ufung’ und ‘Student’ (c) den Edit-Abstand zwischen ‘Eis’ und ‘As’ 6. Welche Bedingung muss gelten, damit aus einem abgetasteten Signal das kontinuierliche Originalsignal rekonstruiert werden kann? 7. Was ist der Unterschied zwischen Abtastung und Quantisierung? 8. Was versteht man unter einem Ausreißer? 9. Bestimmen Sie die Ausreißer in den Datens¨atzen X1

=

{1, 1, 1, 1, −10, 2, 2, 2, 2}

(10.2)

X2 X3

= =

{1, 2, 3, 4, 5, 6, 7, 6, 5, 4, −3, 2, 1} {(1, 1), (1, 2), (1, 3), (3, 3), (1, 1), (1, 2)}

(10.3) (10.4)

Wie gehen Sie dabei vor? Wie behandeln Sie anschließend die Ausreißer? 10. Welche Methoden kennen Sie zum Filtern von Zeitreihen?

¨ Ubungsaufgaben

142

11. Wie unterscheiden sich der gleitende Mittelwert und der gleitende Median bez¨ uglich der Beseitigung von Rauschen bzw. Ausreißern? 12. Was ist der Unterschied zwischen FIR- und IIR-Filtern? 13. Was ist ein Butterworth-Filter? 14. Standardisieren Sie den Datensatz X4 = {(−1, 4816), (1, 4818)}

(10.5)

15. Wie k¨ onnen verteilt gespeicherte Daten zu einem einzigen Datensatz zusammengefasst werden? 16. Wie kann man hochdimensionale Daten auf niedrigdimensionale Daten projizieren? 17. Welche geometrischen Transformationen werden bei der Hauptachsentransformation durchgef¨ uhrt? 18. Welche Gr¨ oße wird bei der Hauptachsentransformation optimiert? 19. Welche Optimierungsmethode wird bei der Hauptachsentransformation eingesetzt? 20. Wie l¨ asst sich der Fehler der Hauptachsentransformation absch¨atzen? 21. Wie l¨ asst sich eine sinnvolle Projektionsdimension f¨ ur die Hauptachsentransformation bestimmen? 22. Welche Gr¨ oße wird bei der mehrdimensionalen Skalierung optimiert? 23. Welche Optimierungsmethode wird bei der mehrdimensionalen Skalierung eingesetzt? 24. Skizzieren Sie die Betrags- und Phasenspektren der Funktionen f1 (x) f2 (x)

= =

cos(0.001 · x) cos(0.001 · x) + 0.5 · cos(0.002 · x − 1)

(10.6) (10.7)

f3 (x)

=

sin(0.001 · x) + 0.5 · sin(0.002 · x − 1)

(10.8)

f¨ ur ωT = 10−4 ! 25. Was ist der Unterschied zwischen Kovarianzen cij und Korrelationen sij = cij /(s(i) s(j) )? 26. Erl¨ autern Sie den Begriﬀ Scheinkorrelation“! ” 27. Erl¨ autern Sie die Zusammenh¨ ange zwischen dem Chi-Quadrat-Unabh¨angigkeitstest und Histogrammen!

¨ Ubungsaufgaben

143

28. Erl¨ autern Sie den Unterschied zwischen Korrelation und Regression! 29. Was versteht man unter der Optimierung mit getrimmten quadratischen Fehlern (least trimmed squares)? 30. Wie k¨ onnen nichtlineare Modelle durch Regression gefunden werden? 31. Skizzieren Sie ein mehrschichtiges Perzeptron und benennen Sie die einzelnen Komponenten! 32. Wie berechnet sich der Neuronenausgang beim mehrschichtigen Perzeptron? 33. Wie wird ein mehrschichtiges Perzeptron trainiert? 34. Skizzieren Sie ein neuronales Netzwerk mit radialen Basisfunktionen! Auf welche Weise k¨ onnen die radialen Basisfunktionen bestimmt werden? Wie k¨ onnen die Netzgewichte bestimmt werden? 35. Erl¨ autern Sie den Unterschied zwischen Training und Validierung! 36. Was bedeutet es, wenn der Trainingsfehler sehr gering und der Validierungsfehler sehr groß ist? 37. Welche Teilmengen des Datensatzes werden bei den folgenden Methoden zur Modellierung und welche zur Validierung verwendet? • Leave-One-Out • m-fache Kreuzvalidierung • Leave-m-Out 38. Was ist der Unterschied zwischen einem Mealy- und einem Moore-Automat? Welcher Automatentyp ist m¨ achtiger? 39. Wie kann eine Prognoseaufgabe durch Regression gel¨ost werden? 40. Wie groß sind die Richtig-Positiv- und die Falsch-Negativ-Rate eines optimalen Klassiﬁkators? 41. Welchen Einﬂuss haben fehlende Daten auf den naiven Bayes-Klassiﬁkator? 42. Durch welche Maßnahme ist die Support-Vektor-Maschine in der Lage, Klassen mit nichtlinearen Grenzen zu identiﬁzieren? 43. Gegeben sei ein N¨ achste-k-Nachbarn-Klassiﬁkator mit den Prototypvektoren v11 = (1, 1), v12 = (2, −1), v21 = (−1, 2), v22 = (−1, −1)

(10.9)

v11 und v12 f¨ ur Klasse 1 und v21 und v22 f¨ ur Klasse 2. Wie wird der Vektor x = (0, 1) klassiﬁziert f¨ ur k = 1 bzw. k = 3?

¨ Ubungsaufgaben

144

44. Was ist der Unterschied zwischen lernender Vektorquantisierung und dem Q∗ -Algorithmus? 45. Skizzieren Sie die beiden strukturell verschiedenen Entscheidungsb¨aume zur Klassiﬁkation von Transportmitteln in Fahrrad“, Motorrad“, Auto“ ” ” ” und Rollschuh“ aufgrund der Merkmale Anzahl der R¨ader“ und Motor ” ” ” (ja/nein)“! Welcher der beiden Entscheidungsb¨aume ist informationstheoretisch optimal, wenn der Datensatz ein Fahrrad, zwei Motorr¨ader, drei Autos und vier Rollschuhe enth¨ alt? 46. Was unterscheidet den ID3-Algorithmus von CART, CHAID, C4.5 und See5 / C5.0? 47. Gegeben sei der Datensatz X = {10, 1, 5, 16, 12, 4}. (a) Skizzieren Sie das Dendrogramm, das der SAHN-Algorithmus mit Minimalabstand (single linkage) bestimmt! (b) Wie lautet die entsprechende Partitionsmatrix f¨ ur c = 2 Cluster? (c) Welche Clusterzentren ﬁndet alternierende Optimierung des c-Means Modells bei Initialisierung mit dieser Partitionsmatrix? (d) Skizzieren Sie qualitativ die Zugeh¨origkeitsfunktionen, die mit Optimierung des FCM-Modells f¨ ur c = 2 Cluster gefunden w¨ urden! 48. Mit welchem Abstandsmaß k¨ onnten mit einem FC*-Modell (geschlossene) Ellipsenb¨ ogen in Daten erkannt werden? 49. Wie lassen sich Cluster in nichtnumerischen Daten (zum Beispiel Text) ﬁnden? 50. Wie l¨ asst sich feststellen, ob und wie viele Cluster in einem Datensatz enthalten sind? Was bedeutet es, wenn ein Datensatz nur einen einzigen Cluster enth¨ alt? 51. Wie lassen sich Entscheidungsb¨ aume auch mit unklassiﬁzierten Daten aufbauen? 52. Wie sieht eine selbstorganisierende Karte aus? 53. Wie wird eine selbstorganisierende Karte trainiert? 54. Wie k¨ onnen die Inhalte einer trainierten selbstorganisierenden Karte visualisiert werden? 55. Formulieren Sie die Ergebnisse aus Aufgabe 47 als regelbasierte Systeme! 56. Geben Sie jeweils ein Beispiel f¨ ur eine Mamdani-Assilian-Regel, eine Sugeno-Yasukawa-Regel und eine Takagi-Sugeno-Regel!

145

Symbolverzeichnis

∀x ∈ X ∃x ∈ X ⇒ ⇔ 5b f dx a ∂f ∂x

∧ ∨ ∩ ∪ ¬ \ ⊂, ⊆ × {} IR IR+ [x, y] (x, y], [x, y) (x, y) |x| x X x

x n m

∞ ab ab

f¨ ur jedes x aus X es existiert ein x nicht aus X so, dass wenn. . ., dann genau dann, wenn bestimmtes Integral u ¨ber f von x = a bis x = b Diﬀerenzialquotient von f nach x Konjunktion Disjunktion Durchschnitt Vereinigung Komplement Mengendiﬀerenz Inklusion kartesisches Produkt, Vektorprodukt leere Menge Menge der reellen Zahlen Menge der positiven reellen Zahlen abgeschlossenes Intervall von x bis y halboﬀene Intervalle von x bis y oﬀenes Intervall von x bis y Absolutbetrag des Skalars x Betrag (Norm) des Vektors x Kardinalit¨ at der Menge X kleinste ganze Zahl a ≥ x gr¨ oßte ganze Zahl a ≤ x Vektor mit den Komponenten n und m, Binomialkoeﬃzient unendlich a ist vernachl¨ assigbar klein gegen¨ uber b b ist vernachl¨ assigbar klein gegen¨ uber a

146 α(t) argmin X argmax X arctan x artanh x cij CE(U ) cov X d(a, b) δ eig X Fc Fs h(X) H(a, b) H(Z) H(Z | b) inf X λ L(a, b) limx→g logb x max X min X a mod b N (μ, σ) NaN P C(U ) P E(U ) r Ri s sij sup X tanh x uik X x ¯ X T ,xT xk x(i) (i) xk x x(t) x(j2πf ) z(a, b)

Symbolverzeichnis zeitlich ver¨ anderliche Lernrate Index des Minimums von X Index des Maximums von X Arcus Tangens von x Area Tangens Hyperbolicus von x Kovarianz zwischen den Merkmalen i und j Klassiﬁkationsentropie von U Kovarianzmatrix der Menge X Abstand zwischen a und b Deltawert f¨ ur (generalisierte) Delta-Regel Eigenvektoren bzw. Eigenwerte der Matrix X Fouriercosinustransformierte Fouriersinustransformierte Hopkins-Index von X Hamming-Abstand zwischen a und b minimaler Hyperw¨ urfel oder Entropie von Z Entropie von Z unter der Bedingung b Inﬁmum von X Eigenwert, Lagrange-Variable Edit-Abstand zwischen a und b Grenzwert f¨ ur x gegen g Logarithmus von x zur Basis b Maximum von X Minimum von X a Modulo b (a mod a = 0 f¨ ur alle ganzzahligen Werte a) Normalverteilung mit Mittelwert μ und Standardabweichung σ undeﬁnierter Wert (not a number) Partitionskoeﬃzient von U Proportionsexponent von U Radius Regel Nummer i Standardabweichung Korrelation zwischen den Merkmalen i und j Supremum von X Tangens Hyperbolicus von x Zugeh¨ origkeit des k-ten Vektors zum i-ten Cluster Menge oder Matrix X Mittelwert von X Transponierte der Matrix X oder des Vektors x k-ter Vektor aus X i-te Komponente aus X i-te Komponente des k-ten Vektors aus X Skalar oder Vektor x Zeitsignal Spektrum Zeichenabstand zwischen a und b

147

Literaturverzeichnis [1] Aha, D. W.: Editorial: Lazy Learning. In: Artiﬁcial Intelligence Review (Special Issue on Lazy Learning) 11 (1997), Juni, Nr. 1–5, S. 7–10 [2] Akaike, H.: A new look at the statistical model identiﬁcation. In: IEEE Transactions on Automatic Control AC–19 (1974), S. 716–723 [3] Anderson, E.: The Irises of the Gaspe Peninsula. In: Bull. of the American Iris Society 59 (1935), S. 2–5 [4] Baeza-Yates, R. ; Ribeiro-Neto, B.: Modern Information Retrieval. New York : Addison-Wesley, 1999 [5] Ball, G. B. ; Hall, D. J.: Isodata, an iterative method of multivariate analysis and pattern classiﬁcation. In: IFIPS Congress, 1965 [6] Bandemer, H. ; N¨ ather, W.: Fuzzy Data Analysis. Dordrecht : Kluwer Academic Publishers, 1992 [7] Barsky, B. A. ; Greenberg, D. P.: Determining a set of B-spline control vertices to generate an interpolating surface. In: Computer Graphics and Image Processing 14 (1980), November, Nr. 3, S. 203–226 [8] Bauer, A. ; G¨ unzel, H.: Data-Warehouse-Systeme: Architektur, Entwicklung, Anwendung. 3. Auflage. Heidelberg : dpunkt, 2008 [9] Bayes, T.: An Essay towards solving a Problem in the Doctrine of Chances. In: Philosophical Transactions of the Royal Society of London 53 (1763), S. 370–418 [10] Bersini, H. ; Bontempi, G. ; Birattari, M.: Is Readability Compatible with Accuracy? From Neuro-Fuzzy to Lazy Learning. In: Brauer, W. (Hrsg.): Fuzzy-Neuro-Systems ’98, M¨ unchen Bd. 7, 1998, S. 10–25 [11] Berthold, M. ; Hand, D. J.: Intelligent Data Analysis: An Introduction. New York : Springer, 1999 [12] Bezdek, J. C.: Pattern Recognition with Fuzzy Objective Function Algorithms. New York : Plenum Press, 1981 [13] Bezdek, J. C.: A Review of Probabilistic, Fuzzy, and Neural Models for Pattern Recognition. In: Journal of Intelligent and Fuzzy Systems 1 (1993), Nr. 1, S. 1–26

148

Literaturverzeichnis

[14] Bezdek, J. C. ; Coray, C. ; Gunderson, R. ; Watson, J.: Detection and Characterization of Cluster Substructure, I. Linear Structure: Fuzzy c-Lines. In: SIAM Journal on Applied Mathematics 40 (1981), April, Nr. 2, S. 339–357 [15] Bezdek, J. C. ; Coray, C. ; Gunderson, R. ; Watson, J.: Detection and Characterization of Cluster Substructure, II. Fuzzy c-Varieties and Convex Combinations thereof. In: SIAM Journal on Applied Mathematics 40 (1981), April, Nr. 2, S. 358–372 [16] Bezdek, J. C. ; Hathaway, R. J.: Clustering with Relational c-Means Partitions from Pairwise Distance Data. In: International Journal of Mathematical Modelling 8 (1987), S. 435–439 [17] Bezdek, J. C. ; Hathaway, R. J.: Optimization of Fuzzy Clustering Criteria Using Genetic Algorithms. In: IEEE Conference on Evolutionary Computation, Orlando Bd. 2, 1994, S. 589–594 [18] Bezdek, J. C. ; Hathaway, R. J. ; Pal, N. R.: Norm induced shell prototype (NISP) clustering. In: Neural, Parallel and Scientiﬁc Computation 3 (1995), S. 431–450 [19] Bezdek, J. C. ; Keller, J. M. ; Krishnapuram, R. ; Pal, N. R.: Fuzzy Models and Algorithms for Pattern Recognition and Image Processing. Norwell : Kluwer, 1999 [20] Bibel, W. ; H¨ olldobler, S. ; Schaub, T.: Wissensrepr¨asentation und Inferenz. Brauschweig : Vieweg, 1993 [21] Bothe, H. H.: Fuzzy Logic. Einf¨ uhrung in Theorie und Anwendungen. Berlin : Springer, 1995 [22] Box, G. E. P. ; Jenkins, G. M. ; Reinsel, G. C.: Time Series Analysis: Forecasting and Control. 4. Auflage. Prentice Hall, 2008 [23] Breiman, L. ; Friedman, J. H. ; Olsen, R. A. ; Stone, C. J.: Classiﬁcation and Regression Trees. New Work : Chapman & Hall, 1984 [24] Butterworth, S.: On the Theory of Filter Ampliﬁers. In: Wireless Engineer 7 (1930), S. 536–541 [25] Craven, P. ; Wahba, G.: Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the method of generalized cross-validation. In: Numerical Mathematics 31 (1979), S. 377–403 [26] Dav´ e, R. N.: Fuzzy Shell Clustering and Application To Circle Detection in Digital Images. In: International Journal on General Systems 16 (1990), S. 343–355 [27] Dav´ e, R. N.: Characterization and Detection of Noise in Clustering. In: Pattern Recognition Letters 12 (1991), S. 657–664 [28] Dav´ e, R. N. ; Bhaswan, K.: Adaptive Fuzzy c-Shells Clustering and Detection of Ellipses. In: IEEE Transactions on Neural Networks 3 (1992), S. 643–662

Literaturverzeichnis

149

[29] Davis, J. ; Goadrich, M.: The relationship between Precision-Recall and ROC curves. In: International Conference on Machine Learning, 2006, S. 233–240 [30] Dempster, A. P. ; Laird, N. M. ; Rubin, D. B.: Maximum likelihood from incomplete data via the EM algorithm. In: Journal of the Royal Statistical Society B 39 (1977), S. 1–38 [31] Dubois, D. ; Prade, H.: Possibility Theory. New York : Plenum Press, 1988 [32] Duda, R. O. ; Hart, P. E.: Pattern Classiﬁcation and Scene Analysis. New York : Wiley, 1974 [33] Elpelt, B. ; Hartung, J.: Multivariate Statistik: Lehr- und Handbuch der angewandten Statistik. 7. Auflage. M¨ unchen : Oldenbourg, 2006 [34] Fang, H. ; Saad, Y.: Farthest Centroids Divisive Clustering. In: International Conference on Machine Learning and Applications, 2008, S. 232–238 [35] Fayyad, U. M. ; Piatetsky-Shapiro, G. ; Smyth, P. ; Uthurusamy, R.: Advances in Knowledge Discovery and Data Mining. Menlo Park : AAAI Press, 1996 [36] Fisher, R. A.: The Use of Multiple Measurements in Taxonomic Problems. In: Annals of Eugenics 7 (1936), S. 179–188 [37] Freedman, D. ; Diaconis, P.: On the histogram as a density estimator: L2 theory. In: Probability Theory and Related Fields 57 (1981), Dezember, Nr. 4, S. 453–476 [38] Gath, I. ; Hoory, D.: Fuzzy Clustering of Elliptic Ring-Shaped Clusters. In: Pattern Recognition Letters 16 (1995), S. 727–741 [39] Genther, H. ; Glesner, M.: Automatic generation of a fuzzy classiﬁcation system using fuzzy clustering methods. In: ACM Symposium on Applied Computing (SAC’94), Phoenix, 1994, S. 180–183 [40] Girolami, M.: Mercer Kernel-Based Clustering in Feature Space. In: IEEE Transactions on Neural Networks 13 (2002), S. 780–784 [41] Goguen, J. A.: The logic of inexact concepts. In: Synthese 19 (1969), S. 325–373 [42] Gottwald, S.: Fuzzy Sets and Fuzzy Logic, Foundations of Application – from a Mathematical Point of View. Wiesbaden : Vieweg, 1992 [43] Gustafson, E. E. ; Kessel, W. C.: Fuzzy Clustering with a Covariance Matrix. In: IEEE International Conference on Decision and Control, San Diego, 1979, S. 761–766 [44] Halgamuge, S. K. ; P¨ ochm¨ uller, W. ; Glesner, M.: An Alternative Approach for Generation of Membership Functions and Fuzzy Rules Based on Radial and Cubic Basis Function Networks. In: International Journal of Approximate Reasoning 12 (1995), Nr. 3/4, S. 279–298

150

Literaturverzeichnis

[45] Hamming, R. W.: Error Detecting and Error Correcting Codes. In: The Bell System Technical Journal 26 (1950), April, Nr. 2, S. 147–160 [46] Hartung, J. ; Elpelt, B. ; Kl¨ osener, K. H.: Statistik: Lehr- und Handbuch der angewandten Statistik. 14. Auflage. M¨ unchen : Oldenbourg, 2005 [47] Hathaway, R. J. ; Bezdek, J. C.: NERF c-Means: Non-Euclidean Relational Fuzzy Clustering. In: Pattern Recognition 27 (1994), S. 429–437 [48] Hathaway, R. J. ; Bezdek, J. C.: Optimization of clustering criteria by reformulation. In: IEEE Transactions on Fuzzy Systems 3 (1995), Mai, Nr. 2, S. 241–245 [49] Hathaway, R. J. ; Davenport, J. W. ; Bezdek, J. C.: Relational Duals of the c-Means Algorithms. In: Pattern Recognition 22 (1989), S. 205–212 [50] Hathaway, R. J. ; Huband, J. M. ; Bezdek, J. C.: Kernelized NonEuclidean Relational Fuzzy c-Means Algorithm. In: IEEE International Conference on Fuzzy Systems. Reno, Mai 2005, S. 414–419 [51] Hecht-Nielsen, R.: Neurocomputing. Addison-Wesley, 1990 [52] Hollatz, J. ; Runkler, T. A.: Datenanalyse und Regelerzeugung mit Fuzzy-Clustering. In: Hellendoorn, H. (Hrsg.) ; Adamy, J. (Hrsg.) ; Prehn, E. (Hrsg.) ; Wegmann, H. (Hrsg.) ; Linzenkirchner, E. (Hrsg.): Fuzzy-Systeme in Theorie und Anwendungen. N¨ urnberg : Siemens AG, 1997, Kapitel V.6 [53] Hopcroft, J E. ; Ullman, J. D.: Einf¨ uhrung in die Automatentheorie, Formale Sprachen und Komplexit¨atstheorie. 2. Auflage. Reading : Pearson, 2002 [54] H¨ oppner, F. ; Klawonn, F. ; Kruse, R. ; Runkler, T. A.: Fuzzy Cluster Analysis – Methods for Image Recognition, Classiﬁcation, and Data Analysis. Wiley, 1999 [55] Hornik, K. ; Stinchcombe, M. ; White, H.: Multilayer feedforward networks are universal approximators. In: Neural Networks 2 (1989), Nr. 5, S. 359–366 [56] Huber, P. J.: Robust Statistics. New York : Wiley, 1981 [57] Jain, A. K.: Fundamentals of Digital Image Processing. Englewood Cliﬀs : Prentice Hall, 1986 [58] Jain, A. K. ; Dubes, R. C.: Algorithms for Clustering Data. Englewood Cliﬀs : Prentice Hall, 1988 [59] Jain, A. K. ; Murty, M. N. ; Flynn, P. J.: Data Clustering: A Review. In: ACM Computing Surveys 31 (1999), Nr. 3, S. 264–323 [60] Kass, G. V.: Signiﬁcance Testing in Automatic Interaction Detection (AID). In: Applied Statistics 24 (1975), S. 178–189

Literaturverzeichnis

151

[61] Klawonn, F. ; Keller, A.: Fuzzy Clustering with Evolutionary Algorithms. In: International Journal of Intelligent Systems 13 (1998), Nr. 10–11, S. 975–991 [62] Klawonn, F. ; Kruse, R.: Constructing a fuzzy controller from data. In: Fuzzy Sets and Systems 85 (1997), Nr. 1 [63] Kohonen, T.: Automatic formation of topological maps of patterns in a self-organizing system. In: Oja, E. (Hrsg.) ; Simula, O. (Hrsg.): Scandinavian Conference on Image Analysis. Helsinki, 1981, S. 214–220 [64] Kohonen, T.: Learning Vector Quantization. In: Neural Networks 1 (1988), S. 303 [65] Kohonen, T.: Improved versions of learning vector quantization. In: International Joint Conference on Neural Networks Bd. 1. San Diego, Juni 1990, S. 545–550 [66] Kohonen, T.: Self-Organizing Maps. Berlin : Springer, 2001 [67] Krantz, D. H. ; Luce, R. D. ; Suppes, P. ; Tversky, A.: Foundations of Measurement. San Diego : Academic Press, 1971 [68] Krishnapuram, R. ; Joshi, A. ; Nasraoui, O. ; Yi, L.: Low-Complexity Fuzzy Relational Clustering Algorithms for Web Mining. In: IEEE Transactions on Fuzzy Systems 9 (2001), August, Nr. 4, S. 595–607 [69] Krishnapuram, R. ; Keller, J. M.: A Possibilistic Approach to Clustering. In: IEEE Transactions on Fuzzy Systems 1 (1993), Mai, Nr. 2, S. 98–110 [70] Kruse, R. ; Gebhardt, J. ; Klawonn, F.: Foundations of Fuzzy Systems. New York : Wiley, 1994 [71] Kruse, R. ; Meyer, K. D.: Statistics with Vague Data. Dordrecht : Reidel, 1987 [72] Lancaster, H. O.: The Chi-Squared Distribution. New York : Wiley, 1969 [73] Levenshtein, V. I.: Binary codes capable of correcting deletions, insertions and reversals. In: Sov. Phys. Dokl. 6 (1966), S. 705–710 [74] Mamdani, E. H. ; Assilian, S.: An experiment in linguistic synthesis with a fuzzy logic controller. In: International Journal of Man-Machine Studies 7 (1975), Nr. 1, S. 1–13 [75] Man, I. ; Gath, I.: Detection and Separation of Ring-Shaped Clusters using Fuzzy Clustering. In: IEEE Transactions on Pattern Analysis and Machine Intelligence 16 (1994), S. 855–861 [76] Mealy, G. H.: A Method for Synthesizing Sequential Circuits. In: Bell System Technology Journal 34 (1955), September, S. 1045–1079

152

Literaturverzeichnis

[77] Meiria, R. ; Zahavi, J.: Using simulated annealing to optimize the feature selection problem in marketing applications. In: European Journal of Operational Research 171 (2006), Nr. 3, S. 842–858 [78] Mercer, J.: Functions of Positive and Negative Type and their Connection with the Theory of Integral Equations. In: Philosophical Transactions of the Royal Society A 209 (1909), S. 415–446 [79] Moore, E. F.: GedankenExperiments on Sequential Machines. In: Ashby, W. R. (Hrsg.) ; Shannon, C. E. (Hrsg.) ; McCarthy, J. (Hrsg.): Automata studies. Princeton University Press, 1956, S. 129–156 [80] Nauck, D. ; Klawonn, F. ; Kruse, R.: Foundations of Neuro-Fuzzy Systems. Chichester : Wiley, 1997 [81] Oppenheim, A. V. ; Schafer, R. W. ; Buck, J. R.: Discrete-Time Signal Processing. Prentice Hall, 1999 [82] Otte, C. ; Jensch, P.: A fuzzy vector quantization algorithm. In: European Congress on Intelligent Techniques and Soft Computing. Aachen, September 1998, S. 1370–1374 [83] Pal, N. R. ; Pal, K. ; Bezdek, J. C. ; Runkler, T. A.: Some Issues in System Identiﬁcation using Clustering. In: IEEE International Conference on Neural Networks. Houston, Juni 1997, S. 2524–2529 [84] Palm, R. ; Driankov, D.: Fuzzy Inputs. In: Fuzzy Sets and Systems 70 (1995), Nr. 2, S. 315–335 [85] Pearson, K.: On Lines and Planes of Closest Fit to Systems of Points in Space. In: Philosophical Magazine 2 (1901), Nr. 6, S. 559–572 [86] Powell, M. J. D.: Radial basis functions for multi-variable interpolation: a review. In: IMA Conference on Algorithms for Approximation of Functions and Data. Shrivenham, 1985, S. 143–167 [87] Powell, M. J. D. ; Iserles, A.: Approximation Theory and Optimization. Cambridge University Press, 1998 [88] Quinlan, J. R.: Induction on Decision Trees. In: Machine Learning 11 (1986), S. 81–106 [89] Quinlan, J. R.: C4.5: Programs for Machine Learning. San Francisco : Morgan Kaufmann, 1993 ˜ o, A. S.: A Toolbox [90] Rauber, T. W. ; Barata, M. M. ; Steiger-Garc ¸a for Analysis and Visualization of Sensor Data in Supervision. In: Tooldiag International Conference on Fault Diagnosis. Toulouse, 1993 [91] Ritter, H. J. ; Martinetz, T. M. ; Schulten, K. J.: Neuronale Netze. M¨ unchen : Addison-Wesley, 1991 [92] Rokach, L. ; Maimon, O.: Data Mining with Decision Trees: Theory and Applications. World Scientiﬁc Publishing Company, 2008 (Machine Perception and Artiﬁcial Intelligence)

Literaturverzeichnis

153

[93] Rosenblatt, F.: The perceptron: A probabilistic model for information storage and organization in the brain. In: Psychological Reviews 65 (1958), S. 386–408 [94] Rousseeuw, P. J. ; Leroy, A. M.: Robust Regression and Outlier Detection. New York : Wiley, 1987 [95] Rumelhart, D. E. ; Hinton, G. E. ; Williams, R. J.: Learning internal representations by error backpropagation. In: Rumelhart, D. E. (Hrsg.) ; McClelland, J. L. (Hrsg.): Parallel Distributed Processing. Explorations in the Microstructure of Cognition Bd. 1. Cambridge : MIT Press, 1986, S. 318–362 [96] Runkler, T. A.: Automatische Selektion signiﬁkanter scharfer Werte in unscharfen regelbasierten Systemen der Informations- und Automatisierungstechnik. D¨ usseldorf : VDI-Verlag, 1996 (Reihe 10 (Informatik/Kommunikationstechnik) 417) [97] Runkler, T. A.: Extended Defuzziﬁcation Methods and their Properties. In: IEEE International Conference on Fuzzy Systems. New Orleans, September 1996, S. 694–700 [98] Runkler, T. A.: Selection of Appropriate Defuzziﬁcation Methods Using Application Speciﬁc Properties. In: IEEE Transactions on Fuzzy Systems 5 (1997), Nr. 1, S. 72–79 [99] Runkler, T. A.: Automatic Generation of First Order Takagi-Sugeno Systems using Fuzzy c-Elliptotypes Clustering. In: Journal of Intelligent and Fuzzy Systems 6 (1998), Nr. 4, S. 435–445 [100] Runkler, T. A.: Probabilistische und Fuzzy-Methoden f¨ ur die Clusteranalyse. In: Seising, R. (Hrsg.): Fuzzy Theorie und Stochastik – Modelle und Anwendungen in der Diskussion. Wiesbaden : Vieweg, 1999 (Computational Intelligence), Kapitel 16, S. 355–369 [101] Runkler, T. A.: Information Mining – Methoden, Algorithmen und Anwendungen intelligenter Datenanalyse. Wiesbaden : Vieweg, 2000 (Computational Intelligence) [102] Runkler, T. A.: Fuzzy Histograms and Fuzzy Chi-Squared Tests for Independence. In: IEEE International Conference on Fuzzy Systems Bd. 3. Budapest, Juli 2004, S. 1361–1366 [103] Runkler, T. A.: Ant Colony Optimization of Clustering Models. In: International Journal of Intelligent Systems 20 (2005), Dezember, Nr. 12, S. 1233–1261 [104] Runkler, T. A.: Relational Gustafson Kessel Clustering Using Medoids and Triangulation. In: IEEE International Conference on Fuzzy Systems. Reno, Mai 2005, S. 73–78 [105] Runkler, T. A.: The Eﬀect of Kernelization in Relational Fuzzy Clustering. In: GMA/GI Workshop Fuzzy Systems and Computational Intelligence, Dortmund, 2006, S. 48–61

154

Literaturverzeichnis

[106] Runkler, T. A.: Kernelized Non-Euclidean Relational Possibilistic cMeans Clustering. In: IEEE Three Rivers Workshop on Soft Computing in Industrial Applications. Passau, August 2007 [107] Runkler, T. A.: Pareto optimization of the fuzzy c-means clustering model using a multi-objective genetic algorithm. In: GMA/GI Workshop Fuzzy Systems and Computational Intelligence, Dortmund, 2007, S. 229– 241 [108] Runkler, T. A.: Relational Fuzzy Clustering. In: Oliveira, J. V. (Hrsg.) ; Pedrycz, W. (Hrsg.): Advances in Fuzzy Clustering and its Applications. Wiley, 2007, Kapitel 2, S. 31–52 [109] Runkler, T. A.: Wasp Swarm Optimization of the c-Means Clustering Model. In: International Journal of Intelligent Systems 23 (2008), Februar, Nr. 3, S. 269–285 [110] Runkler, T. A. ; Katz, C.: Fuzzy Clustering by Particle Swarm Optimization. In: IEEE International Conference on Fuzzy Systems. Vancouver, Juli 2006, S. 3065–3072 [111] Runkler, T. A. ; Roychowdhury, S.: Generating Decision Trees and Membership Functions by Fuzzy Clustering. In: European Congress on Intelligent Techniques and Soft Computing Bd. AB 2. Aachen, September 1999, S. 1–5 [112] Sammon, J. W.: A nonlinear mapping for data structure analysis. In: IEEE Transactions on Computers C-18 (1969), Nr. 5, S. 401–409 [113] Sander, J. ; Ester, M. ; Kriegel, H.-P. ; Xu, X.: Density-Based Clustering in Spatial Databases: The Algorithm GDBSCAN and its Applications. In: Data Mining and Knowledge Discovery 2 (1998), Nr. 2, S. 169–194 [114] Sch¨ olkopf, B. ; Smola, A.J.: Learning with Kernels. Cambridge : MIT Press, 2002 [115] Sch¨ olkopf, B. ; Smola, A.J. ; M¨ uller, K. R.: Nonlinear component analysis as a kernel eigenvalue problem. In: Neural Computation 10 (1998), S. 1299–1319 [116] Sch¨ urmann, J.: Pattern Classiﬁcation – A Uniﬁed View of Statistical and Neural Approaches. New York : Wiley, 1996 [117] Schweizer, B. ; Sklar, A.: Associative Functions and Statistical Triangle Inequalities. In: Publicationes Mathematicae 8 (1961), S. 169–186 [118] Scott, D. W.: On optimal and data-based histograms. In: Biometrika 66 (1979), Nr. 3, S. 605–610 [119] Seising, R.: Fuzzy Theorie und Stochastik – Modelle und Anwendungen in der Diskussion. Wiesbaden : Vieweg, 1999 (Computational Intelligence)

Literaturverzeichnis

155

[120] Shakhnarovich, G. ; Darrell, T. ; Indyk, P.: Nearest-Neighbor Methods in Learning and Vision: Theory and Practice. MIT Press, 2006 (Neural Information Processing) [121] Siedlecki, W. ; Sklansky, J.: A note on genetic algorithms for largescale feature selection. In: Pattern Recognition Letters 10 (1989), Nr. 5, S. 335–347 [122] Sneath, P. ; Sokal, R.: Numerical Taxonomy. San Francisco : Freeman, 1973 [123] Sturges, H. A.: The choice of a class interval. In: Journal of the American Statistical Association (1926), S. 65–66 [124] Sugeno, M. ; Yasukawa, T.: A Fuzzy-Logic-Based Approach to Qualitative Modeling. In: IEEE Transactions on Fuzzy Systems 1 (1993), Februar, Nr. 1, S. 7–31 [125] Takagi, T. ; Sugeno, M.: Fuzzy Identiﬁcation of Systems and Its Application to Modeling and Control. In: IEEE Transactions on Systems, Man, and Cybernetics 15 (1985), Nr. 1, S. 116–132 [126] Tanaka, H. ; Okuda, T. ; Asai, K.: Fuzzy Information and Decision in Statistical Model. In: Gupta, M. M. (Hrsg.) ; Ragade, R. K. (Hrsg.) ; Yager, R. R. (Hrsg.): Advances in Fuzzy Sets Theory and Applications. Amsterdam : North Holland, 1979, S. 303–320 [127] Theodoridis, S. ; Koutroumbas, K.: Pattern Recognition. 4. Auflage. San Diego : Academic Press, 2008 [128] Torgerson, W. S.: Theory and Methods of Scaling. New York : Wiley, 1958 [129] Tukey, J. W.: Exploratory Data Analysis. Reading : Addison Wesley, 1987 [130] Vieira, S. ; Sousa, J. M. ; Runkler, T. A.: Multi-criteria Ant Feature Selection Using Fuzzy Classiﬁers. In: Coello, C. A. C. (Hrsg.) ; Dehuri, S. (Hrsg.) ; Ghosh, S. (Hrsg.): Swarm Intelligence for Multi-objective Problems in Data Mining. Springer, 2009 [131] Viertl, R.: Is It Necessary to Develop a Fuzzy Bayesian Inference? In: Probability and Bayesian Statistics. New York : Plenum Press, 1987, S. 471–475 [132] Ward, J. H.: Hierarchical Grouping to optimize an objective function. In: Journal of American Statistical Association 58 (1963), Nr. 301, S. 236–244 [133] Werbos, P. J.: The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting (Adaptive and Learning Systems for Signal Processing, Communications and Control Series). WileyInterscience, 1994

156

Literaturverzeichnis

[134] Willshaw, D. J. ; von der Malsburg, C.: How patterned neural connections can be set up by self-organization. In: Proceedings of the Royal Society London B194 (1976), S. 431–445 [135] Windham, M. P.: Cluster Validity for the Fuzzy c-Means Clustering Algorithm. In: IEEE Transactions on Pattern Analysis and Machine Intelligence PAMI-4 (1982), Juli, Nr. 4, S. 357–363 [136] Wolkenhauer, O.: Possibility Theory with Applications to Data Analysis. New York : Wiley, 1998 [137] Wu, Z.-D. ; Xie, W.-X. ; Yu, J.-P.: Fuzzy c-Means Clustering Algorithm Based on Kernel Method. In: International Conference on Computational Intelligence and Multimedia Applications. Xi’an, 2003, S. 49–54 [138] Zadeh, L. A.: Fuzzy Sets. In: Information and Control 8 (1965), S. 338–353 [139] Zhang, D.-Q. ; Chen, S.-C.: Fuzzy Clustering Using Kernel Method. In: International Conference on Control and Automation, 2002, S. 123–127 [140] Zhang, D.-Q. ; Chen, S.-C.: Clustering Incomplete Data Using KernelBased Fuzzy c-Means Algorithm. In: Neural Processing Letters 18 (2003), S. 155–162 [141] Zhang, D.-Q. ; Chen, S.-C.: Kernel-Based Fuzzy and Possibilistic cMeans Clustering. In: International Conference on Artiﬁcial Neural Networks. Istanbul, 2003, S. 122–125 [142] Zhang, R. ; Rudnicky, A.I.: A Large Scale Clustering Scheme for Kernel k-Means. In: International Conference on Pattern Recognition. Quebec, 2002, S. 289–292 [143] Zimmermann, H. G. ; Neuneier, R.: Modeling dynamical systems by recurrent neural networks. In: International Conference on Data Mining. Cambridge, 2000, S. 557–566

157

Sachwortverzeichnis Ausgangsschicht 71 Ausreißer 23 Ausreißerclustering 114 – mit Medoiden 118 – nicht-Euklidisches 120 – relationales 119 Automat 81 automatic interaction detection 103 autoregressives Modell 84 average linkage 107

2-Sigma-Regel 23 A Abstand – City-Block 12 – Cluster 107 – der Zentren 107 – Edit 15, 146 – Hamming 14, 146 – Manhattan 12 – Maximal 107 – Minimal 107 – mittlerer 107 – von Objekten 10 – Zeichen 14, 146 Abtastung 17 achsenparallele Projektion additives Rauschen 21 ¨ Ahnlichkeit von Objekten ¨ Ahnlichkeitsmaß 12 AID 103 alternierende Optimierung Ameisenalgorithmus 113 AO 111 Approximation, FunktionsApproximationsregel 129 Approximator, universeller AR-Modell 84 Area Tangens Hyperbolicus 146 argmin, argmax 146 ARIMA-Modell 84 ARMA-Modell 84 ARMAX-Modell 84 artanh 33, 71, 146 ASCII-Code 14 Ausfallrate 87

37 10

111

65 70 33, 71,

B Backpropagation 73 Bandbegrenzung 18 Basisfunktion 75 Baum, Entscheidungs- 99, 124 Bayes-Klassiﬁkator 89 Beobachtungsradius 127 Bilddaten 2 biologisches neuronales Netz 70 Biomedizin 2 bipartielle Korrelation 60 Blasenfunktion 127 Butterworth-Filter 30 C c-Means 110 c-Medoide 118 C4.5, C5.0 103 CART 103 CE 124 Celsius-Skala 8 CHAID 103 Charakteristika von Daten 5 Chi-Quadrat-Unabh¨angigkeitstest 61, 103

158 chi-square automatic interaction detection 103 City-Block-Abstand 12 classiﬁcation and regression tree 103 Clustering 3, 105 – Fuzzy 111 – hierarchisches 124 – Prototypen 109 – relationales 117 – sequentiell agglomerativ hierarchisch nicht¨ uberlappendes 106 – sequentiell divisiv hierarchisch nichtu ¨ berlappendes 109 – sequentielles 106 – Tendenz 122 – unscharfes 111, 112 – Validit¨ at 122 – Ward-Methode 108 Clustermodell – Ausreißerclustering 114 – c-Means (CM) 110 – Fuzzy c-Elliptotypes (FCE) 116 – Fuzzy c-Lines (FCL) 116 – Fuzzy c-Means (FCM) 113 – Fuzzy c-Shells (FCS) 117 – Fuzzy c-Varieties (FCV) 116 – Gustafson-Kessel (GK) 115 – Kernel-Varianten 120 – nicht-Euklidische relationale Fuzzy c-Means (NERFCM) 120 – nicht-Euklidische relationale possibilistische c-Means (NERPCM) 120 – nicht-Euklidisches relationales Ausreißerclustering (NERNC) 120 – noise clustering (NC) 114 – possibilistische c-Means (PCM) 114 – relationale c-Means (RCM) 119 – relationale c-Medoide (RCMdd) 118 – relationale Fuzzy c-Means (RFCM) 119 – relationale Fuzzy c-Medoide (RFCMdd) 118

Sachwortverzeichnis – relationale possibilistische c-Means (RPCM) 119 – relationale possibilistische c-Medoide (RPCMdd) 118 – relationales Ausreißerclustering (RNC) 119 – relationales Ausreißerclustering mit Medoiden (RNCMdd) 118 – relationales Gustafson-Kessel (RGK) 120 Clusterstruktur 105 – Test auf 122 Clustervalidierung 124 Clusterzentrum 109 CM 110 Code 34 complete linkage 107 cov 11, 38, 146 D Data Warehousing 34 Data-Mining-Prozess 1 Datei, ﬂache 34 Daten – Charakteristika 5 – Ein-Ausgangs- 129 – Fehler 21 – Merkmal 9 – numerische 9 – Objekt- 10 – Produktraum- 129 – relationale 10 – Skalen 7 – strukturierte 1 – Text 1 – Trainings- 77 – Validierungs- 77 Datenbank 34 Datenerg¨anzung 3, 24 Datenﬁlterung 3, 21 Datenkomponente 9 Datenkonsolidierung 34 Datenkorrektur 3, 24 Datenmatrix 9 Datennormalisierung 3, 31 Datenpunkt 9

Sachwortverzeichnis Datens¨ auberung 3, 21 Datentransformation 3, 33 Datenvektor 9 Datenvisualisierung 35 Datenvorverarbeitung 2, 21 Datum 9 DBSCAN 109 decision tree clustering 124 Defuzziﬁzierung 130 Delta-Regel 72 Deltawert 72, 146 Dendrogramm 108 Diagonalnorm 11 Diagramm 35 Dimensionsreduktion – Hauptachsentransformation 39 – mehrdimensionale Skalierung 41 diskrete Fouriertransformierte 51 diskretes lineares Filter 28 Diskriminanzanalyse 91 Distanzmaß 10 Dreiecksconorm 130 Dreiecksnorm 130 Drift 23 DTC 124 E E-Mail 1 Edit-Abstand 15, 146 eig 146 Eigenvektor, Eigenwert 39, 146 Eigenvektorprojektion 38 Ein-Ausgangsdaten 129 Einerfunktion 130 Eingangsschicht 71 Elliptotype 116 EM-Algorithmus 25 empirische Kovarianz 55 endliche Impulsantwort 28 endlicher Zustandsautomat 81 Entfernung von Ausreißern 25 Entropie 100, 146 – Klassiﬁkations- 124 Entscheidungsbaum 99 – Clustering 124 – optimaler 102

159 Erg¨anzung fehlender Daten 3, 24 erstes Moment 110, 130 Euklidische Abstandsmatrix 41 Euklidische Norm 11 Exot 24 Expectation Maximization 25 exponentielles Filter 28 F falsch negativ 86 falsch positiv 86 Falschalarmrate 87 falsche Daten 23 Falschklassiﬁkationsrate 87 false negative 86 false positive 86 faules Lernen 96 FCE 116 FCL 116 FCM 113 FCS 117 FCV 116 fehlende Merkmale 60 Fehler – Arten 21 – Generalisierungs- 77 – Quellen 5 – Trainings- 77 – Validierungs- 77 Filter 3, 21, 26 – Butterworth- 30 – diskretes lineares 28 – exponentielles 28 – FIR 28 – IIR 28 – Median- 27 – Mittelwert- 26 ﬁnite impulse response 28 FIR 28 Fisher-Z Funktion 33, 71 ﬂache Datei 34 ﬂat ﬁle 34 FLVQ 97 Fourier – Satz von 51 – Spektrum 18

160 – Transformierte 51, 146 funktionaler Zusammenhang 65 Funktionsapproximation 65 Fuzzy c– Elliptotypes 116 – Lines 116 – Means 113 – Medoide 118 – Shells 117 – Varieties 116 Fuzzy Chi-Quadrat-Unabh¨ angigkeitstest 63 Fuzzy Clustering 111 Fuzzy Datenanalyse 112 Fuzzy Histogramm 49 Fuzzy LVQ 97 Fuzzy Partitionsmatrix 113 Fuzzy Regel 130, 131, 133 G Gauß’sches Rauschen 21 Gauß-Funktion 127 Genauigkeit (Klassiﬁkator) 87 Genauigkeits-Treﬀerquote-Diagramm 88 Genauigkeits-Treﬀerquote-Grenzwert 89 generalisierte Delta-Regel 72 Generalisierungsfehler 77 genetischer Algorithmus 113 Gerade (Prototyp) 116 getrimmter Fehler 66 Gewicht, Kanten- 70 GK-Modell 115 – relationales 120 gleitender – Median 27 – Mittelwert 26 Gradientenabstieg 42, 72, 75 Grenzfrequenz 30 Gustafson-Kessel-Modell 115 – relationales 120 H H¨ aufungspunkt 105 Hamming-Abstand 14, 146 Hauptachsentransformation 37 Hauptkomponentenanalyse 38

Sachwortverzeichnis hexagonale Knotenanordnung 126 hierarchische Struktur 99 hierarchisches Clustering 124 Histogramm 47 – unscharfes 49 Hopkins-Index 122, 146 Hyperbel-Norm 11 Hyperebene (Prototyp) 116 Hyperw¨ urfel 32, 146 I ID3-Algorithmus 102 IIR 28 industrielle Prozessdaten 1 inﬁnite impulse response 28 Informationsgewinn 99 Inkompatibilit¨at von Objekten 10 interaction detection 103 interessante Muster, Deﬁnition 2 Internet 1 Interpolation 25 Intervallskala 7 Irrelevanz 87 J Jahreszahlen 8 Je-Desto-Regel 129 K Kalibrierung 23 Kantengewicht 70 Karte, selbstorganisierende 126 kaufm¨annische Rundung 19 kausaler Zusammenhang 59 kCM 120 Kelvin-Skala 8 Kernel 94, 120 Kernel-Clustering 120 Kettenregel 72 kFCM 120 Klassiﬁkation 3, 85 Klassiﬁkationsentropie 124, 146 Klassiﬁkationsregel 129 Klassiﬁkator – Bayes 89 – Diskriminanzanalyse 91

Sachwortverzeichnis – Entscheidungsbaum- 99 – hierarchischer 99 – lernende Vektorquantisierung 96 – n¨ achster Nachbar 96 – Support-Vektor-Maschine 93 kNERFCM 120 kNERPCM 120 Kompatibilit¨at von Objekten 10 Komponente 9 Konjunktur 52 Konklusion 128 Konsolidierung von Daten 34 konstantes Merkmal 24 kontinuierliches Signal 17 konvexe Kombination 131, 133 Korrektklassiﬁkationsrate 87 Korrektur – fehlerhafter Daten 3 – von Ausreißern 24 Korrelation 3, 55, 146 – bipartielle 60 – multiple 60 – partielle 60 – Schein- 60 Korrelationscluster 57 Kovarianz 11, 38, 146 – empirische 55 kPCM 120 Kreuzvalidierung 78 L Lagrange-Optimierung 39, 113 Lazy Learning 96 least trimmed squares 66 leave m out 78 leave one out 77 lernende Vektorquantisierung 96 Lernrate 127, 146 Levenshtein-Abstand 15 lineare Diskriminanzanalyse 91 lineare Regression 65 – multiple 67, 68 lineares diskretes Filter 28 linguistische Bezeichnung 132 linkage – average 107

161 – complete 107 – single 107 logarithmische Transformation 33 logistische Funktion 71 LTS 66 LVQ 96 – Fuzzy 97 M Maß ¨ – Ahnlichkeit 12 – Distanz 10 – f¨ ur Sequenzen 14 – f¨ ur Texte 14 – statistisches 7 – Un¨ahnlichkeit 10 Maßskala 7 Mahalanobis-Norm 11 Mamdani-Assilian-Regel 130 Manhattan-Abstand 12 Marke 34 Marketing 1 Markierung als Ausreißer 24 Matrixdarstellung 9 Matrixnorm 11 Max-Norm 12 Maximalabstand 107 Mealy-Automat 81 Median 7 – gleitender 27 Medoid 118 mehrdimensionale Skalierung 41 mehrschichtiges Perzeptron 69, 84 Mercer, Satz von 95 Merkmal 9 – konstantes 24 Merkmalsgenerierung 3 Merkmalsraum 32 Merkmalsselektion 79 Messbereich 24 Messfehler 21 Minimalabstand 107 Minkowsky-Norm 12 missing inputs 60 Mittelwert 7, 12 – gleitender 26

162 mittlerer Abstand 107 MLP 70 Modus 7 Moment, erstes 110, 130 Moore-Automat 81 multilayer perceptron 70 multiple Korrelation 60 multiple lineare Regression 67, 68 multiple nichtlineare Regression 68 Muster 2 N n¨ achster Nachbar 25, 110 – Klassiﬁkator 96 Nachbar, n¨ achster 25, 96, 110 naiver Bayes-Klassiﬁkator 89 Namen von Patienten 7 NaN 25, 146 NC 114 NERFCM 120 NERNC 120 NERPCM 120 Netz – neuronales 69, 70 – RBF- 75 Neuro-Fuzzy-System 131 Neuron 70, 75 neuronales Netz 69, 70 – rekurrentes 84 nicht-Euklidisches relationales Ausreißerclustering 120 nichtlineare Regression 67 – multiple 68 noise clustering 114 Nominalskala 7, 85 Norm 11 Normalisierung 3, 31 Normalverteilung 21, 31, 146 not a number 25, 146 numerische Daten 9 Nyquist-Bedingung 18 O Objektdaten 10 Oﬀset 23 Ontologie 2

Sachwortverzeichnis Optimierung – alternierende 111 – Ameisenalgorithmus 113 – genetischer Algorithmus 113 – Gradientenabstieg 42, 72, 75 – Lagrange-Verfahren 39, 113 – Partikelschwarm- 113 – stochastische 113 – Wespenalgorithmus 113 – Wettbewerbslernen 75 Ordinalskala 7 P partielle Korrelation 60 Partikelschwarm-Optimierung 113 Partition 105 – unscharfe 112 Partitionskoeﬃzient 124, 146 Partitionsmatrix 109 – unscharfe 113 Partitionsmenge 109 Patientennamen 7 PC 124 PCA 38 PCM 114 PE 124 Pearsonsche Korrelation 56 Perzeptron 69, 84 polynomielle Regression 68 possibilistische c– Means 114 – Medoide 118 PR-Diagramm 88 Pr¨amisse 128 Pr¨azision (Klassiﬁkator) 87 Precision-Recall-Breakeven 89 Precision-Recall-Diagramm 88 principal component analysis 38 Produktbezeichnung 7 Produktraum 129 Prognose 3, 81 Projektion – achsenparallele 37 – Eigenvektor- 38 – Hauptachsen- 39 – mehrdimensionale Skalierung 41

Sachwortverzeichnis – Zugeh¨ origkeitsfunktionen 129 Proportionalskala 7 Proportionsexponent 124, 146 Prototyp 109 prototypbasiertes Clustering 109 Prozess – -daten 1 – Data-Mining- 1 Pruning 103 Pseudoinverse 75 Pythagoras 115 Q Q∗ -Algorithmus 98 Quantisierung 17 Quellen von Fehlern 5 Quinlan-Algorithmus 102 R radiale Basisfunktion 75 – Kernel 95 Rauschen 21 – Filterung 26 RBF-Kernel 95 RBF-Netz 75 RCM 119 RCMdd 118 Recall 87 Receiver Operating Curve 87 Referenzvektor 126 Reformulierung 119 Regel 128 – Mamdani-Assilian- 130 – Sugeno-Yasukawa- 131 – Takagi-Sugeno- 133 Regelerzeugung 128 Register 29 Regression 3, 65 – lineare 65 – multiple lineare 67, 68 – multiple nichtlineare 68 – nichtlineare 67 – polynomielle 68 rekurrentes neuronales Netz 84 Relation 10, 41 ¨ – Ahnlichkeit 12

163 – Distanz 10 – f¨ ur Sequenzen 14 – f¨ ur Texte 14 – Un¨ahnlichkeit 10 relationale c-Means 119 relationale c-Medoide 118 relationales Ausreißerclustering 119 – mit Medoiden 118 relationales Clustering 117 Relevanz 87 reziproke Transformation 33 RFCM 119 RFCMdd 118 RGK 120 richtig negativ 86 richtig positiv 86 RNC 119 RNCMdd 118 ROC-Diagramm 87 RPCM 119 RPCMdd 118 Rundung 19 S S¨auberung 3, 21 SAHN 106 Sammon-Abbildung 42 Satz – des Pythagoras 115 – von Fourier 51 – von Mercer 95 Scheinkorrelation 60 Schicht im neuronalen Netz 71 Schraubenkurve 46 Schulnote 7 Schwerpunkt 110, 130 SDHN 109 See5 103 selbstorganisierende Karte 126 Selektion von Merkmalen 79 Sensitivit¨at 87 sequentielle agglomerative hierarchische nicht¨ uberlappende Clusteranalyse 106

164 sequentielle divisive hierarchische nicht¨ uberlappende Clusteranalyse 109 sequentielles Clustering 106 Sequenzdaten 14 Shannon’s Abtasttheorem 18 Shepard-Diagramm 45 Sigma-Regel 23 Sigmoid-Funktion 71 Signal 17 Signalprozessor 29 single linkage 107 singleton 130 Singul¨ arwertzerlegung 38 singular value decomposition 38 Skala 7 Skalierung 23 – mehrdimensionale 41 Spektralanalyse 50 Spektrum 146 Speziﬁt¨ at 87 Standardabweichung 23 Standardisierung 31 statistisches Maß 7 stochastische Optimierung 113 Streckung 38 Streudiagramm 35 strukturierte Daten 1 Sugeno-Yasukawa-Regel 131 Sup-Norm 12 Support-Vektor-Maschine 93 SVD 38 SVM 93 Synonym 17 systematischer Fehler 21 T t-Conorm 130 t-Norm 130 Takagi-Sugeno-Regel 133 Tangens Hyperbolicus 33, 71, 146 – Kernel 95 tanh 33, 71, 146 – Kernel 95 Taylor-Reihe 69 Temperaturdaten 8, 17

Sachwortverzeichnis Tendenz (Clustering) 122 Test, Chi-Quadrat 61, 103 Textdaten 1, 14 Tiefpass 29 Torgerson-Methode 45 Training und Validierung 76 Trainingsfehler 77 Trainingsmenge 77 Transformation 3, 33 – Drehung 38 – Fisher-Z 33 – Fourier 51 – Hauptachsen- 37 – Karhunen-Loeve- 38 – logarithmische 33 – mehrdimensionale Skalierung 41 – reziproke 33 – Rotation 38 – Sammon- 42 – Standardisierung 31 – Verschiebung 38 – Wurzel- 33 Translation 38 Treﬀerquote 87 Trend 52 trimmed squares 66 true negative 86 true positive 86 U ¨ Ubertragungsfehler 21 u berwachtes Lernen 124 ¨ Un¨ahnlichkeit von Objekten 10 Un¨ahnlichkeitsmaß 10 un¨ uberwachtes Lernen 124 Unabh¨angigkeitstest, Chi-Quadrat 61, 103 unendliche Impulsantwort 28 universeller Approximator 70 unscharfe Datenanalyse 112 unscharfe LVQ 97 unscharfe Partitionsmatrix 113 unscharfe Regel 130, 131, 133 unscharfer Chi-QuadratUnabh¨angigkeitstest 63 unscharfes Clustering 111

Sachwortverzeichnis unscharfes Histogramm 49 urs¨ achlicher Zusammenhang 59 V Validierung und Training 76 Validierung, Cluster- 124 Validierungsfehler 77 Validierungsmenge 77 Validit¨ at (Clustering) 122 Validit¨ atsmaß 124 Vektorquantisierung 96 verdeckte Schicht 71 vertauschte Daten 23 Verteilung, Normal- 21, 31, 146 Visualisierung 3, 35 Vorverarbeitung 2, 21 W Wahrscheinlichkeit 112 Wahrscheinlichkeitsdichte, Sch¨ atzung 25 Ward-Methode 108 Warehousing 34 Wert 9 Wertebereich 24 wertkontinuierlich 19 Wespenalgorithmus 113

165 Wettbewerbslernen 75 Wissen, Deﬁnition 2 World Wide Web 1 Wurzeltransformation 33 Z Zeichenabstand 14, 146 zeitkontinuierlich 17 Zeitreihe 17 – Filterung 26 – Prognose 81 – Spektralanalyse 50 Zeitsignal 17 zuf¨alliger Fehler 21 Zugeh¨origkeit 109 – kontinuierliche 112 – und Wahrscheinlichkeit 112 Zugeh¨origkeitsfunktion – Einer- 130 – f¨ ur unscharfe Histogramme 49 – linguistische Bezeichnung 132 – Projektion 129 Zusammenhang – funktionaler 65 – kausaler 59 – St¨arke 55 Zustandsautomat 81