eXamen.press
eXamen.press ist eine Reihe, die Theorie und Praxis aus allen Bereichen der Informatik für die Hochschulausbildung vermittelt.
Dietmar Jackèl · Stephan Neunreither Friedrich Wagner
Methoden der Computeranimation Mit 243 Abbildungen und 18 Farbtafeln
123
Dietmar Jackèl Universität Rostock Fachbereich Informatik Albert-Einstein-Str. 21 18059 Rostock
[email protected]
Stephan Neunreither Grunewaldstr. 79 10823 Berlin
[email protected]
Friedrich Wagner Grote Raak 202 22417 Hamburg
[email protected]
Bibliografische Information der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.ddb.de abrufbar.
ISSN 1614-5216 ISBN-10 3-540-26114-1 Springer Berlin Heidelberg New York ISBN-13 978-3-540-26114-8 Springer Berlin Heidelberg New York Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Springer ist ein Unternehmen von Springer Science+Business Media springer.de © Springer-Verlag Berlin Heidelberg 2006 Printed in Germany Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Text und Abbildungen wurden mit größter Sorgfalt erarbeitet. Verlag und Autor können jedoch für eventuell verbliebene fehlerhafte Angaben und deren Folgen weder eine juristische Verantwortung noch irgendeine Haftung übernehmen. Satz: Druckfertige Daten der Autoren Herstellung: LE-TEX, Jelonek, Schmidt & Vöckler GbR, Leipzig Umschlaggestaltung: KünkelLopka Werbeagentur, Heidelberg Gedruckt auf säurefreiem Papier 33/3142 YL – 5 4 3 2 1 0
Im Gedenken an Cosima“ ” Dietmar Jack`el F¨ur meine Eltern, meinen Bruder und f¨ur Sylvia Stephan Neunreither
Vorwort
Dieses Buch wurde in seinen wesentlichen Teilen aus der Vorlesung Computeranimation entwickelt, die seit acht Jahren am Fachbereich Informatik der Universit¨ at Rostock gehalten wird. Es ist in elf Kapitel gegliedert. Kapitel 1 f¨ uhrt in das Fachgebiet Computeranimation ein, indem zuerst ein ¨ geschichtlicher Uberblick u ¨ber diese Thematik gegeben wird. Dieser Exkurs f¨ uhrt von den Wurzeln der Computeranimation, die in der Zeichentrickfilmtechnik liegen, bis zu heutigen hohen Entwicklungsstand, der sich besonders in den großen Filmproduktionen widerspiegelt. Wie derartige Filme entstehen, wird im Unterabschnitt 1.2.2 detailliert diskutiert. Abschließend werden die k¨ unstlerischen Grundregeln f¨ ur die Gestaltung von Animationsfilmen vorgestellt. Im Kapitel 2 sind jene Methoden zusammengefasst, die seit vielen Jahren zum Standard der Animationssysteme geh¨ oren. Hierzu z¨ahlen vor allem die Methoden zur Spezifikation einfacher Bewegungsabl¨aufe unter Verwendung sog. Keyframes. Zur Erzeugung kontrollierter Bewegungsabl¨aufe von gelenkigverbundenen Strukturen dienen oftmals auch kinematische Verfahren. Mit der im Abschn. 2.2 diskutierten direkten Kinematik erfolgt die Berechnung der Positionen der Glieder einer solchen Figur unter Vorgabe der Gelenkwinkel. Verwendet man hingegen Verfahren, die auf der inversen Kinematik (Abschn. 2.3) beruhen, so gibt man Zielstellung von ausgew¨ahlten Gelenken einer kinematischen Kette vor und approximiert die Gelenkwinkel¨anderungen, die erforderlich sind, um die gew¨ unschten Gelenkstellungen zu erreichen. Im Rahmen der inversen Kinematik werden mehrere alternative Verfahren diskutiert, sowie ihre Vor- und Nachteile besprochen. Zu den im Kap. 3 diskutierten Animationstechniken z¨ahlen die Deformationen, mit denen es m¨ oglich ist, Objekte dynamisch in ihrer Form zu ver¨ andern, um beispielsweise den Einfluss von Kr¨aften darzustellen. Wir unterscheiden hierbei zwischen den geometrischen und den dynamischen Deformationsmethoden, die in den Abschn. 3.1 und 3.2 behandelt werden. Zu den einfachsten geometrischen Deformationstechniken z¨ahlen die globalen Deformationen, die sich auf die gesamte Geometrie eines Objektes auswirken. Im
VIII
Gegensatz dazu sind Freiformdeformationen begrenzbar und hinsichtlich der gew¨ unschten Verformung wesentlich besser zu steuern. Eine weitere, gleichfalls behandelte, Freiformdeformationsmethode ist die Wire-Technik. Dieses Verfahren zeichnet sich dadurch aus, dass die gew¨ unschte Deformation mittels parametrischer Kurvenpaare definiert wird. Weitere Themen dieses Abschnittes sind Skinning-Techniken sowie die Aspekte der Animation von geometrischen Deformationen. Im Zusammenhang mit den dynamischen Deformationen werden vor allem jene K¨ orper behandelt, die aus Feder-Masse-Systemen konstruiert sind und die sich besonders f¨ ur den interaktiven Einsatz in Echtzeit eignen. Mit Hilfe der Finiten-Elemente-Methode lassen sich deformierbare Objekte im Unterschied zu den quasi diskreten Feder-Masse-Modellen als Kontinuum behandeln und dadurch genauere Ergebnisse erzielen. Zu den weiteren Verfahren, die im Kontext der dynamischen Deformationen pr¨asentiert werden, z¨ahlen die diskretisierten, deformierbaren K¨ orper sowie die Modalen Deformationen, die zum Ende dieses Kapitels vorgestellt werden. Zu den gebr¨ auchlichen Deformationstechniken z¨ahlen auch die im Kap. 4 diskutierten Morphing-Techniken, deren Ziel es ist, kontrollierte Transmutationen zwischen Ursprungs- und Zielobjekten durchzuf¨ uhren. Hierbei werden die 2D-, 3D- und Volume-Morphing-Verfahren in separaten Abschnitten behandelt. Morphing-Verfahren basieren auf den sog. Warping-Methoden. Im Abschnitt 4.1 werden mit dem Mesh-Warping sowie dem Warping mit Markierungsvektoren und radialen Feldfunktionen die gebr¨auchlichsten bildbasierten Methoden vorgestellt. Oberfl¨ achenbasierte Verfahren sind Gegenstand des Abschn. 4.2. Das zentrale Problem dieser Verfahren besteht in der Herstellung einer m¨ oglichst plausiblen Korrespondenz zwischen den polygonalen Netzen des Start- und Zielobjektes. Es werden unterschiedliche Konzepte zur L¨osung dieses Korrespondenzproblems behandelt. Von etwas geringerer Bedeutung als bild- und oberfl¨ achenbasiertes Morphing oder Warping sind die volumenbasierten Methoden. Diese Verfahren werden aus Gr¨ unden der Vollst¨andigkeit und um den Themenkomplex abzurunden im Abschn. 4.3 vorgestellt. Die im Kap. 5 diskutierten Facial-Animation-Methoden, die auch als spezielle dynamische Deformationstechnik zu betrachten sind, dienen zur Erzeugung differenzierter und m¨ oglichst nat¨ urlich erscheinender Gesichtsausdr¨ ucke. Die in diesem Kapitel behandelten Verfahren sollen lediglich einen Einblick in das große Gebiet der Gesichtsanimation vermitteln, ohne vertieft in die Materie einzudringen. Im Wesentlichen werden in diesem Kontext die klassischen Ans¨ atze der parametrischen und der muskelgesteuerten Gesichtsanimation behandelt. Animationen, die von speziellen Funktionen oder Programmen erzeugt werden, z¨ ahlen zu den prozeduralen Animationstechniken. Sie werden im Kap. 6 vorgestellt. Die von diesen Prozeduren erzeugten Animationen laufen autonom ab, wobei der Benutzer das Animationsverhalten der Prozedur mit unterschiedlicher Parametrisierung bestimmen kann. Prozedurale Animationstechniken werden f¨ ur einfache Effekte z.B. zur Erzeugung von Partikelsystemen
IX
genutzt. Beispiele hierf¨ ur sind Feuer, verspritzende Fl¨ ussigkeiten, Explosionserscheinungen, aber auch Stoffe oder Naturszenarios wie W¨alder oder Graslandschaften. Prozedurale Animationen dienen aber auch zur Steuerung von einzelnen autonomen Akteuren, Schw¨ armen und Herden. Die Performance Animation ist Thema des Kap. 7. Hierbei werden beispielsweise die K¨ orperbewegungen eines Menschen mit Hilfe mechanischer, optischer oder elektromagnetischer Sensoren aufgezeichnet und auf ein virtuelles Modell u ¨bertragen. Die Positionen und Orientierungen von signifikanten K¨ orperteilen werden mit einem als Motion Capturing bezeichneten Verfahren registriert. Anschließend erfolgt mit den aufgezeichneten Bewegungsdaten die Steuerung eines computergrafischen Modells, unter Verwendung von Methoden der direkten Kinematik. Die Performance Animation ist geeignet, sehr nat¨ urlich wirkende Bewegungsabl¨ aufe zu erzeugen. Die Modellierung und Animation von Naturerscheinungen geh¨oren zu den aktuellsten Problemstellungen in der Computergrafik. Das Kapitel 8 soll unter dem Gesichtspunkt der Modellierung und Animation einen Einblick in dieses umfassende Gebiet vermitteln, in dem einige der grundlegenden Verfahren zum Stand der Technik vorgestellt werden. Im Einzelnen wird die Modellierung und Animation von Gasen behandelt, wobei das Schwergewicht auf eine m¨ oglichst verst¨ andliche Darstellung der CFD-Methode gelegt wird. Neben dem Naturph¨ anomen Feuer wird vor allem die Darstellung atmosph¨arischer Erscheinungen, wie z.B. Sonnenaufg¨ ange oder Halos diskutiert. Des Weiteren wird die Modellierung und Animation von Wolkensystemen, Fl¨ ussigkeiten und Meereswellen ausf¨ uhrlich behandelt. Da uns die Erscheinungsformen und das Bewegungsverhalten von Naturph¨ anomenen vertraut sind, kann unser visuelles System nur in eingeschr¨ anktem Maße mit vereinfachten Geometrieund Bewegungsmodellen get¨ auscht werden. Um plausible Animationen zu erzielen, ist es daher vielfach notwendig, komplexe dynamische Prozesse mit rechenaufw¨ andigen Methoden zu simulieren. Die Modellierung und Animation von Stoffen und Geweben wird im Kap. 9 behandelt. Die ersten Ans¨ atze dieser Disziplin stammen aus der Mitte der 80er Jahre, wobei die meisten davon versuchen, sehr spezielle Probleme zu l¨osen. Im Rahmen dieses Kapitels werden geometrische und physikalisch-basierte Methoden behandelt. Kapitel 10 befasst sich mit der Animationssteuerung durch neuronale Netze. K¨ unstliche neuronale Netze k¨ onnen in der Computer-Animation zur L¨ osung von Problemen der inversen Kinematik oder zur Emulation von ur diephysikalisch-basierten Bewegungsmodellen verwendet werden. Speziell f¨ se, die vielfach ein nicht-lineares, dynamisches Systemverhalten aufweisen, lassen sich neuronale Netze effizient einsetzen. Nach einer kurzen Einf¨ uhrung in die Grundlagen der k¨ unstlichen neuronalen Netze, wird hier ihre Einsatzm¨ oglichkeit f¨ ur Probleme der inversen Kinematik und der inversen Dynamik diskutiert. Die physikalisch-basierte Animation mechanischer Systeme ist das zentrale Thema im Kap. 11. Im Einzelnen wird der Ablauf einer Simulation von
X
der Erstellung des Modells, der Aufstellung der Bewegungsgleichungen bis zur Durchf¨ uhrung und Evaluierung vorgestellt. Nach der Abgrenzung von physikalisch-basierter Simulation zur physikalisch-basierten Animation wird die Dynamik von Punktteilchen und starren K¨orpern behandelt. In einem separaten Abschnitt folgt die Erkennung und Behandlung von Kollisions- und Ruhekontakten. Da auch die mathematische Formulierung und Behandlung von Zwangsbedingungen (Constraints) f¨ ur die Erstellung eines physikalischen Bewegungsmodells von großer Bedeutung ist, wird auch f¨ ur diesen Themenbereich im Abschn. 11.5 hinreichend Platz einger¨aumt. Dieses Buch ist f¨ ur Studierende der Fachrichtung Informatik oder Medientechnik gedacht, die besonderes Interesse an der Computergrafik und an dem thematischen Schwerpunkt Computeranimation haben. Des weiteren empfiehlt es sich f¨ ur Programmierer mit dem Aufgabenbereich Computergrafik, die sich mit den Grundlagen, den Methoden und Algorithmen der Computeranimation vertraut machen m¨ ochten. Außerdem werden Computeranimateure angesprochen, die bislang Computeranimationssysteme nur aus der Sicht des Anwenders kennen gelernt haben und die daran interessiert sind, auch die Methoden zu verstehen, die innerhalb dieser Systeme verwendet werden. Auf die Behandlung von Rendering-Verfahren wird in diesem Buch bewusst verzichtet, sofern diese nicht f¨ ur die Aspekte der Computer-Animation unmittelbar von Bedeutung sind. Dem Leser w¨aren daher Grundkenntnisse auf dem Gebiet der Computergrafik und hier speziell der Rendering-Methoden dienlich. An dieser Stelle m¨ ochten wir uns bei allen Kollegen, Mitarbeitern und Studenten bedanken, die zum Gelingen dieses Buches beigetragen haben. Unserer besonderer Dank gilt vor allem Herrn Bertram Walter und Herrn Frank Pagels f¨ ur ihre Implementierungen zur Simulation atmosph¨arischer Ph¨anomene sowie von Meereswellen und Gasen. Frau Prof. Schumann sowie den Herren Dr. Karsten, Thomas Nocke, Herrman und Peter Birkholz sei gedankt f¨ ur ihrer wichtigen Hinweise und Korrekturen und auch ihre f¨ ur wertvolle Anregungen und Diskussionen. Nicht zuletzt m¨ ochten wir unseren aufrichtigen Dank Frau Iris Heiligers f¨ ur ihren großen Einsatz bei der Durchsicht des Manuskripts sowie Frau Sylvia Neunreither f¨ ur ihre vorz¨ uglichen Lektoratsarbeiten aussprechen. Malchow, Berlin, Hamburg im Januar 2006
Dietmar Jack`el Stephan Neunreither Friedrich Wagner
Inhaltsverzeichnis
Vorwort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VII 1
Einf¨ uhrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Geschichte der Computeranimation . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Produktionsphasen eines Computeranimationsfilms . . . . . . . . . . 6 1.2.1 Pre-Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.2.2 Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2.3 Post-Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3 Grundregeln der Animation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2
Globale Bewegungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Keyframes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.1 Parametergesteuerte Keyframe-Transformationen . . . . . . 2.1.2 Kamerafahrten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Direkte Kinematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1 Kinematische Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2 Denavit-Hartenberg-Notation . . . . . . . . . . . . . . . . . . . . . . . 2.3 Inverse Kinematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Geometrische Interpretation . . . . . . . . . . . . . . . . . . . . . . . . 2.3.2 3D-Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.3 Secondary Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.4 Kombination von inverser und direkter Kinematik . . . . . 2.3.5 Alternative Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.6 Ausrichtung gelenkig-verbundener Strukturen an mehreren Zielpositionen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17 17 18 25 38 38 40 45 49 50 51 52 52
Deformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Geometrische Techniken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Globale Deformationstechniken . . . . . . . . . . . . . . . . . . . . . . 3.1.2 Freiformdeformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.3 Wires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
59 60 61 66 68
3
56
XII
Inhaltsverzeichnis
3.1.4 Skinning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.5 Aspekte der Animation geometrischer Deformationen . . 3.2 Dynamische Deformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.1 Feder-Masse-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.2 Finite Elemente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.3 Elastisch-deformierbare Kurven, Fl¨achen und K¨orper . . 3.2.4 Hybride Verfahren f¨ ur dynamische Deformation . . . . . . . 3.2.5 Modale Deformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.6 Vor- und Nachteile dynamischer Animationstechniken . .
71 72 72 73 75 80 82 82 87
4
Warping und Morphing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.1 Image-Warping und Image-Morphing . . . . . . . . . . . . . . . . . . . . . . 91 4.1.1 Mesh-Warping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 4.1.2 Two-Pass Mesh-Warping . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 4.1.3 Warping mit Markierungsvektoren . . . . . . . . . . . . . . . . . . . 95 4.1.4 Warping mit Feldfunktionen . . . . . . . . . . . . . . . . . . . . . . . . 98 4.2 Ober߬ achenbasierte Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.2.1 Verfahren von Kanai, Suzuki und Kimura . . . . . . . . . . . . 100 4.2.2 Weitere ober߬ achenbasierte Verfahren . . . . . . . . . . . . . . . . 104 4.3 Volumenbasierte Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4.3.1 Verfahren von Hughes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4.3.2 Verfahren von He, Wang und Kaufmann . . . . . . . . . . . . . 112
5
Gesichtsanimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.1 Anwendungsbereiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.2 Parametergesteuerte Gesichtsanimation . . . . . . . . . . . . . . . . . . . . 118 5.2.1 Erweiterte parametergesteuerte Verfahren . . . . . . . . . . . . 121 5.3 Muskelgesteuerte Gesichtsanimation . . . . . . . . . . . . . . . . . . . . . . . 122 5.3.1 Gesichtsmuskelsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 5.3.2 Das Facial-Action-Coding System . . . . . . . . . . . . . . . . . . . 125 5.3.3 Muskelmodell von K. Waters . . . . . . . . . . . . . . . . . . . . . . . . 127 5.4 Gesichtsanimation mit parametrischen Fl¨achen . . . . . . . . . . . . . . 130 5.5 Gesichtsanimation mit Federmodellen . . . . . . . . . . . . . . . . . . . . . . 132 5.5.1 Muskel- und Hautmodell von K¨ahler et al. . . . . . . . . . . . . 132 5.6 Visual Speech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 5.6.1 Animation von Gesichtern in MPEG-4 . . . . . . . . . . . . . . . 137 5.6.2 Digital Story Teller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6
Prozedurale Animationstechniken . . . . . . . . . . . . . . . . . . . . . . . . . . 141 6.1 Partikelsysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 6.2 Stochastische Partikelsysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.2.1 Partikelsystemdynamik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.3 Strukturierte Partikelsysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.4 Thermale und orientierte Partikelsysteme . . . . . . . . . . . . . . . . . . . 147 6.5 Animation von Massenszenen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Inhaltsverzeichnis
XIII
6.6 Schw¨ arme und Herden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 6.7 Akteure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.7.1 Aufbau autonomer Akteure . . . . . . . . . . . . . . . . . . . . . . . . . 154 6.7.2 Lernmodelle autonomer Akteure . . . . . . . . . . . . . . . . . . . . 155 6.7.3 K¨ unstliche Fische . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.4 Evolution von Akteuren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 6.7.5 Verkettete Steuereinheiten . . . . . . . . . . . . . . . . . . . . . . . . . . 161 6.7.6 Weitere Entwicklungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 7
Motion Capturing und Motion Editing . . . . . . . . . . . . . . . . . . . . 165 7.1 Aufnahmetechniken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 7.1.1 Elektromechanische Systeme . . . . . . . . . . . . . . . . . . . . . . . . 167 7.1.2 Lichtleitersysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 7.1.3 Elektromagnetische Systeme . . . . . . . . . . . . . . . . . . . . . . . . 169 7.1.4 Akustische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 7.1.5 Optische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 7.1.6 Roboter, Animatronik und Waldos . . . . . . . . . . . . . . . . . . 171 7.2 Praxis des Motion Capturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 7.2.1 Vorbereitung und Planung . . . . . . . . . . . . . . . . . . . . . . . . . . 172 7.2.2 Aufnahme der Bewegung . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 7.2.3 Bereinigung der Daten und Nachbearbeitung . . . . . . . . . . 173 7.2.4 Abbildung der Bewegung . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 7.2.5 Wiederverwendung von MoCap -Daten . . . . . . . . . . . . . . . 175 7.3 Motion Editing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 7.3.1 Editieren mit Zwangsbedingungen . . . . . . . . . . . . . . . . . . . 177 7.3.2 Editieren mit globalen Kontrollen . . . . . . . . . . . . . . . . . . . 184 7.3.3 Zuk¨ unftige Trends des Motion Editing . . . . . . . . . . . . . . . 192
8
Modellierung und Animation von Naturerscheinungen . . . . . 193 8.1 Gase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 8.1.1 Partikelbasierte Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . 194 8.1.2 Gitterbasierte Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 8.1.3 Hybride Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 8.1.4 Physikalisch-basierte Methoden . . . . . . . . . . . . . . . . . . . . . 196 8.2 Atmosph¨ arische Erscheinungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 8.2.1 Visuelle Simulation der Atmosph¨are . . . . . . . . . . . . . . . . . 207 8.2.2 Regenbogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 8.2.3 Halo-Erscheinungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 8.2.4 Zur Theorie der Halo-Erscheinungen . . . . . . . . . . . . . . . . . 217 8.2.5 Simulation und Darstellung der Halo-Erscheinungen . . . 220 8.3 Wolken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 8.3.1 Prozedurales 2D-Wolkenmodell . . . . . . . . . . . . . . . . . . . . . . 222 8.3.2 Texturierte Ellipsoide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 8.3.3 Volumetrische Wolken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 8.3.4 Fraktale Wolken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
XIV
Inhaltsverzeichnis
8.3.5 Wolkenerzeugung und Animation mit Zellenautomaten . 229 8.4 Fl¨ ussigkeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 8.4.1 H¨ ohenfeldverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 8.4.2 3D-Verfahren zur Fl¨ ussigkeitsanimation . . . . . . . . . . . . . . 235 8.5 Wasserwellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 8.5.1 Bump-Mapping-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . 239 8.5.2 Parametrisierbare Wellenfunktionen . . . . . . . . . . . . . . . . . 240 8.5.3 Fourier-Synthese von Meereswellen . . . . . . . . . . . . . . . . . . 242 9
Modellierung und Animation von Stoffen . . . . . . . . . . . . . . . . . . 247 9.1 Erste geometrische Stoffmodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 9.1.1 Das Verfahren von Weil . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 9.1.2 Das Verfahren von Agui et al. . . . . . . . . . . . . . . . . . . . . . . . 250 9.2 Physikalisch-basierte Stoffmodelle . . . . . . . . . . . . . . . . . . . . . . . . . 251 9.2.1 Fr¨ uhe physikalisch-basierte Ans¨atze . . . . . . . . . . . . . . . . . . 251 9.2.2 Das Verfahren von Breen et al. . . . . . . . . . . . . . . . . . . . . . . 252 9.2.3 Das Verfahren von Provot . . . . . . . . . . . . . . . . . . . . . . . . . . 255 9.2.4 Das Verfahren von Baraff und Witkin . . . . . . . . . . . . . . . . 257 9.2.5 Weitere physikalisch-basierten Techniken . . . . . . . . . . . . . 260 9.2.6 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10 Animationen mit neuronalen Netzen . . . . . . . . . . . . . . . . . . . . . . . 267 10.1 K¨ unstliche Neuronale Netze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 10.1.1 Lernregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 10.2 Inverse Kinematik mit Neuronalen Netzen . . . . . . . . . . . . . . . . . 271 10.3 Inverse Dynamik mit Neuronalen Netzen . . . . . . . . . . . . . . . . . . . 272 10.3.1 Bestimmung der Steuerkr¨ afte . . . . . . . . . . . . . . . . . . . . . . . 275 11 Physikalisch-basierte Animation mechanischer Systeme . . . . 279 11.1 Ablauf der physikalisch-basierten Animation . . . . . . . . . . . . . . . . 280 11.1.1 Auswahl eines physikalischen Modells . . . . . . . . . . . . . . . . 280 11.1.2 Formulierung der Bewegungsgleichungen . . . . . . . . . . . . . 281 11.1.3 Festlegung der Simulationsparameter . . . . . . . . . . . . . . . . 282 11.1.4 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 11.1.5 Grafische Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 11.1.6 Evaluierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 11.2 Von der Simulation zur Animation . . . . . . . . . . . . . . . . . . . . . . . . . 285 11.3 Modellierung mechanischer Systeme . . . . . . . . . . . . . . . . . . . . . . . 285 11.3.1 Dynamik von Punktteilchen . . . . . . . . . . . . . . . . . . . . . . . . 286 11.3.2 Dynamik starrer K¨ orper . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 11.4 Automatische Kontaktbehandlung . . . . . . . . . . . . . . . . . . . . . . . . . 294 11.4.1 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 11.4.2 Kontaktbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 11.4.3 Kollisionssimulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 11.4.4 Behandlung von Ruhekontakten . . . . . . . . . . . . . . . . . . . . . 302
Inhaltsverzeichnis
XV
11.5 Constraints und ihre Behandlung . . . . . . . . . . . . . . . . . . . . . . . . . . 307 11.5.1 Mathematische Formulierung . . . . . . . . . . . . . . . . . . . . . . . 308 11.5.2 Behandlung von Constraints . . . . . . . . . . . . . . . . . . . . . . . . 311 11.5.3 Vergleich der L¨ osungsverfahren . . . . . . . . . . . . . . . . . . . . . . 319 11.6 Techniken zur Bewegungssteuerung . . . . . . . . . . . . . . . . . . . . . . . . 320 11.6.1 Direkte und Inverse Dynamik . . . . . . . . . . . . . . . . . . . . . . . 322 11.6.2 Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 11.6.3 Steuerung mit Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . 326 11.6.4 Optimierungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 11.6.5 Weitere Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328 A
L¨ osungsverfahren f¨ ur Bewegungsgleichungen . . . . . . . . . . . . . . . 331 A.1 Numerische L¨ osung von Differentialgleichungen . . . . . . . . . . . . . . 331 A.2 Der Lagrange-Formalismus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 A.3 Erg¨ anzungen zur Lagrange-Faktoren-Methode . . . . . . . . . . . . . . . 335 A.4 Simulationsverfahren f¨ ur beliebige Zustandsgr¨oßen . . . . . . . . . . . 338
B
Quaternionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
C
L¨ osungsverfahren f¨ ur lineare Gleichungssysteme . . . . . . . . . . . 345 C.1 Gauß-Seidel-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345 C.2 SOR-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 C.3 CG-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
1 Einfu ¨ hrung
1.1 Geschichte der Computeranimation Eine Vielzahl von Verfahren, die auch heute noch in der Computeranimation angewendet werden, haben ihren Ursprung in den Techniken der traditionellen Zeichentrickanimation, die zu Beginn des zwanzigsten Jahrhunderts entwickelt wurden. Als Vater der traditionellen Zeichentrickanimation kann Winsor McCay angesehen werden, der 1914 den ersten Zeichentrickfilm Ger” tie the Trained Dinosaur“ (s. Abb. 1.1) produzierte. McCay zeichnete die ca. 10.000 Einzelbilder dieses Films per Hand, ohne dass er sich spezieller Techniken behalf. Im gleichen Jahr entwickelte Earl Hurd, Angestellter des John Bray Filmstudios, mit der sog. Cel Animation bereits ein Verfahren, das die manuelle Erstellung von Bildsequenzen erheblich erleichterte. Hierbei wurden Bildvordergrund und Bildhintergrund voneinander getrennt. W¨ahrend die Erzeugung des statischen Bildhintergrundes nur einmal erfolgte, wurden
Abb. 1.1. Szenen aus den Kurzfilmen (links) Gertie the Trained Dinosaur“,(rechts) ” Steamboat Willie“ (aus [1]) ”
2
1 Einf¨ uhrung
Abb. 1.2. Erste Farbkamera mit drei separaten Filmstreifen (aus [2])
die Vordergrundobjekte mit all ihren Bewegungsphasen auf transparente Celluliodfolien gezeichnet. Indem diese Folien u ¨ ber den Bildhintergrund gelegt und anschließend fotografiert wurden, konnte das wiederholte Zeichnen des gleichen Bildhintergrundes vermieden werden. Ein weiterer Meilenstein in der Entwicklung der traditionellen ZeichentrickAnimation waren die ab 1916 von Otto Messner in den Pat Sullivan Studios geschaffenen Filme von Felix the Cat“. Im Gegensatz zum Dinosau” rier Gerti war Felix bereits ein sog. Studio Character, dem ein spezielles Pers¨ onlichkeitsprofil zugeordnet war, das beim Publikum breiten Zuspruch fand und dadurch den Pat Sullivan Studios u ¨ ber Jahre hinweg viel Geld in die Kasse brachte. In den zwanziger Jahren begann auch Walt Disney mit der Erstellung von Zeichentrickfilmen, wobei sein bekanntester Cartoon Mickey Mouse“ erst” mals 1928 in dem Kurzfilm Steamboat Willie“ (s. Abb. 1.1) mit einer L¨ange ” von sieben Minuten zu sehen war. Steamboat Willie“ war der erste verton” te Trickfilm und damit ein weiterer Meilenstein in der Filmgeschichte, der zudem auch die Grundlage des gesch¨ aftlichen Erfolgs von Walt Disney wurde. Walt Disney setzte auch als erster Produzent das 3-Farben-TechnicolorVerfahren f¨ ur Trickfilme ein. Disney´s erste farbige Zeichentrickfilme Flowers ” and Trees“ und Three Little Pigs“ entstanden 1932. Zur Bildaufzeichnung ” wurden Kameras mit drei separaten Filmstreifen eingesetzt, die mit entsprechenden Farbfiltern ausgestattet waren (s. Abb. 1.2). Die traditionelle Zeichentrickanimation erreichte 1937 mit dem Oskar-pr¨amierten, abendf¨ ullenden Spielfilm Snow White and the Seven Dwarfs“ einen ersten H¨ohepunkt. Es ” folgten weitere Filme wie: Fantasia“ und Pinocchio“ (1940), Lady and the ” ” ” Tramp“ (1955) oder The Jungle Book“ (1967), die heute zu den Klassikern ” des Zeichentrickfilms gez¨ ahlt werden.
1.1 Geschichte der Computeranimation
3
Die Entwicklung der Computer Animation begann 1949. Am Massachusetts Institute of Technology (MIT) war der erste elektronische, noch mit R¨ohren ausgestattete Computer mit dem Namen Whirlwind“ entstanden, der als ” Ausgabeger¨ at ein Oszilloskop aufwies. Mit dem Whirlwind-Computer“ ent” wickelte Charly Adams ein Programm, das einen springenden Ball in Echtzeit berechnen und darstellen konnte und das sowohl als erste Computergrafik, als auch als erste Computeranimation bezeichnet wird. In den nachfolgenden Jahren zeigte vor allem das Milit¨ ar verst¨ arktes Interesse an der Computergrafik, das vor allem an der Entwicklung des SAGE“-Computersystems (s. ” Abb. 1.3) zum Ausdruck kam. Dieses System, das von 1951 bis 1955 von IBM zur Luftraum¨ uberwachung entwickelt wurde, bestand aus 82 Grafikkonsolen und erlaubte das interaktive Arbeiten mit Hilfe eines sog. Lightpen, mit dem der Benutzer direkt am Bildschirm grafische Manipulationen, wie das L¨oschen oder Verschieben von Bildlinien, ausf¨ uhren konnte. Im milit¨ arischen Auftrag stellte Edward E. Zajac 1963 den ersten an einem IBM Großrechner erstellten Animationsfilm vor, um damit die Bewegungen und unterschiedlichen Ausrichtungen eines Erdsatelliten im Weltraum zu illustrieren (s. Abb. 1.4). Im gleichen Jahr pr¨ asentierte auch Ivan Sutherland mit seinem Sketchpad“-System (s. Abb. 1.4) das erste interaktiv arbeitende ” CAD-System, dessen Konzept richtungsweisend f¨ ur das gerade entstehende Fachgebiet Computergrafik werden sollte. Sutherlands Sketchpad-System“ ” brachte auch den wissenschaftlichen Durchbruch der Computergrafik. So entstanden, beginnend mit dem 1968 gegr¨ undeten Computer Graphics Department an der Universit¨ at Utah, an zahlreichen Universit¨aten in den USA und Europa Forschungsaktivit¨ aten auf dem neuen Gebiet der digitalen Grafik. Ab Mitte der sechziger Jahre entstanden auch zahlreiche Firmen, deren Ziel es war, grafische Rechnersysteme zu entwickeln. So wurde 1965 die Firma Adage gegr¨ undet, die zwei Jahre sp¨ ater ihren ersten echtzeitf¨ahigen Grafikrechner auf den Markt brachte. 1968 entstanden weitere Firmen, wie Evans & Sutherland, Calma, Computek, Houston Instruments und Imlac sowie Com-
Abb. 1.3. (links) Sage-Luftraum¨ uberwachungssystem, (rechts) Lightpen (aus [2])
4
1 Einf¨ uhrung
Abb. 1.4. (links) Zajac´s Satellitensimulation, (rechts) Sketchpad-System“ (aus ” [2])
puterVision, Applicon und Vector General, die 1969 gegr¨ undet wurden. Drei Jahre sp¨ ater, 1972, erfolgte die Gr¨ undung von Megatek und Summagraphics. Ein Meilenstein war auch die Entwicklung eines echtzeitf¨ahigen und voll farbt¨ uchtigen Außensichtsystems des ersten interaktiven Flugsimulators der NASA, der im gleichen Jahr seinen Betrieb aufnahm. Von universit¨arer Seite wurden 1972 von Edwin A. Catmull die Animation einer Hand ( Utah hand“) ” auf der Grundlage des skriptbasierten Animationssystems MOVIE“ , sowie ” die ersten Gesichtsanimationen von Frederic I. Parke pr¨asentiert. Gemessen am damaligen Stand der Technik, waren die Arbeiten von Catmull und Parke sehr beeindruckend und wurden vielfach der staunenden, gerade entstehenden Grafikszene in den USA und Europa vorgef¨ uhrt. Bereits im Jahr 1973 fand die erste SIGGRAPH Konferenz statt, die sich heute als eine der wichtigsten wissenschaftlichen Tagungen auf dem Gebiet der Computergrafik etabliert hat. Auch aus k¨ unstlerischer Sicht hinterl¨asst die Computeranimation ihre Spuren. Die von Peter Foldes produzierte Computeranimation Hunger“ gewinnt 1974 auf dem Filmfestival von Cannes den ” Preis der Jury f¨ ur Animationen. Foldes verwendete f¨ ur diese Arbeit ein von Burtnyk und Wein entwickeltes zweidimensionales Keyframing Verfahren f¨ ur Bilder. Ende der achtziger Jahre entstanden am Jet Propulsion Lab mit den Arbeiten von Jim Blinn eine Serie vielbeachteter Computeranimationen, mit denen der Vorbeiflug der Voyager- und Pioneer-Raumsonden an den Planeten Jupiter und Saturn simuliert und veranschaulicht wurde. F¨ ur diese Animationen wurden erstmalig Texturierungsverfahren, wie das zuvor von Blinn entwickelte Bump-Mapping, eingesetzt, mit der eine bislang nicht erreichte Realit¨atsn¨ahe erzielt wurde. Der erste Spielfilm, in dem Computeranimation ausgiebig eingesetzt wurde, war der in den Walt Disney Studios von 1980 bis 1982 produzierte Film Tron“. Tron“ enthielt ausschließlich synthetisch erzeugte Filmszenen in der ” ”
1.1 Geschichte der Computeranimation
5
L¨ ange von 15 Minuten sowie weitere sog. Mixed-Media-Filmsequenzen in gleicher L¨ ange, in denen reale Schauspieler und synthetisch erzeugte Objekte kombiniert wurden. Dieses Filmprojekt wurde jedoch wegen seiner hohen Produktionskosten und des sehr geringen wirtschaftlichen Erfolges ein Desaster f¨ ur den bereits erwarteten Siegeszug der Computeranimation in der Filmindustrie. Hollywood wandte sich f¨ ur l¨ angere Zeit von der Computeranimation ab und setzte wieder ausschließlich auf manuelle Zeichentricktechnik. Computeranimationen wurden hingegen lediglich f¨ ur k¨ urzere Filmsequenzen eingesetzt. Beispiele hierf¨ ur sind Filme wie: The Last Starfighter“ (1985), The Abyss“ ” ” (1989), die Star Wars“-Trilogie und in die Star Trek“- Serienfilme. Beson” ” ders bemerkenswert ist in diesem Zusammenhang der Film Star Trek II - The ” Wrath of Khan“, in dem erstmalig f¨ ur den Genesis-Effekt“ Partikelsysteme ” eingesetzt wurden. Auch die synthetische Wasserkreatur aus dem Film The ” Abyss“, die Gesichter der Mannschaft einer Unterwasserstation imitiert, gilt als Meilenstein der Computeranimation. Ein großes Manko bei der Darstellung animierter virtueller Charaktere waren ihre unnat¨ urlichen, roboterartigen Bewegungen. Jim Henson (Erfinder der Muppets“) f¨ uhrte 1986 bei Digital Productions“ ein Ger¨at namens ” ” Waldo“ vor, das f¨ ur die Fernsteuerung von Puppen entwickelt wurde. Die ” Ingenieure von Digital Productions“ verbanden Waldo“ mit ihren Rechner” ” systemen und erzeugten einige Testanimationen. Es entstand eine Methode, um Bewegungen der mechanischen Eingabeger¨ate auf das Computermodell zu u ater als Performance Animation bezeichnet ¨bertragen; eine Technik die sp¨ wurde. Vor allem in Kurzfilmen zeigten sich in der zweiten H¨alfte der achtziger Jahre die rasanten Fortschritte auf dem Gebiet der Computeranimation. Als Beispiele sind vor allem die von PIXAR produzierten Filme, wie Luxo ” Jr.“ (1986), Red‘s Dream“ (1987) oder auch Tin Toy“ (1988) zu erw¨ahnen, ” ” wobei der letztgenannte Computeranimationsfilm sogar einen Oscar erhielt. Aufgrund dieser Erfolge erhielt Pixar 1991 von den Walt Disney Studios den andig computeranimierten Spielfilm Toy Story“ zu Auftrag, den ersten vollst¨ ” erstellen, der 1995 fertig gestellt wurde. F¨ ur die Herstellung dieses Films mit einer L¨ ange von 70 Minuten waren 800.000 Stunden Rechenzeit verteilt auf 177 Sun Sparc 20 Workstations erforderlich. Im Gegensatz zu Disney´s Tron“ ” wurde Toy Story“, der drei Oskar Nominierungen erhielt, ein Kassenerfolg. ” Der wirtschaftliche Erfolg von Toy Story“ war zugleich der Ausl¨oser f¨ ur ” die Produktion weiterer abendf¨ ullender Computeranimationsfilme, wie Toy ” Story 2“ (1999), Shrek“ (2001), Monsters Inc.“ (2001). In Final Fanta” ” ” sy“ (2001) wurden erstmalig virtuelle Charaktere pr¨asentiert, die von realen Schauspielern kaum noch zu unterscheiden waren. Zu den Hauptanwendungen der Computeranimation in der Spielfilmproduktion geh¨oren allerdings die Spezialeffekte, die vielfach zu den gesch¨ aftlichen Erfolgen von Spielfilmen beitrugen. Einige Beispiele hierf¨ ur sind die Filme Jurassic Park I-III“, Titanic“, ” ” Gladiator“, A.I.“, Harry Potter“, Pearl Harbor“, Lord of the Rings“ usw. ” ” ” ” ” Obgleich die Computeranimation heute einen sehr hohen technischen Stand
6
1 Einf¨ uhrung
erreicht hat und zur Erzeugung von Spezialeffekten unverzichtbar geworden ist, konnte sich der manuell erstellte Zeichentrickfilm bislang behaupten. Das liegt vor allem an dem unverwechselbaren Erscheinungsbild der von Hand gezeichneten Bildsequenzen, das von vielen Freunden des Cartoon-Films den rein synthetisch erzeugten Computeranimationfilmen vorgezogen wird [3]. Um den Eindruck eines handgezeichneten Trickfilms zu bewahren, werden oftmals die am Computer generierten Bildsequenzen in entsprechender Weise nachtr¨ aglich manipuliert, um den gew¨ unschten Cartoon-Touch zu erhalten.
1.2 Produktionsphasen eines Computeranimationsfilms Bevor nachfolgend die Produktionsphasen eines Computeranimationsfilms diskutiert werden, soll in diesem Zusammenhang der enorme Aufwand, der f¨ ur die Durchf¨ uhrung eines derartigen Projektes erforderlich ist, kurz erw¨ahnt werden. Es ist ein Irrglaube anzunehmen, dass die am Computer erstellten Filme kosteng¨ unstiger sind. Zwar ist der Aufbau der Kulissen einfacher und virtuelle Schauspieler verlangen schließlich keine Gagen, aber f¨ ur die erfolgreiche Durchf¨ uhrung eines derartigen Projektes ist eine wesentlich exaktere und damit auch zeitaufwendigere Produktionsplanung (Pre-Produktion) erforderlich. Weiterhin sind eine Vielzahl von Spezialisten sowie eine sehr umfangreiche Ger¨ ateausstattung und im Vergleich zu konventionellen Spielfilmen oftmals wesentlich l¨ angere Produktionszeiten notwendig. So kann die Produktion eines derartigen Films bis zu vier Jahre dauern, wobei in den Hauptproduktionsphasen neben dem Management bis zu 200 Computeranimateure, Computerspezialisten, Techniker und Programmierer t¨atig sein k¨onnen. Nachfolgend werden die Produktionsphasen eines Computeranimationsfilms diskutiert, die in großen Teilen mit denen eines traditionellen Zeichentrickfilms u ¨ bereinstimmen. Der Produktionsprozess l¨asst sich grob in drei Stufen aufteilen: Pre-Production, Production und Post-Production. Von dem hier pr¨asentierten Schema k¨ onnen in der Praxis durchaus Abweichungen auftreten. 1.2.1 Pre-Production Von der Filmidee zum Storyboard. Am Anfang dieses Prozesses steht immer die Idee, die Geschichte und die darzustellende Handlung. Diese Filmidee wird als kurze Beschreibung der Handlung, die auch als Synopsis bezeichnet wird, fixiert. Sie ist in der Regel nicht l¨ anger als eine Seite. Auf der Grundlage der Synopsis wird das Storyboard erstellt, in dem die gesamte Handlung detailliert beschrieben ist. Die Erstellung des Storyboard ist ein sehr aufwendiger Prozess, der als Storyboarding bezeichnet wird. Im Storyboard ist der Handlungsablauf detailliert in einzelne Szenen unterteilt, die bereits aus einer Reihe von Hand gezeichneten Schnappsch¨ ussen bestehen. Diese Handskizzen stellen die Schl¨ usselbilder
1.2 Produktionsphasen eines Computeranimationsfilms
7
Abb. 1.5. Ausschnitt aus dem Storybook des Films Jurassic Quark“ ”
der Szenen dar und sind, wie in Abb. 1.5 dargestellt, mit entsprechenden Kommentaren und Dialogen versehen. Der zeitliche Ablauf der Handlung, einschließlich der L¨ ange der einzelnen Szenen, sind nach der Fertigstellung des Storyboards hierin exakt festgelegt. Weiterhin werden in dieser Produktionsphase auch die Sound-Effekte und die Begleitmusik aufgezeichnet. W¨ ahrend bei der Erstellung traditioneller Zeichentrickfilme die Bild- auf die Tonsequenzen abgestimmt werden m¨ ussen, besteht bei computeranimierten Filmen die M¨oglichkeit, Musik, Gesang oder akustische Effekte nachtr¨aglich an bereits bestehende Bildfolgen anzupassen. Wie bei der Drehbucherstellung wird das Storyboard ebenfalls iterativ in mehreren Durchl¨aufen vom Preliminary Storyboard u ¨ ber das Presentation Storyboard bis zum Production Storyboard verfeinert. Im Preliminary Storyboard werden die Bewegungen der Akteure, sowie der Kamera in ihrem zeitlichen Ablauf grob und skizzenhaft dargestellt. Das Presentation Storyboard stellt eine Zusammenfassung der geplanten Filmproduktion dar. Es enth¨ alt bereits großformatige, farbige Bilddarstellungen von den wichtigen Schl¨ usselszenen und dient letztendlich als Hilfe f¨ ur den Produzenten, Auftrags- oder Geldgeber, Entscheidungen u uhrung ¨ ber die Fortf¨ des Projektes zu treffen. Das Production Storyboard ist das verbindliche Dokument, an dem sich die Filmproduktion zu orientieren hat. Es enth¨ alt in detaillierter Form Anweisungen u ¨ ber die einzelnen Aktionen, Bewegungs- und Zeitabl¨aufe einschließlich der Schnittanweisungen, sowie der Beleuchtungs- und Kameraparameter. Im Production Storyboard ist jedes Frame nummeriert und mit Zeitparametern versehen. Weiterhin sind in jedem Bild Anweisungen f¨ ur die Kamerabewegung und den Schnitt vorhanden. Character Sheets. Zus¨ atzlich zum Storyboard werden auch die sog. Character Sheets erstellt. Hierin wird die Pers¨ onlichkeit der einzelnen virtuellen Charaktere beschrieben, sowie Anweisungen f¨ ur ihre Animation gegeben.
8
1 Einf¨ uhrung
Ein sorgf¨ altiger und wohl u ¨berlegter Entwurf der handelnden Charaktere ist f¨ ur den wirtschaftlichen Erfolg eines Computeranimationsfilms von entscheidender Bedeutung. Vor allem ist es notwendig, den virtuellen Charakteren glaubw¨ urdige Pers¨ onlichkeiten zu verleihen. Dies bedeutet, dass ein Charakter die Emotionen vermitteln muss, die seine Rolle innerhalb der Filmhandlung ausdr¨ ucken soll. Hierzu sind eine Vielzahl von Charakter- und Bewegungsstudien erforderlich, um mit unterschiedlichen Posen und Gesichtsmimiken die Ausdrucksf¨ ahigkeit des virtuellen Akteurs zu u ufen. Gegebenenfalls ¨berpr¨ muss dessen Erscheinung korrigiert oder auch v¨ollig neu entworfen werden. Von gleichrangiger Bedeutung sind auch produktionstechnische Aspekte. So ist beispielsweise die 3D-Animation, sowie das Rendering eines Zauberers mit langem Bart, langen Haaren und einem zerfurchten Gesicht, der zudem noch einen wallenden Umhang tr¨ agt, viel aufwendiger als die Darstellung eines Charakters mit eng anliegender Kleidung, kurzen Haaren und glattem Gesicht. Weiterhin ist die erforderliche Gelenkigkeit der Figur f¨ ur die Animation von großer Bedeutung. So ist auch die Skelettstruktur eines Charakters einschließlich der Freiheitsgrade seiner Gelenke, sowie die Einschr¨ankungen der Gelenkwinkel in den Character Sheets vorzugeben und an die geforderte Ausdrucksf¨ ahigkeit anzupassen. Wichtig ist, dass beim Entwurf der virtuellen Akteure das zur Verf¨ ugung stehende Produktionsbudget streng beachtet wird. Ein zu komplexer Charakterentwurf kann den Produktionsaufwand, das heißt den Aufwand f¨ ur die sp¨ atere Animation und das Rendering, extrem steigern, somit verteuern und letztendlich das gesamte Projekt gef¨ ahrden. Modellierung. W¨ ahrend beim traditionellen Zeichentrickfilm nach dem Storyboarding von erfahrenen Animateuren, den sog. Senior Animators die Keyframes und von den Junior Animators die Zwischenbilder, die Inbetweens, gezeichnet werden, sind bei der dreidimensionalen Computeranimation die virtuellen Charaktere erst als Modelle zu erzeugen. Neben den Charakter-Modellen, sind nat¨ urlich auch die Modelle der Hintergrundszenen anzufertigen, welche innerhalb der Filmhandlung vorkommen. Ein wirtschaftlicher Nebeneffekt ist, dass die einmal erzeugten Modelle beliebig oft f¨ ur andere Produktionen verwendbar oder auch vermarktbar sind. So hat sich hierf¨ ur bereits ein Markt entwickelt, der im stetigen Wachsen begriffen ist. 1.2.2 Production Animation. Nach der Modellierung kann der eigentliche Animationsprozess ar- und Sekund¨aranimation unerfolgen, wobei in der Regel zwischen Prim¨ terschieden wird. Unter der Prim¨ aranimation ist die Animation weitr¨aumiger Bewegungsabl¨ aufe wie beispielsweise Lauf- oder Kampfbewegungen zu verstehen. Die Sekund¨ aranimationen sind zwar den Prim¨aranimationen u ¨ berlagert, sie k¨ onnen jedoch v¨ ollig autonom ausgef¨ uhrt werden. Beispiele sind das Ver-
1.2 Produktionsphasen eines Computeranimationsfilms
9
zerren des Gesichtes w¨ ahrend eines Kampfvorgangs oder die Atmung eines virtuellen L¨ aufers. Die Festlegung der prim¨ aren Bewegungsabl¨aufe erfolgt in der Regel mit sehr stark vereinfachten Geometriemodellen, wobei auch einfache RenderingVerfahren verwendet werden. Oftmals sind, um bestimmte Bewegungssequenzen zu erzeugen, viele Versuche erforderlich. Der hierzu notwendige Aufwand wird durch die große Anzahl der Animateure deutlich, die bei großen Featurefilm-Produktionen, wie Shrek“ oder Final Fantasy“, zwischen 20 und ” ” 30 liegen kann. Die Animation der in der Filmhandlung agierenden virtuellen Figuren und Objekte kann mit einer Anzahl unterschiedlicher Techniken erfolgen, die nachfolgend beschrieben werden. Stop-Motion-Technik. Eine h¨ aufig verwendete Methode ist die Stop-MotionTechnik. Sie ist dadurch gekennzeichnet, dass die Positionen und Orientierungen der Glieder eines Charakters schrittweise ver¨andert werden, wobei die Animations- und Rendering-Schritte wechselseitig ausgef¨ uhrt werden. Die Ausf¨ uhrung der Objektbewegungen erfolgt hierbei mit kinematischen Verfahren. Die Anwendung der Stop-Motion-Technik erfordert sehr viel Sorgfalt und Erfahrung. Da sich einzelne Bewegungsschritte nicht mehr nachtr¨aglich korrigieren lassen, ist es im Fall einer fehlerhaften Animation notwendig, den gesamten Bewegungsablauf eines Charakters neu zu erstellen. Motion Capturing. Motion Capturing ist eine Methode, um sehr nat¨ urlich wirkende Bewegungssequenzen zu erzeugen. Hierbei gibt ein Darsteller, an dessen K¨ orper Sensoren angebracht sind, den gew¨ unschten Bewegungsablauf vor. Die Sensorpositionen werden hierbei fortlaufend mit mechanischen, optischen, elektromagnetischen oder akustischen Verfahren aufgezeichnet. In der Regel ist eine Nachbearbeitung der Bewegungsdaten erforderlich, bei der neben der Gl¨ attung und der Erg¨ anzung der Koordinatensequenzen auch eine Anpassung an die Geometrie des virtuellen Charakters erfolgt. Anschließend stehen die Bewegungsdaten zur Steuerung des virtuellen Akteurs zur Verf¨ ugung. Entsprechend den Geometriemodellen werden auch die beim Motion Capturing gewonnenen Bewegungsdaten zum Zweck der Wiederverwendung in Bibliotheken archiviert und auch vielfach vermarktet. Prozedurale Animation. Die prozedurale Animation dient zur Erzeugung spezieller Animationen, bei der ein Bewegungsablauf von einer Prozedur vorgegeben ist oder durch ein System von Regeln bestimmt wird. Beispiele f¨ ur eine einfache prozedurale Animation ist der klassische, mit Hilfe von Partikelsystemen erzeugte Genesis Effekt im Film Star Trek II - The Wrath of ” Khan“ aber auch die Massenkampfszenen in Lord of the Rings“, wo sogar ” den einzelnen Rittern ein individuelles, regelbasiertes Bewegungsrepertoire zur Ausf¨ uhrung von Kampfaktionen [4] zugeordnet wurde.
10
1 Einf¨ uhrung
Physikalisch-basierte Animation. Der dynamische Bewegungsablauf vieler Objekte in der realen Welt, beispielsweise durch Einwirkung externer Kr¨ afte, wird durch die Gesetze der Physik bestimmt. Damit auch virtuelle Objekte, wie beispielsweise Gelenksysteme, plausible Bewegungen ausf¨ uhren k¨onnen, sind die physikalischen Gesetzm¨ aßigkeiten zu ber¨ ucksichtigen. Die physikalisch-basierte Modellierung ist jedoch, ¨ahnliche wie bei der prozeduralen Animation, auf eine sehr begrenzte Anzahl von Anwendungen eingeschr¨ ankt, da der Aufwand f¨ ur eine physikalisch korrekte Beschreibung komplexer Szenarien sehr hoch ist. Spezialisierte Animationsverfahren. Hierunter sind beispielsweise jene Methoden zu verstehen, mit denen oftmals Naturerscheinungen, wie Meereswellen, Wolken oder auch Fl¨ ussigkeiten dargestellt werden. Desgleichen f¨allt die Gesichtsanimation oder die Animation von Stoffen in diese Kategorie. Diese sehr speziellen Verfahren sind oftmals prozedural oder physikalisch-basiert. Rendering. Nachdem die Animation innerhalb einer in sich abgeschlossenen Bildfolge festgelegt ist, muss mit der Positionierung der Lichtquellen die Ausleuchtung der Szenen festgelegt werden. Um die Lichtverteilung mit unterschiedlichen Beleuchtungskonfigurationen beurteilen zu k¨onnen, erfolgt ein schnelles Rendering der Bildsequenzen mit geringerer Aufl¨osung und geringerer Qualit¨ at, d.h. ohne Anti-Aliasing, Motion-Blur, Caustics oder Depth ¨ of Field. F¨ allt die abschließende Uberpr¨ ufung der Animation und Szenenausleuchtung zufriedenstellend aus, so wird der finale Rendering-Prozess ausgef¨ uhrt. Hierbei werden die Szenen mit zumeist sehr hoher Aufl¨osung und Bildqualit¨ at berechnet. Im Fall komplexer Szenarien werden diese in einzelne Layer unterteilt, separat gerendert“ und in der nachfolgenden Post-Processing-Phase mittels ” Image Compositing zusammengef¨ ugt. Im Film Final Fantasy“ wurden bei” spielsweise die ¨ außerst aufwendig modellierten Charaktere auf separaten Layern gerendert“. Die komplexen Hintergrundszenen mussten nach [5] sogar auf ” sechs verschiedene Layer aufgeteilt werden. Das finale Rendering erfolgt in der Regel auf verteilten Rechnersystemen, ur die aus mehreren hundert PC´s bestehen k¨ onnen. Jeder dieser Rechner ist f¨ das Rendering eines kompletten Layers oder Bildes zust¨andig und transferiert sein Ergebnis zu einem Zentralsystem, das die dezentral berechneten Bilder in ihrer korrekten Reihenfolge f¨ ur den nachfolgenden Video- oder Film-Schnitt abspeichert. 1.2.3 Post-Production Image Compositing. In der Post-Production-Phase erfolgt mit dem Image Compositing das Zusammenf¨ ugen der einzelnen Layer eines Bildes. Die Technik des Image Compositing l¨ asst sich anhand eines sehr einfachen Beispiels, das in der Abb. 1.6 dargestellt ist, in seinen Grundz¨ ugen verdeutlichen. In
1.2 Produktionsphasen eines Computeranimationsfilms synthetischer Saurier
reale Landschaft
a) Saurierschatten
b) inverse Sauriermaske
d)
c) Sauriermaske
11
Hintergrund + Saurier
f)
e) Schattenmaske
inverse Schattenmaske
h)
g)
Hintergrund + Saurier + Schatten
i)
Abb. 1.6. Prinzip des Image Compositing (s. Farbtafel I)
diesem Beispiel wird das synthetisierte Bild eines Sauriers mit Hilfe einer zuvor erzeugten bin¨ aren Maske kombiniert. Diese Maskierung hat den Sinn, dass nur die Teile der Saurierszene selektiert werden, die in das Gesamtbild eingef¨ ugt werden sollen. Die Pixelwerte des Saurierbildes in den schwarzen Bereichen der Maske werden hierbei auf den Wert Null gesetzt, w¨ahrend sie in den weißen Gebieten unver¨ andert bleiben. In umgekehrter Weise wird mit dem Landschaftsbild verfahren. Dort wird mit der inversen Sauriermaske jener Bereich maskiert, der vom Saurier u ¨ berdeckt wird. Die Komposition aus
12
1 Einf¨ uhrung
Saurier- und Hintergrundbild erfolgt durch Addition beider Bildmatrizen. Das Hinzuf¨ ugen des Schattens, den der Saurier auf den Boden wirft, wird in analoger Weise ausgef¨ uhrt. Um einen realistischen Bildeindruck zu erzielen, ist es erforderlich, die Lichtverh¨ altnisse der separat erzeugten Bilder aufeinander abzugleichen. Hierzu ist es mitunter notwendig, die Helligkeit der einzelnen Bildteile, und zwar Bild f¨ ur Bild, manuell einzustellen. Wesentlich aufwendiger gestaltet sich das Image Compositing wenn ein virtueller Charakter sehr eng mit einem realen Schauspieler interagiert. Stellen wir uns als Beispiel eine Szene vor, in der ein virtueller Charakter, der beispielsweise eine l¨ angst verstorbene Darstellerin repr¨asentiert, mit einem bekannten Schauspieler tanzt. Um dies zu realisieren, sind f¨ ur das Image Compositing zus¨ atzliche Schritte erforderlich. Zuerst wird die Tanzszene mit einer realen Darstellerin ausgef¨ uhrt, die m¨ oglichst in ihrer Gr¨oße und in ihren Proportionen dem Vorbild entspricht. Damit diese Darstellerin bei Verwendung der Color Keying-Methode einfacher maskiert und aus der Tanzszene entfernt werden kann, tr¨agt sie in der Regel ein Trikot und Handschuhe in der Farbe eines Farbschl¨ ussels (color key). Auch ihr Kopf ist in der gleichen Farbe eingeh¨ ullt. Infolge dieser farblichen Auskleidung ist es mittels Farbseparierung leichter m¨oglich, die reale Person aus der Tanzszene zu entfernen und durch den virtuellen Charakter zu ersetzen. Die Einpassung des virtuellen Charakters in die maskierten Bereiche der Bildsequenz erfolgt anschließend Bild f¨ ur Bild von Hand. Bei diesem Verfahren sind vielfach aufwendige Nachbearbeitungsschritte unumg¨anglich. Video/Film-Schnitt. Der Filmschnitt mit linear auf Magnetband oder Film aufgezeichneten Material wird zunehmend durch die seit wenigen Jahren aufkommende Technik des nicht-linearen Schnitts verdr¨angt (Non-Linear Editing – NLE ). Hierzu ist es notwendig, das gesamte f¨ ur den Schnitt ben¨otigte Filmmaterial auf einen Plattenspeicher zu transferieren, der im Gegensatz zum Magnetband, einen wesentlich schnelleren, wahlfreien Zugriff auf einzelne Bilder erm¨ oglicht. Hierdurch ergibt sich die M¨oglichkeit, kurze Bildfolgen an beliebigen Stellen eines Films einzuf¨ ugen, zu kopieren, zu manipulieren oder zu l¨ oschen. Weiterhin k¨ onnen die Bildsequenzen in beliebiger Folge und ¨ aneinandergereiht werden. unterschiedlichen Uberblendungen Die hierf¨ ur ben¨ otigten Speicherkapazit¨ aten sind allerdings enorm. So hat ein Film von 90 Minuten L¨ ange und einer Aufl¨ osung im Cineonformat in unkomprimierter Form einen Speicherbedarf von 6.5 TeraByte. In ungeschnittener Form ist f¨ ur das gesamte Filmmaterial, das beim Produktionsprozess entstanden ist, ein noch erheblich gr¨ oßerer Speicherplatz erforderlich. Um diese Datenmenge mit vertretbarem Aufwand speichern zu k¨onnen, ist es notwendig, das Filmmaterial beispielsweise entsprechend dem MPEG-2 Standard zu komprimieren. Um die MPEG-2 Kodierung bzw. Dekodierung (Codec) in Echtzeit ausf¨ uhren zu k¨ onnen, sind f¨ ur das Non-linear Editing Schnittpl¨atze mit leistungsf¨ ahigen Prozessoren erforderlich.
1.3 Grundregeln der Animation
13
Vertonung. Die Dialoge, sowie Musik und Ger¨auscheffekte, wurden bereits w¨ahrend der Pre-Production-Phase im Einzelnen festgelegt. In der PostProduction-Phase erfolgt die Feinabstimmung mit den korrespondierenden Bildsequenzen, wobei bei der Gesichtsanimation besonders auf eine lippensynchrone Abstimmung von Bild und Ton zu achten ist. Hierzu ist es oftmals notwendig, mit Hilfe sog. Sound Morphing-Verfahren die geforderte Synchronit¨ at zu erreichen. Belichtung. Kinofilme werden vielfach im 35mm-Format aufgezeichnet. Bei dem hierzu h¨ aufig verwendeten digitalen Cineonformat ist eine Aufl¨osung von 4.096 × 3.112 Bildpunkten mit einer Farbtiefe von 3 × 10 Bit erforderlich. Das Datenvolumen eines Bildes betr¨ agt somit 48 MByte. F¨ ur die Belichtung des Films wird ein Laserbelichter eingesetzt, der die Filmebene zeilenweise beschreibt. Die Belichtung eines Bildes mit der o.g. Aufl¨osung dauert nach [6] drei Sekunden. F¨ ur die Belichtung eines Kinofilms, der aus ungef¨ahr 135.000 Einzelbildern besteht und der eine Spiell¨ ange von anderthalb Stunden besitzt, sind demnach circa 113 Stunden (ca. 5 Tage) erforderlich.
1.3 Grundregeln der Animation Die wichtigsten Grundregeln f¨ ur die Gestaltung von Animationen, die auch noch heute aktuell sind, wurden in den zwanziger und dreißiger Jahren in den Disney Studios entwickelt. F. Thomas und O. Johnston stellten diese Gestaltungsregeln, die aus der Beobachtung der Natur entstanden sind, in ihrem Buch Disney Animation: The Illusion of Life“ vor. Insgesamt wurden 11 Re” geln festgelegt, die nachfolgend aufgef¨ uhrt sind: Squash and Stretch. Die Squash and Stretch-Regel besagt, dass ein elastischer K¨ orper beim Aufprall auf einen anderen Gegenstand gestaucht und beim Abprallen wieder gestreckt wird. Dieser Effekt der Gestaltver¨anderung, der dazu dient, die Geschwindigkeit zu betonen, wird um so deutlicher, je elastischer der K¨ orper ist. Wichtig ist jedoch, dass das Volumen des Objektes hierbei konstant bleibt. Timing and Motion. Die Geschwindigkeit, mit der eine Handlung ausgef¨ uhrt wird, hat sowohl eine emotionale als auch eine physische Bedeutung. So wird von der Art der Bewegung ein Eindruck vom Gewicht eines K¨orpers vermittelt. Das Aufheben einer schweren Bowlingkugel erfolgt beispielsweise viel langsamer als das Greifen nach einem leichten Tennisball. Der Animateur muss dar¨ uber hinaus die Bewegung innerhalb eines angemessenen Zeitablaufs gestalten. Das f¨ ur die Bewegung vorgesehene Zeitintervall, darf zum einen nicht so kurz sein, dass der Zuschauer den Bewegungsablauf nicht richtig wahrnehmen kann; zum anderen darf die Bewegung auch nicht zu stark ausgedehnt werden, weil sonst die Aufmerksamkeit verloren geht.
14
1 Einf¨ uhrung
Anticipation. Eine Aktion kann in ihre Vorbereitungsphase, in ihre Ausf¨ uhrung sowie in eine Abschlussphase aufgeteilt werden. Unter Anticipation wird hierbei die Vorbereitung der eigentlichen Aktion verstanden. Ein Beispiel ist das Zur¨ uckziehen des Fußes bevor ein Ball getreten wird. Die Anticipation l¨ asst den Zuschauer eine bestimmte Handlung erwarten und bereitet ihn vor, damit er schnelle Aktionen besser wahrnehmen kann. Mit der Anticipation kann beispielsweise auch die Schwere eines Gegenstandes betont werden. So geht ein virtueller Charakter zuerst in die Knie, bevor er ein schweres Paket anhebt, w¨ ahrend er sich bei einem leichten Gegenstand lediglich b¨ ucken w¨ urde. Staging. Unter Staging wird die unmissverst¨ andliche Darstellung einer Handlungsidee verstanden. Ein wichtiges Ziel des Staging ist es, die Aufmerksamkeit des Zuschauers in das Zentrum der Handlung zu lenken. Ein im Zentrum der Handlung befindlicher Charakter sollte sich daher vom Rest der Szene besonders gut abheben. Dies kann beispielsweise durch Bewegung geschehen, da in einer u ¨berwiegend statischen Szene sich die Aufmerksamkeit vorzugsweise auf ein bewegtes Objekt richtet. Ist hingegen alles in einer Szene bewegt, so wird ein ruhendes Objekt besonders gut wahrgenommen. Auch mit Farbe l¨asst sich die Aufmerksamkeit auf das Zentrum einer Handlung fokussieren. In einer u ¨berwiegend grauen Szene wird beispielsweise ein buntes Objekt besonders gut registriert. Follow Through and Overlapping Action. Follow through ist der abschließende Teil einer Aktion. Ein Beispiel ist das Werfen eines Balls. Die Hand des Werfers bewegt sich auch dann noch weiter, nachdem der Ball sie bereits verlassen hat. Overlapping bedeutet, dass die Nachfolgeaktion ausgel¨ost wird, bevor die Vorg¨ angeraktion beendet ist. Hierdurch werden L¨ ucken zwischen den einzelnen zusammenh¨ angenden Aktionen vermieden und das Interesse der Zuschauer aufrecht erhalten. Zum Overlapping traf Walt Disney die folgende Feststellung: It is not neces” sary for an animator to take a character to one point, complete that action completely, and then turn to the following action as if he had never given it a thought until after completing the first action. When a character knows, what he is going to do, he doesn’t have to stop before each individual action and think to do it. He has it planned in advance in his mind“. Straight Ahead Action and Pose-to-Pose Action. Straight Ahead Actions in den von Hand gezeichneten Animationen sind Bildfolgen, die von einem Animationszeichner vom Anfang einer Szene bis zur ihrem Ende in einem Zug gezeichnet werden. Diese Technik wird verwendet, um beispielsweise spontan wirkende, wilde Raufszenen zu erzeugen. Im Gegensatz hierzu steht Pose-toPose Action. Hierbei wird eine Bildfolge sehr sorgf¨altig mit Keyframes, den Start- und Endposen, sowie nach einem genauen Zeitablauf geplant.
1.3 Grundregeln der Animation
15
Slow In and Out. Das Slow In and Out-Prinzip bedeutet, dass die bewegten Objekte abgebremst und beschleunigt werden m¨ ussen. Ein Bewegungsablauf erscheint plausibler, wenn die Geschwindigkeit eines Objektes etwas variiert. So ist es in der Trickfilmtechnik sinnvoll, die Geschwindigkeit eines Balles vor dem Auftreffen auf den Boden etwas abzubremsen und nach dem Abprallen zu beschleunigen. Die Abbrems- und Beschleunigungsvorg¨ange sind dabei m¨ oglichst kurz zu halten. Arcs. Die Arcs-Regel besagt, dass die Bewegungsabl¨aufe einer Aktion den nat¨ urlichen Bewegung entsprechen m¨ ussen. Die Bewegungen sollten daher nicht eckig, sondern rund und gleichm¨ aßig verlaufen. ¨ Exaggeration. Exaggeration erf¨ ullt den Zweck der Uberbetonung bestimmter Bewegungen, um die Aufmerksamkeit des Zuschauers f¨ ur bestimmte Aktionen mit besonders hoher Bedeutung zu erwecken. Hiervon sollte jedoch sparsamer Gebrauch gemacht werden, da sonst sehr leicht der gesamte Bewegungsablauf zu unrealistisch erscheint. Secondary Action. Eine Secondary Action ist das direkte Resultat einer zuvor erfolgten prim¨ aren Aktion. Sie wird eingesetzt, um eine Animation nat¨ urlicher und lebendiger erscheinen zu lassen und entspricht der im Abschn. 1.2.2 erw¨ ahnten Sekund¨ aranimation. Appeal. Appeal bedeutet, dass Handlung und Charaktere dem Zuschauergeschmack entsprechen m¨ ussen. Die Charaktere sollten lebendig erscheinen und eine Pers¨ onlichkeit besitzen, die m¨ oglichst vergleichbar mit dem Charisma realer Schauspieler ist. Die Szenen d¨ urfen weder zu simpel und langweilig, noch zu komplex und unverst¨ andlich sein. Spiegelsymmetrien sind in den Szenen m¨oglichst zu vermeiden.
2 Globale Bewegungen
In diesem Kapitel werden die Techniken zur Erzeugung von globalen Bewegungsabl¨ aufen behandelt. Eine h¨ aufig hierf¨ ur verwendete Methode, die im ersten Teil dieses Kapitels diskutiert wird, ist die Keyframe-Interpolation. Wie im nachfolgenden Abschnitt gezeigt, lassen sich Keyframes verwenden, um Objekte in einfacher Weise global zu verformen oder ihre r¨aumliche Bewegung mit Hilfe geometrischer Transformationen festzulegen. Dies trifft auch auf komplexere Rotationsbewegungen mit Hilfe von Quaternionen zu, die anschließend behandelt werden. Auch f¨ ur Kamerafahrten, die sehr h¨aufig in Computeranimationen Anwendung finden, erfolgt die Festlegung des Bewegungsablaufs mit Hilfe von Keyframes. In diesem Fall sind es die Start- und Zielpositionen der Segmente des Kamerapfades mit den korrespondierenden Ausrichtungen ¨ und Offnungswinkel des Kameraobjektivs. Die kinematischen Methoden geh¨ oren zum zweiten Themenbereich. Im Zusammenhang mit der Vorw¨ artsberechnung von kinematischen Ketten wird hier die Denavit-Hartenberg-Methode vorgestellt. Von großer Bedeutung sind auch die Methoden der inversen Kinematik, die gleichfalls ausf¨ uhrlich behandelt werden. Neben dem klassischen Ansatz zur L¨osung inverser kinematischer Probleme mit Hilfe der Jacobi-Matrix werden auch alternative Verfahren auf der Basis der transponierten Jacobi-Matrix sowie des CCD-Ansatzes erkl¨art.
2.1 Keyframes Die Keyframe-Interpolation wird bereits seit mehr als 60 Jahren zur manuellen Erstellung von Zeichentrickfilmen verwendet und geh¨ort damit zu den altesten noch gebr¨ auchlichen Animationsverfahren. Bis heute wird immer ¨ noch ein erheblicher Anteil aller Computeranimationen mit dieser Technik realisiert. In ihrer urspr¨ unglichen Form wird ein Bewegungsablauf mit Hilfe von Basisbildern – den sog. Keyframes – vorgegeben. Die Festlegung dieser Keyframes, auch Hauptphasen genannt, mit der ein Bewegungsvorgang f¨ ur
18
2 Globale Bewegungen
Keyframe 2 Keyframe 1
Keyframe 3 Keyframe 4
Inbetweens Abb. 2.1. Bestimmung des Bewegungsablaufs einer gelenkig verbundenen Figur mit Hilfe von Keyframes
gr¨ oßere Zeitschritte festgelegt wird, erfolgt bei der manuellen Zeichentrickfilmerstellung durch den Hauptphasenzeichner. Das Zeichnen aller in den Zwischenphasen befindlichen Bildern ist die Aufgabe eines weiteren Spezialisten, des Inbetweener. In ¨ ahnlicher Weise erfolgt auch die rechnergest¨ utzte Keyframe-Animation. Keyframes sind hier die Hauptbewegungsphasen, die wir jeweils als Start- und Zielkonfiguration eines interpolierten Bewegungsablaufs betrachtet k¨onnen. Sie werden vom Benutzer mit Hilfe von Parameter- oder Koordinatenfolgen, die diskreten Zeitpunkten entlang einer Zeitachse zugeordnet sind, festgelegt. Bei einer Figur, die aus starren gelenkig verbundenen Segmenten besteht, kann dies, wie Abb. 2.1 zeigt, durch die Festlegung der Gelenkkoordinaten erfolgen. Diese Geometriekoordinaten werden in einen durch die Zeitachse erweiterten Koordinatenraum eingetragen. Um nat¨ urlich wirkende Bewegungsabl¨ aufe zu erzeugen, sind abrupte Richtungs¨ anderungen der Objektsegmente zu vermeiden. Dies l¨asst sich dadurch erreichen, dass die Koordinatentupel durch Spline-Kurven verbunden werden, an denen sich die Inbetweens ausrichten. Hierbei ist zu beachten, dass die Abst¨ ande zwischen den Hauptphasen vom Bewegungsablauf abh¨angen. Schnelle Bewegungs¨ anderungen werden mit kurzen Keyframe-Abst¨anden, im Extremfall ohne Zwischenphasen, festgelegt. Die Definition langsamer und gleichm¨ aßiger Bewegungsabl¨ aufe kann hingegen mit sehr großen Abst¨anden zwischen den Schl¨ usselbildern erfolgen. 2.1.1 Parametergesteuerte Keyframe-Transformationen Eine einfache M¨ oglichkeit, Keyframes f¨ ur die Erzeugung von Computeranimationen einzusetzen, bieten die parametergesteuerten Keyframe-Transformationen. So l¨ asst sich die Form eines Objektes, durch Parameter gesteuert, in Zeitschritten ver¨ andern. Dies ist in einfachster Weise mit Hilfe der achsenunabh¨ angigen Skalierung der Fall. Allerdings ist hier die parametergesteuerte Form¨ anderung auf die Variation der Seitenverh¨altnisse begrenzt. Vielf¨altigere
2.1 Keyframes
19
M¨oglichkeiten bieten hingegen die Superquadriken. Die Abbildung 2.2 zeigt einen Superellipsoid, dessen Form implizit mit der Gleichung
KF1 Kf12
Kf2
=3.0 =1.0
Kf11
=3.0 =2.0
=3.0 =3.0
=2.0 =0.2
Kf10
Kf3 =2.0 =3.0
=3.0 =0.2
=1.0 =3.0
t
=1.0 =0.2
Kf4
=0.2 =3.0 =0.2 =0.2 =0.2 =0.2 =2.0 =1.0
Kf9
Kf5
Kf6
Kf8 Kf7 3.0
2.0 1.0 0.2 t1 Kf1
t2
t3
t4
t 6
t5 t
t 7
t 8
t9
t10
t11
t12 Kf12
Abb. 2.2. Parametergesteuerte Keyframes-Transformation mit Superellipsoiden: Keyframes Kf1,..., Kf12 (oben), Verlauf der linearen sowie mit Splines interpolierten (gestrichelt) Transformationsparameter (unten)
20
2 Globale Bewegungen
x rx
2/ν
y + ry
2/ν ν/µ
z + rz
2/µ =1
(2.1)
bestimmt wird. Die Keyframes werden hier mit den Parametern µ und ν festgelegt, die diskreten Zeitpunkten ti zugeordnet sind. Diese Parameter lassen sich als St¨ utzstellen betrachten, mit denen sich im einfachsten Fall der Werteverlauf durch lineare Interpolation bestimmen l¨asst. Hierbei wird jedoch der kontinuierliche Ablauf der Objektbewegungen infolge der Diskontinuit¨aten an den St¨ utzstellen der Parameterkurven gest¨ ort. Um einen kontinuierlichen Ablauf der Objektbewegung zu erhalten, wenden wir die Spline-Interpolation an. In Abbildung 2.2 sind oben die mit den Keyframe-Parametern µ1 bis ν12 deformierten Superellipsoiden, dargestellt. Sie werden als Keyframes Kf1 bis Kf12 den Zeitpunkten t1 bis t12 zugeordnet. Auf dem unteren Teil von Abb. 2.2 sind die Kurven der linear sowie mit Splines interpolierten Parameterverl¨aufe von µ und ν aus Glg. 2.1 gezeigt. Neben den Superquadriken gibt es eine Vielzahl weiterer Verfahren, um Objekte mit Hilfe parametergesteuerter Keyframe-Transformationen in kontrollierter Weise dynamisch zu deformieren. Im Kapitel 3 werden diese Methoden separat behandelt.
Rotationstransformationen Logos oder Schriftz¨ uge, die im Raum um beliebige Achsen rotierten oder die sich, durch Keyframes gesteuert, auf vorgegebenen Raumkurven bewegen, sind
Y
Y
Z
Z
X
X
(a)
(b)
¨ Abb. 2.3. Mehrdeutigkeiten bei Rotationsbewegungen durch inkrementelle Anderungen der Euler-Winkel: (a) Rotation um die X-Achse, (b) Rotation um die Y und Z-Achse
2.1 Keyframes
21
1.0
0.8 a00,a11,a22 0.6
a02,a10,a21
0.4
a01,a12,a20
0.2 .0
[rad]
1.0
2.0
3.0
4.0
-0.2
¨ Abb. 2.4. Anderung der Koeffizienten der Transformationsmatrix in Glg. 2.2 abh¨ angig vom Drehwinkel β. Es wird eine 270◦ Rotation um eine diagonal im Raum ausgerichtete Drehachse ausgef¨ uhrt
h¨ aufige Anwendungen der Computer Animation. Nachfolgend sollen die hierbei auftretenden Probleme sowie ihre L¨ osungen diskutiert werden. Um ein Objekt beliebig im Raum ausrichten zu k¨ onnen, m¨ ussen hierzu die Drehwinkel um die X-,Y- und Z-Achse bestimmt werden. Die Bestimmung dieser sog. Euler-Winkel ist jedoch nicht eindeutig. Nach [7] kann die gleiche Ausrichtung eines 3D-Objektes mit zw¨ olf verschiedenen Winkelkombinationen erreicht werden. Wegen dieser Mehrdeutigkeiten f¨ uhrt eine lineare Interpolation zwischen zwei gleichen, mit Keyframes definierten Objektorientierungen zu unterschiedlichen Bewegungspfaden. So soll zum Beispiel der Buchstabe R“ 180◦ um die X-Achse gedreht ” werden. Im einfachsten Fall wird, wie in der Abb. 2.3a dargestellt, der Winkelparameter einer Matrix, welche die Rotation um die X-Achse bewirkt, in gleichen Schritten von 0, ..., π ver¨ andert. Alternativ hierzu kann aber auch die gleiche Endposition dieses Zeichens mit einer inkrementellen Drehung im positiven Richtungssinn um die Z-Achse bei gleichzeitiger Rotation im negativen Richtungssinn um die Y -Achse erreicht werden (s. Abb. 2.3b). In jenen F¨ allen, in denen ein beliebiger Punkt P = (x, y, z) um eine frei im Raum ausgerichtete Achse rotieren soll, ist es erforderlich, die Euler-Winkel – und damit die Parameter der Transformationsmatrix – nach jedem Rotationsschritt neu zu bestimmen. Die Abbildung 2.4 zeigt am Beispiel einer diagonal im Raum ausgerichteten Drehachse und einer Rotation um 270◦ den Werteverlauf der Parameter in der Transformationsmatrix: ⎡ ⎤ ⎡ ⎤⎡ ⎤ xrot x a00 a01 a02 ⎣ yrot ⎦ = ⎣ a10 a11 a12 ⎦ ⎣ y ⎦ . (2.2) zrot a20 a21 a22 z
22
2 Globale Bewegungen
Mit Quaternionen lassen sich derartige Transformationen wesentlich eleganter durchf¨ uhren. Quaternionen-Rotationen. Ein Quaternion ist eine komplexe Zahl, die aus einem reellen und drei imagin¨ aren Anteilen besteht. Sie wurden 1843 von dem irischen Mathematiker Sir William Hamilton definiert. Mittels Quaternionen1 ist es in einfacher Weise m¨ oglich, eine Koordinatenrotation um eine beliebig im Raum ausgerichtete Achse auszuf¨ uhren. Der reelle Anteil s des Quaternions q = (s, v) = s + bi + cj + dk steht f¨ ur den Drehwinkel, w¨ahrend die drei imagin¨ aren Anteile des Vektors v die Ausrichtung der Rotationsachse bestimmen. Die Quaternionen-Rotation erfolgt mit: Rq (P) = qe p q−1 e . Hierbei ist qe ein Einheitsquaternion qe = (cos α, n sin α) = (cos α, nx sin α, ny sin α, nz sin α)
mit |n| = 1,
die den Drehwinkel sowie die Ausrichtung des Drehachsenvektors repr¨asentiert. p = (0, r) ist hingegen ein Quaternion, dessen Skalarteil den Wert Null aufweist und dessen Imagin¨ arteil die zu transformierenden Koordinaten des = q ¯e . Die Punktes P darstellt. Die Inverse2 von qe erhalten wir mit q−1 e Multiplikation dieser drei Quaternionen nach den im Anhang vorgestellten Regeln ergibt:
Drehachse p
Y
n X r
Z
Abb. 2.5. Quaternionen-Rotation 1 2
Die Rechenregeln f¨ ur Quaternionen sind im Anhang B erkl¨ art. Ist q ein Einheitsquaternion, so ist die Inverse gleich des komplement¨ aren Qua¯e ternions q−1 e = (s, −v) = q
2.1 Keyframes
23
Rq (P) = (0, (s2 − v2 )r + 2 v(v · r) + 2 s v × r). Mit den Festlegungen f¨ ur qe und p erhalten wir die Quaternionen-Rotation mit: Rq (P) = (0, r(cos2 α − sin2 α) + 2 n(n · r) sin2 α + 2 cos α sin α(n × r)) = (0, r cos 2α + (1 − cos 2α) n(n · r) + sin 2α(n × r)). Dieses Ergebnis l¨ asst sich wie folgt interpretieren: Wird die Operation qe (. . .)q¯e auf das Quaternion p = (0, r) angewendet, so erhalten wir, wie die Abb. 2.5 zeigt, die Drehung eines durch den Vektor r bestimmten Punktes P um die Achse n (hier n=Einheitsquaternion) mit dem Winkel 2α: Rq (p)
qe =(s,v)
q¯e =(s,−v)
p=(0,r)
⎡
⎤
⎤ ⎡ ⎡ ⎤ ⎡ ⎤ nx sin α/2 −nx sin α/2 x´ x α α (0, ⎣y´⎦) = (cos , ⎣ny sin α/2⎦) (0, ⎣y ⎦) (cos , ⎣−ny sin α/2⎦) . 2 2 nz sin α/2 −nz sin α/2 z´ z
(2.3)
In vielen F¨ allen ist es erforderlich, die Quaternionen-Rotation in die korrespondierende Matrixtransformation zu u uhren. Wir erhalten mit den ¨berf¨ Komponenten der Einheitsquaternion ⎡ ⎤ ⎤ ⎡ vx nx sin α/2 α qe = (cos , ⎣ny sin α/2⎦) = (s, ⎣vy ⎦) 2 vz nz sin α/2 die Koeffizienten der korrespondierenden Transformationsmatrix ⎡
⎤ a00 a01 a02 M = ⎣a10 a11 a12 ⎦ a20 a21 a22 mit a00 = 1 − 2 (vy2 + vz2 ),
a01 = 2 (vx vy − s vz ), 2 (vx2
a02 = 2 (vx vz + s vy ),
a10 = 2 (vx vy + s vz ),
a11 = 1 −
vz2 ),
a12 = 2 (vy vz − s vx ),
a20 = 2 (vx vz − s vy ),
a21 = 2 (vy vz + s vx ),
a22 = 1 − 2 (vx2 + vy2 ).
+
Die Bestimmung der Parameter des Quaternions mit den Parametern der Transformationsmatrix ist gleichfalls in einfacher Weise m¨oglich. Mit den Diagonalelementen der √ Transformationsmatrix erhalten wir den Skalarteil des Quaternions s = 0.5 a00 + a11 + a22 + 1, mit dem sich die drei Vektorkomponenten von q berechnen lassen:
24
2 Globale Bewegungen
a21 − a12 a02 − a20 a10 − a01 , vy = , vz = . 4s 4s 4s Beispiel. Anhand eines einfachen Beispiels soll nun die Anwendung der Quaternionen-Rotation verdeutlicht werden. Ein Punkt P mit den Koordinaten (2, 1, 0) soll um einen Vektor n rotiert werden, der kollinear zur Raumdiagonalen ausgerichtet ist. Die Koordinaten von P sind in inkrementellen Schritten |q| = 1 zu erf¨ ullen, von 0◦ bis 270◦ (s = 3π/4) zu rotieren.
Um die Forderung
muss n auf die Einheitsl¨ ange n = ( 1/3, 1/3, 1/3) skaliert werden. Wir setzen diese Parameter in Glg. 2.3 ein und erhalten: vx =
⎡ ⎤ ⎡ ⎤ ⎤ ⎡ x ´ 2
1/3 sin(t 3π/4) (0, ⎣y´⎦) =(cos(t 3π/4), ⎣ 1/3 sin(t 3π/4)⎦)(0, ⎣1⎦) z´ 0 1/3 sin(t 3π/4) ⎤ ⎡ − 1/3 sin(t 3π/4) (cos(t 3π/4), ⎣− 1/3 sin(t 3π/4)⎦) mit − 1/3 sin(t 3π/4)
Z n
d
1 3, 1 3, 1 3
i
0 ≤ t ≤ 1.
vb
v(u) Y
a2
(1-u)
Z
v
P: (2,1,0)
ve
X
X Y
Abb. 2.6. Beispiel zur Quaternionen-Rotation
Abb. 2.7. Sph¨ arische Vektorinterpolation
Indem wir den Parameter t mit konstanten Schritten von 0 bis 1 inkrementieren, erhalten wir den in der Abb. 2.6 dargestellten Raumkurvenverlauf. Vielfach ist es erforderlich, zeitgleich zur Koordinatenrotation auch die Orientierung der Drehachse zu ¨ andern. Hierzu bietet sich die in der Abb. 2.7 dargestellte sph¨ arische Vektorinterpolation an, bei der der normalisierte Drehachsenvektor einen Kreisbogen auf einer Kugeloberfl¨ache beschreibt. Mit Glg. 2.4 kann diese Interpolation in einfacher Weise durchgef¨ uhrt werden:
2.1 Keyframes
25
sin(1 − u)Ω sin uΩ + ve , u = 0, ..., 1. (2.4) sin Ω sin Ω Hierin ist v(u) der interpolierte Vektor und Ω der Winkel zwischen Anfangsund Endvektor vb und ve . Der Drehachsenvektor beschreibt auf seinem Weg vom Anfangs- zum Endpunkt eine sph¨ arische Raumkurve mit minimaler L¨ange. v(u) = vb
2.1.2 Kamerafahrten Bei Kamerafahrten bewegt sich eine virtuelle Kamera innerhalb einer 3DSzene auf einer zuvor festgelegten Raumkurve und erzeugt dabei eine Bildfolge aus unterschiedlichen Positionen und Richtungen. Die Keyframes sind in diesem Fall die zuvor festgelegten Kameraparameter. Zu diesen Parametern ¨ geh¨ oren neben der Kameraposition, die Projektionsrichtung, der Offnungswinkel des virtuellen Objektivs und der Orientierungswinkel, die jeweils diskreten Orten auf der Raumkurve zugeordnet sind. In Abbildung 2.8 tragen diese Orte, die den Verlauf der Raumkurve bestimmen, die Bezeichnungen K1 bis K5 . Nachfolgend soll ein einfaches Beispiel zur Implementierung einer Kamerafahrt diskutiert werden. Hierzu sind die folgenden Schritte erforderlich: 1. Festlegung des durch die 3D-Szene f¨ uhrenden Kamerapfades mit Hilfe der Schl¨ usselpositionen.
Abb. 2.8. Der Verlauf der Raumkurve wird mit den Kamerapositionen K1 bis ur jede der Schl¨ usselpositionen wird die Ausrichtung der Kamera K5 bestimmt. F¨ festgelegt
26
2 Globale Bewegungen
2. Bestimmung der Pfadl¨ ange und Einteilung des Pfades in ¨aquidistante Abschnitte (bei gleichbleibender Geschwindigkeit). 3. Bestimmung der Kameraausrichtung. 4. Abbildungstransformation. Bestimmung des Kamerapfades In dem vorliegenden Beispiel, Abb. 2.9, wurden die Kontrollpunkte P0 bis P9 mit den Koordinaten: P0 = (0.2, 0.2, 0.2), P1 = (0.4, 0.2, 0.2), P2 = (0.7, 0.4, 0.2), P3 = (0.8, 0.6, 0.2), P4 = (1.0, 1.0, 0.2), P5 = (0.8, 1.0, 0.2), P6 = (0.4, 0.8, 0.8), P7 = (0.44, 0.6, 0.2), P8 = (0.2, 0.3, 0.2) und P9 = (0.0, 0.2, 0.2) vorgegeben. Mit Hilfe der Kontrollpunkte wird der Kamerapfad unter Verwendung von B-Splines berechnet. Alternativ hierzu kann der Pfad auch mit anderen geeigneten Spline-Kurven bestimmt werden2 . Bei dem in diesem Beispiel verwendeten kubischen B-Splines B(u) = [B0,3 (u) B1,3 (u) B2,3 (u) B3,3 (u)]T , werden nach Glg. 2.5 jeweils vier Kontrollpunkte zur Berechnung eines Kurvensegmentes ben¨ otigt. Wir erhalten die Koordinaten des erste Kurvensegment S0 (u) mit den Kontrollpunkten: P0 = (0.2, 0.2, 0.2), P1 = (0.4, 0.2, 0.2), P2 = (0.7, 0.4, 0.2) und P3 = (0.8, 0.6, 0.2): P6
Z Y 1 P5 P9
P7
P8
P4
P3
P0 P1
P2
1
X
Abb. 2.9. Festlegung der Kontrollpunkte des Kamerapfades 2
Splines werden ausf¨ uhrlich in der Grundlagenliteratur zur Computergrafik [8], [9] behandelt
2.1 Keyframes
27
P6
Z Y
P5
S6
P9 P0
P8
S4
S5
1
P7
P4
S2
S1
S0
S3
P3
P2
P1
1
X
Abb. 2.10. Berechneter Kamerapfad bestehend aus den Segmenten s0 bis s6
⎡
⎤ B0,3 (u) ⎢ B1,3 (u) ⎥ ⎥ S0 (u) = [P3 P2 P1 P0 ] ⎢ ⎣ B2,3 (u) ⎦ B3,3 (u) ⎤ ⎡ u3 6 ⎡ ⎤ 0.8 0.7 0.4 0.2 ⎢ −3u3 + 3u2 + 3u + 1 6 ⎥ ⎥ ⎢ 3 = ⎣ 0.6 0.4 0.2 0.2 ⎦ ⎢ ⎥. 3u − 6u2 + 4 6 ⎦ ⎣ 0.2 0.2 0.2 0.2 3 (1 − u) 6
(2.5)
In gleicher Weise werden die Koordinaten der Kurvensegmente S1 bis S6 bestimmt: S1 (u) = P4 P3 P2 P1 · B(u), S2 (u) = P5 P4 P3 P2 · B(u), S3 (u) = P6 P5 P4 P3 · B(u), S4 (u) = P7 P6 P5 P4 · B(u), S5 (u) = P8 P7 P6 P5 · B(u), S6 (u) = P9 P8 P7 P6 · B(u). Das Ergebnis ist die in Abb. 2.10 dargestellte Raumkurve. Pfadl¨ ange. Um zu erreichen, dass sich die Kamera mit konstanter Geschwindigkeit auf der zuvor berechneten Raumkurve bewegt, k¨onnte der Gedanke aufkommen, f¨ ur jedes der sieben Segmente den Parameter u mit konstanten
28
2 Globale Bewegungen
Schritten, entsprechend der Reihenfolge in Abb. 2.10, zu inkrementieren. Dies w¨ urde allerdings voraussetzen, dass alle Kurvensegmente die gleiche L¨ange besitzen. Da dies nicht der Fall ist, muss die Gesamtl¨ange des Kamerapfades berechnet und anschließend in n ¨ aquidistante Abschnitte unterteilt werden, wobei n der Anzahl der inkrementellen Bewegungsschritte der virtuellen Kamera entspricht. F¨ ur jeden Schritt auf der Raumkurve ist die Nummer des jeweilige Kurvensegmentes sowie dessen u-Parameter in Glg. 2.5 zu bestimmen, um die Kameraposition zu berechnen. Indem wir die Raumkurve, wie in Abb. 2.11 dargestellt, durch gerade Strecken approximieren, l¨ asst sich die Kurvenl¨ange s n¨aherungsweise berechnen. Wir erhalten die Absch¨ atzung: ∆sk s≈ k
mit ∆sk =
∆x2k + ∆yk2 + ∆zk2 ,
sowie die exakte L¨ osung mit: s= 0
1
dx 2 du
+
dy 2 du
+
dz 2 du
du.
In das Kurvenintegral werden f¨ ur die Koordinaten der Kurve x, y und z die kubischen B-Spline Funktionen eingesetzt: si =
0
1
2 3 2 d( 3k=0 Bk,3 (u)xi+k ) d( k=0 Bk,3 (u)yi+k ) + du du +
3 2 d( k=0 Bk,3 (u)zi+k ) du
(2.6) 1/2
du.
Mit den ersten Ableitungen der drei Terme aus Glg. 2.6 erhalten wir: 1 u2 dx = (xi+2 − xi ) + u(xi − 2xi+1 + xi+2 ) + (−xi + 3xi+1 − 3xi+2 + xi+3 ) du 2 2 dy 1 u2 = (yi+2 − yi ) + u(yi − 2yi+1 + yi+2 ) + (−yi + 3yi+1 − 3yi+2 + yi+3 ) du 2 2 1 dz u2 = (zi+2 − zi ) + u(zi − 2zi+1 + zi+2 ) + (−zi + 3zi+1 − 3zi+2 + zi+3 ). du 2 2 Mit Hilfe der numerischen Integration l¨ asst sich Glg. 2.6 l¨osen. Im vorliegenden Fall erhalten wir mit den St¨ utzstellen P0 , P1 , P2 und P3 die L¨ange von Segment s0 :
2.1 Keyframes
29
si 1
Z si
yi
xi
si 1
zi
Y
X
Abb. 2.11. Bestimmung der Kurvenl¨ ange
s0 =
1
0
((0.25 + 0.1u − 0.15u2 )2 + (
u u2 1 + + ))du = 0.3022. 10 5 10
F¨ ur alle weiteren Segmente erhalten wir: s1 = 0.3022, s2 = 0.2788, s3 = 0.3237, s4 = 0.4602, s5 = 0.3899, s6 = 0.3412 sowie die Gesamtl¨ange des Kamerapfades ssum = 2.3291, die auf die Einheitsl¨ange skaliert wird: 1
s∗sum =
ssum
n
si = 1.
Um die st¨ uckweise definierte Raumkurve gleichm¨aßig durchfahren zu k¨onnen, muss der Kamerapfad, wie bereits eingangs erw¨ahnt, in gleiche Zeitschritte unterteilt werden. Hierzu f¨ uhren wir die Variable v ein, die quasi als Zeitvariable fungiert. Wir erhalten mit v den jeweiligen Segmentindex i sowie die Laufvariable u des dazugeh¨ origen Kurvensegmentes (v → i, u). Die Bestimmung von i erfolgt mit i−1 i s∗k ≤ v < s∗k . (2.7)
0
0
u
10
0.1
u
0.2
10
u
0.3
10
0.4
u
v
10
0.5
s4
u
0.6
10
0.7
0.8534
s3
0.6860
s2
k=0
0.4884
s1
0.3884
s0
0.2494
0
0.1297
k=0
s5
u
0.8
s6
u
10
0.9
1.0 1
1.0
Abb. 2.12. Darstellung der Zusammenh¨ ange zwischen den Variablen v, u sowie dem Segmentindex i
30
2 Globale Bewegungen
1
v
bg
bg
v f1 t
v f2 t
0
0
1
t
Abb. 2.13. Hilfsfunktionen f¨ ur unterschiedlich beschleunigte Kamerabewegungen
Mit dem Segmentindex i, der die Glg. 2.7 erf¨ ullt und der Hilfsvariablen 0 ≤ v ≤ 1 erhalten wir anschließend u mit u≈
v−
i−1
∗ k=0 sk . s∗i
Bei der Bestimmung von v gehen wir von der vereinfachenden Annahme aus, dass eine st¨ uckweise lineare Beziehung zwischen u und v besteht (s. Abb. 2.12). Dies ist bei genauer Betrachtung jedoch nicht der Fall. Der hierbei auftretende Fehler wird in Kauf genommen, da er f¨ ur die meisten Applikationen unerheblich ist. Eine gleichm¨ aßige Bewegung entlang der Raumkurve ist zur exakten Kontrolle des Bewegungsablaufs Voraussetzung. Um beispielsweise am Anfang und am Ende der Raumkurve die Kamerabewegung abbremsen zu k¨onnen, ist eine Hilfsfunktion erforderlich. Hierzu wird die v als Funktion einer weiteren Hilfsvariable 0 ≤ t ≤ 1 so gesteuert, dass sich ihr zeitlicher Anstieg am Anfang und am Ende des Kamerapfades entsprechend verringert, wie in Abb. 2.13 dargestellt. Unter Verwendung derartiger Kontrollfunktionen ist es auch m¨oglich, die Bewegung mehrerer Kameras so aufeinander abzustimmen, dass sie sich zu einem bestimmten Zeitpunkt in einer zuvor vom Benutzer festgelegten Konstellation befinden. Bestimmung der Kameraausrichtung Nach der Festlegung des Kamerapfades und dessen Unterteilung in ¨aquidistante Teilst¨ ucke, wird die Ausrichtung der virtuellen Kamera abh¨angig von der Position auf der Raumkurve bestimmt. Vielfach wird hierzu die Sichtachse (zk Achse) des Kamerakoordinatensystems entweder tangential zum Kamerapfad oder auf einen Punkt P im Weltkoordinatensystem ausgerichtet (s. Abb. 2.14).
2.1 Keyframes
31
Kamerapfad Y
t5
P zk xk
t1
yk
xk
yk
t4 zk
t3 Z Kamerakoordinatensystem
t2
X
Abb. 2.14. Ausrichtung des Kamerakoordinatensystems
W¨ahrend die Bestimmung der zk -Achse zum Fixpunkt P einfach ist, muss f¨ ur die tangentiale Ausrichtung der zk -Achse die erste Ableitung der Raumkurve zk = dS(u)/du bestimmt werden. Wir erhalten den Tangentenvektor f¨ ur das Segment i an der Stelle u mit: ⎡ ⎤ 3 Bj,3 (u) xi−j+3 du d j=0 ⎢ ⎥ dSi (u) ⎢ ⎥ 3 du ⎥ . = ⎢d B (u) y zk (u) = j,3 i−j+3 du ⎦ ⎣ j=0 3 d du j=0 Bj,3 (u) zi−j+3 Um das Kamerakoordinatensystem festzulegen, wird sowohl die Ausrichtung der zk -Achse, als auch die Orientierung der yk - und der xk -Achse bestimmt. Die Ausrichtung der yk -Achse ist zwar frei w¨ahlbar, sie soll sich jedoch in diesem Beispiel an der Y -Achse orientieren. Unter der Vorgabe, dass die zk und yk -Achse zusammen mit der Y -Achse des Weltkoordinatensystems in einer Ebene liegen, erhalten wir die Koordinatenachsen der virtuellen Kamera als Einheitsvektoren mit: z∗k = zk /zk , x∗k = (xk × Y)/xk × Y, yk∗ = x∗k × z∗k . Kameraschwenks Um Kamerafahrten lebendiger zu gestalten, werden oftmals Kameraschwenks durchgef¨ uhrt. Dabei werden oft Rotationen der virtuellen Kamera um alle drei Achsen des Kamerakoordinatensystems synchron zu den Schritten entlang der Raumkurve verwendet. Ein Beispiel verdeutlicht, wie diese Rotation implementiert wird. Hierbei gehen wir davon aus, dass am Anfang eines Segments die zk -Achse auf den Punkt P = (0.5, 0.5, 0.1) zeigt und am Ende tangential zum Pfad ausgerichtet ist, wie in Abb. 2.15 dargestellt.
32
2 Globale Bewegungen
Y
zke
yke
xke yk
X
zk xk
Z yka zka
P
xka
Abb. 2.15. Kameraschwenk
Zuerst werden die Achsen der Kamerakoordinatensysteme am Anfang und am Ende des vierten Raumkurvensegmentes berechnet. Wir erhalten mit den Startkoordinaten des Kurvensegmentes Pa4 = [0.933, 0.933, 0.2] die zum Fokuspunkt P ausgerichtete zk -Achse des Kamerakoordinatensystems als Einheitsvektor mit: z∗ka =
P − Pa4 = [−0.6978, −0.6978, −0.1610]. P − Pa4
Die yk -Achse soll in der Ebene liegen, die durch die zk -Achse und die Y Achse des Weltkoordinatensystems aufgespannt wird. Hierdurch l¨asst sich die xk - und die yk -Achse in einfacher Weise berechnen: zka × Y = [0.2249, 0.0, −0.9744] zka × Y = x∗ka × z∗ka = [−0.68, 0.7162, −0.1569].
x∗ka = ∗ yka
Um das Kamerakoordinatensystem am Ende des Kurvensegmentes zu berechnen, wird die tangential zum Kamerapfad ausgerichtete zke -Achse (Sichtachse) bestimmt. Wir erhalten die Vektorkomponenten von zke = dS4 (u)/du f¨ ur u = 1 mit
zkex =
t(t − 4) t − 4t + t2 3t2 = −0.3, zkey = = −0.1, zkez = = 0.3, 10 10 10
die wie auch xke und yke in Einheitsvektoren umgeformt werden:
2.1 Keyframes
33
z∗ke = [−0.3, −0.1, 0.3]/0.4359 = [−0.6882, −0.2294, 0.6882] zke × Y = [−0.7071, 0.0, −0.7071] x∗ke = zke × Y ∗ yke = x∗ke × z∗ke = [−0.1622, 0.9733, 0.1622]. Nach der Bestimmung der Kamerakoordinatensysteme am Anfang und am Ende des Kurvensegmentes, werden die interpolierten Kameraorientierungen berechnet. Hierzu wird das mit den Achsenvektoren xka , yka und zka definierte Anfangskoordinatensystem abh¨ angig vom Parameter u in das durch xke , yke und zke gebildete Endkoordinatensystem u uhrt. ¨ berf¨ Dies erfolgt mit der bereits in Abschn. 2.1.1 diskutierten sph¨arischen Vektorinterpolation. Nach der Bestimmung des Winkels zwischen dem Einheitsur u = 0, ..., 1 der interpolierte Einheitsvektorpaar ∠(z∗ka , z∗ke ) = Ωz , wird f¨ vektor z∗k mit z∗k (u) = z∗ka
sin(1 − u)Ωz sin uΩz + z∗ke sin Ωz sin Ωz
berechnet. Diese Interpolation wird in gleicher Weise auch mit den Y -Achsenvektoren durchgef¨ uhrt, wobei die Z- und die Y -Achse mit yk∗ = x∗k × z∗k x∗k = (zk × yk )/zk × yk orthogonal zueinander ausgerichtet werden. Abbildungstransformation Die Aufgabe der Abbildungstransformation ist es, jene Teile einer 3D-Szene, die sich innerhalb des Sichtvolumens der virtuellen Kamera befinden, auf deren Projektionsebene abzubilden. Die Abbildung 2.16 zeigt, dass dieses Sichtvolumen einen Pyramidenstumpf bildet, der sich, vom Projektionszentrum PRP (Projection Reference Point) ausgehend, ¨ offnet. Er ist in Richtung der zk Achse sowohl durch eine vordere als auch durch eine hintere Fl¨ache, den sog. Front- und Back-Clipping Planes, begrenzt. Die Projektionsebene sowie die vordere Begrenzungsfl¨ ache liegen vor dem im Ursprung des Kamerakoordinatensystems befindlichen VRP (View Reference Point). Mit der Festlegung des Sichtfensters erfolgt die seitliche Begrenzung des Pyramidenstumpfes. Ausgehend von diesen Festlegungen l¨ asst sich die Abbildungstransformation, wie nachfolgend beschrieben, in f¨ unf Schritte3 unterteilen. 3
F¨ ur den Fall, dass die Z-Achse des Kamerakoordinatensystems nicht das Projektionszentrum PRP schneidet, ist zus¨ atzlich eine Scherungstransformation erforderlich.
34
2 Globale Bewegungen
Abb. 2.16. Festlegung des Sichtvolumens
Schritt 1: Translation des Kamerakoordinatensystems. Mit dem ersten Transformationsschritt (s. Abb. 2.17) werden entsprechend Glg. 2.8 die Objekt- und Kamerakoordinaten verschoben4 , so dass das Zentrum des Kamerakoordinatensystems (VRP) mit dem Ursprung des Weltkoordinatensystems (WKS) u ¨bereinstimmt.
Z Z yk Y
Y
yk
VRP
VRP zk
X zk
X
xk xk
Abb. 2.17. Translation des VRP in den Ursprung des WKS
⎛
⎞ ⎛ x(1) 10 ⎜ y (1) ⎟ ⎜ 0 1 ⎜ ⎟ ⎜ ⎝ z (1) ⎠ = ⎝ 0 0 00 1 4
⎞⎛ ⎞ 0 −xvrp x ⎜y ⎟ 0 −yvrp ⎟ ⎟⎜ ⎟ 1 −zvrp ⎠ ⎝ z ⎠ 0 1 1
(2.8)
Die geklammerten Indizes kennzeichnen die ge¨ anderten Koordinaten nach den jeweiligen Transformationsschritten.
2.1 Keyframes
35
Schritt 2: Rotation des Kamerakoordinatensystems. Der zweite Transformationsschritt (s. Abb. 2.18) richtet entsprechend der Glg. 2.9 die Achsen des Kamerakoordinatensystems durch Drehung parallel zu denen des WKS aus. Z Z=zk* Y
yk
Y=yk* VRP X zk
VRP X=xk*
Abb. 2.18. Ausrichtung der Achsen des Kamerakoordinatensystems auf die des Weltkoordinatensystems
⎛
⎞ ⎛ x(2) u1 ⎜ y (2) ⎟ ⎜ v1 ⎜ ⎟ ⎜ ⎝ z (2) ⎠ = ⎝ n1 0 1
u2 v2 n2 0
u3 v3 n3 0
⎞ ⎛ (1) ⎞ x 0 ⎜ y (1) ⎟ 0⎟ ⎟ ⎟⎜ 0 ⎠ ⎝ z (1) ⎠ 1 1
(2.9)
mit n = [ n1 n2 n3 ] = −zk /|zk | , u = [ u1 u2 u3 ] = (yk × −zk )/|yk × −zk | , v = [ v1 v2 v3 ] = n × u. Schritt 3: Translation des PRP in den Ursprung des WKS. Der dritte Transformationsschritt (s. Abb. 2.19) verschiebt entsprechend der Glg. 2.10 das Projektionszentrum (PRP) in den Ursprung des Weltkoordinatensystems. Dieser Transformationsschritt bestimmt mit dem Parameter zprp und der ¨ Gr¨ oße des Sichtfensters (wx , wy ) den Offnungswinkel und damit den Zoom der virtuellen Kamera. ⎞ ⎛ x(3) 1 ⎜ y (3) ⎟ ⎜ 0 ⎟ ⎜ ⎜ ⎝ z (3) ⎠ = ⎝ 0 0 1 ⎛
⎞ ⎛ (2) ⎞ x 00 0 ⎜ y (2) ⎟ 10 0 ⎟ ⎟ ⎟⎜ 0 1 −zprp ⎠ ⎝ z (2) ⎠ 00 1 1
(2.10)
36
2 Globale Bewegungen Z Z
Projektionsebene
Y
Y
VRP VRP
zprp
PRP X
PRP
X
Abb. 2.19. Translation des PRP in den Ursprung des Weltkoordinatensytems
Schritt 4: Transformation in das perspektivisch-projizierte, kanonische Sichtvolumen. Der vierte Transformationsschritt (s. Abb. 2.20) u uhrt mit Hilfe der Skalierungstransformation Glg. 2.11 das pyrami¨ berf¨ denf¨ ormige Sichtvolumen in die sog. perspektivisch projizierte, kanonische Form ⎛ (4) ⎞ ⎛ ⎞ ⎛ (3) ⎞ x x sx 0 0 0 ⎜ y (4) ⎟ ⎜ 0 sy 0 0 ⎟ ⎜ y (3) ⎟ ⎜ ⎟ ⎜ ⎟ ⎟⎜ (2.11) ⎝ z (4) ⎠ = ⎝ 0 0 sz 0 ⎠ ⎝ z (3) ⎠ 0 0 0 1 1 1 mit sx = 2zprj /(zbcp wx ),
Z
sy = 2zprj /(zbcp wy ),
"back clipping plane” [-1,-1,1] zbcp
sz = 1/zbcp .
Z [1,1,1]
[-1,1,1] [1,-1,1] z*prj
Y -zprp=zprj
Y
"front clipping plane"
wx
Projektionsebene PRP=[0,0,0]
PRP
X
X
Abb. 2.20. Transformation des Sichtvolumens in die perspektivisch- projizierte, kanonische Form
2.1 Keyframes
37
Schritt 5: Transformation in das parallel-projizierte, kanonische Sichtvolumen. Mit dem f¨ unften und letzten Transformationsschritt (s. Abb. 2.21) wird nach Glg. 2.12 eine perspektivische Transformation durchgef¨ uhrt, die das gesuchte parallel-projizierte, kanonische Sichtvolumen erzeugt. ⎞ ⎛ (4) ⎞ ⎛ (5) ⎞ ⎛ x x 10 0 0 ⎜ y (5) ⎟ ⎜ 0 1 0 0 ⎟ ⎜ y (4) ⎟ ⎟⎜ ⎟ ⎜ ⎟ ⎜ (2.12) ⎝ z (5) ⎠ = ⎝ 0 0 p1 p2 ⎠ ⎝ z (4) ⎠ 00 1 0 w 1 mit p1 =
1 1 − zf∗cp
und p2 =
−zf∗cp . 1 − zf∗cp
Abb. 2.21. Transformation des perspektivisch-projizierten Sichtvolumens auf das parallel-projizierte, kanonische Sichtvolumen
Ausgehend vom parallel-projizierten, kanonischen Sichtvolumen kann die Abbildung des 3D-Objektes auf die Projektionsebene in sehr einfacher Weise mittels Parallelprojektion erfolgen. Ein weiterer großer Vorteil besteht darin, dass sich Objekte, die sich nur zum Teil innerhalb dieses Sichtvolumens befinden, mit einfachen 2D-Verfahren an den parallel verlaufenden Grenzfl¨ achen kappen lassen. Die Verwendung von homogenen Koordinaten5 erlaubt die Zusammenfassung der vier Transformationsmatrizen Glg. 2.8 bis Glg. 2.12 zur Glg. 2.13. 5
homogene Koordinaten werden ausf¨ uhrlich in der Grundlagenliteratur zur Computergrafik [8], [10] behandelt.
38
2 Globale Bewegungen
⎛
⎞ ⎛ x(5) sx u 1 ⎜ y (5) ⎟ ⎜ sy v1 ⎜ ⎟ ⎜ ⎝ z (5) ⎠ = ⎝ p1 sz n1 −sz n1 w
sx u 2 sy v2 p 1 sz n 2 −sz n2
sx u 3 sy v3 p 1 sz n 3 −sz n3
⎞⎛ ⎞ k1 x ⎜y⎟ k2 ⎟ ⎟⎜ ⎟ k3 ⎠ ⎝ z ⎠ k4 1
(2.13)
hierin ist: k1 = −sx (u1 xvrp + u2 yvrp + u3 zvrp ) k2 = −sy (v1 xvrp + v2 yvrp + v3 zvrp ) k3 = p2 − p1 sz (n1 xvrp + n2 yvrp + n3 zvrp + zprp ) k4 = −sz (n1 xvrp + n2 yvrp + n3 zvrp + zprp )
2.2 Direkte Kinematik Kinematik ist die Lehre von der geometrischen Beschreibung einer Bewegung, ohne dass die Ursachen der Bewegung durch ¨außerlich wirkende Kr¨afte ber¨ ucksichtigt werden. 2.2.1 Kinematische Ketten Eine einfache M¨ oglichkeit, um gelenkig verbundene Strukturen zu animieren, wie beispielsweise die Armsegmente eines Roboters, bietet die Koordinatentransformation. Dazu stellt man sich lokale Koordinatensysteme in den jeweiligen Gelenken vor. Betrachtet man nun eines dieser Koordinatensysteme als Basis, so ergibt sich eine Hierarchie von Koordinatensystemen, wobei die Basis die Wurzel der Hierarchie bildet. Die Koordinatensysteme k¨onnen dann relativ zueinander definiert werden. Eine kinematische Kette ist dann ein Pfad von der Wurzel bis zu einem bestimmten Segment. Die endg¨ ultige Position dieses Segments ergibt sich dann aus der Multplikation der Transformationen, die
Y
BKS
X (a)
(b)
(c)
(d)
(e)
Abb. 2.22. Zerlegung einer skelettalen Struktur (a) in kinematische Ketten (b–e)
2.2 Direkte Kinematik
39
die relativen Stellungen der Gelenkkoordinatensysteme repr¨asentieren, in der Reihenfolge entlang des Pfades. Die Definition der Segmentgeometrien erfolgt hierbei innerhalb der lokalen Koordinatensysteme. Am Beispiel einer vereinfachten Skelettstruktur des Bewegungsmodells eines Menschen l¨ asst sich, wie die Abb. 2.22 illustriert, die Zerlegung dieses Modells in vier kinematische Ketten darstellen. Jede dieser kinematischen Ketten hat eine Verankerung in einem Basiskoordinatensystem (BKS). Koordinatentransformationen wirken sich hierbei innerhalb einer Kette nur auf jene lokalen Koordinatensysteme (LKS) aus, die bez¨ uglich des BKS eine niedrigere Hierarchie aufweisen. Anhand einer kinematischen Kette, die nur aus drei Segmenten besteht (s. Abb. 2.23), l¨ asst sich die Berechnung der Segmentkoordinaten als Funktion der Drehwinkel α1 , α2 und α3 verdeutlichen. Die Drehachse von Segment 1 befindet sich im Ursprung des BKS. Die Koordinaten der Drehachsen der beiden weiteren Segmente sind x1join , y1join sowie x2join , y2join . Mit diesen Vorgaben erfolgt die Transformation der Koordinaten der Segmente 1 bis 3 mit den Glgn.: (1)
(1)
(1)
(1)
(1)
(1)
(1)
(1)
(1)
(1)
[x1 y1 ] = [Rot(α1 )][x1 y1 ]T , [x2 y2 ] = [Trans(x1join y1join )][Rot](α2 )][Rot(α1 )][x2 y2 ]T , [x3 y3 ] = [Trans(x2join y2join )][Rot(α3 )][Rot(α2 )][Rot(α1 )][x3 y3 ]T .
Abb. 2.23. (a) Geometrische Beschreibung der Segmente einer kinematischen Kette innerhalb der lokalen Koordinatensysteme, (b) Darstellung der transformierten Segmente innerhalb des BKS
40
2 Globale Bewegungen
Dieses einfache Beispiel verdeutlicht, dass die Koordinatenberechnung im dreidimensionalen Raum bei l¨ angeren kinematischen Ketten komplex werden kann, zumal oftmals weitere Gelenktypen wie Schiebe- oder Kugelgelenke zu ber¨ ucksichtigen sind. Eine M¨ oglichkeit, die Berechnung komplexer kinematischer Ketten erheblich zu vereinfachen, bietet die Denavit-HartenbergNotation [11]. 2.2.2 Denavit-Hartenberg-Notation Die Denavit-Hartenberg-Notation (DH-Notation) wurde urspr¨ unglich von Jacques Denavit und Richard S. Hartenberg zur kinematischen Synthese von Robotergelenken entwickelt. Sie basiert auf einer einheitlichen Notation der Gelenkverbindungen. Mit Hilfe der DH-Notation kann, ausgehend von dem lokalen Gelenkkoordinatensystem i, die Lage und die Orientierung des nachfolgenden Koordinatensystems i + 1 unter Verwendung der in Abb. 2.24 dargestellten Parameter bestimmt werden. Hierin haben θi , ai , di und αi die folgende Bedeutung: • • • •
θi : Drehung um die zi -Achse. ai : Distanz zwischen zwei benachbarten Gelenkverbindungen in Richtung der xi+1 -Achse. di : Distanz zwischen zwei benachbarten Gelenkverbindungen in Richtung der zi+1 -Achse. αi : Verdrehung der benachbarten Gelenke um die xi+1 -Achse.
Die Transformation vom Gelenkkoordinatensystem i nach i + 1 erfolgt mit der upfung mit den elementaren Matrix DHi,i+1 , die durch multiplikative Verkn¨
Zi+1 Zi Gelenkverbindung i+1
Gelenkverbindung i
Gelenkverbindung i+2
di Zi+1
Yi Gelenkkoordinatensystem i
ai
ai
Zi Xi
di
Xi
Xi+1 Gelenkkoordinatensystem i+1
i
Abb. 2.24. Darstellung der DH-Gelenkparameter
2.2 Direkte Kinematik
41
Transformationsmatrizen Rotz (θi ), Transz (di ), Transx (ai ) und Rotx (αi ) erzeugt wird. Wir erhalten: DHi,i+1 = [Rotx (αi )] [Transx (ai )] [Transz (di )] [Rotz (θi )] Hierin haben die einzelnen Transformationsmatrizen die folgenden Funktionen: Die Rotationsmatrix Rotz (θi ) bewirkt eine Drehung um die z-Achse des Gelenkkoordinatensystems i mit dem Winkel θi . θi ist der Winkel zwischen den lokalen Koordinatenachsen xi und xi+1 . ⎛ ⎞ cos θi − sin θi 0 0 ⎜ sin θi cos θi 0 0 ⎟ ⎟ Rotz (θi ) = ⎜ ⎝ 0 0 1 0⎠ 0 0 01 Die Translationsmatrix
⎛
1 ⎜0 Transz (di ) = ⎜ ⎝0 0
00 10 01 00
⎞ 0 0⎟ ⎟ di ⎠ 1
erzeugt eine Verschiebung mit dem Distanzwert di in Richtung der positiven zi -Achse. Die Translationsmatrix ⎛ ⎞ 1 0 0 ai ⎜0 1 0 0 ⎟ ⎟ Transx (ai ) = ⎜ ⎝0 0 1 0 ⎠ 000 1 verursacht eine Verschiebung mit dem Distanzwert ai in Richtung der positiven xi+1 -Achse und die Rotationsmatrix ⎞ ⎛ 1 0 0 0 ⎜ 0 cos αi − sin αi 0 ⎟ ⎟ Rotx (αi ) = ⎜ ⎝ 0 sin αi cos αi 0 ⎠ 0 0 0 1 bewirkt eine Drehung um die x-Achse des Gelenkkoordinatensystems i+1 mit dem Winkel αi zwischen den Koordinatenachsen zi und zi+1 . Als Ergebnis der multiplikativen Verkn¨ upfung erhalten wir die Verbundmatrix ⎛
⎞ − sin θi 0 ai cos θi ⎜ sin θi cos αi cos θi cos αi − sin αi −di sin αi ⎟ ⎟ DHi,i+1 (θi , di , ai , αi ) = ⎜ ⎝ sin θi sin αi cos θi sin αi cos αi di cos αi ⎠ . 0 0 0 1 (2.14)
42
2 Globale Bewegungen
Jede Transformation zwischen zwei benachbarten Gelenkkoordinatensystemen erfolgt mit einer DH-Matrix, die entsprechend parametrisiert wird. Um die lokalen Koordinaten eines beliebigen Segments auf das Basiskoordinatensystem (BKS) abzubilden, werden die DH-Matrizen, die den einzelnen Gelenkverbindungen zugeordnet sind, miteinander multipliziert. Die Reihenfolge der multiplikativen Verkn¨ upfung entspricht der Hierarchiefolge der lokalen Gelenkkoordinatensysteme. ⎛ ⎞ ⎛ ⎞ x x ⎝y⎠ = [DH0,1 ][DH1,2 ] . . . [DHn−2,n−1 ][DHn−1,n ] ⎝ y ⎠ z BKS z LKS
n
Die Abbildung 2.25 verdeutlicht diese Zusammenh¨ange an einer aus vier Segmenten bestehenden kinematischen Kette. Da jedem Segment eine gleich strukturierte Transformationsmatrix besitzt und die Reihenfolge der multiplikativen Verkn¨ upfungen vorgegeben ist, kann die Koordinatenberechnung schematisiert werden. Diese Schematisierung erfolgt in der Weise, dass die DH-Parameter aller Gelenkverbindungen in eine Tabelle eingetragen werden. Die kinematische Beschreibung eines einfachen in Abb. 2.26a dargestellten Robotermodells mit Hilfe der DH-Spezifikation zeigt die Tabelle 2.1. Das in Abb. 2.26b dargestellte Gelenkschema zeigt die geometrische Bedeutung der Parameter. Da die Parameter di , ai und αi Konstanten sind, lassen sich die Bewegungen des Roboterarms nur mit den Gelenkvariablen θ0 bis θ4 beschreiben. Zur Bestimmung der Segmentkoordinaten werden hierzu die DH-Parameter aus der Tabelle 2.1 in die korrespondierende Transformationsmatrix Glg. 2.14 eingesetzt. Wir erhalten die Koordinaten der Segmente 1 bis 5 mit:
DH1,2 X1
LKS1
Y1
Y2 LKS2 X2
Y4 DH2,3
LKS4 Y3
Y
DH0,1 BKS X
X4
LKS3 X3
Abb. 2.25. Transformationen zwischen den lokalen Koordinatensystemen innerhalb einer aus vier Segmenten bestehenden kinematischen Kette
2.2 Direkte Kinematik Segment 2 Segment 1
y2
L1 Segment 3
L2 x2
y1
1 y4
z1 z4
z0 y0
43
y3
2
z2
3
x1 L3
z0
z3
x3 z4
4
x4
x4
y0
Segment 4
0 x0
x0 (a)
(b)
Abb. 2.26. Robotermodell (a) sowie dessen schematische Gelenkdarstellung (b) anhand der in Tabelle 2.1 dargestellten DH-Spezifikation
Tabelle 2.1. DH-Spezifikation des Roboters aus Abb. 2.26 Transfor– mations– matrix DH0,1 DH1,2 DH2,3 DH3,4 DH4,5
Drehung θi um Z-Achse θ0 θ1 θ2 θ3 θ4
Translation di die in Richtung der Z–Achse H 0 0 0 0
Translation ai in Richtung der X–Achse 0 L1 L2 L3 0
Drehung αi um X-Achse 90◦ 0 0 90◦ 0
[x y z]BKS = DH(θ0 , H, 0, 90◦ ) [x y z]LKS1 T
[x y z]BKS = DH(θ0 , H, 0, 90◦ ) DH(θ1 , 0, L1 , 0◦ ) [x y z]TLKS2 [x y z]BKS = DH(θ0 , H, 0, 90◦ ) DH(θ1 , 0, L1 , 0◦ ) DH(θ2 , 0, L2 , 0◦ ) [x y z]LKS3 T
die
44
2 Globale Bewegungen
[x y z]BKS = DH(θ0 , H, 0, 90◦ ) DH(θ1 , 0, L1 , 0◦ ) DH(θ2 , 0, L2 , 0◦ ) DH(θ3 , 0, L3 , 90◦ ) [x y z]LKS4 T
[x y z]BKS = DH(θ0 , H, 0, 90◦ ) DH(θ1 , 0, L1 , 0◦ ) DH(θ2 , 0, L2 , 0◦ ) DH(θ3 , 0, L3 , 90◦ ) DH(θ4 , 0, 0, 0◦) [x y z]TLKS5
¨ Bestimmung der Gelenkvariablen. W¨ ahrend sich die zeitlichen Anderungen der Gelenkvariablen an k¨ unstlichen mechanischen Systemen in der Regel berechnen lassen, ist dies bei nat¨ urlichen kinematischen Systemen, die das Bewegungsverhalten des Menschen oder von Tieren realistisch darstellen sollen, außerst schwierig. Speziell die realistische Darstellung der Lauf- und Gehbewe¨ gungen des Menschen ist problematisch, da sich derartige Bewegungsvorg¨ange in unser visuelles Ged¨ achtnis fest eingepr¨ agt haben. Selbst kleinste Abweichungen, eines mit Methoden der Kinematik definierten Bewegungsmodells vom nat¨ urlichen, bekannten Bewegungsverhalten, werden wahrgenommen und als fehlerhaft registriert. Weiterhin kann ein Bezugskoordinatensystem nicht eindeutig festgelegt werden, da entweder nur der linke oder der rechte Fuß Bodenber¨ uhrung hat oder beim schnellen Laufen beide F¨ uße vom Boden gel¨ost sein k¨onnen. In diesem Fall ist es sinnvoll, das BKS als Fixpunkt außerhalb des K¨orpermodells zu ¨ definieren (s. Abb. 2.27). Die zeitlichen Anderungen der Gelenkvariablen werden direkt von einem realen Akteur, der den gew¨ unschten Bewegungsablauf vorf¨ uhrt, mit Hilfe von Sensoren registriert. Unter Verwendung von Bildverarbeitungsmethoden lassen sich die mit dem sog. Motion-Capturing (s. Kap. 7) ermittelten Bewegungsrohdaten aufbereiten und zur Parameterisierung des kinematischen Bewegungsmodells verwenden.
l
r Y
Y X BKS
r
Y
l
X
X BKS
r l
BKS
Abb. 2.27. Festlegung des Bezugskoordinatensystems zur Bestimmung der Laufbewegungsparameter
2.3 Inverse Kinematik
45
2.3 Inverse Kinematik Im Gegensatz zur direkten Kinematik, bei der die Position einer Gelenkverbindung oder die Koordinaten (xe , ye , ze ) am Ende einer kinematischen Kette (Effektor) als Funktion der Gelenkvariablen Θ = (θ1 , ..., θn ) bestimmt werden, ¨ geht man bei der inversen Kinematik (IK) von einer vorgegebenen Anderung der Position und Orientierung des Effektors aus und bestimmt, wie in Abb. 2.28 dargestellt, die hierzu notwendigen Ver¨ anderungen der Gelenkwinkelvektors Θ∗ = Θ + ∆Θ. Da bereits bei einer geringen Anzahl von maximal f¨ unf Gelenken eine analytische L¨ osung nicht m¨ oglich ist, muss sie mit Hilfe von numerischen Verfahren wie z.B. der Taylor-Entwicklung approximiert werden. Um diese Zusammenh¨ ange etwas einfacher darzustellen, betrachten wir vorerst nur den zweidimensionalen Fall. Wir erhalten die N¨aherungen f¨ ur x und y mit: x = fx (Θ) = fx (θ1 , . . . , θn ) = fx (Θa + ∆Θ) ∂fx (Θ) ∂fx (Θ) ∂fx (Θa ) ≈ fx (Θ) + ∆θ1 + ∆θ2 + . . . + ∆θn ∂θ1 ∂θ2 ∂θn y = fy (Θ) = fy (θ1 , . . . , θn ) = fy (Θa + ∆Θ) ∂fy (Θ) ∂fy (Θ) ∂fy (Θa ) ∆θ1 + ∆θ2 + . . . + ∆θn ≈ fy (Θ) + ∂θ1 ∂θ2 ∂θn Hieraus lassen sich die Positions¨ anderungen des Effektors ∆P = (∆x, ∆y) bestimmen: ∂fx (Θ) ∂fx (Θ) ∂fx (Θa ) ∆θ1 + ∆θ2 + . . . + ∆θn ∂θ1 ∂θ2 ∂θn ∂fy (Θ) ∂fy (Θ) ∂fy (Θa ) ∆y = ∆θ1 + ∆θ2 + . . . + ∆θn . ∂θ1 ∂θ2 ∂θn
∆x =
* = ?
Y *2 = ?
2
P*
* = ?
P P
X Abb. 2.28. Darstellung des IK-Problems
46
2 Globale Bewegungen
Y
P*
Dqe = q*e - qe
q*e
Dq2
P qe
Dq3
X Dq1 Abb. 2.29. Ausrichtung des Effektors an die Zielorientierung
Zus¨ atzlich zur schrittweisen Ann¨ aherung des Effektors an seine Zielposition wird auch die Orientierung des Effektors θe an die vorgegebene Zielorientierung θZiel ausgerichtet, wie in Abb. 2.29 dargestellt. Im zweidimensionalen Fall bestimmen wir die hierf¨ ur notwendige Winkel¨anderung des Effektors ∆θe = θZiel − θe , indem wir alle Gelenkwinkel¨anderungen der kinematischen Kette addieren: ∆θe =
n
∆θi .
Unter Einbeziehung dieser Orientierungstransformation erhalten wir das Gleichungssystem zur Bestimmung von ∆P und ∆θe in Matrixnotation ⎛ ⎞ ⎞ ⎛ ∆θ ⎞ 1 ∂fx (Θ)/∂θ1 · · · ∂fx (Θ)/∂θn ∆x . ⎟ ⎝ ∆y ⎠ = ⎝ ∂fy (Θ)/∂θ1 · · · ∂fy (Θ)/∂θn ⎠ ⎜ ⎝ .. ⎠ , 1 ··· 1 ∆θe ∆θn ⎛
die sich in der kompakten Form
∆P ∆θe
(2.15)
= J ∆Θ
(2.16)
darstellen l¨ asst, in der J die sog. Jacobi-Matrix ist6 . Um den gesuchten Differenzwinkelvektor zu separieren, werden beide Seiten von Glg. 2.16 mit der inversen Jacobi-Matrix multipliziert. Da die Jacobi-Matrix in der Regel nicht quadratisch ist, kann man traditionelle Verfahren zur Matrixinvertierung hier nicht anwenden. Es gibt aber ein Verfahren, das rechteckige Matrizen (Zeilenanzahl = Spaltenzahl) invertieren kann – die Pseudoinvertierung. Wir erhalten: 6
Die Jacobi-Matrix kann im Allgemeinen als die Koeffizientenmatrix eines linearisierten Gleichungssystems betrachtet werden, das zur iterativen L¨ osung des urspr¨ unglich nichtlinearen Gleichungssystems dient. Sie wird dadurch gebildet, dass eine nicht-lineare Funktion partiell nach ihren Variablen abgeleitet wird.
2.3 Inverse Kinematik
∆Θ = J−1 [∆P ∆θe ]T .
47
(2.17)
Der Algorithmus zur Bestimmung des Differenzwinkelvektors ∆Θ, mit dem, ausgehend von der jeweils aktuellen Effektorposition, P = f (Θ) = f (θ1 , θ2 , ..., θ3 ) die gew¨ unschte Zielposition P∗ = f (Θ + ∆Θ) = f (θ1 + ∆θ1 , θ2 + ∆θ2 , ..., θn + ∆θn ) erreicht wird (s. Abb. 2.29), l¨ asst sich als Algorithmus wie folgt formulieren: 1. Bestimme die pseudoinvertierte Jacobi-Matrix J−1 mit den aktuellen Gelenkwinkeln der kinematischen Kette. 2. Berechne den Differenzwinkelvektor ∆Θ = J−1 ∆P mit ∆P = P∗ − P und ∆θe = θe∗ − θe . 3. Korrigiere die Gelenkwinkel Θ := Θ + ∆Θ und bestimme die neue Effektorposition mit einer Methode der direkten Kinematik (z.B. DH-Methode) P = f (Θ). 4. Bestimme mit der Positions- und der Winkeldifferenz (∆P = P∗ − P, ∆θe = θe∗ − θe ) die Abweichung von den Zielvorgaben. 5. Falls |∆P| < ε, dann ist Θ der gesuchte Gelenkwinkelvektor, der die Zielposition P∗ mit hinreichender Genauigkeit approximiert, anderenfalls werden die Schritte 1 bis 4 wiederholt. Singularit¨ aten. Ein Problem, das mitunter bei dem zuvor diskutierten L¨ osungsverfahren auftritt, sind Singularit¨ aten in der Jacobi-Matrix. Sie entstehen immer dann, wenn zwei benachbarte Segmente einer kinematischen Kette, und somit auch ihre Tangentenvektoren (s. Abb. 2.31), die gleiche Ausrichtung aufweisen. Dies f¨ uhrt dazu, dass die Winkelgeschwindigkeit und somit auch die Winkel¨ anderung der Gelenkverbindung zwischen den betreffenden Segmenten unendlich groß wird. In der Praxis l¨asst sich dieser Effekt dadurch verhindern, dass im Fall einer problematischen Segmentausrichtung eine derartige Konstellation durch eine kleine, kaum sichtbare Stellungs¨anderung an dem betreffenden Gelenk vor der Bestimmung der Jacobi-Matrix eingef¨ ugt wird. Beispiel. Anhand des nachfolgenden Beispiels soll verdeutlicht werden, wie die gew¨ unschte Zielposition des Effektors in mehreren Schritten erreicht wird. Die Effektororientierung bleibt hierbei unber¨ ucksichtigt. Bei dem in Abb. 2.30a,b dargestellten Beispiel, befindet sich der Effektor an der Ausgangsposition x = 9.33 und y = 16.16. Die zu erreichenden Zielkoordinaten sind x = 5.0 und y = 13.0. Nach der ersten Approximation erhalten wir mit ∆P = (4.33, 3.16) die Gelenkwinkel
48
2 Globale Bewegungen
θ0 = 142.6◦, θ1 = 331.91◦, θ2 = 316.48◦, θ3 = 310.42◦, θ4 = 315.36◦. Mit der Matrix M, die entsprechend der DH-Notation parametrisiert wird, erfolgt die Bestimmung der neuen Effektorposition: M = DH (θ0 , 0, a0 , 0◦ ) DH(θ1 , 0, a1 , 0◦ ) DH (θ2 , 0, a2 , 0◦ ) DH(θ3 , 0, a3 , 0◦ ) DH(θ4 , 0, a4 , 0◦ )
mit
a0 = a1 = a2 = a3 = a4 = 5.0, θ0 = 120◦, θ1 = θ2 = θ3 = θ4 = 330◦ . Wir erhalten die neuen Effektorkoordinaten x = 4.81 und y = 12.18, die jedoch von der gew¨ unschten Zielposition zu weit entfernt sind und einen weiteren Approximationsschritt erforderlich macht. In Abbildung 2.30a erfolgte mit dem zweiten Approximationsschritt eine Neuberechnung der inversen Jacobi-Matrix mit den ge¨anderten Winkelwerten. In Abbildung 2.30b wurde die Approximation mit der unver¨anderten JacobiMatrix durchgef¨ uhrt. Die Ergebnisse weichen nur geringf¨ ugig voneinander ab. Im ersten Fall erhalten wir mit ∆P = (−0.19, −0.82) die Gelenkwinkel θ0 = 141.15◦, θ1 = 332.22◦, θ2 = 318.37◦, θ3 = 312.95◦, θ4 = 317.06◦ und hiermit die Effektorposition x = 4.97 und y = 13.00. Im Fall der gleichen Jacobi-Matrix bestimmen wir die Gelenkwinkel: Ausgangskonfiguration der kinematischen Kette P: Ausgangsposition Konfiguration nach des Effektors 2ter Interpolation P*: Zielposition des Effektors Konfiguration nach 1ter Interpolation Y approximierte Effektorposition P*
Y
approximierte Effektorposition P*
X (a)
X (b)
Abb. 2.30. Bestimmung der Zielposition des Effektors mit zwei Interpolationsschritten: (a) mit Korrektur der Jacobi-Matrix nach erstem Iterationsschritt, (b) ohne Korrektur
2.3 Inverse Kinematik
49
θ0 = 140.31◦, θ1 = 332.31◦, θ2 = 318.77◦, θ3 = 313.33◦, θ4 = 317.43◦, mit denen die etwas weiter vom Zielpunkt entfernt liegenden Koordinatenwerte x = 5.12 und y = 13.10 erreicht werden. F¨ ur die meisten Anwendungen in der Computeranimation ist diese Abweichung v¨ollig unerheblich, wodurch die zweite Variante wegen ihres geringeren Rechenaufwandes vorteilhafter ist. 2.3.1 Geometrische Interpretation Zum vertieften Verst¨ andnis soll anhand der Abb. 2.31 das zuvor beschriebene N¨ aherungsverfahren zur L¨ osung von IK-Problemen geometrisch interpretiert werden. Im 2D-Fall setzt sich der Weg, den der Effektor als Funktion der Drehwinkel¨ anderungen beschreibt, aus n Rotationsbewegungen zusammen, wobei n die Anzahl der Gelenke ist. Wegen dieses nicht-linearen Bewegungsverhaltens ist es nicht m¨ oglich, die Drehwinkel¨ anderungen ∆θ1 , ∆θ2 und ∆θ3 direkt zu berechnen, die erforderlich sind, um von der Position P den Zielpunkt P∗ zu erreichen. Indem wir die partiellen Ableitungen nach θ1 ,..., θn bilden, approximieren wir die zusammengesetzte Rotationsbewegung durch eine Kombination linearer Bewegungen. Hierzu leiten wir im vorliegenden Beispiel die Funktion f (θ1 , θ2 , θ3 ) zur Bestimmung der Position P der in Abb. 2.31 dargestellten kinematischen Kette nach θ1 , θ2 und θ3 ab und erhalten die Tangentenvektoren: v1 = ∂f (θ1 , θ2 , θ3 )/∂θ1 , v2 = ∂f (θ1 , θ2 , θ3 )/∂θ2 , v3 = ∂f (θ1 , θ2 , θ3 )/∂θ3 . Die Vektorl¨ angen von v1 , v2 und v3 sind gleich den korrespondierenden Rotationsradien
Y P* P2
Dq2
v1
Dq3
v v2 3 P
P3
P1
X Dq1
Abb. 2.31. Geometrische Interpretation des N¨ aherungsverfahrens (v1 , v2 und v3 sind maßstabsgerecht gezeichnet)
50
2 Globale Bewegungen
|v1 | = |P − P1 | , |v2 | = |P − P2 | und |v3 | = |P − P3 | . Das IK-Problem hat sich somit f¨ ur die in Abb. 2.31 dargestellte Gelenkkonfiguration auf die L¨ osung des linearen Gleichungssystems P∗ − P = ∆P = v1 θ1 + v2 θ2 + v2 θ2 nach θ1 , θ2 und θ3 vereinfacht, mit der schrittweise die Ann¨ aherung an die Zielposition bestimmt wird. 2.3.2 3D-Fall Analog zum 2D-Fall, l¨ asst sich das N¨ aherungsverfahren auf den allgemeineren 3D-Fall u bertragen, bei dem sich die Gelenke um die drei Achsen ihrer lokalen ¨ Koordinatensysteme drehen k¨ onnen. Dies bedeutet, dass die Funktionen zur Bestimmung der Effektorkoordinaten fx , fy und fz sowie der Effektororientierungen Ox , Oy und Oz partiell nach 3 × n Gelenkwinkeln abgeleitet werden. Wir erhalten, ohne Ber¨ ucksichtigung von Translationsgelenken, das f¨ ur den 3D-Fall g¨ ultige Gleichungssystem mit: ⎡ ⎤ ⎡ ∂fx ∂fx ∂fx ∂fx ∂fx ∂fx ⎤ ∆θx1 ⎡ ⎤ ∂θx1 ∂θy1 ∂θz1 .. ∂θxn ∂θyn ∂θzn ∆x ∂fy ∂fy ∂fy ⎥ ⎢ ∆θy1 ⎥ ⎢ ∂fy ∂fy ∂fy ⎥ ⎢ ∆y ⎥ ⎢ ∂θx1 ∂θy1 ∂θz1 ... ∂θxn ∂θyn ∂θzn ⎥ ⎢ ⎢ ∆θz1 ⎥ ⎢ ⎥ ⎢ ∂fz ∂fz ∂fz ∂fz ∂fz ∂fz ⎥ ⎢ ⎢ ∆z ⎥ ⎢ ∂θ ⎥ ... ∂θxn ∂θyn ∂θzn ⎢ . ⎥ ⎢ ⎥ ⎥ ⎢ x1 ∂θy1 ∂θz1 .. ⎥ ⎥ ⎢ ∆θxe ⎥ = ⎢ ∂Ox ∂Ox ∂Ox ... ∂Ox ∂Ox ∂Ox ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ ∂θ ∂θ ∂θ ∂θxn ∂θyn ∂θzn ⎥ ⎢ ⎥ ∆θ ⎥ ⎣ ∆θye ⎦ ⎢ ∂Ox1y ∂Oy1y ∂Oz1y xn ⎥ ∂Oy ∂Oy ∂Oy ⎢ ⎣ ∂θx1 ∂θy1 ∂θz1 ... ∂θxn ∂θyn ∂θzn ⎦ ⎣ ⎦ ∆θ yn ∆θze ∂Oz ∂Oz ∂Oz ∂Oz ∂Oz ∂Oz ... ∆θ ∂θx1 ∂θy1 ∂θz1 ∂θxn ∂θyn ∂θzn zn Alle weiteren Schritte erfolgen analog zum 2D-Fall. berechnete Konfiguration
Zielposition
Y Hindernis gewünschte Konfiguration X Abb. 2.32. Inverse Kinematik unter der Vorgabe von Zwangsbedingungen
2.3 Inverse Kinematik
w=(0, 0, 0, 0, 0.3)
51
Zielposition w=(0, 0, 0, 0.3, 0.3) Y
Ausgangskonfiguration
w=(0, 0.2, 0, 0, 0) w=(0, 0, 0.3, 0, 0)
X
Abb. 2.33. Darstellung der Wirkung von vier unterschiedlichen Projektionsvektoren auf eine kinematische Kette
2.3.3 Secondary Task Die gleiche Effektorposition l¨asst sich mit beliebig vielen unterschiedlichen Gelenkwinkelkombinationen erreichen. Mit dem oben beschriebenen Iterationsverfahren erhalten wir nur dann eine L¨osung aus einer unendlich großen L¨osungsmenge, wenn zus¨atzlich Kriterien definiert werden, die die Eindeutigkeit erzwingen. Es liegt nahe, diese L¨osung so zu beeinflussen, dass eine vorgegebene Zwangsbedingung erf¨ ullt wird. So kann beispielsweise gefordert werden, dass, wie in Abb. 2.32 dargestellt, die kinematische Kette nicht mit Hindernissen im Raum kollidiert. Eine M¨ oglichkeit, die gew¨ unschte Zielposition des Effektors zu erreichen und zugleich die geometrische Zwangsbedingung zu erf¨ ullen, bietet ein Projektionsoperator, der in der Literatur auch als Secondary Task bezeichnet wird. Der Secondary Task ist ein Term, der zum ∆Θ-Vektor addiert wird: ∆Θ = J−1 ∆P + (I − JJ−1 )∆w.
(2.18)
Hierin ist I die Einheitsmatrix und ∆w der Projektionsvektor, der in der gew¨ unschten Weise den Gelenkwinkelvektor beeinflusst. Mit Hilfe dieses Operators ist es m¨ oglich, einzelne Gelenkwinkel so zu beeinflussen, dass eine kinematische Kette die vorgegebenen geometrischen Bedingungen erf¨ ullt, ohne die Position des Effektors zu ver¨andern. Anhand der bereits im vorherigen Beispiel behandelten kinematischen Kette l¨asst sich die Wirkung des Projektionsvektors darstellen. Die Abbildung 2.33 zeigt, wie sich mit vier unterschiedlich gewichteten Projektionsvektoren die kinematische Kette bez¨ uglich ihrer Ausgangsform ver¨ andert. Anhand dieses Bildes ist ersichtlich, dass der Vektor ∆w = oßert. Die (0, 0, 0, 0, 0.3), in Glg. 2.18 eingesetzt, den Gelenkwinkel θ5 vergr¨ Vektoren ∆w = (0, 0.2, 0, 0, 0) und ∆w = (0, 0, 0.3, 0, 0) bewirken vor allem unschte Segmentkoneine Vergr¨ oßerung der Gelenkwinkel θ2 bzw. θ3 . Die gew¨ figuration, mit der die in Abb. 2.32 dargestellte Objektkollision vermieden
52
2 Globale Bewegungen
wird, kann beispielsweise mit dem Projektionsvektor ∆w = (0, 0, 0, 0.3, 0.3) erzielt werden. Eine Methode, bei der sich mit vorgegebenen geometrischen Zwangsbedingungen die Projektionsvektoren direkt berechnen lassen, ist nicht bekannt. Ihre Bestimmung erfolgte hier intuitiv. 2.3.4 Kombination von inverser und direkter Kinematik Die Kombination von direkter und inverser Kinematik ist nach [12] eine weitere M¨ oglichkeit, Bewegungsabl¨ aufe zu steuern. Hierbei werden die Gelenkwinkel der kinematischen Kette auf eine Konfiguration eingestellt, die sich aus den vorgegebenen Winkeln und den invers-kinematisch berechneten Gelenkwinkelwerten ergibt. Wir erhalten den Differenzwinkelvektor mit: ∆Θ = J−1 (f ∆P + (1 − f )J∆w) + (I − JJ
−1
)∆w.
(2.19)
Hierin ist f die sog. Transitionsfunktion, die Werte zwischen 0 und 1 annehmen kann. F¨ ur den oberen Extremwert f = 1 erhalten wir aus Glg. 2.19 die bereits bekannte invers-kinematische Gleichung: ∆Θ = J−1 ∆P + (I − JJ
−1
)∆w.
Mit dem unteren Extremwert f = 0 ergibt sich ∆Θ = J−1 J∆w + (I − JJ −1
∆Θ = J J∆w − JJ ∆Θ = ∆w.
−1
−1
)∆w
∆w + ∆w
Der Projektionsvektor ∆w ¨ andert somit unmittelbar die urspr¨ ungliche Gelenkwinkelkonstellation Θalt in Θneu = Θalt + ∆w. Mit der Funktion f er¨ folgt ein gleitender Ubergang zwischen der invers- und der direkt-kinematisch berechneten Konfiguration der kinematischen Kette. Boulic und Thalmann schlagen zur Steuerung von f und ∆w die Vorgabe von Referenzbewegungen sowie planare, zylinder- oder kugelf¨ ormige Halbraum-Constraints vor [12], die jene Bereiche definieren, in die der Effektor nicht eindringen darf. 2.3.5 Alternative Verfahren Die J T -Methode. Um den großen Rechenaufwand zu vermeiden, der f¨ ur die Pseudoinvertierung der Jacobi-Matrix notwendig ist, verwenden Wolovich und Elliot in [13] zur L¨ osung des IK-Problems die transponierten Jacobi-Matrix. Hierbei wird anstelle der Differenz zwischen Soll- und Ist-Position (P∗ − P) des Effektors ∆P eine von P nach P∗ wirkende Kraft F eingesetzt, die aus dem Zugkraftvektor f und dem Drehmomentvektor m besteht:
2.3 Inverse Kinematik
P* + -P
F f()
JT()
53
t+1=t+D
Abb. 2.34. Signalflussdiagramm der J T -Methode nach Wolovich und Elliot [14]
F = {f , m} = {fx , fy , fz , mx , my , mz } . Die externe Kraft F verursacht interne Zug- und Drehkr¨afte auf die Gelenke der kinematischen Kette. Unter Anwendung des Prinzips der virtuellen Arbeit l¨ asst sich eine Beziehung zwischen F und dem Vektor der internen generalisierten Kr¨ afte mit der Gleichung ¨ = JT F Θ ¨ den Beschleunigungsvektor des Gelenkwinkels repr¨asenherstellen, in der Θ tiert. Da jedoch nicht die Dynamik der Gelenkanordnung, sondern das kinematische Verhalten unter dem Einfluss externer Kr¨afte von Interesse ist, wird unter der bewussten Verletzung des Newtonschen Kraftgesetzes, und somit ¨ durch die Winder Inkaufnahme von Fehlern, die Winkelbeschleunigung Θ ˙ ersetzt: kelgeschwindigkeit Θ ˙ ≈ JT F. Θ
(2.20)
Mit der iterativen Berechnung von Glg. 2.20 erhalten wir f¨ ur jeden Zeitschritt ∆t einen neuen Geschwindigkeitsvektor des Gelenkwinkels, der eine Effektorbewegung in Richtung der Zielposition P∗ bewirkt. Aus dem in Abb. 2.34 ¨ dargestellten Signalfluss geht hervor, dass nach jeder inkrementellen Anderung der Gelenkwinkel die Jacobi-Matrix korrigiert werden muss. Mit dem neuen Kraftvektor F, den wir mit der (P∗ − P)-Differenz erhalten, bestimmen wir ˙ den ge¨ anderten Θ-Vektor, der wiederum zur Modifikation der Gelenkwinkel und dadurch zu einer weiteren Ann¨ aherung des Effektors an die Zielposition dient. Der Algorithmus terminiert, wenn die Differenz zwischen Soll- und Ist-Wert eine vorgegebene Fehlergrenze unterschritten hat. Der wesentliche Vorteil dieser Methode ist vor allem der erheblich geringere Rechenbedarf, da die zeitaufw¨ andige Pseudoinvertierung entf¨allt. Hierdurch l¨ asst sich auch das Auftreten von Singularit¨aten weitgehend vermeiden. Nachteilig ist, im Vergleich zu dem eingangs diskutierten klassischen L¨ osungsansatz, die etwas schlechtere Konvergenzeigenschaft. Die Cyclic-Coordinate Descent-Methode. Die von Wang und Chen in [15] vorgestellte Cyclic-Coordinate Descent-Methode (CCD-Methode) basiert auf einem iterativen, heuristischen Suchverfahren. Mit dieser Methode werden
54
2 Globale Bewegungen
die Differenzen der Effektorposition und -ausrichtung zur gew¨ unschten Zielkonfiguration schrittweise minimiert, wobei mit jedem Suchschritt nur jeweils ein Gelenkwinkel ver¨ andert wird. Es besteht somit die Aufgabe, sowohl die aktuelle Effektorposition Pc an die Zielposition Pd , als auch die aktuelle Orientierung des Effektors Uc an die Zielorientierung Ud optimal anzupassen (s. Abb. 2.36). Diese Anpassung ¨ erfolgt durch sequentielle Anderung der Gelenkwinkel, f¨ ur den Fall, dass die kinematische Kette nur durch Rotationsgelenke3 verbunden ist. Sie wird mit allen Gelenken der kinematischen Kette durchgef¨ uhrt und solange wiederholt, bis die Ann¨ aherung an die Zielposition und Zielausrichtung einen Schwellenwert unterschreitet oder die maximale Anzahl der vorgegebenen Iterationen erreicht ist. Die Abbildung 2.35 veranschaulicht diesen Iterationsprozess anhand eines einfachen Beispiels. Die beste Ann¨ aherung wird mit der Summe aus Positions- und Orientierungsfehlern E(q) = Ep (q) + Eo (q) als Funktion des Gelenkparameters q bestimmt. Ep (q) = Pd − Pc 2 ist der Positionierungsfehler, der aus der Differenz vom Zielort zur aktuellen Effektorposition errechnet wird. Den Orientierungsfehler Eo (q) erhalten wir mit:
Effektor
Ziel Ausgangsposition
1.3-ter Schritt
1.1-ter Schritt
1.4-ter Schritt
1.2.ter Schritt
2.1-ter Schritt
Ziel 2.2-ter Schritt
2.3-ter Schritt
2.4-ter Schritt
Endposition
Abb. 2.35. Veranschaulichung der CCD-Methode nach Wang und Chen [15]
3
Neben den Rotationsgelenken gibt es auch Translationsgelenke, die jedoch seltener verwendet werden.
2.3 Inverse Kinematik
55
Abb. 2.36. CCD-Iteration f¨ ur Gelenk Gi
Eo (q) =
3
((udj · ucj ) − 1)2 .
j=1
Hierin sind Uc = [uc1 , uc2 , uc3 ] und Ud = [ud1 , ud2 , ud3 ] die lokalen Koordinatensysteme des Effektors in der aktuellen sowie der Zielorientierung. Die Bestimmung der Parameter f¨ ur kinematische Ketten mit Rotationsgelenken soll anhand Abb. 2.36 erkl¨ art werden. Die Drehung eines Rotationsgelenks wird durch einen beliebig im Weltkoordinatensystem ausgerichteten Drehachsenvektor axisi sowie durch einen Drehwinkel festgelegt. Um den Positionierungsfehler Ep zu minimieren, wird der Vektor Pic mit dem Winkel φ um die Drehachse von Gi rotiert. Wir erhalten den rotierten Vektor mit P ci = Rotaxisi (φ)Pci . Der Positionierungsfehler ist minimal, wenn g1 (φ) = Pdi · P ci den Maximalwert erreicht. Dies ist der Fall, wenn Pdi und P ci m¨ oglichst parallel zueinander ausgerichtet sind. In analoger Weise erfolgt die Minimierung des Orientierungsfehlers, indem die Gleichung g2 (φ) =
3
udj · ucj
j=1
maximiert wird. Die Minimierung des Gesamtfehlers E(q) = Ep (q) + Eo (q) bedeutet, dass g(φ) = wp g1 (φ) + wo g2 (φ)
(2.21)
zu maximieren ist. Hierin sind wp und wo die Gewichte f¨ ur den Positionierungsund Orientierungsfehler, die empirisch zu ermitteln sind. Wang und Chen schlagen in [15] f¨ ur w0 = 1 und wp = α (1 + ρ) vor. Hierin ist ρ =
56
2 Globale Bewegungen
min(Pdi , Pci)/max(Pdi , Pci), w¨ ahrend α ein von der Gelenkl¨ange abh¨ angiger Skalierungsfaktor ist. Mit einer weiteren Umformungen der Glg. 2.21 (s. [15]) erhalten wir die Zielfunktion g(φ) = k1 (1 − cos(φ)) + k2 cos(φ) + k3 sin(φ)
(2.22)
mit den Konstanten
k1 = wp (Pdi · axisi )(Pci · axisi ) + wo
3
(udj · axisi )(ucj · axisi )
j=1
k2 = wp (Pdi · Pci ) + wo ⎡
3
(udj · ucj ) und
j=1
k3 = axisi · ⎣wp (Pci × Pdi ) + wo
3
⎤ (ucj × udj )⎦ .
j=1
Wir bestimmen den Maximalwert von g(φ) mit der ersten und zweiten Ableitung der Zielfunktion Glg 2.22. Sind die beiden Gleichungen d g(φ) = (k1 − k2 ) sin φ + k3 cos φ = 0, dφ d2 g(φ) = (k1 − k2 ) cos φ − k3 sin φ < 0 dφ2 erf¨ ullt, so ergibt sich der gesuchte Drehwinkel mit φ = − tan−1
k3 . k2 − k1
Das CCD-Verfahren ist einfach zu implementieren und infolge des geringen Rechenaufwandes sehr schnell. Es ist besonders effektiv einsetzbar, wenn sich die Anzahl der Gelenke in engen Grenzen h¨alt. Nachteilig ist ein h¨aufiges abruptes Abknicken des Effektorsegmentes, das vor allem bei l¨angeren Ketten auftritt. 2.3.6 Ausrichtung gelenkig-verbundener Strukturen an mehreren Zielpositionen In praktischen Anwendungen der inversen Kinematik geht man in der Regel nicht nur von immer erreichbaren Zielpositionen aus. Vielfach sind, wie beispielsweise bei der skelettalen Struktur eines Menschen, mehrere miteinander verbundene kinematische Ketten vorgegeben, deren Effektoren zum Teil gegens¨ atzliche Ziele anstreben. Die Abbildung 2.37 verdeutlicht, wie im Fall von multiplen Zielen g1 , ..., g4 , die niemals zugleich erreichbar sind, prinzipiell
2.3 Inverse Kinematik
g1 g3
g3 g2
57
g1
w1 w3
l3
BKS
l1
w2
I2
g2
BKS l4
g4
w4 g4
Y X
Abb. 2.37. Miteinander verbundene kinematische Ketten, deren Effektoren gleichzeitig und zum Teil gegens¨ atzliche Ziele anstreben
verfahren wird. Hierbei wird jedem Ziel ein Gewicht zugeordnet, welches als Zugkraft einer Feder aufgefasst werden kann. Es soll sich eine Konfiguration einstellen, bei der sich die Summe der Zugkr¨ afte von w1 bis w4 gegenseitig aufheben. Eine invers-kinematische Methode, die auf diesem Prinzip basiert, wurde von Badler, Manoocheri und Walter in [16] vorgestellt. Sie l¨asst sich in vier Schritte unterteilen:
g1 linker Fuß
g3 g2
Y
rechter Fuß
rechte Hand
linker Unterschenkel
rechter Unterschenkel
rechter Unterarm
linker Oberschenkel
rechter Oberschenkel
rechter Oberarm
linke Hand
Hals
linker Unterarm
g3
linker Oberarm
g1
g2
oberer Torso
g4
BKS X
Kopf g4
(a)
unterer Torso
(b)
Abb. 2.38. Konstruktion des Body Tree. Aus der gelenkig-verbundenen Struktur (a) wird der Body Tree (b) extrahiert
58
2 Globale Bewegungen
Schritt 1: Konstruktion des Body Tree. Im ersten Schritt wird der Body Tree konstruiert. Er repr¨ asentiert die baumartige Struktur des gelenkigverbundenen Systems. Die Wurzel des Baumes liegt im Ursprung des BKS. Jeder Knoten eines Gelenksegmentes, dem ein Ziel zugeordnet ist, wird als Effektor betrachtet (s. Abb. 2.38). Schritt 2: Konstruktion der Reach Trees. Der Body Tree wird anschließend in Reach Trees aufgeteilt. Ein Reach Tree ist eine Teilstruktur des Body Tree. Er repr¨ asentiert die in Abb. 2.39 dargestellen kinematischen Ketten vom BKS zu den markierten Effektoren.
rechter Unterarm
linker Unterarm
rechter Oberarm
linker Oberarm oberer Torso
unterer Torso
Abb. 2.39. Konstruktion eines Reach Tree
Schritt 3: R¨ uckw¨ artsrechnung mit allen kinematischen Ketten der reach trees. Mit Hilfe der inversen Kinematik werden nacheinander die Gelenkwinkel der einzelnen Ketten entsprechend der Zielpositionen (hier g1 bis g4 ) berechnet. Hierbei m¨ ussen die Gelenkwinkel der jeweils zuvor berechneten kinematischen Ketten entsprechend ver¨ andert werden. Schritt 4: Berechnung des gewichteten Fehlers. Mit dem vierten Schritt werden Abst¨ ande der Effektoren di zu ihren Zielpositionen mit den Gewichten wi multipliziert und zu einem Fehlerbetrag F summiert: F =
n
|di wi |.
¨ Uberschreitet F einen vorher festgelegten Grenzwert, so erfolgt eine erneute Berechnung mit Schritt 3 sowie die Grenzwert¨ uberpr¨ ufung mit Schritt 4. Diese Schritte werden solange ausgef¨ uhrt, bis sich der Fehlerbetrag nach jeder Iteration nicht weiter verringert oder eine vorher definierte Anzahl von Berechnungsdurchl¨ aufen erreicht ist.
3 Deformationen
Die dynamische Form¨ anderung eines Objektes spielt eine wichtige Rolle in der Computeranimation. Beispiele f¨ ur den Einsatz von Verformungstechniken finden sich speziell bei der Animation der Haut, der Muskulatur oder des Haares, aber auch bei der Verformung von beliebigen plastischen oder elastischen Objekten. Bei den Deformationstechniken sind zwei generelle Entwicklungstrends erkennbar. Eine Entwicklung bewegt sich hin zum Realismus, um beispielsweise Spezialeffekte f¨ ur die Filmproduktion zu erzeugen. Der andere Trend verfolgt die Entwicklung schneller Verfahren, die f¨ ur die interaktive Echtzeitanwendung in den Bereichen Virtual Reality, Computerspiele oder interaktive WebAnwendungen ben¨ otigt werden. Die Grenze zwischen Realismus und Echtzeit ist fließend und wird durch immer bessere Techniken und durch die rasante Entwicklung der Computerhardware bestimmt. Es ist zu erwarten, dass diese beiden Entwicklungslinien in Zukunft konvergieren. ¨ In diesem Kapitel wird ein Uberblick u ¨ ber einige grundlegende Techniken gegeben, die zur Deformation eingesetzt werden. Sie lassen sich in drei Kategorien unterteilen. Die erste Kategorie beschreibt rein geometrische Techniken. Die Zweite behandelt physikalisch-basierte Methoden und zur Dritten z¨ahlen die gemischten Verfahren. Die Verfahren dieser letztgenannten Gruppe basieren zwar auch auf physikalischen Grundlagen, jedoch sind sie in Verbindung mit geometrischen Methoden stark vereinfacht. Hierdurch sind sie weniger pr¨ azise als die rein physikalisch-basierten Ans¨atze. Sie besitzen jedoch eine h¨ohere Flexibilit¨ at und eine gr¨ oßere Effizienz. Die Wahl einer geeigneten Deformationstechnik h¨angt von dem erw¨ unschten Verformungseffekt, von der Repr¨ asentationsform und vom erforderlichen Genauigkeitsgrad ab, der wiederum von der Anwendung bestimmt wird. Um eine geeignete Auswahl treffen zu k¨ onnen, muss man neben der Funktionsweise des Verfahrens auch seine Nachteile und Grenzen kennen. Einige Deformationsverfahren sind eng an bestimmte Repr¨asentationsformen gebunden. Andere hingegen sind auf eine ganze Klasse von Darstellungsformen, wie die der Oberfl¨ achenrepr¨ asentationen, anwendbar. Wird bei-
60
3 Deformationen
spielsweise ein Modell durch Spline-Fl¨ achen dargestellt, so kann dessen Form direkt u andert werden. Diese Art von Deforma¨ber die Kontrollpunkte ver¨ tionsoperation steht in unmittelbarem Bezug zur verwendeten Repr¨asentationsform. Hierbei ist zu bedenken, dass derzeit die meisten kommerziellen Graphikkarten noch Polygone als Ausgabeprimitivum f¨ ur Fl¨achen bevorzugen. Ist die zu deformierende Repr¨ asentation nicht mit jener identisch, die f¨ ur das Rendering eingesetzt wird, so muss nach der Deformation das Resultat zus¨ atzlich auf die Ausgaberepr¨ asentation abgebildet werden. Diese hierf¨ ur notwendigen Kosten sind bei den meisten Echtzeitanwendungen nicht tragbar. Ein wichtiger Aspekt bei Deformationen ist der Grad der Kontrolle u ¨ ber die Verformung. Auf der einen Seite ist oft eine genaue Spezifikation aller Details einer Deformation erw¨ unscht, was jedoch einen hohen Arbeitsaufwand zur Folge haben kann. Auf der anderen Seite ist eine gr¨obere Kontrolle oft einfacher und schneller zu handhaben, weil weniger Parameter einzustellen sind. Allerdings lassen sich hierdurch bestimmte Details und Effekte nicht modellieren. Um einen Kompromiss zwischen einfacher Handhabung und Kontrolle u atze mit hierarchisch organisierten Defor¨ ber Details zu erreichen, sind Ans¨ mationsfunktionen entwickelt worden. Diese Verfahren geh¨ oren zur Gruppe der Pyramiden-Algorithmen, denen auch die sog. Multi-Resolution-Algorithmen zugeordnet werden. Es gibt auch heterogene Hierarchien, bei denen auf unterschiedlichen Abstraktionsebenen verschiedene Techniken eingesetzt werden. Jede Ebene steuert dabei die Paur diese rameter der n¨ achsten tiefer1 liegenden Ebene. Ein einfaches Beispiel f¨ Technik ist die Free-Form-Deformation, die im Abschn. 3.1.2 behandelt wird. Die meisten der hier vorgestellten Deformationstransformationen enthalten zeitabh¨ angige Terme und k¨ onnen direkt f¨ ur die Computer Animation eingesetzt werden. Alternativ hierzu ist auch eine zeitliche Interpolation ihrer Parameter (z.B. Keyframing) oder deren Umformulierung in zeitabh¨angige Versionen m¨ oglich. Spezielle Techniken, die mit den Deformationsverfahren verwandt sind, wie beispielsweise die Animation von Gesichtsausdr¨ ucken (facial animation) oder Stoffen, bzw. die Transmutationen, werden in separaten Kapiteln behandelt.
3.1 Geometrische Techniken Die meisten geometrischen Deformationstechniken wurden urspr¨ unglich f¨ ur die interaktive geometrische Modellierung entwickelt. Sie sind in der Regel einfach zu handhaben und wegen ihres geringen bis mittleren Rechenaufwandes auch f¨ ur Echtzeitanwendungen geeignet. Der Nachteil dieser Verfahren ist, dass sie viel Geduld erfordern, um unerw¨ unschte Effekte, wie Knicke“ ” oder Falten“, zu vermeiden, die w¨ ahrend einer Animation auftreten k¨onnen. ” 1
tiefer“ bedeutet hier in der Hierarchie weiter unten, also z.B. bei einer Baum” struktur in Richtung der Blattknoten.
3.1 Geometrische Techniken
61
Bei geometrischen Verfahren werden alle Deformationen vollst¨andig spezifiziert. Dar¨ uber hinaus steht keine Information u ¨ ber die Eigenschaften des zu verformenden Objektes zur Verf¨ ugung, weshalb die Plausibilit¨at des Animationsergebnisses ungewiss ist. Dies hat zur Folge, dass alle gew¨ unschten Deformationsbeschr¨ ankungen explizit anzugeben sind. 3.1.1 Globale Deformationstechniken In diesem Abschnitt werden einige globale Techniken f¨ ur die Deformation von Oberfl¨ achenrepr¨ asentationen vorgestellt. Diese Techniken heißen global, weil sie den Raum transformieren (wie beispielsweise die Abbildung von rechteckigen in krummlinige Koordinaten) und sich damit auf die gesamte Form des Objektes auswirken, das sich innerhalb dieses Raumes befindet. Alan H. Barr [17] stellte 1984 eine Gruppe von einfachen, global wirkenden Transformationen vor, die er Tapering (Verj¨ ungung), Twisting (Verdrehung) und Bending (Verbiegung) nannte. Carole Blanc pr¨ asentierte in [18] eine Verallgemeinerung dieser Verformungstechniken, die sie Axial Deformation Techniques nannte. Diese Deformationsfunktionen sind in der Hinsicht generisch, dass sie nicht auf eine bestimmte Repr¨ asentationsform beschr¨ ankt sind. Tapering. Bei der Verj¨ ungungsoperation (tapering) wird entlang der Z-Achse eine Skalierung der x- und y-Koordinaten, abh¨angig vom Funktionswert von uhrt: ftaper (z), durchgef¨ ⎡ ⎤⎡ ⎤ 0 0 ftaper (z) x 0 ftaper (z) 0 ⎦ ⎣ y ⎦ . Ttaper = ⎣ 0 0 1 z ungungsfunktion genannt. Der Funktionswert ftaper (z) = ftaper (z) wird Verj¨ 1 l¨ asst das Objekt undeformiert. Mit ftaper (z) > 1 expandiert und mit ftaper (z) < 1 kontrahiert das Objekt. In Abbildung 3.1 wird ein Ellipsoid mit einer Tapering-Transformation kontinuierlich entlang der Z-Achse deformiert. Die Abbildung 3.1 zeigt vier Ellipsoide, wobei von links nach rechts die undeformierte Form sowie drei Verj¨ ungungsdeformationen dargestellt sind. Hierzu wurde die Tapering-Funkur z = 0, ..., 1 mit den Gewichten a = 1/3, a = 2/3 tion ftaper (z) = 1 − az f¨ und a = 1 verwendet. Twisting. Das Twisting entspricht einer Koordinatenverdrehung, wobei sich der Drehwinkel proportional zu seiner Z-Koordinate ver¨andert. Durch den Proportionalit¨ atsfaktor kann die Anzahl der Windungen kontrolliert werden: ⎤⎡ ⎤ ⎡ x cos fangle (z) − sin fangle (z) 0 Ttwist = ⎣ sin fangle (z) cos fangle (z) 0 ⎦ ⎣ y ⎦ . 0 0 1 z
62
3 Deformationen
(a)
(b)
(c)
(d)
Abb. 3.1. Tapering eines Ellipsoids mit den Parametern: (a) a = 0, (b) a = 1/3, (c) a = 2/3 und (d) a = 1
(a)
(b)
(c)
(d)
Abb. 3.2. Twisting eines Ellipsoids mit den Parametern: (a) a = 0, (b) a = 1, (c) a = 2, (d) a = 3
3.1 Geometrische Techniken
63
In Abbildung 3.2 wird ein Ellipsoid kontinuierlich um die Z-Achse verdreht, wobei von links nach rechts zuerst die undeformierte Form, sowie Verdrehungen um π, 2π und 3π f¨ ur z = 0, ..., 1 dargestellt sind. Als Twisting-Funktion wurde fangle (z) = πaz mit den Gewichten a = 0, a = 1, a = 2 und a = 3 verwendet. Beim sog. Twisting lassen sich interessante Effekte erzielen, wenn die Achse, um die gedreht wird, versetzt wird. Wir erhalten die Twisting-Deformation mit der Transformationsmatrix ⎡ ⎤⎡ ⎤ cos fangle (z) − sin fangle (z) 0 a1 x ⎢ sin fangle (z) cos fangle (z) 0 a2 ⎥ ⎢ y ⎥ ⎢ ⎥ ⎢ ⎥ Ttwist2 = ⎣ 0 0 1 0 ⎦⎣z ⎦ 0 0 0 1 1
(a)
(b)
(c)
(d)
Abb. 3.3. Twisting eines Ellipsoids mit den Parametern: (a) a = 1, (b) a = 2, (c) a = 3, (d) a = 4
mit
a1 = cos fangle (z)dx − sin fangle (z)dy
und
a2 = cos fangle (z)dx + sin fangle (z)dy, worin dx und dy den Koordinatenversatz zur Drehachse bezeichnen. Um die Translation der Deformationsachse ausf¨ uhren zu k¨onnen, ist die Erweiterung auf eine 4 × 4 Matrix erforderlich. In Abbildung 3.3 wird ein Ellipsoid kontinuierlich mit einem Versatz von jeweils 0.2 Einheiten in X-Richtung um die Z-Achse verdreht, wobei die Verdrehungen mit π, 2π, 3π und 4π f¨ ur z = 0, ..., 1 dargestellt sind. Als TwistingFunktion wurde fangle (z) = πaz verwendet. Bending. Die Bending-Transformation erzeugt eine Verbiegung der Geometrie, indem die Koordinaten, hier abh¨ angig vom Koordinatenwert z, um die Y - oder die X-Achse gedreht werden.
64
3 Deformationen
⎡
Tbend
(a)
⎤⎡ ⎤ cos fangle (z) 0 sin fangle (z) x ⎦⎣y⎦. 0 1 0 =⎣ − sin fangle (z) 0 cos fangle (z) z
(b)
(c)
(d)
Abb. 3.4. Bending eines Ellipsoids mit den Parametern: (a) a = 1/10, (b) a = 2/10, (c) a = 3/10, (d) a = 4/10
Die Abbildung 3.4 zeigt Ellipsoide unter dem Einfluss einer Biegetransformaur z = 0, ...1. tion mit fangle (z) = πaz f¨ Pinching und Shearing. Bei der Pinching-Operation wird beispielsweise entlang der Z-Achse eine ver¨ anderliche Skalierung der X-Koordinaten als Funktion der Z-Koordinate durchgef¨ uhrt: ⎤⎡ ⎤ ⎡ x fpinch (z) 0 0 0 1 0⎦⎣y ⎦. Tpinch = ⎣ 0 01 z Die Funktion fpinch (z) = 1 − az f¨ ur z = 0, ..., 1 wird Pinching-Funktion genannt. Die Kontraktion bzw. Expansion der Koordinaten erfolgt analog zum Tapering. Der Effekt ist ¨ ahnlich wie beim Tapering, nur dass hier lediglich eine Koordinate ver¨ andert wird. Hierdurch wird der Eindruck erweckt, als w¨ urde das Objekt in einer Richtung gestaucht oder gestreckt. Mit der Shearing-Operation erfolgt eine Scherung, hier beispielsweise entlang der X-Koordinate und abh¨ angig vom Z-Koordinatenwert: ⎡ ⎤⎡ ⎤ 1 0 fshear (z) x ⎦⎣y⎦. 0 Tshear = ⎣ 0 1 00 1 z Die Funktion fshear (z) = az ist hier die Scherungsfunktion. Die Konstante a gibt die Gr¨ oße und die Richtung der Scherung an.
3.1 Geometrische Techniken
65
Kombination von Deformationen. Die oben aufgef¨ uhrten Transformationen lassen sich in einfacher Weise kombinieren, indem sie sequentiell ausgef¨ uhrt werden.
(a)
(b)
(c)
(d)
Abb. 3.5. Tapering, Bending und Twisting eines Ellipsoids eines Ellipsoids mit den ur alle,(a) atwist = 0, (b) atwist = 1, (c) Parametern: ataper = 2/3, abend = 1/3 f¨ atwist = 2 und (d) atwist = 3
(a)
(b)
(c)
(d)
Abb. 3.6. Tapering, Twisting und Bending eines Ellipsoids mit den Parametern: ur alle, (a) abend = 0, (b) abend = 1/5, (c) abend = 2/5 und ataper = 3, atwist = 2/3 f¨ (d) abend = 3/5
Die Abbildung 3.5 zeigt an vier Beispielen eine Kombination der TaperingBending- und Twisting-Funktionen. Hierbei betragen die Gewichte f¨ ur die
66
3 Deformationen
Verj¨ ungungsoperation ataper = 2/3 und die Biegeoperation abend = 1/3. Die Gewichte f¨ ur die Koordinatenverdrehung weisen die Werte atwist = 0, 1, 2 sowie 3 auf. Die Abbildung 3.6 zeigt eine weitere Kombination dieser drei Transforur mationen. Das Gewicht f¨ ur die Tapering-Operation betr¨agt ataper = 3, f¨ ahrend f¨ ur die Bending-Operation die die Twisting-Operation atwist = 2/3, w¨ Werte abend = 0, 1/5, 2/5 sowie 3/5 verwendet werden. Lokalisierung von Deformationen. Wie bereits erw¨ahnt, wirken sich die Deformationen auf den gesamten Koordinatenraum aus. Soll die Auswirkung der Deformationen begrenzt werden, so ist der Koordinatenbereich, der den Einflussbereich ihrer Transformationsfunktionen definiert, auf den gew¨ unschten Bereich einzuschr¨ anken. Die Beschr¨ankung des Wirkungsbereichs der Transformationsfunktionen f¨ uhrt jedoch oft zu Diskontinuit¨aten auf der Oberfl¨ ache, die in Knicke“ oder Farbspr¨ ungen zum Ausdruck kommen. ” 3.1.2 Freiformdeformationen Mit der Freiformdeformation (FFD) wurde eine weitere Methode f¨ ur die Objektdeformation von Sederberg und Parry in [19] vorgestellt. Die Deformationen werden hierbei indirekt auf das Modell u ¨ bertragen, das von einem sog. Berandungsk¨ orper in Form eines Parallelepipeds (axis aligned bounding box bzw. hier ein Quader) umgeben ist. Seine sechs Seitenfl¨achen werden in regelm¨ aßige (rechteckige) Gitter unterteilt. Die Schnittpunkte der Gitterlinien bilden die Kontrollpunkte zur Steuerung der Verformung und k¨onnen interaktiv oder im Falle einer Animation durch prozedurale Methoden ver¨andert werden. Um das eingebettete Objekt zu deformieren, ist es erforderlich, die Verschiebung der Kontrollpunkte des Gitters auf das Objekt zu u ¨ bertragen, dessen neue Oberfl¨ achenkoordinaten durch Spline-Approximation ermittelt werden. Hierzu wird das umschließende Parallelepiped von drei orthonormalen Vektoren S, T und U aufgespannt, die von dem Eckpunkt P0 ausgehen. Die Betr¨ age dieser drei Vektoren entsprechen den Kantenl¨angen des Berandungsk¨ orpers. Jeder Punkt P innerhalb des Parallelepipeds kann durch die Linearkombination P = P0 + s · S + t · T + u · U mit 0 ≤ s ≤ 1, 0 ≤ t ≤ 1 und 0 ≤ u ≤ 1 dargestellt werden. Die Parameter s, t und u f¨ ur einen beliebigen Punkt P innerhalb des Parallelepipeds werden mit den Gleichungen
s=
S × U(P − P0 ) S × T(P − P0 ) T × U(P − P0 ) , t= , u= T×U·S S×U·T S×T·U
(3.1)
ermittelt. Das Kontrollgitter besitzt (l + 1) × (m + 1) × (n + 1) Ebenen in Richtung der Vektoren S, T und U. Aufgrund dieser Festlegungen erhalten
3.1 Geometrische Techniken
67
wir die Position eines Kontrollpunktes Pijk mit: Pijk = P0 +
j k i ·S+ · T + · U. l m n
Die Deformation wird durch Verschiebung der Kontrollpunkte Pijk spezifiziert und beispielsweise durch Bezier-Spline-Approximation auf die Koordinaten des zu transformierenden Punktes P u ¨ bertragen. Hierzu werden zuerst die Koordinaten des Punktes P mit den Glgn. 3.1 in die korrespondierenden Parameter s, t und u umgerechnet. Die Berechnung des deformierten Punktes Pf f d (s, t, u) erfolgt mit: Pf f d
l m n l i m j n k l−i m−j = s (1 − s) t (1 − t) u (1 − u)n−k Pijk . i j k i=0 j=0 k=0
Die Berechnungen vereinfachen sich, wenn X0 in den Koordinatenursprung verschoben und das Berandungsobjekt zum Einheitsw¨ urfel transformiert wird. Nach der Deformation ist die hierzu notwendige Translation und Skalierung wieder r¨ uckg¨ angig zu machen. Der Vorgang wird in Abb. 3.7 dargestellt. Die
Z
Weltkoordinaten Z
Y X
Y X Translation & Skalierung
1,0,1 1,1,1 0,1,0
Kontrollgitter FFD
u U
1,1,0 0,0,0 T S
U
t s 1,0,0
Parameterraum
T S
Abb. 3.7. Prinzip der FFD
inverse Skalierung & Translation
68
3 Deformationen
zus¨ atzliche Verschiebung und Skalierung muss bei der Bestimmung des Rechenaufwandes ber¨ ucksichtigt werden. Die Freiformdeformationen sind nicht auf spezielle geometrische Repr¨asentationen beschr¨ ankt. Sederberg und Parry verwenden als Basisfunktionen Bernstein-Polynome, die jedoch auch durch andere Basen ersetzbar sind. Erweiterungen der Freiform-Deformation. Einer der Nachteile der oben diskutierten FFD-Technik ist die Beschr¨ ankung auf quaderf¨ormige Gitter. Mit einer Erweiterung dieses Verfahrens, der von Sabine Coquillard entwickelten Extended-FFD (EFFD) [20], konnte die Freiform-Deformation auch auf Gitterformen, wie z.B. in Abb. 3.8 dargestellt, angewendet werden. Mit dieser neuen Technik lassen sich Deformationen als Formgeneratoren (shaped warps) einsetzen. Die Koordinatentransformation des Modells, die eine Verschiebung der Punkte des Kontrollgitters hervorruft, erfolgt, wie in [19], durch Linearkombination von Tensorprodukten der Bezier-Kurven. Eine andere Erweiterung der FFD-Technik auf Gitter mit beliebiger Topologie wurde von Ron MacCracken und Kenneth I. Joy [21] entwickelt. Sie verwenden ein Catmull-Clark Unterteilungsschema f¨ ur Fl¨achen und erhalten dadurch eine wohldefinierte topologische Struktur, mit der sich neue Gitter durch Vereinigung von Fl¨ achen erzeugen lassen. Die Anwendung dieser Verformungsgitter vollzieht sich analog zu der Technik von Coquillard. r1 s1 t1
zylinderförmiges Kontrollgitter
s1 t1 r1 t2
s2 r2
toroidales Kontrollgitter
Abb. 3.8. Kontrollgitter f¨ ur die EFFD
3.1.3 Wires Die Wire-Deformationstechnik von Singh und Fiume [22] ist eine FreiformDeformationstechnik, die lokalere Eigenschaften als die FFD oder die EFFD hat. Dazu werden zwei parametrische Kurven – eine Deformationskurve und eine Referenzkurve – definiert, die an eine Objektgeometrie gebunden werden. Bewegt man die Deformationskurve bez¨ uglich der Referenzkurve, wird die assoziierte Objektgeometrie verformt. Wires lassen sich zu Netzen verbinden,
3.1 Geometrische Techniken
69
mit denen man kombinierte Deformationen ausf¨ uhren kann. So ist es auch m¨oglich, die FFD z.B. durch ein Gitter von Wires nachzubilden.
c Abb. 3.9. Deformationen mit Wires (mit Genehmigung von [22], ACM 1998)
Deformation mit der Wire-Technik. Ein Wire ist als Tupel W, R, s, r, f definiert. Hierin sind W und R parametrische Kurven, s ist ein radialer Skalierungsfaktor, r bezeichnet den Einflussradius um R und f : R+ → [0, 1] ist eine mindestens C 1 kontinuierliche Dichtefunktion. Die Dichtefunktion f ist monoton fallend, wobei die folgenden Bedingungen gelten: f (0) = 1, f (x) = 0 f¨ ur x ≥ 1, f (0) = 0 und f (1) = 0. Die Festlegung der Kurven R und W erfolgen durch den Benutzer, wobei W zun¨ achst eine Kopie von R ist. Die Parameter s und r lassen sich ebenfalls vom Benutzer einstellen. Der Einfluss eines Wires auf eine Objektgeometrie wird durch den Radius r um die Referenzkurve R beschr¨ ankt. Die Dichtefunktion f beschreibt dabei den Einfluss auf Punkte innerhalb des in Abb. 3.10 grau dargestellten r¨aumlichen Gebietes. Die Unterschiede der Deformationskurve W zur Referenzkurve R beschreibt die Art der Deformation auf die Koordinaten der Objektgeometrie, die sich im Einflussbereich der Dichtefunktion f befinden. Der Einfluss von f auf einen Punkt P der Objektgeometrie wird mit P − R(pr ) F (P, R) = f r definiert. Aus den Eigenschaften von f lassen sich folgende Aussagen f¨ ur F (P, R) treffen: • •
Wenn P − R ≥ r dann ist F (P, R) = 0. Der Punkt P ist in diesem Fall außerhalb des Einflussbereiches, der durch R und r definiert wird. Wenn P − R = 0 dann ist F (P, R) = 1. Der Punkt P befindet sich in diesem Fall auf der Referenzkurve R.
70
3 Deformationen
Die Transformation von P wird durch den Abstand von dem auf der Referenzkurve R befindlichen Punkt R(pr ) zum korrespondierenden Punkt W(pr ) auf der Deformationskurve W bestimmt. Singh und Fiume benutzen eine direkte Referenz von W und R in Abh¨ angigkeit von den Kurvenparametern. Eine Korrespondenz auf Basis der Bogenl¨ ange beider Kurven ist ebenfalls m¨oglich. Wenn die W -Kurve bewegt wird, werden alle Punkte der Objektgeometrie, f¨ ur die F (P, R) > 0 gilt, verschoben. Die Wire-Deformation l¨asst sich hierbei in drei Schritte unterteilen: 1. Der Punkt P wird mit R(pR ) skaliert, woraus der Punkt Ps = P + (P − R(pR )) · (1 + (s − 1) · F (P, R)) resultiert. ˙ R ) und R(p ˙ R ) an den Kurvenpunkten 2. Mit den Tangentenvektoren W(p W(pR ) und R(pR ) wird der Zwischenwinkel θ bestimmt. Ps wird anschlie˙ R) ˙ R ) × R(p ßend mit dem Winkel θ · F (P, R) um den Achsenvektor W(p gedreht, der durch den Punkt R(pR ) verl¨ auft. Hierdurch erhalten wir den Punkt Pr . 3. Indem wir im letzten Schritt Pr mit dem Vektor (W(pR )−R(pR ))·F (P, R) verschieben, erhalten wir den neuen Punkt Pdef = Pr +(W(pR )−R(pR ))· F (P, R). Die Deformationen eines Punktes P kann auch mit einer Kombination mehur die folgende Deforrerer Wires Wi , Ri , si , ri , fi erfolgen. In [22] ist hierf¨ mationsgleichung angegeben: ' |m| j=i ∆Pj i=1 ∆Pi . . n ' |m| i=1 j=i ∆Pj
n Pdef = P +
W W(pr) f=0
W(pr)
q
f>0 R
R(pr)
r
R(pr) Pdef
gewichtete Translation
P 1.
3.
Pr
2.
radiale Skalierung: s>1
Ps Rotation um R(pr) mit gewichtetem Winkel F(P,R) q
Abb. 3.10. Deformation des Punktes P nach Pdef
3.1 Geometrische Techniken
71
Hierin ist ∆Pi = Pdefi − P, worin Pdefi jener Punkt ist, der durch das i-te Wire deformiert wird. Ist m = 0, so erh¨alt man den Mittelwert aller Deformationen; ist m < 0, k¨ onnen Singularit¨aten entstehen. Eine einfache L¨ osung besteht darin, entweder nur positive Werte f¨ ur m zuzulassen oder jene ∆P -Werte, die den Wert 0 aufweisen, bei der Berechnung von Pdef zu ignorieren. 3.1.4 Skinning Mit Skinning werden Verfahren bezeichnet, die H¨ ullfl¨achen, die Skelette ummanteln, bei Dehnungen der skelettalen Gelenke so deformieren, dass weder Risse, ungewollte Falten oder Knicke enstehen. Wie der Begriff Skinning schon andeutet, sind diese Verfahren f¨ ur die Deformation der Haut entwickelt worden. Das Skinning erfolgt auf der Ebene der H¨ ullfl¨achengeometrie, wobei zwei Operationen, das Vertex-Tweening und das Vertex-Blending, zur Anwendung kommen: Vertex-Tweening. Beim Vertex-Tweening wird eine neue Position eines polygonalen Eckpunktes v durch eine lineare Interpolation zwischen den Positionen v1 und v2 mit dem sog. Tweenfactor α (0 ≤ α ≤ 1) berechnet. Dieses Verfahren ist im Prinzip nichts anderes als ein Keyframing auf der Basis von Oberfl¨ achengittern, wobei die Vertex-Tweening Operation mit v = v1 · (1 − α) + v2 · α definiert ist. Vertex Blending. Das Vertex-Blending funktioniert ¨ahnlich dem Vertex Tweening. Der Unterschied besteht lediglich darin, dass beim Vertex-Blending die Interpolation mit mehr als zwei Eckpunkten erfolgen kann2 , die auch unterschiedlich gewichtet sind. Hierdurch l¨ asst sich eine bessere Steuerung des Interpolationsprozesses erzielen. Die Vertex-Blending Operation ist mit der Gleichung n−1 αi , v = v1 · α1 + · · · + vn−1 · αn−1 + vn 1 − definiert, wobei die Bedingung
2
i
i=1
αi < 1 gilt.
Vertex-Blending sowie auch Vertex-Tweening wird durch graphische API’s, wie TM R von Microsoft unterst¨ utzt. z.B. DirectX“ ”
72
3 Deformationen
3.1.5 Aspekte der Animation geometrischer Deformationen Prinzipiell l¨ asst sich jede Verformungstechnik f¨ ur die Computeranimation einsetzen. Um die globalen Verformungstechniken in Animationen einsetzen zu k¨onnen, muss jedoch die Transformationsfunktion f der Deformationstransformation kontinuierliche Werte in Abh¨ angigkeit eines Zeitparameters liefern. Die Bending-Transformation w¨ urde dann beispielsweise den Biegewinkel der Funktion fangle (z, a, ft , t) = πft (a, t)z u ¨ ber den Parameter t kontinuierlich ver¨ andern. Chadwick, Haumann und Parent [23] setzen Freiformdeformationen f¨ ur die Simulation von Muskelkontrakionen ein. Hierzu werden FFD-Gitter um das polygonale Modell eines Oberarms gelegt, mit dem Ziel, den Eindruck eines kontrahierenden Armmuskels zu erzeugen. Abh¨angig vom Armgelenkwinkel wird, wie in Abb. 3.11 dargestellt, durch lokale Skalierung und Verschiebung des FFD-Gitters der Effekt eines anschwellenden Oberarmmuskels erzeugt. Sabine Coquillart [24] beschreibt mit der animierten FFD (AFFD) eine Methode, um dynamische Verformungen mit zwei Kontrollgittern darzustellen. Im einfachsten Fall l¨ asst sich das eine Kontrollgitter als eine Verformung des anderen Gitters betrachten, wobei sich diese durch eine zeitabh¨angige Keyframe-Interpolation wechselseitig ineinander u uhren lassen. ¨berf¨ Eine weitere M¨ oglichkeit besteht darin, ein Objekt innerhalb eines feststehenden Kontrollgitters zu bewegen, wodurch die Verformung des Objektes von der lokalen Gitterstruktur abh¨ angt. Beide Methoden, die Animation des Kontrollgitters und die Bewegung des Objektes relativ zum Gitter, lassen sich kombinieren.
Abb. 3.11. Darstellung einer Muskelkontraktion des Oberarms mit Hilfe der AFFD
3.2 Dynamische Deformationen In diesem Abschnitt wird eine Reihe von Verfahren vorgestellt, die f¨ ur die Deformationen eines Modells Gesetze der Newton’schen Mechanik verwenden. Diese Verfahren sind Adaptionen f¨ ur die Computeranimation von bew¨ahrten mathematischen Techniken aus den Ingenieursdisziplinen. Sie unterscheiden
3.2 Dynamische Deformationen
73
sich untereinander hinsichtlich der modellierten Eigenschaften des Modells, der Genauigkeit, Robustheit und Stabilit¨ at sowie dem ben¨otigten Rechenaufwand. Da kein einzelnes Verfahren alle Kriterien gleich gut modelliert, ist die Entscheidung f¨ ur ein Verfahren ein Kompromiss zwischen verschiedenen Anforderungen an die Animation. Die mechanischen Eigenschaften eines K¨ orpers kann man mit Hilfe einer Funktion beschreiben, die dessen momentanen Zustand auf eine Anordnung von im K¨ orper wirkenden Kr¨ aften abbildet. In den meisten (nicht-trivialen) F¨ allen wird diese Funktion sowohl nicht-linear sein, als auch eine große Anzahl von Variablen enthalten. Das wiederum bedeutet, dass man zur Beschreibung eines neuen zeitabh¨ angigen Zustands dieses K¨orpers eine große Anzahl von nicht-linearen Differentialgleichungen l¨ osen muss. Die Komplexit¨at dieser Gleichungssysteme l¨ asst eine analytische L¨ osung nicht zu, weshalb sie numerisch gel¨ ost werden m¨ ussen. Die Stabilit¨ at und die Genauigkeit der verwendeten L¨ osungsmethoden bestimmen dann im Weiteren die Qualit¨at der L¨osung. Die nun im Folgenden vorgestellten, f¨ ur die Computeranimation adaptierten Verfahren zur dynamischen Deformation, machen fast alle Abstriche bei der Pr¨ azision zu Gunsten der Effektivit¨ at. Das vorrangige Ziel dabei ist, visuell plausibel bez¨ uglich der angestrebten Anwendungsklasse zu bleiben. 3.2.1 Feder-Masse-Systeme Feder-Masse-Systeme liefern eine effektive Methode, elastische Deformationen eines K¨ orpers zu simulieren. Sie sind nicht nur einfach zu konstruieren, sondern auch in den meisten F¨ allen f¨ ur den interaktiven Einsatz geeignet, da sich die resultierenden Differentialgleichungen selbst f¨ ur Zehntausende von Verbindungen in Echtzeit l¨ osen lassen. Anwendungen von Feder-Masse-Systemen sind beispielsweise in Gesichtsmodellen [25, 26] oder der Stoffanimation zu finden [27]. F¨ ur den Aufbau eines Feder-Masse-Systems wird eine Anzahl von Massepunkten auf den K¨orper ver¨ teilt und mit mechanischen Federmodellen verbunden. Ublicherweise werden, wie Abb. 3.12 zeigt, regelm¨ aßige Gitterstrukturen aufgebaut, um ein einfach zu implementierendes Modell zu erhalten. F¨ ur die Federn wird meistens ein lineares (Hooke’sches) Modell verwendet, angenver¨ anderungen der Realit¨at entspricht3 . ur kleine L¨ das allerdings nur f¨ Die statische Federkraftkomponente Fstat repr¨asentiert die einfache Beziehung zwischen der linearen Federkonstanten k, die die Steifigkeit der Feder gegen¨ uber ihrer L¨ angen¨ anderung ∆x bezogen auf die Ruhel¨ange L darstellt. Fstat = −k(∆x − L).
(3.2)
Die dynamische Verhalten eines ged¨ ampften, gitterf¨ormig angeordneten FederMasse-Systems l¨ asst sich demnach wie folgt beschreiben: 3
Es gibt auch Beispiele, bei denen nichtlineare Federmodelle verwendet wurden (z.B. bei der Modellierung von Haut, die oft nicht-elastische Merkmale aufweist).
74
3 Deformationen
mi x ¨i =
kij (|xi − xj | − Lij )
j∈Si
xj − xi − ci x˙ i + fi |xj − xi |
(3.3)
Abb. 3.12. Gitterf¨ ormiges Zellensystem mit Feder-Masse-D¨ ampfer-Elementen
Auf der linken Seite der Gleichung 3.3 ist mi die Masse des Punktes i mit ¨i 4 . Auf der rechten Seite stehen die der Position xi und der Beschleunigung x Kr¨ afte, die auf die Punktmassen wirken. Hier werden im ersten Term alle Federkr¨ afte summiert, die den Massepunkt i mit anderen, benachbarten Masur den aktusepunkten verbindet. Diese Federn seien Elemente der Menge Si f¨ ellen Massepunkt i. Die Federkonstante ist hier durch kij und die Ruhel¨ange der Feder zwischen Punkt i und Punkt j mit Lij bezeichnet. Der zweite Term ist ein skalare D¨ ampfungskraft, die von der momentanen Geschwindigkeit des Massepunktes abh¨ angt und daf¨ ur sorgt, dass dem System Energie entzogen wird und dadurch die Bewegungen nach einiger Zeit zum Stillstand kommen. alt man den Eindruck, die MassepunkW¨ ahlt man einen hohen Wert f¨ ur ci , erh¨ te seien in eine z¨ ahfl¨ ussige Substanz eingebettet. Der letzte Term bezeichnet eine Kraft, die auf den Massepunkt i von außen einwirkt. Das kann z.B. die Gravitation, Windkraft oder ein direkter Impuls sein. Zur L¨ osung des Differentialgleichungssystems lassen sich verschiedene numerische Integrationstechniken verwenden. Vielfach wird hierzu das bez¨ uglich der Zeitschrittweite adaptive Euler- bzw. Runge-Kutta-Integrationsverfahren eingesetzt. Das System l¨ asst sich in iterativer Weise jedoch auch vorw¨arts-entwickeln“, ” in dem f¨ ur die Integration feste Zeitinkremente eingesetzt werden. Die Glei4
Zweites Newton’sches Gesetz.
3.2 Dynamische Deformationen
75
chung 3.3 wird dann direkt f¨ ur jeden Zeitschritt gel¨ost, der dann als Ausgangspunkt f¨ ur die n¨ achste Iteration dient. Diese Vorgehensweise bietet sich f¨ ur einfache interaktive Simulationen an. Sie entspricht dem Euler-Verfahren mit nicht-adaptiver Schrittweite und birgt deshalb die Gefahr, dass das System instabil wird. Obwohl Feder-Masse-Systeme leicht zu konstruieren sind, haben sie eine Reihe von Nachteilen, die ihren Einsatz beschr¨ anken. Zun¨achst ist die Konzentration der Masse in wenigen Punkten eine starke Vereinfachung von kontinuierlichen Materialien. Die spezielle Verteilung von Material mit verschiedenen Eigenschaften innerhalb eines K¨ orpers l¨ asst sich zwar durch eine unterschiedliche Einstellung der Federkonstanten erreichen, es ist jedoch sehr aufwendig, selbst f¨ ur einfache Materialverteilungen eine geeignete Kalibrierung der Federkonstanten zu finden. Auch lassen sich d¨ unne Schalen und W¨ande nur schwer mit einem Federmodell beschreiben. In einigen F¨ allen kann man sich mit zus¨ atzlichen Federn, die als Verstrebungen dienen, behelfen. Wenn diese Systeme starre Materialien repr¨asentieren oder wenn starre Verbindungen vorhanden sind, m¨ ussen den entsprechenden Federkonstanten sehr hohe Werte zugewiesen werden. Dies f¨ uhrt bei der L¨ osung des Differentialgleichungssystems zu sog. Steifigkeitsproblemen5 . Die damit verbundene numerische Instabilit¨ at ist nur mit sehr aufwendigen L¨osungsverfahren beherrschbar, deren hoher Rechenaufwand einen Echtzeiteinsatz verhindern w¨ urde. Um die Deformationen darstellen zu k¨ onnen, ist das dynamische Modell mit einem geometrischen Modell zu verkn¨ upfen. So l¨asst sich eine explizite Zuordnung zwischen den beiden Repr¨ asentationen schaffen und in einem gesonderten Schritt die Bewegungen auf das Geometriemodell u ¨ bertragen. Alternativ hierzu kann auch ein gemeinsames Modell erzeugt werden, indem wir f¨ ur die Positionen der Massepunkte die Eckpunkte einer polygonalen Oberfl¨achenrepr¨ asentation verwenden. 3.2.2 Finite Elemente Die Finite Elemente Methode (FEM) ist ein leistungsf¨ahiges Berechnungsverfahren, das in den 50er Jahren urspr¨ unglich nur zur Untersuchung von Belastungsproblemen in der Strukturmechanik und an Festk¨orpern entwickelt wurde. Sp¨ ater fand dieses Verfahren auch Anwendung f¨ ur viele weitere Problemklassen, wie der Str¨ omungsmechanik oder bei der L¨osung von W¨armeleitungsproblemen. Es gibt eine Vielzahl von B¨ uchern, die das Thema ausgiebig behandeln [28], [29]. In diesem Abschnitt soll nur die prinzipielle Vorgehensweise der FEM skizziert werden. Bei der auf der Kontinuumsmechanik basierenden Finite Elemente Methode l¨ asst sich das physikalische Verhalten elastischer Festk¨orpermodelle, 5
Steifigkeitsprobleme bewirken numerische Instabilit¨ aten bei Simulationen. Diese wirken sich so aus, als ob der simulierte K¨ orper explodiert.
76
3 Deformationen
Ausgangsobjekt
FE-Struktur Diskretisierung
Volumenelement Elementknoten
Abb. 3.13. Transformation einer Kugel in ihre FE-Struktur
bei denen Masse und Energie kontinuierlich im Material verteilt sind, wesentlich genauer als mit Feder-Masse-Modellen beschreiben. Kontinuumsmodelle betrachten das Gleichgewicht von allgemeinen K¨orpern, die sich unter dem Einfluss externer Kr¨ afte befinden. Eine Deformation wird hierbei als eine Funktion der Materialeigenschaften sowie der Kr¨afte betrachtet, die auf einen elastischen K¨ orper einwirken, dessen Gesamtpotential Π aus der Form¨ anderungsarbeit Πi und dem Potential der a¨ußeren Kr¨afte Πa besteht: Π = Πi + Πa . Die Arbeit, die durch die externen Belastungen entsteht, teilt sich in die lokal wirkenden Kr¨ afte (z.B. Kontaktkr¨ afte), in allgemeine Kr¨afte, die u ¨ber den ganzen K¨ orper verteilt sind (z.B. Gravitationskr¨afte) sowie in Fl¨achenkr¨afte, die auf die Oberfl¨ ache des Objekts einwirken (z.B. Druckkr¨afte). Um die Form eines K¨ orpers zu bestimmen, der sich im Kr¨aftegleichgewicht befindet, werden Πi und Πa als Funktion der Deformationen des K¨orpers ausgedr¨ uckt, die sich als Funktion der Materialverschiebungen darstellen lassen6 . Wir erhalten das Kr¨ aftegleichgewicht, wenn die erste Ableitung des Gesamtpotentials bez¨ uglich den sog. virtuellen Verschiebungen zu Null wird. Um die Verformung eines elastischen K¨ orpers basierend auf der oben genannten Gleichgewichtsbedingung zu berechnen, wird dieser durch ein r¨aumliches Netz diskretisiert (s. Abb. 3.13). Die Diskretisierung des K¨orpers mit einer endlichen (finiten) Anzahl von z.B. Stabelementen, denen geometrische (L¨ ange, Querschnitt) sowie physikalische Eigenschaften (z.B. Festigkeit) zugeordnet sind, erm¨ oglicht es, seine Verformung unter Einwirkung ¨außerer Kr¨ afte zu berechnen. Die Angriffspunkte, an denen diese Kr¨afte auf ein Element einwirken k¨ onnen, werden als Knoten bezeichnet. Je feinmaschiger das Netz ist, umso exakter l¨ asst sich die Kr¨ afteverteilung innerhalb des K¨orpers sowie seine Verformung bestimmen. Sein Gesamtpotential ist nach der Diskretisierung die Summe der Gesamtpotentiale seiner Elemente. 6
Im Fall eines diskretisierten K¨ orpers, der durch ein Netz miteinander interagierender Massenpunkte repr¨ asentiert wird, lassen sich die Materialverschiebungen durch die r¨ aumliche Ver¨ anderung der Positionen der Massenpunkte darstellen.
3.2 Dynamische Deformationen
Π = Πi + Π a =
n
77
(πij + πaj ).
j
Im Folgenden betrachten wir das Gesamtpotential eines einzelnen Elementes (FE) etwas genauer. Es wird von dem externen Kraftvektor F, den virtuellen Verschiebungen d = ∆x des Ortsvektors x sowie der Steifigkeitsmatrix K mit 1 T d Kd − dT F (3.4) 2 bestimmt. Die Steifigkeitsmatrix bestimmt die Verformbarkeit eines Elementes. Sie repr¨ asentiert die linearisierten elastischen Materialeigenschaften, die Geometrie des Elementes sowie die Freiheitsgrade der Knoten hinsichtlich ihrer Verschiebungen. Die oben angef¨ uhrte Gleichgewichtsbedingung (Π˙ = 0) f¨ ur das Gesamtpotential des diskretisierten elastischen K¨ orpers muss nat¨ urlich auch f¨ ur seine einzelnen Elemente gelten. Wir erhalten somit aus Glg. 3.4 mit π = πi + πa =
∂π = Kd − F = 0, ∂d die Gleichgewichtsbeziehung f¨ ur ein einzelnes Element: F = K d. Beispiel. Diese Zusammenh¨ ange lassen sich an einem einfachen Beispiel verdeutlichen, das in Abb. 3.14 dargestellt ist: Ein Gewicht mit der Masse m ist an einer Feder mit der Steifigkeit k angeh¨angt, die an einem Fixpunkt befestigt ist. Die L¨ angen¨ anderung der Feder d (virtuelle Verschiebung) soll bestimmt werden, die durch die Gravitationskraft mg verursacht wird. Wir erhalten das Gesamtpotential dieser Anordnung entsprechend Glg. 3.4 mit π = πi + πa =
1 2 kd − m g d, 2
den station¨ aren Zustand mit ∂π = kd − mg = 0 ∂d
(3.5)
und die gesuchte, station¨ are L¨ angen¨ anderung mit dstat = mg/k. Neben zwei- und dreidimensionalen Stabelementen werden zur Diskretisierung auch Balken- und Scheibenelemente sowie Platten- und Schalenelemente verwendet. Die FE-Modellierung von K¨ orpern erfolgt vorzugsweise mit Tetraeder-, Pentaeder- oder auch mit Hexaederelementen. Jedem dieser Elementtypen ist eine spezielle Steifigkeitsmatrix zugeordnet, die entsprechend den oben genannten Eigenschaften parametrisiert ist. Diese Matrizen lassen
78
3 Deformationen
k k g m Ustat =
mg k
m
Abb. 3.14. Beispiel zum Prinzip des Gesamtpotentials
sich wie Bausteine behandeln, mit denen die Gesamtsteifigkeitsmatrix K einer komplexen FE-Struktur nach einem formalen Schema entsprechend ihren ¨ r¨ aumlichen Beziehungen (Knotenverbindungen) durch additive Uberlagerung konstruiert wird. Da auf die Knoten einer FE-Struktur, die in K formalisiert ist, Kr¨ afte einwirken, m¨ ussen diese als Randbedingungen definiert werden. Diese Kr¨ afte lassen sich außer in die globalen Knotenkr¨afte P, auch in Auflagekr¨ afte A sowie in Volumenkr¨ afte V unterteilen. Mit den Auflagekr¨aften erfolgt die Fixierung eines Knotens an einer festen Position; d.h. es tritt keine Verschiebung des betreffenden Knotens auf. Die Volumenkr¨afte stellen die Eigengewichte der Elemente dar. Analog zum station¨ aren Zustand eines einzelnen Elementes (s. Glg. 3.5) erhalten wir f¨ ur das Gesamtsystem, unter Vorgabe der Randbedingungen f¨ ur die Knotenverschiebung, die Gleichgewichtsbeziehung: K D = A + P + V. Dieses lineare Gleichungssystem muss nach dem Knotenverschiebungsvektor D, der die Materialverschiebungen repr¨ asentiert, gel¨ost werden. Dies k¨onnte nat¨ urlich theoretisch durch Invertieren der Steifigkeitsmatrix K und der Multiplikation mit den Kr¨ aftevektoren erfolgen. Da aber die Genauigkeit einer Finite Elemente Analyse von der Feinheit der Diskretisierung abh¨angt, kann dieses Gleichungssystem in der Praxis sehr groß werden (z.B. mehr als 105 Freiheitsgrade bei großen Strukturen) und der erforderliche Rechenaufwand einen derartig einfachen L¨ osungsweg nicht zulassen. Es ist daher von ganz wesentlicher Bedeutung, wie effizient das lineare Gleichungssystem gel¨ost werden kann. Zusammenfassend lassen sich die einzelnen Schritte der Methode der Finiten Elemente wie folgt darstellen: 1. Diskretisierung der realen Struktur mittels geeigneter Elementtypen. Die einzelnen Elemente sind an den Knotenpunkten miteinander verbunden.
3.2 Dynamische Deformationen
79
2. Festlegung der unbekannten Knotenpunktverschiebungen. Die Gesamtheit dieser Verschiebungen beschreibt das Steifigkeitsverhalten der diskretisierten Gesamtstruktur. 3. Aufstellen des linearen Gleichungssystems der Gesamtstruktur unter Ber¨ ucksichtigung der vorgegebenen Gleichgewichtsbedingungen f¨ ur die Knotenkr¨ afte. 4. Berechnung der Knotenverschiebungen entsprechend den Gleichgewichtsbedingungen. 5. Darstellung des FE-Netzes unter Ber¨ ucksichtigung der Knotenverschiebungen. Nichtlineare FEM. Bei den obigen Betrachtungen wurde, um die Problemstellung zu vereinfachen, davon ausgegangen, dass die Gleichgewichtsbedingungen u ¨ ber die Zeit konstant bleiben und dass sich die Randbedingungen nicht ¨ andern. Die ermittelten Gleichungen entsprechen somit einer linearen Strukturberechnung, wobei die ermittelten Knotenverschiebungen eine lineare Funktion der wirkenden Kr¨ afte sind. Dies kann jedoch n¨aherungsweise nur bei kleinen Knotenverschiebungen angenommen werden, da dort ein weitgehend linearer Zusammenhang zwischen Kr¨ aften und Verschiebungen der Netzknoten besteht. Bei großen Knotenverschiebungen oder Verdrehungen gehen wir von nichtlinearen strukturmechanischen Problemstellungen aus. Diese k¨onnen auch durch nichtlineare Randbedingungen, die beispielsweise durch Reibung und Kontaktkr¨ afte entstehen sowie durch materialbedingte Nichtlinearit¨aten oder durch instation¨ ares Strukturverhalten erzeugt werden. Die Berechnung der Knotenverschiebungen erfolgt hierbei in vielen F¨allen mit partiellen, nichtlinearen Differentialgleichungssystemen, die aufgrund ihrer großen Komplexit¨ at hier nicht diskutiert werden k¨onnen. Nichtlineare Finite-Elemente-Methoden werden ausf¨ uhrlich in [30] behandelt. Interpolation. Die Verschiebung eines Punktes, der sich zwar innerhalb einer FE-Struktur, jedoch an keiner Knotenposition befindet, kann mit Hilfe der Interpolationsgleichung h(di ) d≈ i
bestimmt werden. Hierbei ist h die Interpolationsfunktion, w¨ahrend di die Knotenverschiebungsvektoren jenes FE-Volumenelementes repr¨asentieren, das diesen Punkt enth¨ alt. Die Verschiebung von d ist demnach die gewichtete Produktsumme der korrespondierenden Verschiebevektoren. Aspekte der Computeranimation. Der Einsatz der FEM in der Computeranimation war bislang wegen ihres hohen Rechenaufwandes begrenzt. So m¨ ussten bei dynamischen Objektverformungen die Kr¨aftevektoren und die Steifigkeitsmatrix des Systems nach jedem Verformungsschritt neu aufgestellt
80
3 Deformationen
Abb. 3.15. Lokalisierte FEM nach Debunne et al. (mit Genehmigung von [31], c ACM 2001, s. Farbtafel II)
werden. Diese sehr aufwendige Neuberechnung wird dadurch vermieden, indem nur kleine Deformationen dargestellt werden. Bei starken Deformationen k¨onnen sich zudem leicht lokale Ver¨ anderungen in der Topologie, wie die gegenseitige Durchdringung von Elementen ergeben. Je feiner das Objekt in entsprechend kleine Elemente aufgel¨ ost ist, desto h¨aufiger treten derartige Effekte auf. Debunne et al. [31] beschreiben eine andere Methode, die Auswertung zu beschleunigen, indem sie die eigentlich globalen Berechnungen lokalisieren. Dazu werden hierarchische Gitter unterschiedlicher Aufl¨osung erzeugt, die den Krafteinfluss lokalisieren und die damit zusammenh¨angenden Werte in den Steifigkeitsmatrizen identifzieren helfen (s. Abb. 3.15). Diese Vorgehensweise ist allerdings nicht sehr exakt und wird daher vorrangig nur bei interaktiven Anwendungen verwendet.
3.2.3 Elastisch-deformierbare Kurven, Fl¨ achen und K¨ orper Die von Terzopoulos et al. in [32] vorgestellte Methode zur Darstellung des dynamischen Verhaltens elastisch-deformierbarer Kurven, Fl¨achen und K¨orper basiert auf der Elastizit¨ atstheorie. Dieser Ansatz erlaubt die Simulation des dynamischen Verhaltens von Objekten, die aus Materialien mit sehr unterschiedlichem Dehnungsverhalten, wie Gummi, Stoff oder Papier bestehen k¨ onnen. Die Deformation des geometrischen Objektes ist hierbei von der Verformungsenergie abh¨ angig.
3.2 Dynamische Deformationen
81
Die grundlegende Idee dieses Verfahrens l¨ asst sich anhand der Deformation einer Kurve (s. Abb. 3.16) am einfachsten erkl¨ aren. Wir betrachten hierzu ein im Ruhezustand befindliches, diskretes Kurvenmodell (gestrichelt dargestellt), das sich durch die extern einwirkenden Kr¨ afte Fi auf einer Ebene ver¨andern kann. Diese Ver¨ anderung wird durch Biegung, Dehnung oder Stauchung der Verbindungen zwischen den massebehafteten Knotenelementen bewirkt. Ein stabiler Zustand stellt sich ein, wenn sich die durch die lokalen Dehnungsund Biegekr¨ afte an den Knotenelementen erzeugte potentielle Energie mit den angreifenden Kr¨ aften im Gleichgewicht befinden. Die einzelnen Kraftkomponeten Fi , die an einem Knotenelement angreifen, bewirken lokale Verbiegungen und Dehnungen an den betreffenden Knotenverbindungen, bis ein Gleichgewichtszustand erreicht ist. Fi = −ei ≈ α (∆si ) + β (∆κi ) .
(3.6)
Hierin sind α und β Federkonstanten, die den Widerstand der Kurve gegen Biegung und Streckung darstellen. ∆si und ∆κi repr¨asentieren die L¨angenbzw. Winkel¨ anderungen der Verbindungselemente aus der Ruhelage. Um das Zeitverhalten der dynamisch deformierten Kurve zu berechnen, ist diese als eine Kette (s. Abb. 3.16) mit ged¨ ampften, elastisch verformbaren Gelenkverbindungen sowie mit elastisch verbiegbaren Gelenken zu betrachten. Die Federkraft ei , die entgegen der einwirkenden Kraft Fi gerichtet ist, kann als Produkt (ei = ki ui ) der Federkonstanten ki und der Verschiebung ui des auf den Knotenpunkt i weisenden Ortsvektors xi dargestellt werden. Den Gelenkknoten wird die Masse mi zugewiesen. Die Beschreibung des dynamischen Verhaltens der gesamten Kette erfolgt mit der im Abschn. 3.2.1 eingehend erkl¨ arten Bewegungsgleichung. Das dynamische Deformationsverhalten von Fl¨achen und K¨orpern l¨asst sich prinzipiell in gleicher Weise simulieren, wobei die 2D- oder 3D-Objekte als Gitter diskretisiert werden. Die kinetische Energie und die D¨ampfungskr¨ afte werden an allen massebehaftenen Gitterpunkten ausgewertet, mit der die Verteilung der Materialdichte dargestellt wird. Die dynamischen VerschieDeformation
m3
f1 x2
m2
m5
f4
m1 xi f 2
f3
x1
c
f5
m4
Ruhezustand
m6 f6
c
c
m Gelenkmodell
Abb. 3.16. Deformation einer Kurve unter Einwirkung externer Kr¨ afte
82
3 Deformationen
bungen der Ortsvektoren d werden mit den u ur ¨ blichen L¨osungsverfahren f¨ gekoppelte Differentialgleichungen bestimmt. 3.2.4 Hybride Verfahren f¨ ur dynamische Deformation Die diskreten Bewegungsgleichungen sind umso schlechter bestimmbar, je starrer das Objekt wird. Dieser Effekt ist dem Steifigkeitsproblemen bei den Feder-Masse-Modellen sehr ¨ ahnlich. Ein anderes Problem, das bei vielen Repr¨asentationen deformierbarer K¨ orper auftritt, betrifft die Zustandsvektoren, die die diskreten dynamischen Modelle repr¨ asentieren. Diese werden sehr groß und damit nur schwer handhabbar. Hybride Ans¨atze versuchen, dieses Problem durch Unterteilung des Modells in starre und deformierbare Komponenten zu l¨ osen. In [33] wird ein deformierbarer K¨ orper mit einem festen Referenzk¨orper f¨ ur die Verschiebungs- und Drehbewegungen sowie einer diskretisierten Verschiebungsfunktion dargestellt, welche die Positionen der Gitterpunkte relativ zu ihren Referenzpunkten auf dem starren Modell beschreibt. Die Bewegung des Referenzmodells wird mit Standardverfahren f¨ ur die Bewegung starrer K¨orper (rigid body motions) bestimmt. Durch die explizite Modellierung des Ruhezustandes (undeformiert) ist es nicht mehr n¨otig, diesen in der Gleichung des Energiezustandes nach Glg. 3.6 zu ber¨ ucksichtigen. Anstelle des Ruhezustandes wird nun die potentielle Energie als gewichtete Summe der quadratischen Betr¨ age der partiellen Ableitungen (niedriger Ordnung) der Verschiebungsfunktionen betrachtet. Die potentielle Energie ist minimal, wenn der Wert der Verschiebungsfunktion Null und der K¨orper somit undeformiert ist. Der Wert der Verschiebungsfunktion erh¨oht sich monoton, wenn die Deformation zunimmt. Terzopoulos und Fleischer [34] verallgemeinerten diesen Ansatz, um viskoelastische Zust¨ ande (z.B. Zerfließen) und Materialbr¨ uche in deformierbaren K¨orpern modellieren zu k¨ onnen. Dieses wird dadurch erreicht, dass aufwendigere Modelle f¨ ur die Repr¨ asentation der internen Kraftbez¨ uge verwendet werden. F¨ ur viskoses – d.h. fließendes – Verhalten h¨angen die internen Kr¨afte von den zeitlichen Ableitungen der Verschiebungsfunktion ab, das heißt von der Geschwindigkeit der Gitterpunkte und ihren partiellen r¨aumlichen Ableitungen. ucksichtigt die Entwicklung der Deformation Plastisches Verhalten ber¨ u uche werden dadurch modelliert, dass Verbindun¨ ber die Zeit und Materialbr¨ gen zwischen Gitterpunkten gel¨ ost werden, indem die entsprechenden Bez¨ uge in den Gleichungssystemen entfernt werden. 3.2.5 Modale Deformation Die Modale Analyse ist eine Methode, mit der das Schwingungsverhalten und die Eigenfrequenzen elastischer K¨ orper bestimmt werden.
3.2 Dynamische Deformationen
83
Aus unserer Erfahrung wissen wir, dass große H¨angebr¨ ucken bei bestimmten periodischen Erregungen in Schwingung geraten k¨onnen. Die Frequenz und Art der Schwingung (Schwingungsmodus) ist nicht beliebig, sondern durch die spezielle Br¨ uckenkonstruktion vorgegeben. Eine Br¨ uckenkonstruktion kann jedoch, abh¨ angig von der Anregungsfunktion, mit vielen unterschiedlichen Frequenzen (Eigenfrequenzen) und den hiermit korreskondierenden Modi (Eigenformen) schwingen. Die Modale Analyse wurde durch die Arbeit von Alex Pentland und John Williams [35] f¨ ur die Computeranimation adaptiert. Pentland et al. benutzten einen hybriden Ansatz, der zuvor von Terzopoulos et al. beschrieben wurde (siehe oben). Dieser unterteilt die Bewegung eines deformierbaren K¨orpers in einen starren und einen dynamischen Anteil. Der deformierbare Anteil wird dabei in ein Koordinatensystem eingebettet, das sich mit dem K¨orper mitbewegt. Um die Kosten f¨ ur die Berechnung der Vibrationsmodi zu verringern, benutzten sie nur lineare und quadratische Deformationsfelder, die u ¨ber einem rechteckigen Umgebungsvolumen definiert sind, anstelle die Modi des aktuellen Objekts direkt zu berechnen. Das Objekt wird dann in dieses Gitter eingebettet und in gleicher Weise deformiert, wie es bei Freiform-Deformationen geschieht. Die angen¨ aherten Modi liefern allerdings nur bei kompakten K¨orpern zufriedenstellende Ergebnisse, die durch die Gitter hinreichend approximiert werden. Von Hauser, Shen und O’Brien [36] wurde eine neuere Adaption der Technik f¨ ur den interaktiven Einsatz vorgestellt, die sich auch f¨ ur die Spieleindustrie eignet [37]. Ihr Ansatz l¨ asst sich in Kurzform wie folgt beschreiben: Zuerst wird die nicht-lineare Beschreibung des Objektes durch ein diskretes lineares Modell angen¨ ahert. Danach wird ein neues Koordinatensystem gesucht, in dem diese Approximation diagonalisiert wird, d.h. die Matrizen der linearen Beschreibungen sind nur noch entlang der Hauptdiagonalen besetzt. Dadurch werden auch die linearen Gleichungen voneinander entkoppelt. Die Vorteile dieses Verfahrens sind eine effiziente Berechnung und gute Stabilit¨ at, da die linearen Gleichungen analytisch gel¨ost werden k¨onnen. Jede dieser Gleichungen kann auf ihren Beitrag zur Deformation des K¨orpers untersucht werden und es k¨ onnen unerw¨ unschte Terme einfach eliminiert werden. Ein Nachteil des Verfahrens ist, dass die Linearisierung ein bedeutender ur die EntEinschnitt in die Genauigkeit ist. Ein weiterer Nachteil ist, dass f¨ kopplung der linearen Gleichungssysteme eine Eigenwertanalyse vorgenommen werden muss, die oft sehr rechenaufwendig ist. Diese muss allerdings f¨ ur jedes Objekt nur einmal vorgenommen werden und kann dann zusammen mit dem Modell des Objektes gespeichert und bei Bedarf wieder eingelesen werden. Ausgangspunkt ist die linearisierte Bewegungsgleichung ¨=F Kd + Cd˙ + Md
(3.7)
84
3 Deformationen
in der d als Punktverschiebung zu betrachten ist. Indem die D¨ampfungsmatrix C in Glg. 3.7 durch die als Rayleigh-D¨ ampfung bekannte Linearkombination7 C = c1 K + c2 M substituiert wird, erhalten wir ˙ + M(c2 d˙ + d) ¨ =F K(d + c1 d)
(3.8)
Zur Bestimmung der Modi des Systems wird das allgemeine symmetrische Eigenwertproblem Kφ = λMφ gel¨ ost. Als Ergebnis erhalten wir die in der Diagonalmatrix Λ angeordneten Eigenwerte (λ1 , ..., λn ) sowie die zugeh¨origen Eigenvektoren (φ1 , ..., φn ), die spaltenweise in der Matrix W angeordnet sind. Da die Eigenvektoren modal orthonormal sind gilt WT KW = Λ und WT MW = I [29]. Mit diesen Beziehungen l¨ asst sich Glg. 3.8 in Form der modalen, generalisierten Verschiebevektoren darstellen. Wir multiplizieren hierzu Glg. 3.8 mit WT und erhalten ˙ + WT M(c2 d˙ + d) ¨ = WT F. WT K(d + c1 d)
(3.9)
Indem wir den kartesischen Verschiebevektor d in das Modale Koordinaten” system“ u uhren und durch den Vektor z = W−1 d bzw. d = Wz ersetzen ¨berf¨ und den externen Kraftvektor F in Modale Koordinaten“ g = WT F bzw. ” F = W−T g abbilden, erhalten wir: Λz + (c1 Λ + c2 )˙z + ¨ z = g.
(3.10)
Jede Zeile der Glg. 3.10 ist eine Differentialgleichung der Form λi zi + (c1 λi + c2 )z˙i + z¨i = gi deren analytische Auswertung +
−
zi = a1 etωi + a2 etωi .
(3.11)
ergibt. Hierin repr¨ asentiert t die Zeit, a1 und a2 komplexe Konstanten, die sp¨ater durch die Anfangswerte von zi bestimmt werden (worauf hier nicht weiter eingegangen wird) und ωi die komplexe Frequenz des jeweiligen Vibrationsmodus, der durch
−(c1 λi + c2 ) ± (c1 λi + c2 )2 − 4λi ± ωi = 2 bestimmt ist. Der Absolutwert des imagin¨ aren Anteils von ωi ist gleich der Frequenz des Vibrationsmodus (rad/s). Jeder der Modi korrespondiert mit einer Spalte in der Matrix W. Ver¨ andert sich zi , so wird auch eine entsprechende Ver¨ anderung des Objekts bewirkt. Jede Verschiebung oder Geschwindigkeit, die einer Skalierung eines Modus entspricht, resultiert in einer Beschleunigung, die ebenfalls eine skalare Multiplikation des Modus ist. Diese Eigenschaft bedeutet, dass die Modi voneinander unabh¨ angig betrachtet werden k¨onnen. 7
c1 und c2 werden als Rayleigh-Koeffizienten bezeichnet.
3.2 Dynamische Deformationen
ti
ti+1
ti+2
85
ti+3
Abb. 3.17. Typische Anwendung der Modalen Deformation: Infolge der Kollision einer Kugel mit einem elastischen Stab ger¨ at dieser in Biegeschwingungen
Die Gleichung 3.11 muss f¨ ur jeden Zeitschritt t = t + ∆t ausgewertet werden, was einen hohen Aufwand bedeutet. Mit der Regel ea+b = ea eb , beschr¨ankt sich die inkrementelle Aktualisierung auf die Multiplikation mit einem komplexen Wert +
−
+
+
−
−
a1 e(t+∆t)ωi + a2 e(t+∆t)ωi = a1 etωi e∆tωi + a2 etωi e∆tωi . F¨ ur konstante ∆t k¨ onnen die Werte sogar vorausberechnet werden. O’Brien + − schl¨ agt deshalb vor, mit jedem Modus vier Werte σi+ = a1 etωi , σi− = a2 etωi , + − ∆tωi ∆tωi ϕ+ und ϕ− abzuspeichern. i =e i = e Um die Simulation zu starten, werden die Anfangswerte z = W−1 (x − x0 ) ur jeden Modus und z˙ = W−1 x˙ vorgegeben, wobei die entsprechenden Werte f¨ i von σi− und σi+ durch σi± =
(c1 λi + c2 )zi + 2z˙i zi ± 2 2 (c1 λi + c2 )2 − 4λi
(3.12)
bestimmt werden. In einer Simulation k¨ onnen Modi, deren Effekte entweder zu klein oder zu groß sind, vernachl¨ assigt werden. Dadurch ergibt sich eine effizientere Auswertung des Systems. Typischerweise werden oft nicht mehr als 50 Modi verwendet, um eine realistische Deformation zu simulieren. Pro Zeitschritt m¨ ussen Krafteinwirkungen von außen in das Modale Ko” ordinatensystem“ gebracht werden (sind Modi entfernt worden, muss das hierbei ebenfalls ber¨ ucksichtigt werden). Die Kr¨ afte werden dann innerhalb eines Zeitschritts als konstant angesehen, d.h. der Impuls entspricht ∆t F. Der Impuls wird dann in das Modale Koordinatensystem“ wie folgt transformiert ” andert die Geschwindigkeit ∆z˙ = ∆t g. ∆t g = WT ∆t F und ver¨ ¨ Weil das System linear ist, k¨ onnen die Anderungen von σi− und σi+ mit Hilfe der Glg. 3.12 leicht berechnet werden, indem zi = 0 und z˙i = ∆t g gesetzt wird und die Ergebnisse zu den bisherigen Werten von σi− und σi+ addiert werden. Weil die Modi voneinander entkoppelt sind, kann man den Ansatz von Terzopoulos et al. [33] einsetzen und die Simulation in die Modi f¨ ur eine
86
3 Deformationen
starre Bewegung und die Deformation aufteilen. Man erh¨alt so eine hybride Simulation. Die Deformationssimulation ist dann in das lokale Objektkoordinatensystem des K¨ orpers eingebettet und externe Kr¨afte werden auf die Simulation der starren Bewegung und auf die der Deformation angewendet. Das adaptierte Verfahren der Modalen Analyse f¨ ur den Echtzeiteinsatz gliedert sich in zwei Teile. Die erste Phase ist rechenzeitaufwendig und wird als Vorverarbeitung genutzt. Die Berechnungsergebnisse werden zusammen mit dem Modell gespeichert. Obwohl die Gleichungen f¨ ur die Beschreibung der Modalen Analyse relativ kompliziert sind, stellt sich eine Implementierung recht einfach dar, wenn man z.B. frei verf¨ ugbare numerische Bibliotheken wie LAPACK verwendet. Die zweite Phase ist dagegen sehr schnell und kann zur Simulation und Darstellung in Echtzeit benutzt werden. O’Brien schl¨agt dazu die folgende Vorgehensweise vor: I. W¨ ahrend der Modellierphase wird die modale Beschreibung der Objekte vorberechnet: 1. Erzeuge eine Feder-Masse- oder eine FEM-Simulation der Objekte. 2. Aus diesem Simulationsmodell werden die Systemmatrizen K, C, und M f¨ ur eine bestimmte Ruheposition bestimmt. 3. Berechne die Eigenvektoren und Eigenwerte (W und Λ). ur 4. Entferne die Modi, die nicht gebraucht werden und bestimme ωi± f¨ die restlichen Modi. + 5. Wenn die Bildrate konstant ist, berechne die Werte von ϕ− i und ϕi . II. W¨ ahrend der Echtzeitanwendung wird die Simulation ausgewertet: 1. Berechne den Anfangszustand der Simulation (d.h. die Anfangswerte f¨ ur x und x). ˙ ur jeden 2. Benutze die Glgn. 3.12, um die Anfangswerte f¨ ur σi− und σi+ f¨ Modus zu berechnen. 3. Mit jedem Animationsschritt: a. Bestimme alle externen Kr¨ afte f , die auf das Objekt einwirken. b. Berechne ∆z˙ = WT ∆t f und bestimme mit Glg. 3.12 die Inkremente f¨ ur jedes der σi− und σi+ c. Der n¨ achste Zeitschritt wird bestimmt, indem σi± := σi± ϕ± i gesetzt wird. d. Berechne neue Werte f¨ ur z. e. Aktualisiere x = x0 + W z. f. Stelle das Objekt unter der Verwendung der neuen Koordinaten x dar. Die Vorteile der Modalen Analyse gegen¨ uber anderen Verfahren f¨ ur die Modellierung von dynamischer Deformation sind ihre Robustheit in Verbindung mit verschiedenen, auch harten Materialien (hohe Steifigkeit) und die hohe Geschwindigkeit, mit der sie sich berechnen l¨ asst.
3.2 Dynamische Deformationen
87
3.2.6 Vor- und Nachteile dynamischer Animationstechniken Die dynamischen Deformationen sind wegen ihrer Zeitabh¨angigkeit f¨ ur den Einsatz in einer Animation besonders geeignet. Die Kontrolle der Deformation muss u ¨ber Kraftfelder realisiert werden, die sich auch lokal begrenzen lassen. In Kombination mit anderen Bewegungstechniken (kinematisch oder dynamisch) lassen sich so realistische Deformationseffekte erzielen, die mit anderen Interpolationstechniken, wie z.B. dem Keyframing, nur schwer erreichbar sind. Nachteilig ist jedoch der hohe Rechenaufwand, der durch die numerischen Integrationsverfahren zur L¨ osung der partiellen Differentialgleichungen bedingt ist. Weiterhin k¨ onnen, abh¨ angig von den modellierten Materialeigenschaften und den einwirkenden Kr¨ aften, Instabilit¨aten bei den numerischen L¨osungsverfahren (Steifigkeitsproblem) auftreten.
4 Warping und Morphing
Warping und Morphing sind Techniken, die in der Computergrafik und speziell in der Computeranimation weit verbreitet sind. Unter Warping ist ganz allgemein die zielgerichtete Verformung eines Objektes zu verstehen. Morphing ist von dem Begriff Metamorphose abgeleitet. Hierunter wird die Verwandlung eines Objektes in eine andere Gestalt verstanden, wobei die Umwandlung des Ursprungsobjektes in ein vorgegebenes Zielobjekt mit mehreren Transformationsschritten erfolgt. Die Erzeugung derartiger Metamorphosen in Trickfilmen, mit der beispielsweise die zeitgeraffte Alterung eines Menschen oder dessen Transformation in den K¨ orper eines Tieres dargestellt werden kann, l¨asst sich bereits auf den Anfang des zwanzigsten Jahrhunderts durch den franz¨osischen Filmpionier Georges M´eli´es zur¨ uckf¨ uhren. M´eli´es Star-Film“ Studio produ” zierte eine Vielzahl kurzer Trickfilme mit Morphing-Effekten, die er durch ¨ Uberblendungen erzielte. Klassische Beispiele, in denen Transmutationen eine wichtige Rolle einnehmen, sind der 1941 entstandene Film Dr. Jekyll und ” Mr. Hyde“, der M¨ archenfilm Der Dieb von Bagdad“ (1948) oder der Spiel” film American Werewolf“ der 1979 entstand. W¨ahrend in den Anfangstagen ” des Films Morphing-Effekte sehr zeitaufwendig in Handarbeit erzeugt werden mussten, werden heutzutage rechnergest¨ utzte Verfahren eingesetzt, mit denen sich Transmutationen weitgehend automatisch durchf¨ uhren lassen. In den letzten drei Jahrzehnten wurden eine Vielzahl rechnergest¨ utzter Warping- bzw. Morphing-Verfahren entwickelt, die sich in zwei Hauptgruppen einteilen lassen: die zweidimensionalen, bildbasierten Verfahren und die dreidimensionalen, geometriebasierten Methoden. Die bildbasierten Verfahren haben ihren Ursprung in den Arbeiten zur geometrischen Bildkorrektur, die zu Beginn der Siebzigerjahre entstanden. Hierbei handelt es sich vorwiegend um die geometrische Korrektur von Satelliten- und Luftbildaufnahmen. Das urspr¨ ungliche Ziel der bildbasierten Warping-Verfahren war es, Bildmatrizen so zu verzerren, dass diese f¨ ur weitere Verarbeitungsprozesse geeignet sind. Beispiele hierf¨ ur sind die oben erw¨ ahnten Satelliten- und Luftbildaufnahmen, die zum Zweck einer speziellen Kartenprojektion geometrisch entzerrt und zusam-
90
4 Warping und Morphing
Abb. 4.1. Gegen¨ uberstellung von Warping (Bildgruppe oben) und Morphing (Bildgruppe unten).
mengef¨ ugt werden, um diese anschließend auf eine Ebene oder zylinderf¨ormige Projektionsfl¨ ache abzubilden. Weitere Beispiele f¨ ur das Warping von 2D- und 3D-Objekten sind im Bereich der 2D/3D-Bildverarbeitung und hier speziell in der medizinischen Bildanalyse zu finden. In der Computeranimation werden Warping-Verfahren haupts¨ achlich im Zusammenhang mit der zumeist k¨ unstlerisch-motivierten Transmutation von Bildern oder 3D-Objekten, also f¨ ur das Morphing, eingesetzt. Morphing-Verfahren k¨ onnen als Erweiterung der Warping-Verfahren betrachtet werden. Hierbei ist immer ein Zielobjekt vorgegeben, in welches das Urspungsobjekt zu transmutieren ist. Neben der geometrischen Transmutation werden beim Morphing auch die Attribute (z.B. die Pixelfarben) des Urspungsobjektes in mehreren Schritten in das gew¨ unschte Zielobjekt u uhrt. ¨ berf¨ In etwas vereinfachender Weise l¨ asst sich Morphing als Warping plus Farbinterpolation beschreiben (Blending). Abbildung 4.1 verdeutlicht in einer Gegen¨ uberstellung den Unterschied zwischen Warping und Morphing. In den nachfolgenden Abschnitten werden die Konzepte der bildbasierten Methoden in ihren wesentlichen Grundz¨ ugen behandelt und einige Verfahren detaillierter vorgestellt.
4.1 Image-Warping und Image-Morphing
91
4.1 Image-Warping und Image-Morphing Das einfache Grundprinzip des Image-Morphing, das zugleich den Unterschied zum Image-Warping illustriert, zeigt die Abb. 4.2. Beginnen wir in dem folgenden Beispiel mit einem Ursprungsbild und dem gew¨ unschten Zielbild. Die markanten Stellen beider Bilder, dies sind in dem vorliegenden Beispiel die Augen, der Mund, die Nase sowie die Konturen beider Gesichter, werden unter Verwendung von Gittern, Kontrollvektoren oder durch Kontrollpunkte markiert. Durch Warping wird das Ursprungsbild so verzerrt, dass es sich dem Zielbild ann¨ ahert. Vom Zielbild erfolgt durch inverses Warping die Verzerrung in Richtung des Ursprungsbildes, bis die Gitter, Vektoren oder Referenzpunkte beider Bilder deckungsgleich sind. Diese Deformationsprozesse erfolgen so, als ob die beiden Bilder auf zwei Gummit¨ ucher gedruckt w¨ aren, die sich beliebig zusammenziehen oder strecken lassen, bis die korrespondierenden Referenzen u ¨bereinstimmen. Wie sich diese Warping-Prozesse im Einzelnen realisieren lassen, wird in den nachfolgenden Abschnitten detailliert behandelt. Die auch als Color Blending bezeichnete Farbinterpolation schließt sich den Warping-Prozessen an. Hierbei wird oftmals eine lineare Interpolation zwischen den beiden deformierten Bildern durchgef¨ uhrt.
Warping
Ursprungsbild Blending
Morphingergebnis für t=0.5
CBlend 1 - t CWarp + t CInv _Warp
Zielbild Inverses Warping
Abb. 4.2. Prinzipieller Ablauf des Morphing-Prozesses (s. Farbtafel III)
92
4 Warping und Morphing
4.1.1 Mesh-Warping Die Mesh-Warping-Methode hat ihren Ursprung in der Bildverarbeitung. Sie basiert auf der bilinearen Interpolation und wird vielfach zur geometrischen Korrektur von Bildmatrizen eingesetzt. Die Festlegung der Warping-Transformation erfolgt, wie in der Abb. 4.3 dargestellt, durch jeweils vier korrespondierende Punktpaare im Ursprungsund Zielbild. Wir erhalten die Transformationen Tx (x, y) : R2 → R, sowie Ty (x, y) : R2 → R, mit den Tensorprodukten der linearen Funktionen Tx1 (x), Tx2 (x) und Ty1 (x), Ty2 (x), die wie folgt definiert sind: x = Tx (x, y) = Tx1 (x) · Tx2 (y) = (m1 x + n1 )(p1 y + q1 ) = a1 xy + b1 x + c1 y + d1
(4.1)
y = Ty (x, y) = Ty1 (x) · Ty2 (y) = (m2 x + n2 )(p2 y + q2 ) = a2 xy + b2 x + c2 y + d2
(4.2)
Die Bestimmung der Koeffizienten a1 , b1 , c1 , d1 und a2 , b2 , c2 , d2 erfolgt, indem in die Transformationsgleichungen Glg. 4.1 und Glg. 4.2 f¨ ur x, y und x , y die Eckpunktkoordinaten eingesetzt werden: x1 = Tx (x1 , y1 ) , . . . , x4 = Tx (x4 , y4 ) sowie y1 = Ty (x1 , y1 ) , . . . , y4 = Ty (x4 , y4 ). In der Computeranimation sind vielfach komplizierte geometrische Verzerrungen auszuf¨ uhren. Hierzu wird, wie die Abb. 4.4 zeigt, das zu transformierende Ursprungsbild in quadrilaterale Bildsegmente unterteilt, die jeweils separat zu transformiert werden. Bei dieser Unterteilung ist darauf zu achten, dass die aufeinander abzubildenden Segmente in m¨oglichst sinnvoller, k¨orperlicher Beziehung zueinander stehen.
x1, y1
x4, y4
x2, y2
E
x3 , y3
x1, y1 x2 , y2
x3 , y3
x4 , y4
Abb. 4.3. Image-Warping mit vier korrespondierenden Punktpaaren
4.1 Image-Warping und Image-Morphing
93
Abb. 4.4. Unterteilung von Ziel- und Ursprungsbild in Bildsegmente
Zur Erzeugung einer Warping- oder Morphing-Animationssequenz ist es notwendig, dass der Transformationsprozess vom Ursprungsbild in das Zielbild in kleinen Schritten erfolgt. Dazu muss eine gr¨oßere Anzahl Zwischenbilder berechnet werden. Die Bestimmung der Zwischenbilder erfolgt durch Interpolation zwischen den korrespondierenden Koordinatenpaaren des Ursprungsbildes Pu und des Zielbildes Pz . Im einfachsten Fall bietet sich hierf¨ ur eine lineare Interpolation an: Pi (t) = (1 − t) Pu + tPz . 4.1.2 Two-Pass Mesh-Warping Der von D. Smithe 1990 vorgestellte two-pass mesh-warping Algorithmus [38] basiert auf der Interpolation mit eindimensionalen Splines und besteht aus zwei Phasen. In der ersten Phase (Pass eins) wird mit Hilfe von SplineFunktionen ein nur in horizontaler Richtung deformiertes Zwischenbild erzeugt, dargestellt in Abb. 4.5. Mit diesem Zwischenbild erfolgt anschließend die vertikale Warping-Transformation. Die Aufteilung in zwei eindimensionale Transformationsprozesse macht diese Methode sehr effizient. Das Prinzip der Warping-Transformation unter Verwendung von Splines verdeutlicht die Abb. 4.6, in der die Transformation einer Bildzeile in Richtung der X-Achse dargestellt ist. Die Abbildung der Koordinaten einer Bildzeile des Ursprungsbildes in den Koordinatenraum des Zielbildes wird mit einer Transformationsfunktion ausgef¨ uhrt. Deren Konstruktion erfolgt in der Weise, dass zuerst f¨ ur die betreffende Bildzeile die Schnittpunkte zwischen den vertikalen Linien des Ursprungsbildes und den Spline-Kurven des Zielbildes bestimmt werden (s. Abb. 4.6a). Die X-Koordinaten der Schnittpunktpaare der korrespondierenden vertikalen Linien sowie der Spline-Kurven bilden die Koordinatenpaare (xt , xs ). Diese werden als Kontrollpunkte zur Konstruktion der Transformationsfunktion (Abb. 4.6b) mit Hilfe eines Interpolationsverfahrens verwendet. In gleicher Weise werden alle weiteren Bildzeilen transformiert. F¨ ur jede Zeile muss hierzu eine separate Transformationsfunktion gebildet werden. Das
94
4 Warping und Morphing
Abb. 4.5. Prinzip des Two-Pass Mesh Warping“ ”
Zielbild erhalten wir, nachdem mit dem zweiten Pass das horizontal verzerrte Zwischenbild auch in vertikaler Richtung entsprechend deformiert ist. Nachteil dieses Verfahrens ist der Informationsverlust, der dann entsteht, wenn das Zwischenbild so stark verzerrt wird, dass Bildregionen nahezu verschwinden. Im Fall einer Expandierung im zweiten Warping-Pass treten dann oftmals unerw¨ unschte Artefakte auf.
Bildzeile Xt
vertikale Splines
(a)
(b)
Xs
Abb. 4.6. Warping einer Bildzeile: (a) Bestimmung der Kontrollpunkte, (b) Konstruktion der Transformationsfunktion
4.1 Image-Warping und Image-Morphing
95
4.1.3 Warping mit Markierungsvektoren Eine Image-Warping-Methode unter Verwendung von Markierungsvektoren, mit der auch der bekannte Videoclip zu Black and White“ von Michael Jack” son erzeugt wurde, pr¨ asentieren Beier und Neely in [39]. Bei diesem weit verbreiteten Verfahren werden signifikante Bilddetails (z.B. Objektkanten oder Konturen) markiert, die sich zur Spezifikation der Warping-Transformation eignen. Das Grundprinzip ist in Abb. 4.7 dargestellt. Im einfachsten Fall wird zur Warping-Transformation ein Vektor V = (Q − P ) im Ursprungsbild sowie ein Vektor V = (Q − P) im Zielbild festgelegt. F¨ ur jeden Punkt im Zielbild X wird nach den Koordinaten im Ursprungsbild X gesucht, deren Pixelwert ins Zielbild u ¨ bertragen werden soll. Zur Bestimmung der X -Koordinaten sind die Parameter u und v mit Hilfe der Zielkoordinaten X sowie des Zielbildvektors V = (Q − P) zu berechnen: u=
(X − P) · P erp (Q − P) (X − P) · (Q − P) . und v = Q − P2 Q − P
Hierbei variiert der Parameter u zwischen 0 und 1, der Parameter v bezeichnet den Abstand des Punktes X zur Linie (Q − P). Mit diesen Parametern und dem Markierungssvektor V = (Q − P ) erhalten wir mit Glg. 4.3 die korrespondierende X Koordinate im Ursprungsbild: X = P + u · (Q − P ) +
v · P erp (Q − P ) . Q − P
(4.3)
Die Funktion P erp1 bewirkt, dass die Vektoren V bzw. V in gleicher Richtung um 90◦ gedreht werden, so dass diese senkrecht zu ihren Markierungsvektoren orientiert sind. Abbildung 4.8 illustriert die Transformation eines Zeichens mit Hilfe eines Markierungsvektorpaares.
Q´
y´
y
Q X
V´ u´
v´
V
X´
v u
P´
Ursprungsbild x´
P
Zielbild
Abb. 4.7. Berechnung von X´ mit einem Merkmalsvektorpaar 1
P erp (x, y) = (y, −x)
x
96
4 Warping und Morphing Q
P
Q
P
Abb. 4.8. 2D-Morphing mit einem Merkmalsvektorpaar
Zur Durchf¨ uhrung komplexerer Warping-Prozesse sind, wie die Abb. 4.9 zeigt, mehrere Markierungsvektorpaare erforderlich. F¨ ur jeden Ort X im Zielbild werden f¨ ur die Zahl der Markierungsvektorpaare n die entsprechende Anzahl an Orten X 1 , ..., X n im Ursprungsbild berechnet. Um einen gemeinsamen Ort im Ursprungsbild bestimmen zu k¨onnen, werden die X-Koordinaten des Zielbildes in das Ursprungsbild u ¨ bertragen. Ausgehend von X, der als Bezugspunkt dient, werden anschließend die Differenzvektoren Di = X i − X bestimmt. Die Differenzvektoren werden anschließend addiert, wobei ihre L¨ ange mit einem individuellen Gewichtsfaktor multipliziert wird. Dieser Gewichtsfaktor w wird mit lenp b ). (4.4) a + dis berechnet. Hierin ist len die L¨ ange des Vektors im Ursprungsbild und dis die k¨ urzeste Entfernung vom Punkt X zu dem jeweiligen Markierungsvektor. Die Parameter a, b und p sind Gewichte, die den jeweiligen Markierungsvektoren zugeordnet sind und die ihren individuellen Einfluss innerhalb der WarpingTransformation festlegen (a < 0, b : [0, 5...2, 0], p : [0, ..., 1]). Der Faktor w bestimmt die St¨arke des Einflusses, den das entsprechende Merkmalsvektorpaar beim Warping-Prozess auf die umgebenden Koordinaten aus¨ ubt. Aus Glg. 4.4 ist ersichtlich, dass sich der Einfluss eines Merkmalsvektors mit wachsender L¨ ange und mit geringerem Abstand zum Punkt X verst¨arkt. Mit den Parametern a, b und p l¨ asst sich die Warping-Transformation zus¨atzlich individuell, beispielsweise nach k¨ unstlerischen Gesichtspunkten, beeinflussen. Die Koordinaten des gesuchten Punktes X im Ursprungsbild erhalten wir, indem wir die Summe der gewichteten Distanzvektoren durch die Summe der Gewichte wi dividieren und mit den Zielbildkoordinaten addieren: n n Di wi wi . X = X + w=(
i=1
i=1
4.1 Image-Warping und Image-Morphing
97
Abb. 4.9. Berechnung von X´ mit zwei Merkmalsvektorpaaren
Das Ergebnis der Warping-Transformation mit zwei Merkmalsvektorpaaren ist in Abb. 4.10 dargestellt. Bei der Verwendung von mehreren Merkmalsvek¨ toren ist es wichtig, darauf zu achten, dass keine Uberschneidungen entstehen, weil sonst sog. Phantomerscheinungen“ auftreten. Hierbei k¨onnen w¨ahrend ” der Animation Bildartefakte quasi aus dem Nichts“ auftauchen. ” Abbildung 4.11 zeigt an einem Beispiel die Platzierung der Merkmalsvektoren im Ursprungs- und Zielbild zur Durchf¨ uhrung eines komplexen MorphingProzesses.
P1
Q1
Q2
P2
E
P1
Q1
Q2
P2
Abb. 4.10. 2D-Warping mit zwei Merkmalsvektorpaaren
Das auf Merkmalsvektoren basierende Verfahren l¨asst sich algorithmisch wie folgt beschreiben:
98
4 Warping und Morphing
1
2
4
3
5 6 7
8
4
2
5
3 9
1
6
7
8
9
10 11 12 10 1112 Abb. 4.11. Markierung der signifikanten Bilddetails im Ursprungsbild (links) und Zielbild (rechts) mit Merkmalsvektorpaaren (s. Farbtafel IV)
F¨ ur jedes Pixel im Zielbild: DSUM = (0,0) WSUM = 0 F¨ ur jeden Merkmalsvektor: berechne u,v f¨ ur PQ (Vektor von P nach Q) und X berechne X´ mit u,v f¨ ur P´Q´ berechne den Distanzvektor: d = X´- X berechne die k¨ urzeste Distanz von X nach P´Q´ berechne den Gewichtsfaktor: w = (len^p/(a+dis))^b berechne die gewichtete Distanzvektorsumme: DSUM+=Di*w berechne die Summe der Gewichte: WSUM += w bestimme X´ im Ursprungsbild: X´= X+DSUM/WSUM Zielbild(X) = Ursprungsbild(X) Algorithmus 4.1. 2D-Morphing-Algorithmus von Beier und Neely.
4.1.4 Warping mit Feldfunktionen Bei einem von Arad und Riseman [40] vorgeschlagenen Verfahren wird die WarpingTransformation durch Kontrollpunktpaare festgelegt, wie die Abb. 4.12 zeigt. Die Warping-Transformation basiert hierbei auf sog. Feldfunktionen, W(p) = p = A(pi ) + R(p, pi ) die aus einer affinen und einer radialen Komponente bestehen. Mit dem affinen Anteil A = M·pi +b erfolgt das globale Warping, wobei Translations-, Skalierungs- und Rotationstransformationen verwendet werden. Die Berechnung der Koeffizienten der Matrix M sowie des Vektors b erfolgt durch L¨ osung eines linearen Gleichungssystems mit drei frei definierten Kontrollpunktpaaren. F¨ ur den Fall, dass keine affine Transformation zwischen dem Ursprungsbild und dem Zielbild erforderlich ist, wird A(pi ) = pi gesetzt. Mit dem zweiten Term der Transformationsfunktion R(p, pi ) wird die Bildfunktion elastisch deformiert. Wir erhalten:
4.2 Ober߬ achenbasierte Verfahren p1
99
p2 p1 p2
p3
p4
p3
p4
Abb. 4.12. 2D-Morphing mit radialen Feldfunktionen n
axi g(p − pi ),
Rx = Ax (pi ) +
(4.5)
i=1 n
ayi g(p − pi ).
Ry = Ay (pi ) + i=1
Hierin ist g(p − pi ) =
1 p−pi 2 σ2
e eine radiale Basisfunktion, deren lokale Ausdehnung durch σ bestimmt wird. Um die axj - und ayj -Koeffizienten zu berechnen, muss das lineare Gleichungssystem 4.5 mit ost werden. Zur eindeuden interaktiv definierten Kontrollpunktpaaren (p i , pi ) gel¨ tigen Bestimmung des Gleichungssystems, muss die Zahl der Kontrollpunktpaare der Anzahl der (axi , ayi )-Koeffizientenpaare entsprechen. Dieses auf radialen Feldfunktionen basierende Warping-Verfahren ist zwar elegant handhabbar, jedoch im Vergleich zu den zuvor behandelten Methoden f¨ ur das Image-Morphing nur mit Einschr¨ ankungen einsetzbar. Die Ursache hierf¨ ur liegt darin, dass sich die gew¨ unschte Deformation nicht mit der erforderlichen Pr¨ azision steuern l¨ asst. Das direkt deformierte Ursprungsbild und das invers deformierte Zielbild lassen sich nicht immer mit hinreichender Genauigkeit aufeinander anpassen, um ein genaues Zwischenbild zu erzeugen.
4.2 Oberfl¨ achenbasierte Verfahren Das Ziel dieser 3D-Verfahren ist die geometrische Transmutation zwischen unterschiedlichen dreidimensionalen polygonalen Oberfl¨ achenmodellen. Die hierbei auftretenden Probleme lassen sich anhand der Abb. 4.13 erkl¨ aren. Hierin sind zwei einfache Objekte dargestellt, wobei jeder dieser beiden K¨ orper in die Form des anderen K¨ orpers transmutiert werden soll. Diese Transmutation soll durch Interpolation zwischen den Eckpunkten beider K¨ orper erfolgen. Da beide Objekte jedoch eine unterschiedliche Anzahl von Eckpunkten besitzen, ist es notwendig, diese so zu tesselieren, dass die Anzahl der Fl¨ achenelemente und Eckpunkte beider Objekte gleich ist. Dieser Tesselierungsprozess sollte m¨ oglichst automatisch erfolgen und
100
4 Warping und Morphing P6B P5A P7B P4A
P3A
P5B P4B P3B
P1A
P2A
P1B
P2B
Abb. 4.13. 3D-Morphing-Prozess am Beispiel einfacher geometrischer Objekte
dabei sinnvolle Korrespondenzen zwischen den Eckpunkten beider Objekte ergeben. Nach Anpassung der beiden Polygonnetze werden die Eckpunkte der Pyramide schrittweise in die des Prismas transformiert, wobei der Interpolationsprozess nat¨ urlich auch in umgekehrter Richtung ablaufen kann. Mittels Interpolation erfolgt ausgehend vom Ursprungsobjekt eine allm¨ ahliche Form¨ anderung bis zum Erreichen des Zielobjektes. Die automatische Tesselierung und die damit verbundene Festlegung der Eckpunktkorrespondenzen ist das zentrale Problem der oberfl¨ achenbasierten 3D-Morphing-Verfahren. Es gibt vielf¨ altige Ans¨ atze zur L¨ osung dieses Korrespondenzproblems, die in der Regel auf der Erzeugung einer einheitlichen Zwischenrepr¨ asentation basieren, mit der es m¨ oglich ist, die geometrischen Nachbarschaften zwischen den Eckpunkten der beiden polyedrischen Objekte festzustellen.
4.2.1 Verfahren von Kanai, Suzuki und Kimura Ein Verfahren, das zur Erzeugung dieser Zwischenrepr¨ asentation sog. harmonische Karten verwendet, wird von Kanai, Suzuki und Kimura in [41] vorgestellt. Hierbei werden die 3D-Koordinaten der Objekte auf eine Einheitskreisscheibe abgebildet. Anschaulich l¨ asst sich dieses Abbildungsverfahren wie folgt beschreiben: Wir stellen uns vor, dass die Kanten der zu transformierenden 3D-Objekte aus Federn bestehen, die an den Eckpunkten des K¨ orpers miteinander verbunden sind und deren Zugkr¨ afte mit Federkonstanten bestimmt werden, die von der Geometrie des Objektes abh¨ angen. Wir erhalten die Konstante einer Feder mit der Gleichung: κi,j =
2 2 2 2 2 2 li,k li,k + lj,k − li,j + lj,k − li,j 1 1 2 2 + . Ai,j,k1 Ai,j,k2
Hierin sind Ai,j,k1 und Ai,j,k2 die Inhalte zweier benachbarter Dreiecksfl¨ achen (s. Abb. 4.14), deren gemeinsame Kante die Eckpunkte mit den Indizes i und j verbinasentieren die L¨ angen der Kanten zwischen den det. li,j , li,k1 , lj,k1 , li,k2 und lj,k2 repr¨ Punkten Pi , Pj , Pk1 und Pk2 . Wird diese Konfiguration an mindestens drei Punkten verankert, auf eine Ebene gespannt, so richten sich ihre Knotenpunkte V auf der Ebene so aus, dass die Summe der Federenergie Eharm (V) minimal wird:
4.2 Ober߬ achenbasierte Verfahren
Pk1
lj,k1
101
Pj
Ai,j,k1
i,j
li,k1
li,j
Pi
lj,k2 Ai,j,k2
li,k2
Pk2
Abb. 4.14. Bestimmung der Federkonstanten k κi,j (vi − vj )2 .
Eharm (V) = 0.5
(4.6)
i,j∈ Edges H
Wir erhalten das Minimum von Eharm (V) indem wir die partielle Ableitung ∂Eharm (V)/∂V = 0 mit V = {v1 , v2 , v3 , . . . , vn } bilden. Um die Koordinaten der Knotenpunkte zu bestimmen, wird Glg. 4.6 in die Form Eharm (V) = VT HV u uhrt. Weiterhin muss ber¨ ucksichtigt werden, dass der Knotenvektor V in va¨ berf¨ riable und feste Knotenpunkte unterteilt wird. Die festen Knotenpunkte dienen zur Verankerung der als harmonische Karte bezeichneten Federkonfiguration und werden interaktiv vorgegeben. Die Variablen richten sich entsprechend der minimalen Federenergie aus. Unter der Voraussetzung, dass Vα der variable Teil und Vβ die feste Komponente des Knotenvektors ist, wird die Federenergie Eharm (V) = [VαT VβT ]
Hαα Hαβ Hβα Hββ
Vα . Vβ
Da Eharm (V) lediglich vom variablen Teil von V abh¨ angt, werden die Knotenkoordinaten mit ∂Eharm (V) = 2Hαα Vα + 2Hαβ Vβ = 0 ∂Vα bestimmt. Die Abbildung 4.15 zeigt die harmonischen Karten der in Abb. 4.13 dargestellten Pyramide (a) sowie des Prismas (b), die jeweils an den Knotenpunkten v1 bis v4 deckungsgleich verankert sind. Um beide Objekte in gleicher Weise zu tesselieren, ist es notwendig, beide harmonische Karten zu vereinigen (s. Abb. 4.15c). Da hierbei auch Fl¨ achenelemente mit mehr als drei Seitenfl¨ achen entstehen, ist eine nachfolgende Dreieckszerlegung dieser Fl¨ achenteile erforderlich. Das Ergebnis einer Triangulierung, die in unterschiedlicher Weise durchgef¨ uhrt werden kann, zeigt die Abb. 4.16. Im diesem Beispiel ist eine Karte mit 15 Knotenpunkten entstanden, welche auf die korrespondierenden 3D-Koordinaten des Prismas und der Pyramide abgebildet werden sollen. F¨ ur jene Koordinatenpunkte der zweidimensionalen Karte, die sich auf einer Geraden befinden, die mit einer Objektkante eines der 3D-Objekte korrespondiert, erfolgt die Koordinatenbestimmung wie folgt: Die Streckenverh¨ altnisse
102
4 Warping und Morphing
v 8c
v 6b
v 5a v1a
v 4c
v 4b
v 4a
v 3a v1b
v 3b v1c
v 7b
v 3c
v 7c v 5c
v 5b v 2a (a)
v 6c
v 2b
v 2c
(b)
(c)
Abb. 4.15. harmonische Karte:(a) der Pyramide, (b) des Prismas, (c) Vereinigung aus Pyramide und Prisma
der harmonischen Karte werden direkt auf die entsprechenden 3D-Objektkanten u alle zu behandeln, in de¨ bertragen (s. Abb. 4.17a). Etwas schwieriger sind jene F¨ nen sich ein Knotenpunkt auf einer Fl¨ ache befindet (s. Abb. 4.17b). Hierbei erfolgt die Bestimmung der korrespondierenden 3D-Koordinaten mit Hilfe baryzentrischer Koordinaten, die wir gleichfalls mit der harmonischen Karte bestimmen. Mit der in Abb. 4.17b dargestellten vereinigten harmonischen Karte erhalten wir die baryzenosung des Gleichungsytrischen Koordinaten [u, v, w] des Eckpunktes v5c durch L¨ stems v5c = u v2c + v v3c + w v8c , u + v + w = 1.
(4.7)
Indem wir die Eckpunkte der korrespondierenden Pyramiden߬ ache mit den aus den Glgn. 4.7 berechneten baryzentrischen Koordinaten multiplizieren, erhalten wir den gesuchten Punkt P = u P2A + v P3A + w P5A .
v 4c
v 8c v1c
v 7c
v 6c
v 3c v 5c
v 2c Abb. 4.16. Zerlegung der harmonischen Karte in dreiecksf¨ ormige Fl¨ achenelemente
4.2 Ober߬ achenbasierte Verfahren
103
P5A
v 8c P4A
P3A
(a) P1A
v 2c
P2A P5A
v 8c P4A
v 3c v 5c v 2c
P3A
(b) P1A P2A
Abb. 4.17. Die Tesselierung der vereinigten harmonischen Karte wird auf beide 3D-Objekte u ¨ bertragen. Hierzu werden, ausgehend von den 2D-Koordinaten der harmonischen Karte, die korrespondierenden 3D-Objektkoordinaten f¨ ur (a) Kantenpunkte mit linearer Interpolation und (b) f¨ ur Fl¨ achenpunkte mit baryzentrischen Koordinaten berechnet Nachdem die 3D-Koordinaten beider K¨ orper bestimmt wurden, weisen Pyramide und Prisma die gleiche Zahl von Dreiecksfl¨ achen auf, deren n-Eckpunkte miteinander korrespondieren und in einfacher Weise interpoliert werden k¨ onnen:
Abb. 4.18. 3D-Morphing zwischen Prisma und Pyramide: Die Abbildungen (a) und (e) zeigen die Start- und Zielobjekte, die entsprechend der vereinigten harmonischen Karte tesseliert wurden. Die Abbildungen (b), (c) und (d) zeigen linear interpolierte Zwischenstufen des 3D-Morphing-Prozesses
104
4 Warping und Morphing Pinterp = t PiA + (1 − t)PiB , i = 1, ..., n.
Abbildung 4.18 illustriert mehrere Zwischenschritte der linearen Interpolation der Pyramide in das Prisma.
4.2.2 Weitere oberfl¨ achenbasierte Verfahren In ¨ ahnlicher Weise, wie das 3D-Morphing-Verfahren von Kanai, Suzuki und Kimura, arbeiten eine Vielzahl weiterer oberfl¨ achenbasierter Morphing-Methoden. Ihre Unterschiede bestehen im Wesentlichen in der Erzeugung der gemeinsamen Zwischenrepr¨ asentation, die zur Bestimmung der geometrischen Korrespondenzen dienen. Die Behandlung, der in den nachfolgenden Abschnitten vorgestellten 3D-MorphingVerfahren erfolgt deshalb in einer verk¨ urzten Form, wobei lediglich ihre wichtigsten Merkmale diskutiert werden. Verfahren von Z¨ ockler, Stalling und Hege. In dem Ansatz von Z¨ ockler, Stalling und Hege [42] erfolgt die Erzeugung einer parametrischen Repr¨ asentation mit Hilfe der sog. baryzentrischen Abbildung auf eine Kreisscheibe oder auf eine Zylinderfl¨ ache. Wie bei [41] werden am Rand der Kreisscheibe bzw. Zylinderfl¨ ache parametrische Koordinaten v1 , ..., vk festgelegt, die den signifikanten Punkten P1 , ..., Pk auf der Objektfl¨ ache zugeordnet werden. Alle inneren Punkte des Parameterraums osung des linearen Gleichungssystems: vk+1 , ..., vn lassen sich einfach durch L¨ n
vi =
λi,j vj ,
i = k + 1, ..., n
j=1
mit λi,j =
(Ni )-1 : falls i und j Eckpunktindizes der gleichen Kante. 0 : falls i und j Eckpunktindizes unterschiedlicher Kanten.
berechnen. Hierin ist Ni die Anzahl der Nachbarn des Eckpunktes mit dem Index i. Um sowohl eine bessere Tesselierung als auch eine genauere geometrische Korrespondenz zwischen den Eckpunktkoordinaten beider Objekte zu erreichen, sind
Abb. 4.19. Warping im Parameterraum nach Z¨ ockler, Stalling und Hege (mit Gec nehmigung von [42], Springer 2000)
4.2 Ober߬ achenbasierte Verfahren
105
die baryzentrischen Abbildungen zueinander auszurichten. Hierzu werden interaktiv einige parametrische Koordinatenpaare innerhalb beider Kreisscheiben als Merkmalspunkte ausgewiesen. Mit Hilfe lokaler Warping-Prozesse erfolgt eine Verschiebung aller inneren Punkte, bis die jeweils korrespondierenden Merkmalspunkte deckungsgleich sind. Alle weiteren Schritte entsprechen im Wesentlichen dem Verfahren von Kanai, Suzuki und Kimura. Verfahren von Kent, Carlson und Parent. Zur Bestimmung der geometrischen Korrespondenz zwischen Ursprungs- und Zielobjekt werden von Kent, Carlson und Parent [43] die Eckpunkte eines polyedrischen K¨ orpers und damit das polygonale Fl¨ achennetz auf eine Kugelfl¨ ache projiziert, wie die Abb. 4.20 zeigt. Hierzu wird ein zentraler Punkt gew¨ ahlt, der sich im Inneren des K¨ orpers befindet und von dem aus ¨ alle Eckpunkte sichtbar sind. Durch die Uberlagerung der polygonalen Fl¨ achennetze des Ursprungs- und des Zielobjektes, die auf die gleiche Kugeloberfl¨ ache projiziert werden, erhalten wir ein gemeinsames Fl¨ achennetz und damit eine eindeutige Korrespondenz zwischen den Oberfl¨ achenkoordinaten der beiden terminalen Objekte (s. Abb. 4.21). Mit diesem Ansatz sind nur konvexe, sog. sternf¨ ormige“ Objekte (Star-Shaped ” Objects) transformierbar. Eine Erweiterung dieses Verfahrens [44] auf der Basis eines Federmodells hebt diese Einschr¨ ankungen jedoch weitgehend auf. Die umschließende Projektionsfl¨ ache besteht hierbei, anstelle einer Kugelfl¨ ache, aus zylinderf¨ ormigen Ringsegmenten. Bei dieser erweiterten Methode werden die Polygonkanten als Federn betrachtet. Diese Federn sind sowohl an den Eckpunkten des zu transmutierenden K¨ orpers als auch an dem oberen und unteren Rand eines umschließenden Ringsegmentes verankert. Um ein langes gekr¨ ummtes Objekt einzuschließen, sind mehrere dieser Ringsegmente erforderlich. Werden die virtuellen Federn von den Eckpunkten des polygonalen Oberfl¨ achennetzes gel¨ ost, so werden diese zur Mantelfl¨ ache der Ringsegmente gezogen und erzeugen damit die Projektionen der polygonalen Oberfl¨ achennetze von Start- und Zielobjekt. Die Bestimmung der geometrischen Korrespondenz zwischen ihren Polygoneckpunkten erfolgt in der bekannten Weise mit der Bildung eines gemeinsamen polygonalen Oberfl¨ achennetzes und der anschließenden R¨ uckprojektion.
Projektionsfläche Objekt A Objekt B Interpolation
Abb. 4.20. Bestimmung der geometrischen Korrespondenz
106
4 Warping und Morphing
Projektion auf Einheitskugel
Interpolation
Abb. 4.21. Projektion der polygonalen Fl¨ achennetze vom Ursprung- und Zielobjekt auf die gleiche Kugeloberfl¨ ache
Verfahren von Lazarus und Verroust. Das von Lazarus und Verroust in [45] vorgestellte Verfahren ist vorzugsweise f¨ ur das Morphing von langgestreckten Objekten geeignet. Hierzu wird f¨ ur jedes der beiden terminalen 3D-Objekte ein Zentralpolygon festgelegt. Weiterhin wird jedem Eckpunkt dieses Zentralpolygons eine Schnittebene zugeordnet, zu dem das jeweilige polygonale Liniensegment senkrecht ausgerichtet ist (s. Abb. 4.22a). Das Zentralpolygon bildet die Mittelachse von lokalen, einander anschließenden Zylinderkoordinatensystemen, dessen untere Basis die entsprechende Schnittebene ist. Alle Abtaststrahlen, die vom Zentralpolygon ausgehend die Polygoneckpunkte der K¨ orper sowie das lokale Zylinderkoordinatensystem durchdringen, m¨ ussen das oben diskutierte Star-Shape Object-Kriterium erf¨ ullen (s. Ansatz von Kent et al.). Jeder Eckpunkt auf der K¨ orperoberfl¨ ache, den ein Abtaststrahl durchdringt, kann demnach auf dem in der Abb. 4.22c dargestellten Zylinderkoordinatensystem durch den Winkel θ und dem Streckenparameter s bestimmt werden. F¨ ur die Anfangs- und Endpunkte des Zentralpolygons werden anstelle von Zylinderkoordinatensystemen Kugelkoordinatensysteme verwendet. Basierend auf den o.g. Festlegungen ist es m¨ oglich, die kartesischen Koordinaten eines K¨ orpers auf Zylinderkoordinaten [x, y, z] → f (s, θ) und Kugelkoordinaten [x, y, z] → f (φ, θ) abzubilden (s. Abb. 4.22c). Unter der Voraussetzung, dass die Koordinatenraster der terminalen Objekte identisch sind, kann mit Hilfe der Koordinatenindizes eine eindeutige Abbildung zwischen beiden K¨ orpern festgelegt werden. Infolge der hiermit geschaffenen eindeutigen Korrespondenz ist eine Interpolation zwischen den Zylinder- bzw. Kugelkoordinaten IZ (s1 , s2 , θ1 , θ2 , t) = (st , θt ) IS (φ1 , φ2 , θ1 , θ2 , t) = (φt , θt ) sowie den dazugeh¨ origen Funktionswerten von If (f1 (s1 , θ1 ), f2 (s2 , θ2 ), t) = ft (st , θt ) If (f1 (φ1 , θ1 ), f2 (φ2 , θ2 ), t) = ft (φt , θt )
4.2 Ober߬ achenbasierte Verfahren
107
q
q
s
s
q
q a)
b)
c)
Abb. 4.22. Abbildung der kartesischen Koordinaten auf Zylinder- [x, y, z] → f (s, θ) und Kugelkoordinaten [x, y, z] → f (φ, θ)
m¨ oglich. Um die Oberfl¨ achenkoordinaten des Interpolationsobjektes zu erhalten, werden ft (φt , θt ) bzw. ft (st , θt ) wieder in kartesische Koordinaten umgerechnet. Das Verfahren ist in der oben dargestellten Form nicht direkt anwendbar. Der Grund hierf¨ ur ist in der Abb. der Eckpunktkoordinaten der 3D-Objekte auf ihre aquidistanten φ, θ- bzw. s, θ-Koordinaten zu finden. Um die Form eines Objektes ¨ m¨ oglichst exakt abzutasten, ist es erforderlich, dass seine Kanten und Eckpunkte exakt erfasst werden. Deren Projektion stimmt jedoch in der Regel nicht mit ¨ den Koordinatenraster u herzustellen, werden die ¨ berein. Um diese Ubereinstimmung Koordinatengitter an die projizierten, signifikanten Eckpunkte und Kantenverl¨ aufe angepasst, wie in Abb. 4.23 dargestellt. Kantenverlauf im Parameterraum
abgetastete Oberflächenkoordinaten
q justiertes Gitter
Abb. 4.23. Anpassung der Koordinatengitter an die signifikanten Eckpunkte und Kantenverl¨ aufe
108
4 Warping und Morphing
Da sich bei diesen justierten Gittern lediglich die Koordinatenwerte, nicht jedoch ihre Indizes ver¨ andern, bleibt auch die geometrische Korrespondenz zwischen den terminalen Objekten erhalten. Die Interpolation kann somit problemlos ausgef¨ uhrt werden. Verfahren von Alexa. Ein 3D-Morphing-Verfahren, das gleichfalls darauf basiert, dass das Kantennetz eines beliebigen polyedrischen K¨ orpers auf die Oberfl¨ ache einer Einheitskugel abgebildet wird, stellt Alexa in [46] vor. Die hierbei entstehenden ¨ Uberlappungen des projizierten polygonalen Netzes lassen sich mit einem Relaxationsprozess beseitigen. Mit jedem Relaxationsschritt werden hierbei die auf die Kugeloberfl¨ ache projizierten Eckpunkte eines polygonalen Netzes entsprechend der Gleichung n vn n ∈ Nachbar von vi vi = | n vn |
auf die Koordinatenmittelwerte ihrer Nachbarschaft verschoben. Der Relaxationsprozess terminiert, wenn die Positions¨ anderung der Eckpunkte unterhalb eines vorgegebenen Schwellwertes liegt. Die Abbildung 4.24 illustriert die Relaxation eines planaren Netzes unter Verwendung der obigen Relaxationsgleichung. Um ein Kollabieren zu verhindern, sind die Randknoten dieses Netzes fixiert. ¨ Bereits nach der ersten Iteration sind die im Startnetz vorhandenen Uberlappungen aufgel¨ ost und nach der zweiten Iteration haben die Netzknoten ihre Endposition nahezu erreicht. Allerdings sind bei komplexen sph¨ arischen Netzen, wie sie beispielsweise bei den mit der Abb. 4.25 dargestellten Objekten entstehen, bis zur Terminierung des Relaxationsprozesses oftmals u ¨ ber 10.000 Iterationen erforderlich. Ein Nachteil dieses Verfahrens ist, dass große Netze, die durch die Projektion komplexer polyedrischer Objekte entstehen, ¨ ortlich zum Kollabieren neigen. Dies l¨ asst sich jedoch weitgehend vermeiden, indem mehrere Startpunkte f¨ ur den Relaxationsprozess gew¨ ahlt werden. Von Alexa werden hierf¨ ur vier Startpunkte vorge-
Startnetz
1te Iteration
2te Iteration
3te Iteration
4te Iteration
5te Iteration
Abb. 4.24. Darstellung des Relaxationsprozesses am Beispiel eines planaren Netzes mit 4 × 4 freien Knoten
4.2 Ober߬ achenbasierte Verfahren
initial embedding
initial embedding
warping
109
rotating & warping
merging
reconstruction
reconstruction
interpolation
¨ Abb. 4.25. Der Morphing-Prozessablauf von M. Alexa im Uberblick (mit Genehc migung von [46], Springer 2000)
110
4 Warping und Morphing
schlagen, die gegenseitig in gr¨ oßtm¨ oglicher geometrischer Distanz auf der Projektionskugel platziert werden. F¨ ur das Ursprungs- und das Zielobjekt wird jeweils ein sph¨ arisches polygonales Netz erzeugt. Vor der Vereinigung beider Netze werden diese zueinander ausgerichtet und angepasst. Diese Ausrichtung erfolgt durch interaktiv bestimmte Merkmale. Merkmale sind Eckpunkte innerhalb beider Netze, die mit signifikanten Punkten auf den polygonalen Objektoberfl¨ achen korrespondieren. Dies sind beispielsweise die in Abb. 4.25 dargestellten F¨ uße, K¨ opfe und Augen der beiden Tiermodelle. Die Anpassung der Netze erfolgt in zwei Schritten. Mit dem ersten Schritt werden die Einheitskugelnetze so zueinander verdreht, dass die Merkmalspaare, die zusammen geh¨ oren, m¨ oglichst geringe Abst¨ ande zueinander aufweisen. Als Abstandsmaß dient die Summe der quadratischen Distanzen aller Merkmalspaare.
vObjekt A − vObjekt B M erkmali M erkmali
Sdist = i
Mit dem zweiten Schritt werden die Eckpunkte auf der Kugeloberfl¨ ache so verschoben, dass die Merkmalspunktpaare deckungsgleich sind. Dieser Prozessschritt entspricht dem in [42] vorgeschlagenen Warping im Parameterraum (s. Verfahren von Z¨ ockler et al.).
4.3 Volumenbasierte Verfahren Volumenbasierte Morphing-Verfahren werden auf implizite r¨ aumliche Funktionen f (x, y, z) mit x, y, z ∈ R oder auf eine Anordnung von unit¨ aren Zellen f (x, y, z) mit x, y, z ∈ N angewendet, die man sich als eine r¨ aumliche Bildmatrix vorstellen kann. Sind die Funktionen von zwei unterschiedlichen Volumenmodellen vorgegeben, so erhalten wir im einfachsten Fall das interpolierte Volumenobjekt mit fmorph (t) = (1 − t) f1 (x, y, z) + t f2 (x, y, z) mit t = 0, ..., 1. Dieser Morphing-Ansatz erzeugt bei komplexeren Volumenobjekten vielfach nur unzureichende Transmutationsergebnisse, so dass dieses einfache Interpolationsverfahren in der Praxis nicht zum Einsatz kommt.
4.3.1 Verfahren von Hughes Bessere Ergebnisse erhalten wir mit der r¨ aumlichen Interpolation im Frequenzbereich in Verbindung mit der Filterung der hochfrequenten Bildanteile. Bei diesem von Hughes in [47] vorgestellten Verfahren werden die mit den diskreten Funktionen f1 (x, y, z) und f2 (x, y, z) definierten Voxelmodelle mit Hilfe der 3D-FourierTransformation F T in ihre Frequenzrepr¨ asentation u uhrt und anschließend mit ¨ berf¨ den Funktionen W1 (t, J) und W2 (t, J) gewichtet und addiert. Nach der Addition, die der Interpolation im Fourier-Raum entspricht, erfolgt mit Hilfe der inversen Fourierucktransformation in den Ortsbereich. Der vollst¨ andige Transformation F T −1 die R¨ Morphing-Prozess l¨ asst sich in einfacher Weise mit der Gleichung fmorph = F T −1 (W1 (t, J)(F T (f1 (x, y, z))) + W2 (t, J)(F T (f2 (x, y, z)))
4.3 Volumenbasierte Verfahren
W(t,J)
111
W(t,J)
t=0.05 t=0.95
t=0.65
t=0.35
t=0.05
t=0.65
t=0.35
t=0.95 J
J
1.5 n
1.5 n
Abb. 4.26. Gewichtsfunktionen f¨ ur n = 256 und (a) K = 32 und (b) K = 64. K ist vom Benutzer einstellbar und bestimmt den Zeitverlauf der Gewichtsfunktionen mit t = 0, ..., 1 beschreiben. Hierin ist J = |u| + |v| + |w| die Betragssumme der Frequenzkomponenten u, v und w. Die von den Parametern J und t abh¨ angigen Gewichtungsfunktionen erhalten wir mit: W1 (t, J) = max(0, min(a(t, J), 1.0)) und W2 (t, J) = 1 − W1 (t, J) hierin ist
J 3n 1 − t )( )− . 2 K K Zwei Beispiele dieser Gewichtungsfunktionen f¨ ur K = 32 und K = 64 zeigt die Abb. 4.26. Hierin ist erkennbar, dass die Interpolation durch wechselseitige Unterdr¨ uckung der Frequenzanteile der beiden Objekte erfolgt. Zum Zeitpunkt t = 0.05 werden lediglich die h¨ ochsten Frequenzanteile des Startobjektes abgeschw¨ acht und a(t, J) = (K +
a
b
c
d
e
f
Abb. 4.27. Volumen-Morphing mit Hilfe der 3D-Fourier-Transformation nach c Hughes (mit Genehmigung von [47], ACM 1992)
112
4 Warping und Morphing
zu den niedrigsten Frequenzkomponenten des Zielobjektes addiert. Da die beiden Gewichtungsfunktionen zueinander komplement¨ ar sind, verringern sich mit wachsendem t die hohen Frequenzanteile des Startobjektes, w¨ ahrend die des Zielobjektes umgekehrt proportional zunehmen. Die Frequenzrepr¨ asentation des interpolierten Objektes ist demnach eine Mischung aus den Fourier-Komponenten beider terminalen Objekte, wobei das Mischungsverh¨ altnis mit den zeitabh¨ angigen Gewichtungsfunktionen bestimmt wird. Ein Interpolationsergebnis dieses Verfahrens ist in der Bildfolge Abb. 4.27 dargestellt, in der die Transmutation einer Teekanne in einen W¨ urfel und weiter in zwei Toroide dargestellt ist.
4.3.2 Verfahren von He, Wang und Kaufmann Bei dem volumenbasierten Morphing-Verfahren, das He, Wang und Kaufmann in [48] vorstellen, wird anstelle der Fourier-Transformation die Wavelettransformation verwendet. Zus¨ atzlich werden die Korrespondenzen zwischen den beiden terminalen Volumenobjekten ausgenutzt. Die Korrespondenzen sind hier, wie die Abb. 4.28 veranschaulicht, zusammenh¨ angende Voxelgruppen im Start- und Zielobjekt, die sich durch lineare Interpolation eindeutig aufeinander abbilden lassen. Unter Ber¨ ucksichtigung der Korrespondenzen erzeugt der Interpolationsprozess wesentlich bessere Transmutationsergebnisse als der eingangs beschriebene einfache Morphing-Prozess. Die Abb. 4.29 zeigt das Prinzip der korrespondenzbasierten Voxelinterpolation f¨ ur den eindimensionalen Fall. Die eindimensionale Voxelinterpolation l¨ asst sich in einfacher Weise auf den 3D-Fall erweitern. Hierzu wird die eindimensionale Voxelinterpolation nacheinander in drei Koordinatenrichtungen ausgef¨ uhrt. Im ersten Schritt erfolgt die Interpolation mit den korrespondierenden Voxelebenen der beiden terminalen Volumenobjekte. Anschließend wird zwischen den korrespondierenden Voxelzeilen und zuletzt zwischen den Volumenelementen interpoliert. Das Ergebnis dieses Interpolationsprozesses, das in Abb. 4.30 dargestellt ist, zeigt das Entstehen von separaten Voxelgruppen, die mit Hilfe der Wavelettransformation beseitigt werden. Die Wavelettransformation bewirkt, dass sich die Volumenmatrizen in der ersten Transformationsstufe in sieben Hochpassanteile D11,...,7 und einen Tiefpassanteil H1 aufspalten. Die nachfolgende Transformationsstufe zerlegt diesen ersten Tiefpassanteil H1 wiederum in weitere sieben Hochpassanteile D21,...,7
Startvolumenobjekt
Zielvolumenobjekt
Abb. 4.28. Korrespondenzen zwischen den terminalen Volumenobjekten
4.3 Volumenbasierte Verfahren
113
Startsegment t=0 t=0.25 interpolierte Segmente
t=0.5 t=0.75 Zielsegment t=1 Abb. 4.29. Eindimensionale Voxel-Interpolation
sowie den neuen Tiefpassanteil H2 . Die Hochpassanteile der ersten Transformationsstufe bleiben erhalten. In gleicher Weise erfolgen weitere Zerlegungen, wie die Abb. 4.31 zeigt. Die Voxelmodelle werden somit hierarchisch in Hoch- und Tiefpasskomponenten zerlegt, wobei sich mit jedem Transformationsschritt die r¨ aumliche Aufl¨ osung vergr¨ obert. Der Tiefpassanteil der letzten Zerlegungsstufe repr¨ asentiert das Volumenmodell in seiner gr¨ obsten Aufl¨ osung, w¨ ahrend sich in den sieben Hochpassanteilen der ersten Zerlegungsstufe die Details des Volumenobjektes in feinster Aufl¨ osung befinden. Die Bestimmung der Korrespondenzen erfolgt in der oben dargestellten Weise mit den Tiefpassanteilen der letzten Zerlegungsstufe, welche die
Abb. 4.30. Morphing im Ortsraum mit Objektkorrespondenzen nach He, Wang c und Kaufmann (mit Genehmigung von [48], IEEE 1994)
114
4 Warping und Morphing
Level 2
Level 1
D D D D A D D
D D A D
Volumenobjekt
H: Tiefpaß G: Hochpaß
H
A1
H
A2
G
D11,..., D17
G
D12 ,..., D27
Abb. 4.31. Prinzip der Waveletzerlegung
Formen der terminalen Objekte lediglich in grober N¨ aherung repr¨ asentieren. Unter Ber¨ ucksichtigung der Korrespondenzbeziehungen wird der Morphing-Prozess analog dem in der Abb. 4.28 dargestellten Interpolationsprozess durchgef¨ uhrt. Diese Interpolation ist separat f¨ ur jede Aufl¨ osungsstufe getrennt f¨ ur die Hoch- und Tiefpassanteile auszuf¨ uhren: , D21,...,7 , t), AMn = I(A1n , A2n , t). DMn = I(D11,...,7 n n Anschließend erfolgt mit den interpolierten Hoch- und Tiefpasskomponenten die Rekonstruktion der Tiefpasskomponente der n¨ achsth¨ oheren Aufl¨ osungsstufe AMn−1 . unschten Alle weiteren Tiefpasskomponenten AMn−2 , ..., AM1 werden bis zum gew¨ Transmutationsergebnis M durch identische Rekonstruktionsschritte berechnet. Das Rekonstruktionsschema, das auch die Struktur des Wavelet-Morphing-Algorithmus darstellt, zeigt die Abb. 4.32.
AMn
Korrespondenzanalyse
Interpolation
AMn -1
H-1 +
AMn -2
H-1 +
G-1
AMn -3
H-1 +
G-1
AM1
H-1 +
G-1
G-1
DMn1,...,7 DMn1,...,7 DMn1,...,7 -1 -2 InterInterInterpola. pola. pola. A1n
A 2n
Hochpaßkomponenten
D 21,...,7 n
D11,...,7 n
D 21,...,7 n -1
D11,...,7 n -1
D 21,...,7 n -2
D11,...,7 n -2
M
DM01,...,7 Interpola. D 21,...,7 0
D11,...,7 0
Auflösung Tiefpaßkomponenten
Abb. 4.32. Struktur des Wavelet-Morphing-Algorithmus
4.3 Volumenbasierte Verfahren
115
Abb. 4.33. Wavelet-Morphing nach He, Wang und Kaufmann (mit Genehmigung c von [48], IEEE 1994)
Um ein m¨ oglichst kompaktes Zwischenobjekt zu erzeugen, werden die in der Abb. 4.30 noch deutlich erkennbaren separaten Voxelgruppen eliminiert. Hierzu werden wie bei dem Verfahren von Hughes die hochfrequenten Anteile aus den interpolierten Zwischenobjekten abgeschw¨ acht. Diese Abschw¨ achung erfolgt bei der R¨ ucktransformation in den Objektraum, wobei neben den o.g. separaten Voxelgruppen auch die Details in den Zwischenobjekten unterdr¨ uckt werden. Wie die Abbildung 4.33 zeigt, stellen sich die Zwischenobjekte mit einer stark gegl¨ atteten Oberfl¨ ache dar. Je gr¨ oßer die Distanz zu den terminalen Volumenobjekten ist, um so gr¨ oßer ist hierbei die Abschw¨ achung. Dies bedeutet, dass die hochfrequenten Anteile in der Mitte der Transmutation am st¨ arksten reduziert sind. Am Anfang und am Ende des Morphing-Prozesses werden diese Abschw¨ achungen schrittweise zur¨ uckgenommen, um hierdurch wieder die Objektdetails mit hinreichender Genauigkeit herzustellen.
5 Gesichtsanimation
¨ Unsere Gef¨ uhlsregungen oder sprachlichen Außerungen zeichnen sich in zumeist sehr differenzierter Form in unseren Gesichtsausdr¨ ucken ab. Da wir st¨ andig verbal oder auch nonverbal mit Mimik kommunizieren, haben wir die Bedeutung vielf¨ altiger Gesichtsausdr¨ ucke (s. Abb. 5.1) erlernt und in unserem visuellen Ged¨ achtnis gespeichert. Hierdurch k¨ onnen wir die Gef¨ uhlslage unseres Gegen¨ uber richtig einsch¨ atzen ¨ und bei entsprechender Ubung zum Teil die Worte von den Lippen unseres Kommunikationspartners ablesen. Die visuell im Ged¨ achtnis eingepr¨ agten und sehr fein abgestuften Mimiken stellen f¨ ur die Modellierung und Animation von Gesichtsmodellen mit den Methoden der Computergrafik ein erhebliches Problem dar, weil selbst eine geringf¨ ugige Abweichung zum nat¨ urlichen Vorbild leicht als Fehler registriert wird.
5.1 Anwendungsbereiche F¨ ur die Gesichtsanimation gibt es vielf¨ altige Anwendungsbereiche. Hierzu geh¨ oren beispielsweise k¨ unstliche Akteure f¨ ur Werbe- oder Spielfilme. Beeindruckende Beispiele f¨ ur die Gesichtsanimation in Spielfilmen sind u.a. in den Filmen Shrek“ oder ” Final Fantasy“ zu finden. Infolge der anhaltend rasanten Leistungssteigerung der ” Hardware hat schon seit Jahren die 3D-Grafik Einzug in den großen Markt der Computerspiele gehalten. Hierbei werden große Anstrengungen unternommen, um die virtuellen Figuren m¨ oglichst realistisch erscheinen zu lassen. Die in Echtzeit durchgef¨ uhrte Gesichtsanimation findet daher in diesem Anwendungsfeld weite Verbreitung. Durch das Internet wurden seit Mitte der Neunzigerjahre durch die synchrone ¨ Ubertragung von Text-, Bild- und Grafikdaten sowie Sprache neue Kommunikationsformen geschaffen, die von einer breiten Masse weltweit genutzt werden. Eine dieser M¨ oglichkeiten ist die Kommunikation mit Hilfe von sog. Avataren. Als Avatar bezeichnet man im Hinduismus die Verk¨ orperung von G¨ ottern, die auf die Erde herabsteigen. Ein Avatar ist mittlerweile zu einer gebr¨ auchlichen Bezeichnung f¨ ur die grafische Repr¨ asentation eines Benutzers geworden, also f¨ ur seine Verk¨ orperung in der virtuellen Welt. So ist es m¨ oglich, dass sich Kommunikationspartner als Avatare in virtuellen Besprechungsr¨ aumen zur Diskussion zusammenfinden. Derartige Szene-
118
5 Gesichtsanimation
¨ Abb. 5.1. H¨ aufige Gesichtsausdr¨ ucke: (a) Traurigkeit, (b) Arger, (c) Freude, (d) Furcht, (e) Ekel, (f) Erstaunen
rien werden vereinzelt beim sog. Internet-Chatting praktiziert. Die k¨ orperliche Darstellung der virtuellen Diskussionspartner erfolgt derzeit noch mit einfachen Avataren, die vorwiegend als symbolische Beschreibungen des realen Diskussionsteilnehmers anzusehen sind. Von zuk¨ unftigen Systemen (s. Abb. 5.2) ist zu erwarten, dass Avatare die Teilnehmer einer virtuellen Gespr¨ achsrunde mit den Gesichtern und der Mimik realer Akteure darstellen k¨ onnen. Synchron zu der sprachlich u ¨ bermittelten Information kann hierbei die Steuerung der Lippenbewegungen mit den Methoden der Gesichtsanimation erfolgen. Aus der Vielzahl der in den letzten drei Jahrzehnten entwickelten Techniken zur Gesichtsanimation sollen in den folgenden Abschnitten einige Facial AnimationVerfahren exemplarisch vorgestellt werden.
5.2 Parametergesteuerte Gesichtsanimation Die ersten Versuche, realistisch wirkende Gesichter zu synthetisieren, wurden bereits am Anfang der Siebzigerjahre von Parke [49], [50] mit der parametergesteuerten Gesichtsanimation unternommen. Dieser Ansatz gestattet unter Verwendung eines ¨ groben polygonalen Kopfmodells das Offnen und Schließen der Augen und des Mundes. Das Polygonnetz des Kopfes (s. Abb. 5.3a) wurde hierbei mit photogrammetrischen Methoden erfasst oder direkt mechanisch vermessen.
5.2 Parametergesteuerte Gesichtsanimation
Bildanalyse
119
Bildsynthese
Monitor
Gesichtsmodell Enkoder
Gesichtsmodell Dekoder
Abb. 5.2. Bildkommunikation mit Hilfe von Avataren Die Animation erfolgt, indem die Koordinaten, welche die Mund- oder Augenregion repr¨ asentierten, durch Interpolation sowie durch Rotations-, Translations- und Skalierungstransformationen ver¨ andert werden. Um beispielsweise den Mund zu ¨ offnen (s. Abb. 5.3), erfolgt eine Koordinatenrotation im Unterkieferbereich des Gesichtsmodells um die Achse des Unterkiefers, die, wie in Abb. 5.3b dargestellt, ungef¨ ahr durch die Mitte der Wangenregionen verl¨ auft. Die zu transformierenden Koordinaten befinden sich zwischen den beiden in Abb. 5.3b gestrichelt gezeichneten Begrenzungslinien. Durch Angabe eines Parameters ¨ kann der Rotationswinkel und damit die Offnungsweite des Mundes eingestellt wer-
Drehachse des Unterkiefers
(a)
(b)
Abb. 5.3. Erzeugung des Polygonnetzes des menschlichen Kopfes: (a) Kopfmodell, (b) Polygonnetz
120
5 Gesichtsanimation Tabelle 5.1. Parameter zur Steuerung der Mundregion Parameter beeinflusst Wertebereich Kieferrotation 0,..., 20 Mundweite 0.5,..., 1.5 Lippenverschiebung 0.0,..., 20 Mundausdruck 0.0,..., 1.0 Oberlippenposition 0.0,..., 20 Lippendicke 0.0,..., 25 X-,Y-,Z-Mundwinkeleckenversatz -25,..., 25 F-Laut Lippenverschiebung -25,..., 0
den. Weitere Parameter1 , die zur Steuerung der Mundregion dienen, sind in Tab. 5.1 aufgef¨ uhrt. Die Mundweite wird bei Parke mit einer Skalierungsoperation ver¨ andert. Der Parameter Lippenverschiebung bewirkt mittels einer Translationsoperation eine Lippenbewegung nach vorn und vergr¨ oßert damit den Abstand zu den Z¨ ahnen. Das Anheben der Oberlippenposition erfolgt gleichfalls mit Hilfe von Translationsoperationen. Der Parameter Lippendicke steuert hierbei die Dicke der Lippen im Bereich der Mundwinkelecken. Die Translationsparameter X-,Y- und Z- Mundwinkeleckenversatz gestatten die Verschiebung der Mundwinkelecken in den drei Koordinatenhauptrichtungen. Der Parameter F-Laut-Lippenverschiebung schiebt die Unterlippe u ahne, so als ob ein F-Laut geformt w¨ urde. ¨ ber die Vorderz¨ Alle durch die oben genannten Parameter gesteuerten Transformationen wirken nur auf die Koordinaten bestimmter Gesichtsregionen. Um m¨ oglichst kontinuierli¨ che Uberg¨ ange zwischen den transformierten und den unver¨ anderten Regionen des Gesichtes zu schaffen, ist der Einfluss einer Transformation an den Grenzen ihres Wirkungsbereichs entsprechend abzuschw¨ achen.
¨ Abb. 5.4. Offnen des Mundes durch Rotation der Unterkieferkoordinaten 1
Die Parameterwerte in Tab. 5.1 bezeichnen die prozentualen L¨ angen¨ anderungen der Basiswerte, bezogen auf den neutralen Gesichtsausdruck.
5.2 Parametergesteuerte Gesichtsanimation
121
Obgleich das Prinzip der parametergesteuerten Gesichtsanimation recht einfach erscheint, ist die praktische Anwendung dieses Verfahrens ¨ außerst m¨ uhselig, da keine direkte Beziehung zur Einstellung der Parameter und dem gew¨ unschten Gesichtsausdruck besteht, zumal sich dieser bei Animationen dynamisch ver¨ andern muss.
5.2.1 Erweiterte parametergesteuerte Verfahren DiPaola [51], [52] erweiterte das Gesichtsanimationsverfahren von Parke, indem er die Anzahl der Parameter zur Steuerung der Gesichtsausdr¨ ucke erheblich vergr¨ oßert. Im Unterschied zu Parke stehen hier besonders W¨ unsche und Bed¨ urfnisse von Animateuren nach mehr Flexibilit¨ at hinsichtlich der m¨ oglichen Gesichtsausdr¨ ucke im Vordergrund. Dazu verwendet er etwa 80 Parameter, die mittels Interpolationsoperationen sowie Translations-, Rotations- und Skalierungstransformationen auf Teilregionen des Kopfmodells wirken. DiPaola´s Verfahren erm¨ oglicht mittels lokal wirkender Transformationen, Stauchung oder Streckung bestimmter Gesichtspartien und erreicht dadurch karikaturhafte Gesichtsverformungen. Weiterhin lassen sich relevante Gesichtsmerkmale so skalieren, dass beispielsweise die Augen die halbe Gr¨ oße des Kopfes einnehmen. Derartige Operationen wirken auf das gesamte Gesichtsmodell und ver¨ andern somit auch die Polygone der Nachbarregionen wie Stirn- oder Wangenbereiche. Mit Hilfe einfacher Interpolationen sind Morphing-Operationen zwischen unterschiedlich verzerrten Gesichtern m¨ oglich. Mit der Verwendung weiterer parametergesteuerter Transformationen, die aufgeblasene Backen, ger¨ umpfte Nasenfl¨ ugel oder schielende Augen erm¨ oglichen, l¨ asst sich die Ausdrucksvielfalt ebenfalls steigern. Die meisten Parameter, die zur Ver¨ anderung des Gesichtsausdrucks dienen, sind bei diesem Ansatz paarweise vorhanden und wirken unabh¨ angig voneinander auf die linke bzw. rechte Gesichtsh¨ alfte. Hierdurch ist es m¨ oglich, Asymmetrien, die nahezu jedes nat¨ urliche Gesicht aufweist, nachzubilden. In dem Gesichtsanimationssystem von DiPaola wird besonderes Schwergewicht auf die Modellierung und Animation der Augen gelegt. Um diese realistisch wirken zu lassen, erfolgte die Texturierung des Augenmodells mit Bildmatrizen, die mit Fotografien von realen Augen erzeugt wurden. Die Augenbewegungen werden gleichfalls mit Parametern gesteuert, welche die Aug¨ apfel skalieren, rotieren oder die Position der Augenlider ver¨ andern. Im Gegensatz zum Gesichtsmodell von Parke, das lediglich eine Gesichtsmaske darstellt, wird beim DiPaola’schen System der vollst¨ andige Kopf, einschließlich der Kopfbehaarung sowie der Augenbrauen, modelliert. F¨ ur die Haarmodellierung werden sog. Hair Globs verwendet. Dies sind kleine, sich gegenseitig u are Fl¨ achenelemente, die mit dem Polygonnetz ¨ berdeckende, irregul¨ des Kopfes flexibel verbunden sind. Die Einbindung der Gesichtsanimation in ein durch Keyframes gesteuertes K¨ orperanimationssystem ist eine weitere Eigenschaft, die f¨ ur die Produktion von Animationsfilmen besonders wichtig ist. Hierbei wird zuerst das K¨ orpermodell animiert, wobei ein Dummy-Objekt als Platzhalter dient, mit der die Position und Ausrichtung des Kopfes festgelegt wird. Diese Geometriedaten werden ben¨ otigt, um das orpermodell Kopfmodell mit den nachfolgenden Arbeitsschritten korrekt auf das K¨ platzieren zu k¨ onnen. Eine Bibliothek zur Speicherung und Verwaltung der Parameters¨ atze unterschiedlicher Mimiken ist eine weitere wichtige Eigenschaft dieses Gesichtsanimationssystems.
122
5 Gesichtsanimation
Erweiterung von Pearce, Wyvill und Hill. Die Erweiterung des urspr¨ unglichen Parke’schen Gesichtsanimationsverfahrens durch Pearce, Wyvill und Hill [53] betrifft vor allem die phonembasierte Steuerung der Lippenbewegungen. Jedes Phonem2 korrespondiert hierbei mit einer bestimmten Mundstellung, der wiederum spezielle Parametrisierungen zugeordnet sind. Mit Hilfe nicht-linearer Interpolation wird ein ¨ gleitender Ubergang zwischen den jeweils unterschiedlichen Mundstellungen, den Visemen, erzeugt, wie sie bei der Generierung von Phonemfolgen auftreten. Hierdurch ist es m¨ oglich, die synchron zur Lautfolge generierten Lippenbewegungen nat¨ urlich erscheinen zu lassen. Erweiterung von Cohen und Massaro. Die Erweiterung durch Cohen und Massaro [54], [55] besteht vor allem in der Verbesserung der visuellen Sprachartikulation. Hierzu werden speziell Parameter zur Steuerung der Lippen eingef¨ uhrt. Da auch ¨ die Zungenbewegungen zur visuellen Interpretation von sprachlichen Außerungen wichtig sind, wird von Cohen und Massaro auch ein dynamisch ver¨ anderbares Zungenmodell implementiert und Parameter zur Zungensteuerung vorgesehen. Durch die Verwendung von Gesichtstexturen kann das realistische Aussehen des Gesichtes verbessert werden. Mit Hilfe von Schiebereglern, welche die interaktive Ver¨ anderung s¨ amtlicher Parameterwerte erm¨ oglichen, wird eine einfache Bedienbarkeit des Animationssystems erreicht.
5.3 Muskelgesteuerte Gesichtsanimation Die muskelgesteuerte Gesichtsanimation basiert auf der Kenntnis der Mechanik von Haut und Muskeln, der Anatomie des menschlichen Gesichtsmuskelsystems sowie dem Zusammenwirken der einzelnen Gesichtsmuskeln. In dem nachfolgenden Abschnitt soll in einer verk¨ urzten Form die Anatomie des Gesichtsmuskelsystems vorgestellt werden. Anschließend wird das Facial Action Coding System (FACS) diskutiert, mit dem sich die Interaktionen der einzelnen prim¨ aren Muskelaktionen beschreiben lassen, die f¨ ur die Erzeugung einer begrenzten Anzahl von Gesichtsausdr¨ ucken erforderlich sind. Das wegweisende Modell von K. Waters, das auf der Anatomie der Gesichtsmuskulatur und des FAC–Systems basiert, wird abschließend als ein Beispiel f¨ ur die muskelgesteuerte Gesichtsanimation vorgestellt.
5.3.1 Gesichtsmuskelsystem Die Abbildungen 5.5a–c zeigen die wichtigsten Muskelpartien, die f¨ ur die Mimik oder das Sprechen relevant sind. Wir unterscheiden drei Muskeltypen: die Linearmuskeln, die Schließmuskeln, die auch als Sphinktermuskeln bezeichnet werden sowie die Fl¨ achenmuskeln. Die Linearmuskeln sind am h¨ aufigsten im Muskelsystem des Gesichtes vertreten. Sie erzeugen eine Kontraktion in Richtung eines Fixpunktes. Die Schließmuskeln, die Mund und Augenlider umgeben, sind ring- bzw. ellipsenf¨ ormig und kontrahieren in Richtung eines Zentralpunktes. Fl¨ achenmuskeln sind breite Muskelb¨ ander, die aus einer Vielzahl von parallelen Linearmuskeln gebildet werden. Ein typischer 2
Ein Phonem ist die kleinste bedeutungsunterscheidende lautsprachliche Einheit
5.3 Muskelgesteuerte Gesichtsanimation
123
Abb. 5.5. Darstellung der Gesichtsmuskulatur aus Frontal- (a) und Lateralrichtung (b). Das Teilbild (c) zeigt ein Schnittbild des Unterkiefers mit den Kaumuskeln medial pterygoid r und m. lateral pterygoid s
Fl¨ achenmuskel ist der Frontalis (a) (s. Abb. 5.5), der die Stirn zum großen Teil u ¨ berdeckt. Im nachfolgenden Abschnitt werden die gekennzeichneten Muskelb¨ ander diskutiert, deren Aufz¨ ahlung nicht vollst¨ andig ist und deren prim¨ are Muskelaktionen sicherlich nicht immer anatomisch korrekt beschrieben werden. Weiterhin ist zu beachten, dass immer mehrere Muskeln zur Erzeugung bestimmter Gesichtsausdr¨ ucke zusammenwirken, wie sie beispielsweise in der Abb. 5.1 dargestellt sind.
Muskeln im Augenbereich • •
Der m. orbicularis oculi (b) (Abb. 5.5a,b) umschließt als Ringmuskel das Auge. Er bewirkt den Lidschluss oder Lidschlag. Der m. corrugatur supercilii (c) (Abb. 5.5a) verl¨ auft vom Stirnbein dicht oberhalb der Nasenwurzel zum medialen Bereich der Augenbrauen. Eine Muskelkontraktion bewirkt die Ausbildung von senkrechten Falten zwischen den Augenbrauen.
124
5 Gesichtsanimation
Muskeln im Nasenbereich • • •
Der m. nasalis (d) (Abb. 5.5a,b) verl¨ auft von den oberen Schneidez¨ ahnen zum Nasenr¨ ucken und verursacht dabei eine Erweiterung oder Verengung der Nasenl¨ ocher. Der m. procerus (e) (Abb. 5.5a,b) verl¨ auft von der Glabella (unbehaarte Stelle zwischen den Augenbrauen) zum Nasenr¨ ucken. Er verursacht das Herabziehen der Stirnhaut und dadurch die Bildung der Querfalten an der Nasenwurzel. Der m. levator labii superioris alaeque nasi (f ) (Abb. 5.5a,b) ist an der obersten Stelle des Oberkiefers (etwas unterhalb der Nasenwurzel) fixiert und verl¨ auft von dort zur Oberlippenhaut sowie zum Nasenfl¨ ugel. Er bewirkt das Anheben der Nasenfl¨ ugel und der Oberlippe.
Muskeln im Kieferbereich sowie Kaumuskeln •
•
•
• •
• •
•
•
Der m. orbicularis oris (g) (Abb. 5.5a) verl¨ auft ausgehend vom Wangenmuskelknoten an den Mundwinkeln ringf¨ ormig um die Mund¨ offnung mit Anheftungsstellen an Ober- und Unterkiefer. Der Muskel schließt die Mund¨ offnung und beeinflusst die Lippenstellung. Er ist zust¨ andig f¨ ur die Artikulation von Lauten, dient zum Sch¨ urzen der Lippen oder kann diese gegen die Z¨ ahne dr¨ ucken. Er ist unterst¨ utzt den Kauvorgang, indem er die Nahrung gegen die Z¨ ahne dr¨ uckt. Der m. buccinator (h) (Abb. 5.5a) ist ein d¨ unnes und breites Muskelband, das vom Mund zum Wangenbereich verl¨ auft und diesen zum gr¨ oßten Teil u ¨berdeckt. Dieser Muskel erm¨ oglicht das Ausblasen der Luft, wirkt beim Lachen und Weinen und dem Ausdruck von Genugtuung mit. Der m. levator labii superioris (i) (Abb. 5.5a,b) besteht aus mehreren Muskelb¨ andern, die von der Haut der Oberlippe und des Nasenfl¨ ugels zum Jochbogen, zum Oberkiefer und dem Orbit (innerhalb der Augenh¨ ohle nahe der Nasenwurzel) verlaufen. Er dient zum Anheben der Oberlippe und des Nasenfl¨ ugels. Der m. levator angulo oris (j) (Abb. 5.5a) setzt an den Mundwinkeln an und ist am Oberkiefer in der H¨ ohe der Nasen¨ offnung fixiert. Der Muskel bewirkt das Heben der Mundwinkel. Der m. zygumaticus major k (Abb. 5.5a,b) setzt an der Haut des Mundwinkels sowie der Oberlippe an und ist am Jochbogen des Sch¨ adels fixiert. Er bewirkt das Ziehen der Mundwinkel nach außen und nach oben. Seine Kontraktion dr¨ uckt Lachen oder Vergn¨ ugen aus. Der m. risorius (l) (Abb. 5.5a) verl¨ auft von der Wangenhaut zu den Mundwinkeln. Durch laterales Verziehen der Mundwinkel erzeugt er Lachgr¨ ubchen und wird deshalb auch als Lachmuskel bezeichnet. Der m. mentalis (m) (Abb. 5.5a,b) verl¨ auft von den seitlichen unteren Schneidez¨ ahnen und des Eckzahns zur Kinnhaut. Er bewirkt ein Anheben der Kinnhaut und tritt beim Ausdruck von Zweifel und Unentschlossenheit auf, indem er die Kinn-Lippen-Furche erzeugt. Er tritt beispielsweise auch beim Trinken in Aktion. Sowohl der m. depressor labii inferioris (n) als auch der m. depressor anguli oris (o) (Abb. 5.5a,b) sind am Unterrand des Unterkiefers fixiert und verlaufen zur Haut der Unterlippe. Beide bewirken ein Herabziehen der Unterlippenhaut und verursachen einen traurigen Gesichtsausdruck. Der m. temporalis (p) (Abb. 5.5a,b) ist ein breites f¨ acherf¨ ormiges Muskelband, das im gesamten Schl¨ afenbereich des Sch¨ adelknochens fixiert ist.
5.3 Muskelgesteuerte Gesichtsanimation •
• •
•
125
Der m. masseter (q) (Abb. 5.5a,b) ist ein breites und dickes Muskelband, das vom Jochbogen zum unteren Bereich des Unterkiefers verl¨ auft. Er ist f¨ ur das Schließen des Unterkiefers zust¨ andig, den er dabei zur¨ uckzieht. Dieser Muskelf¨ acher wird am Unterkiefer an der Stelle unterhalb des Jochbogens zusammengef¨ uhrt. Der m. medial pterygoid (r) (Abb. 5.5a) befindet sich innerhalb des Kieferraums und verl¨ auft in Richtung des m. masseter als dessen Gegen¨ uber. Der Muskel besteht aus zwei B¨ andern, die den Unterkiefer anheben. Der m. lateral pterygoid (s) (Abb. 5.5c) befindet sich innerhalb des Kieferraums und setzt in der N¨ ahe des Unterkiefergelenks an. Er besteht aus zwei Muskelb¨ andern, mit denen der Unterkiefer nach vorne oder auch seitlich verschoben wird. Der m. platysma (t) (Abb. 5.5a) ist ein flacher Hautmuskel, der oberhalb des Unterkieferrandes in der Gesichtshaut entspringt und sich bis zur Brusthaut der zweiten Rippe zieht. Dieser Muskel zieht den ¨ außeren Teil der Unterlippe sowie den Unterkiefer nach unten. Diese Muskelaktion vermittelt den Ausdruck des Erschreckens.
5.3.2 Das Facial-Action-Coding System Das Facial-Action-Coding System (FACS) ist ein Schema zur Beschreibung von Gesichtsausdr¨ ucken, das in der Gesichtsanimation weite Verbreitung gefunden hat. Es wurde von Paul Eckman und Wallace Friesen [56] entwickelt und beschreibt den Ausdruck eines Gesichtes mit Hilfe sog. Action Units (AU´s) . Die AU´s sind elementare, nicht weiter teilbare Muskelaktionen, die den Gesichtsausdruck ver¨ andern, wie beispielsweise der Lidschluss des Auges. Insgesamt wurden 46 unterschiedliche AU´s bestimmt, deren Kombination die Erzeugung beliebiger Gesichtsausdr¨ ucke ¨ erlaubt. Obgleich zur Anderung des Gesichtsausdrucks lediglich eine Action Unit erforderlich ist, k¨ onnen theoretisch bis zu 20 AU´s miteinander kombiniert werden. Das FACS wurde urspr¨ unglich mit dem Ziel entwickelt, jene Muskelaktionen ¨ zu bestimmen, die f¨ ur die Erzeugung bestimmter elementarer Anderungen im Gesichtsausdruck verantwortlich sind. Die Analyse dieser Muskelaktionen, die auf der Anatomie des menschlichen Gesichtsmuskelsystems basiert, geht von der Annah¨ me aus, dass jede Anderung der Mimik ihre Ursache in Muskelaktionen hat. Mit dem FACS werden somit nur die Kontraktionen der Gesichtsmuskeln erfasst, die zu sichtbaren Ausdrucksver¨ anderungen f¨ uhren. Hierbei kann der Fall auftreten, dass die Aktion des gleichen Muskels unterschiedliche Gesichtsausdr¨ ucke verursacht. Als ein Beispiel sei der Frontalis genannt, dem zwei Aktionseinheiten, die AU1 und die AU2, zugeordnet sind. Abh¨ angig davon, ob der mediale oder laterale Bereich dieses Fl¨ achenmuskels aktiv ist, werden entweder die inneren oder die ¨ außeren Bereiche der Augenbrauen aktiviert. In der Tabelle 5.2, in der die Zuordnungen der AU´s zu den jeweiligen Gesichtsmuskeln dargestellt ist, sind weitere Muskeln aufgef¨ uhrt, die analoge Eigenschaften aufweisen.
126
5 Gesichtsanimation Tabelle 5.2. Facial Action Units AU 1 2 4
FACS Name Inner Brow Raiser Outer Brow Brow Lowerer
5 6 7 8 9 10
Upper Lid Raiser Cheek Raiser Lid Tightener Lips Toward Nose Wrinkler Upper Lip Raiser
11 12 13 14 15 16 17 18
Nasolabial Furrow Lip Corner Puller Cheek puffer Dimpler Lip Corner Depressor Lower Lip Depressor Chin Raiser Lip Puckerer
20 22 23 24 25
Lip Stretcher Lip Funneler Lip Tightner Lip Pressor Lips Part
26
Jaw Drop
27 28 38 39
Mouth Stretch Lip suck Nostril Dilator Nostril Compressor
41 42 43 44 45
Lid Droop Slit Eyes Closed Squint Blink
46
Wink
Muscular Basis Frontalis, Pars Medialis Raiser Frontalis, Pars Lateralis Depressor Glabellae; Depressor Supercilli; Corrugator Levator Palebrae Superioris Orbicularis Oculi, Pars Orbitalis Orbicularis Oculi, Pars Palebralis Orbicularis Oris Each Other Levator Labii Superioris, Alaeque Nasi Levator Labii Superioris, Caput Infraorbitalis Zygomatic Minor Deepener Zygomatic Major Caninus Buccinnator Triangularis Depressor Labii Mentalis Incisivii Labii Superioris; Incisivii Labii Inferioris Risorius Orbicularis Oris Orbicularis Oris Orbicularis Oris Depressor Labii, or Relaxation of Mentalis or Orbicularis Oris Masetter; Temporal and Internal Pterygoid Pterygoids; Digastric Orbicularis Oris Nasalis, Pars Alaris Nasalis, Pars Transversa and Depressor Septi Nasi Relaxation of Levator Palpebrae Superioris Orbicularis Oculi Relaxation of Levator Palpebrae Superioris Orbicularis Oculi, Pars Palpebralis Relaxation of Levator Palpebrae and Contraction o Orbicularis oculi, Pars Palpebralis Orbicularis Oculi
5.3 Muskelgesteuerte Gesichtsanimation
127
Abb. 5.6. Erzeugung der AU2 – d.h. Action Unit Nr. 2 aus Tabelle 5.2 – mit einem Linearmuskel
5.3.3 Muskelmodell von K. Waters Zu den Pionieren der muskelgesteuerten Gesichtsanimation geh¨ ort Keith Waters. In dem von ihm entwickelten Muskelmodell [57] werden die drei bekannten Muskeltypen Linear-, Schließ- und Fl¨ achenmuskel durch Funktionen nachgebildet. Die Linearund Fl¨ achenmuskeln sind als sog. Muskelvektoren realisiert. Ihre Wirkung l¨ asst sich mit einem Gummiband vergleichen, das die Eckpunkte eines Polygonnetzes, die sich in seinem Einflussbereich befinden, in Richtung seines Fixpunktes zieht. Dieser Fixpunkt entspricht dem Ansatz eines nat¨ urlichen Muskels, der durch den Muskelvektor nachgebildet wird. Die Wirkungsweise von Linear- und Fl¨ achenmuskeln ist prinzipiell identisch, sie unterscheidet sich jedoch in der Form ihrer Einflussbereiche. Nachfolgend werden speziell die Eigenschaften der Linear- und Schließmuskeln detaillierter behandelt. Linearmuskeln. Der Wirkungsbereich des von K. Waters verwendeten Linearmuskelmodells hat, wie die Abb. 5.7a zeigt, die Form eines Kreissegmentes. Im Fall einer Muskelkontraktion werden die Eckpunkte des polygonalen Gesichtsmodells, die sich im Einflussbereich des Kreissegmentes befinden, in Richtung des Wirkungszentrums gezogen. Die Abb. 5.6 zeigt als Beispiel die Wirkung eines Linearmuskels, der mit den Eckpunktkoordinaten im Bereich der Augenbrauen die Aktion Outer Brow Raiser (AU2), Anheben der Augenbrauen, verursacht. Hierin erfolgt die Verschiebung (Displacement) der Eckpunktkoordinaten nicht gleichm¨ aßig, sondern sie verl¨ auft symmetrisch zur Hauptrichtung des Muskelvektors und geht an den Randbereichen gegen Null (s. Abb. 5.7b). Ihr Maximum befindet sich an der Stelle d = rs . Die Verschiebung der Position der Eckpunktkoordinaten von p nach p wird mit
128
5 Gesichtsanimation
disp
d W
rs
1
p¢
35 o
p 0
disp rf
0
0
Ausrichtung des Muskelvektors
d rs = 10
Wirkungsbereich des Muskelvektors
35 o
r f = 14
(a)
(b)
Abb. 5.7. (a) Einflussbereich des Linearmuskels, (b) Displacement des Linearmuskels disp = f (d, θ) mit Ω = 35◦ , rs = 10, rf = 14, k = 1 p = p (1 − adisp rdisp k)
(5.1)
bestimmt. Hierin ist: adisp = 0.5π cos(θ/Ω) rdisp =
0.5π cos(1 − d/rs ) 0.5π cos((d − rs )/(rf − rs ))
: −Ω ≤ θ ≤ Ω : :
0 < d ≤ rs rs < d ≤ rf .
Hierin erfolgt die Verschiebung ls auf die Koordinaten eines planaren Gitters zeigen die Abb. 5.8a,b.
(a)
(b)
Abb. 5.8. Deformation der Koordinaten eines planaren Gitters mit Hilfe eines Muskelvektors: (a) Kontraktionsfaktor k=0,2, (b) Kontraktionsfaktor k=0,4
5.3 Muskelgesteuerte Gesichtsanimation
129
Schließmuskeln. Die Schließmuskeln oder Sphinktermuskeln werden durch ellipsenf¨ ormige Regionen dargestellt. Im Fall einer Muskelkontraktion verschieben sich die in ihrem Einflussbereich befindlichen Polygoneckpunkte in Richtung eines fiktiven Wirkungszentrums pc . Der Einflussbereich eines Schließmuskelmodells (Abb. 5.9) ist kreis- oder ellipsenf¨ ormig.
Y Wirkungsbereich pc
p p l2
l1
X
Abb. 5.9. Wirkungsbereich des Schließmuskels ¨ Die Anderung der durch die Kontraktion ver¨ anderten Eckpunktpositionen von p nach p = p disp kann mit der Gleichung3 bestimmt werden, wobei disp Werte zwischen 0 und 1 annehmen kann. Die Abb. 5.10a,b veranschaulicht ihre Wirkung bei einer Kontraktion an einem planaren Gitter.
(a)
(b)
Abb. 5.10. Wirkung der Schließmuskelkontraktion mit (a) k=0,8 und (b) k=0,5
3
Die Bestimmung des Displacement disp weicht hier von der in [58] vorgeschlagenen Berechnung ab.
130
5 Gesichtsanimation
1.0
Ausgabe: Displacement Factor
Ausgabe: Displacement Factor
1.0
0
0 0
Eingabe: Displacement Factor 1.0
0
Eingabe: Displacement Factor 1.0
Abb. 5.11. Modellierung der Displacement-Faktoren
disp = (1 − k cos(0.5 q π)),
q=
l2 /l1 : l2 ≤ l1 1 : l2 > l 1
¨ An den Uberg¨ angen von den deformierten zu den unbeeinflussten Bereichen treten ¨ bei starken Kontraktionen oftmals unnat¨ urlich erscheinende, kantige Uberg¨ ange auf. Um diese unerw¨ unschten Effekte zu vermeiden, muss die Displacement-Funktion so gestaltet werden, dass ihr Einfluss an den Randbereichen entsprechend abgeschw¨ acht wird. Dies l¨ asst sich mit frei definierten Tabellenfunktionen disp = ftab (disp) (s. Abb. 5.11) erreichen. Mit Hilfe dieser Funktionen ist es m¨ oglich, die Displacement¨ Funktion so zu gestalten, dass glatte Uberg¨ ange an Randgebieten der Einflussbereiche entstehen. F¨ ur den Fall, dass sich die Wirkungsbereiche der Muskelmodelle u ¨ berlagern, erfolgt eine vektorielle Addition der Displacement-Vektoren.
5.4 Gesichtsanimation mit parametrischen Fl¨ achen Polygonale Gesichtsmodelle haben den Nachteil, dass eine Vielzahl von Fl¨ achenelementen erforderlich ist, um Diskontinuit¨ aten bei der Darstellung des Gesichtes zu vermeiden. Diese k¨ onnen vor allem dann entstehen, wenn sich Gesichtspartien mit grober polygonaler Aufl¨ osung durch Muskelaktionen stark verformen. Als Beispiel sei hier die Hautfaltenbildung beim Runzeln der Stirn angef¨ uhrt. Dieses Problem wird dadurch versch¨ arft, weil bei der Erzeugung des polygonalen Modells die Stellen zumeist unbekannt sind, an denen durch Muskelaktionen st¨ arkere Verformungen auftreten. Mit Hilfe parametrischer Fl¨ achen, die zumindest C2 -kontinuierlich sind, lassen sich diese Schwierigkeiten umgehen. Diese Bedingung erf¨ ullen die bikubischen B-Splines, die von Waite [59] zur Erzeugung des Gesichtsmodells verwendet werden. Die Steuerung der Gesichtsmuskeln erfolgt gleichfalls unter Verwendung des Facial Action Coding Systems mit einem sog. Facial Expression Editor. Zur Modellierung der Spline-Fl¨ achen ist ein regul¨ ares Kontrollgitter erforderlich, das den Verlauf der Gesichtsoberfl¨ ache approximiert. Waite verwendet, wie in Abb. 5.12 dargestellt, zur Erzeugung der Gesichtsoberfl¨ ache ein Gitter mit 16 × 12
5.4 Gesichtsanimation mit parametrischen Fl¨ achen
131
Kontrollpunkten mit Aussparungen an den Mund-, Augen- und Nasenl¨ ochern. Gesichtsfurchen, wie sie beispielsweise an den Seiten der Nasenfl¨ ugel auftreten, wird durch die Verdoppelung der Kontrollpunkte modelliert, wodurch die Kontinuit¨ at der Oberfl¨ ache an diesen Stellen reduziert wird (siehe Abb. 5.12). Die Positionen der in Abb. 5.12 mit • gekennzeichneten Kontrollpunkte werden mit den Muskelaktionen ver¨ andert. Die Zahlen an den Kontrollpunkten dienen zur Markierung der Action Units. Die Ver¨ anderung des Gesichtsausdrucks erfolgt auch hier, analog dem Verfahren von Waters, durch Verschiebung der Kontrollpunktpositionen mit Hilfe der Action Units: 1, 2, 4, 6, 9, 10, 11, 12, 13, 14, 15, 16, 17 und 20. Nachteilig bei der Verwendung von B-Splines ist, dass sich mit einem einheitlichen Kontrollgitter der komplexe Verlauf der Gesichtsoberfl¨ ache nur unzureichend nachbilden l¨ asst. Dieses Manko wird dadurch ausgeglichen, dass eine hierarchische B-Spline Verfeinerung [60] durchgef¨ uhrt werden kann, die es erlaubt, Kontrollgitter mit unterschiedlicher Aufl¨ osung zu verwenden. Auch mit Catmull-Rom-Splines k¨ onnen die hohen Anforderungen erf¨ ullt werden, die an Geometriemodellierung gestellt werden. So wurden kubische Catmull-RomSplines in dem von Pixar produzierten Computeraninmationsfilm Tin Toy“ zur ” Modellierung des Gesichtes vom Baby Billy“ verwendet. Tin Toy“ wurde 1988 ” ” als beste Computeranimation mit dem Academy Award“ ausgezeichnet. Die f¨ ur ” damalige Verh¨ altnisse sehr realit¨ atsnahe Gesichtsanimation mit 43 Linear- und 4 Ringmuskeln, deren Steuerung auf der Grundlage des Facial Action Coding Systems erfolgte, hatte hieran den entscheidenden Anteil. 15 14 13 12 11
10
9
8
7
6
5
4
3
2
1
0 0 1
4 2,4
6 6
12
2,6
4 2,4
1,4 6 2,10 1,4
6
6,9
12
12
6,9
12
12
6,9
12 15 20 12 20
2
1
3
1,4
4 5 6 7
12 10,11
8
13 14 12,15 11,14 14
16 14
9 17 16
17
17
17
10 11
Abb. 5.12. Schematische Darstellung des Kontrollgitters zur Modellierung und Steuerung des Gesichtsausdrucks
132
5 Gesichtsanimation
5.5 Gesichtsanimation mit Federmodellen Federmodelle zur Darstellung des elastischen Verhaltens der Gesichtshaut sind in der Gesichtsanimation weit verbreitet. Ein fr¨ uher Ansatz, der auf einem Federsystem basiert, wird bereits 1981 von Platt und Badler vorgestellt [61]. Das polygonale Netz der Gesichtshaut besteht aus einem einschichtigen Federnetz, dessen Eckpunkte u ¨ ber elastische Muskelfasern an Fixpunkten verankert sind. Diese Fixpunkte stellen die Ansatzpunkte der Gesichtsmuskeln an einem Sch¨ adelknochen dar. Bei diesem einfachen Modell treten jedoch oftmals unnat¨ urliche Verzerrungen der Gesichtshaut auf, ¨ die infolge lokaler Uberlappungen des Gesichtshautnetzes bei gr¨ oßeren Muskelkontraktionen entstehen. Wesentlich bessere Resultate liefert das Gesichtsanimationsverfahren von Lee, Terzopoulos und Waters. Diese schlagen in [25] ein zweischichtiges Feder-MasseSystem vor, das den Schichtenaufbau der Haut aus Epidermis, Fettgewebe, Muskelschicht und dem Sch¨ adelknochen nachbildet. Ihr Gewebemodell besteht aus prismatischen Elementen, deren Eckpunkte, wie in Abb. 5.13 dargestellt, mit Federn verbunden sind. Mit Hilfe von Kraft-Constraints wird erreicht, dass das durch die Prismen gebildete Hautvolumen konstant bleibt und auch das Eindringen der Gesichtshaut in den virtuellen Sch¨ adelknochen weitgehend vermieden wird. Mit diesem physikalisch-basierten Verfahren lassen sich auch realistische Darstellungen (s. Abb. 5.13b) bei der Bildung von Gesichtsfalten erzielen. Die Darstellung von ausdrucksvollen Gesichtsfalten sowie die Alterungserscheinungen der Haut ist auch ein besonderes Merkmal des Gesichtsmodells von Wu et al. [62]. Die viskoelastischen Eigenschaften der Haut werden hier durch eine Mikrostruktur in Form eines feinen, elastischen Dreiecksnetzes nachgebildet.
5.5.1 Muskel- und Hautmodell von K¨ ahler et al. Nachfolgend soll eine j¨ ungere, von K¨ ahler, Haber und Seidel vorgestellte Methode zur Gesichtsanimation [63], [64] etwas detaillierter diskutiert werden. Das hier verwendete Modell f¨ ur die Gesichtsanimation, das sich durch einfache Anwendbarkeit und ihre hervorragenden Ergebnisse auszeichnet, besteht aus drei Schichten: Epidermal Nodes 2 1,2,3 Fascia Nodes 4,5,6 Bone Nodes 7,8,9
1
Epidermal Surface Dermal-fatty Layer 4
3 5 7
Fascia Surface Muscle Layer Skull Surface
8 6 9
(a)
(b)
Abb. 5.13. Konstruktion des Hautgewebes nach Lee et al.: (a) prismatische Gewebezelle, (b) Verformung eines Gewebebereiches infolge der Einwirkung von mehreren unterschiedlich wirkenden Muskelkr¨ aften nach [25]
5.5 Gesichtsanimation mit Federmodellen • • •
133
Einer Haut-/Gewebeschicht, die die Epidermis darstellt sowie das unter der Haut befindliche Fettgewebe. Einer Schicht von Muskeln, die am Sch¨ adel verankert und mit der Haut verbunden sind. Dem Gesichtssch¨ adel, bestehend aus dem unbeweglichen Sch¨ adelknochen und dem beweglichen Unterkiefer.
Erzeugung des Kopfmodells. Die Erzeugung des Kopfmodells erfolgt automatisch auf der Basis eines Referenzkopfes, der aus den anatomisch korrekten Sch¨ adelknochen, dem virtuellen Muskelapparat und der Hautoberfl¨ ache besteht. Zur Anpassung dieses Referenzkopfes an das Gesichtsmodell einer realen Person wird ein 3D-Warping Verfahren“ verwendet, das auf radialen Basisfunktionen basiert. ” Hierzu werden die anthropometrisch relevanten Orte auf der Hautoberfl¨ ache von Referenz- und Zielkopf markiert. ¨ Um eine hinreichende Ubereinstimmung zwischen den miteinander korrespondierenden Markierungen zu erzielen, sind mehrere Iterationen erforderlich. Nach jedem Iterationsschritt wird an jeder Stelle automatisch eine neue Markierung platziert, an der die Abweichung zwischen der Geometrie von Referenz- und Zielkopf einen Schwellenwert u ¨ berschreitet. Hierdurch entsteht eine fortlaufende Verfeinerung des verformten Referenzmodellgitters, bis eine korrekte Anpassung an die Zielkopfmarkierungen und damit an die exakte Form des gew¨ unschten Zielkopfes erreicht ist. Die Knoten des polygonalen Hautnetzes und des Sch¨ adelknochennetzes sind durch Distanzvektoren miteinander verbunden. Der Warping-Prozess, der die Kopfhaut des Referenzmodells entsprechend den Zielmarkierungen verformt, passt somit auch den zugeh¨ origen Sch¨ adelknochen anatomisch korrekt in den Zielkopf ein. Die Ein- und Anpassung des Muskelapparates zwischen Hautschicht und Sch¨ adelknochen erfolgt gleichfalls automatisch, wobei sich der Verlauf der Muskelbahnen an der Sch¨ adelform ausrichtet. Dieser Anpassungsprozess ber¨ ucksichtigt auch eine unterschiedliche St¨ arke der Hautdicke.
a) (a)
b) (b)
c) (c)
d) (d)
Abb. 5.14. Prozessschritte zur Gesichtsrekonstruktion nach K¨ ahler et al. (s. Farbtafel V): (a) Geometrieerfassung des Sch¨ adels, (b) virtuelles Sch¨ adelmodell wird mit virtuellen Landmarks versehen, (c) Anpassung des Referenzkopfmodells mit geeigneten Weichteildicken, (d) fertige Rekonstruktion mit leichter Mimik, (mit Genehmigung von J. Haber)
134
5 Gesichtsanimation
Die weiteren Bestandteile des Gesichtes, wie Augen, Z¨ ahne und Zunge werden mittels affiner Transformationen an die Geometrie des Zielkopfes manuell angepasst, obgleich auch hier nach [64] prinzipiell eine automatische Adaption unter Verwendung des Warping-Prozesses m¨ oglich ist. Eine interessante Anwendung dieser Methode zur Gesichtsrekonstruktion mit dem Sch¨ adelknochen toter Personen stellen K¨ ahler, Haber und Seidel in [65] vor. Diese Identifikation, die bislang sehr zeitaufwendig manuell ausgef¨ uhrt werden musste, kann mit dem Verfahren von K¨ ahler et al. zum großen Teil automatisiert und dadurch erheblich beschleunigt werden. Hierzu wird die Geometrie des realen Sch¨ adels mit einem 3D-Scanner erfasst und ein 3D-Sch¨ adelmodell erzeugt. Dieses Sch¨ adelmodell wird an anthropometrisch relevanten Positionen markiert. Weiterhin werden die Distanzen zu den Punkten auf der Hautoberfl¨ ache, die mit den Sch¨ adel-Landmarks korrespondieren, interaktiv festgelegt. Diese Abstandswerte h¨ angen vom vermuteten Alter, dem Geschlecht oder auch der vermeintlichen k¨ orperlichen Beschaffenheit ab. Sie werden statistisch bestimmt und stehen tabellarisch zur Verf¨ ugung. Die so ermittelten Markierungen auf der Hautoberfl¨ ache sind die Zielpunkte f¨ ur den anschließenden 3D-Warping-Prozess, der, wie oben beschrieben, mit den Geometriedaten der Gesichtshaut des Referenzkopfes ausgef¨ uhrt wird. Die Einpassung des Gesichtsmuskelsystems erfolgt auch hier automatisch. Die Abbildungen 5.14a–d illustrieren den Rekonstruktionsprozess auf der Basis des Gesichtssch¨ adels. Hautmodell. Die Gesichtsanimation basiert auf einem Federsystem, dessen prinzipieller Aufbau mit der Abb. 5.15a dargestellt ist. Es besteht aus einem Federnetz, das die Oberfl¨ ache der Gesichtshaut repr¨ asentiert. Die Knoten dieses Netzes sind mit dem Sch¨ adel und den Muskelsegmenten verbunden.
Abb. 5.15. Aufbau des Federsystems: (a) im Zustand eines entspannten Muskelsegments, (b) im Zustand einer Muskelkontraktion
5.5 Gesichtsanimation mit Federmodellen Haut l i (3 -
(a)
Muskelsegmente
(b)
135
2l icontract ) l irelax
li
Abb. 5.16. Muskelmodell: (a) Aufbau eines Linearmuskels durch Verkn¨ upfung einzelner Muskelsegmente, (b) Verdickung der Muskelsegmente infolge ihrer L¨ angen¨ anderung verbunden mit leichter Anhebung der Hautschicht
Um zu erreichen, dass die Knoten des Federnetzes bei einer Muskelanspannung auf der Oberfl¨ ache des Sch¨ adels entlang gleiten und nicht in diesen eindringen sind Spiegelfedern vorgesehen. Die Spiegelfedern kompensieren die in Richtung des Sch¨ adelknochens wirkenden Kraftkomponenten und unterst¨ utzen somit die lateralen Bewegungen des Federnetzes. Muskelmodell. Das Gesichtsmuskelsystem ist aus vielen miteinander verketteten ellipsoidalen Muskelsegmenten aufgebaut (Abb. 5.15a). Im Fall einer Kontraktion verk¨ urzen sich die Segmente, wodurch zugleich, abh¨ angig von der St¨ arke der Kontraktion, eine Verdickung der Ellipsoiden entsteht (Abb. 5.15b). Ein Muskel kann sich entweder in Richtung eines am Sch¨ adel fixierten Punktes (Linearmuskel) oder in Richtung eines zentralen Punktes (Schließmuskel) zusammenziehen (s. Abschn. 5.3.3). Um m¨ oglichst ein konstantes Muskelvolumen einzuhalten, erfolgt eine l¨ angenabh¨ angige Verdickung des Muskelsegments bis zum dreifachen Wert der urspr¨ unglichen Muskeldicke im Zustand der Entspannung (s. Abb. 5.16). Der Effekt des Anschwel-
Abb. 5.17. Gesichtsmuskelsystem (mit Genehmigung von J. K¨ ahler)
136
5 Gesichtsanimation
lens der Muskelb¨ ander wird hierbei unmittelbar auf die Oberfl¨ ache der Gesichtshaut u ¨ bertragen. Die Muskeln sind in Schichten aufgebaut, die frei u ¨ bereinander gleiten. Sie k¨ onnen sich verschlingen und ineinander u ¨ bergehen, so dass sie in der Lage sind, miteinander zu interagieren. Auf der Basis dieses Segmentmodells lassen sich alle Muskeln des menschlichen Gesichtes modellieren. Die Abbildung 5.17 zeigt das aus diesen einheitlichen Segmenten gebildete Muskelsystem der Ober- und Unterkieferregion. Hierbei ist gut erkennbar, wie die ellipsoidalen Muskelsegmente zu d¨ unnen Str¨ angen, breiten Bl¨ attern oder auch zu Ringmuskeln formiert werden. Gesichtsanimation. Die Variation der Gesichtsmimik unter dem Einfluss von Kontraktion und Relaxation der Muskelfaserb¨ undel wird mit Hilfe des oben vorgestellten Federsystems (s. Abb. 5.15) gesteuert. Die Knoten des polygonalen Netzes der Gesichtshaut sind mit den Knoten des Federsystems verbunden und folgen dadurch dessen Verformungen. Da die Federn biphasisch sind, d.h. unter hoher Belastung steifer werden, bilden sie die nicht-linearen elastischen Eigenschaften der Haut grob nach. Die Aufgabe der in Abb. 5.15 dargestellten Spiegelfedern ist es, die in Richtung des Sch¨ adelknochens wirkenden Kraftkomponenten zu neutralisieren. Hierdurch bleibt das Hautvolumen beim Zusammenziehen der Federn erhalten. Aufgrund ¨ dieser Zwangsbedingung wird weitgehend eine Uberlappung der Federn vermieden, obwohl diese Effekte bei großen Kr¨ aften nicht v¨ ollig ausgeschlossen sind. Eine weitere hervorzuhebende Eigenschaft der Spiegelfedern ist ihre nahtlose Integration in das Federmaschensystem, die keine spezielle Behandlung der Constraints erforderlich macht. Die Berechnung der Bewegungsgleichungen des Federsystems erfolgt mit Hilfe eines expliziten vorw¨ artsgerichteten Integrationsschemas. Um die Stabilit¨ at dieses Algorithmus zu optimieren, wird die Rechenzeit f¨ ur jeden Simulationsschritt gemessen und die Schrittweite dynamisch eingestellt. Die in der Abb. 5.18 dargestellte Bildsequenz zeigt die Darstellungsergebnisse der Gesichtsanimation nach der Methode von K¨ ahler et al. f¨ ur Visual SpeechAnwendungen.
Abb. 5.18. Darstellung von links nach rechts: Neutraler Gesichtsausdruck sowie die Viseme der korrespondierenden Phoneme: /f/, /i/, /o/, /u/ (mit Genehmigung von [66])
5.6 Visual Speech
137
5.6 Visual Speech Visual Speech ist eine Anwendung der Gesichtsanimation, bei der die Lippenbewegungen eines virtuellen Kopfes synchron zur Erzeugung der Sprachlautfolge ausgef¨ uhrt werden. Hierbei werden aus der Sprachlautfolge die Phoneme extrahiert und die korrespondierende Visemfolge ermittelt, mit denen wiederum die Bestimmung der Parameter zur Steuerung der Lippenbewegungen eines virtuellen Kopfes erfolgt. Dieses Prinzip ist Bestandteil des MPEG-4 Standards und gestattet, mit einer sehr geringen Daten¨ ubertragungsrate (< 1KBit/Sek.), die Bild- und Sprachkommunikation mit virtuellen Sprechern. Diese Sprecher k¨ onnen personalisierte Agenten, virtuelle Vorleser (Digital Story Teller), die virtuellen Teilnehmer einer Videokonferenz oder auch beliebige Avatare in Chat-Rooms sein. Anstelle einer Bildfolge werden hier lediglich die Parameter u ¨ bertragen, die zur Steuerung der Lippenbewegungen sowie zur Erzeugung der Gesichtsmimik des virtuellen Sprechers dienen. Das Modell des virtuellen Sprechers befindet sich auf der Empf¨ angerseite und kann an den Kopf eines realen Kommunikationspartners angepasst werden. Im Idealfall sollte beispielsweise bei einem Bildtelefonat kein Unterschied zwischen einem realen und einem virtuellen Sprecher erkennbar sein. Der Multi-Media-Standard MPEG-4 erlaubt die Steuerung der Gesichtsanimation mit Hilfe sog. Facial Animation Parameter (FAP). Mit den FAPs ist es m¨ oglich, s¨ amtliche Muskelaktionen eines synthetischen Gesichtes, einschließlich der Augen-, Zungen- und Lippenbewegungen, darzustellen. MPEG-4 bietet die M¨ oglichkeit, das Gesichtsmodell um ein Kopf- und Schultermodell zu erweitern.
5.6.1 Animation von Gesichtern in MPEG-4 Um ein individuelles Gesicht zu formen, werden die Face Definition Parameter (FDP) ben¨ otigt, die nur einmal zu u ¨ bertragen sind. Dieser Parametersatz definiert ein polygonales dreidimensionales Kopfmodell mit 84 Feature Points, deren 11.5
11.5
11.4
11.4
11.1 11.2
11.1 4.4
10.2
4.6
4.2 4.1
11.3 4.3 4.5
10.8
10.6
5.1
9.12 10.8
10.5 2.13
2.10
X
10.10
10.4
10.3
10.6
Y
2.14
Z
9.6
10.2
5.3 10.7
5.2
Y
10.1
10.9 5.4
2.12 2.1
2.11
4.4 4.6
10.10
10.4
11.2
2.14 2.7
9.4
9.3 9.2
X Z
2.10 2.1 2.12
Abb. 5.19. Positionen der Feature Points im Gesichtsmodell
138
5 Gesichtsanimation Tabelle 5.3. FAP Gruppen Nr. Einfluss auf Anzahl FAPs 1 Viseme, Elementarausdr¨ ucke 2 2 Kiefer, Kinn, Lippen, Mundwinkel 16 3 Augen, Augenlider 12 4 Augenbrauen 8 5 Wangen 4 6 Zunge 5 7 Kopfrotation 3 außere Lippenposition 8 10 ¨ 9 Nase 4 10 Ohren 4
Positionen die Abb. 5.19 zeigt. Zu den weiteren optionalen gesichtsbeschreibenden Parametern z¨ ahlen die Gesichtstextur sowie pers¨ onliche Merkmale wie: Geschlecht, Alter, Haare und Brille. Zur Anpassung der FAPs an die unterschiedlichen virtuellen Kopfformen sind diese mit den sog. Face Animation Parameter Units (FAPUs) zu skalieren. Die FAPUs werden hierbei mit den in Abb. 5.20 dargestellten Distanzen zwischen Nase, Mund und Augen definiert. Insgesamt sind f¨ ur die Gesichtssteuerung 68 Parameter vorgesehen, die, wie in Tab. 5.3 dargestellt, in 10 Gruppen eingeteilt sind. Die FAPs bewirken Verschiebungen der Feature Points, die einen neutralen Gesichtsausdruck so ver¨ andern, dass die gew¨ unschten Lippenstellung oder Mimik entsteht. Von besonderer Bedeutung ist die FAP-Gruppe 5.3. Sie enth¨ alt nur zwei abstrakte FAPs, die zur Erzeugung elementarer Gesichtsausdr¨ ucke und Viseme dienen. Viseme sind die visuellen Entsprechungen der Phoneme. Ein Phonem entspricht dem-
Abb. 5.20. Die FAPUs
5.6 Visual Speech
139
Tabelle 5.4. Korrespondenz zwischen Phoneme und Viseme Visem Nr. Phonem Beispiel Visem Nr. Phonem Beispiel 1 p,b,m put, bet, mill 8 n,l lot, not 2 f,v far, voice 9 r red 3 T,D think, that 10 A car 4 t,d tip, doll 11 e bed 5 k,g call, gas 12 I tip 6 tS, dZ, S chair, join, she 13 Q top 7 s,z sir, zeal 14 U book
nach einer bestimmten Lippenstellung, wobei jedoch unterschiedliche Phoneme dem gleichen Visem zugeordnet werden k¨ onnen. Demnach sind in MPEG-4 lediglich 14 Viseme vorgesehen, um beispielsweise mehr als 50 Phoneme, die in der englischen Sprache vorhanden sind, bildhaft darzustellen. Die Tabelle 5.4 sowie die Abb. 5.21 zeigt die Korrespondenz zwischen einigen Phonemen und ihren Visemen. Die Lippenbewegungen werden jedoch nicht nur von dem jeweils aktuellen Phonem, sondern auch durch die sog. Koartikulation ¨ bestimmt. Der Ubergangs zwischen unterschiedlichen Phonemen verursacht jedoch